AWS WAFでCommon Ruleでブロックしたら、GrapeshotCrawlerがブロックされるようになった。
GrapeshotCrawlerについて調べたら、広告配信をする企業向けに、配信先のサイトが変なサイトかどうかを調べて報告するって企業らしい。
つまり、GrapeshotCrawlerがサイト内を徘徊して、変なコンテンツがあったら、このサイトは怪しいよ。ってP&Gとか、コカコーラみたいな企業に教えてあげるんだろう。
というか、スコアに応じて配信画面から対象サイトを勝手に除外できるんだろう。
User-Agent: Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)
こいつを除外し続けようかどうしようか。
とりあえず、アマゾンの方が信用できて、AWSが除外OKって言ってるんだから除外しておこうかな。
何か不利な変動があったら、除外を外したいと思う。
ちなみに GrapeshotCrawler は1秒に1回アクセスしに来てるっぽい。
