Genx Records > ブログ > サイト制作 > AIウェブ制作 > AIのボットを避けるためのrobots.txtの記述方法

AIのボットを避けるためのrobots.txtの記述方法

一応備忘録として残す。

以下をrobots.txtに入れると、AIのボットのクロールを避けることができるみたい。とは言っても、robots.txtを無視するAIボットもあるらしいから、絶対とは言えないけれど。本当にAIに巡回してもらいたくないのなら、Simple Membership プラグインか何かを使って、コンテンツをログインの壁の後ろに置くしかない。

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: AdsBot-Google
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ICC-Crawler
Disallow: /

User-agent: bingbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-ai
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: YouBot
Disallow: /