レーベルに進化しました。

AIのボットを避けるためのrobots.txtの記述方法

aie381aee3839ce38383e38388e38292e981bfe38191e3828be3819fe38281e381aerobots AIウェブ制作
この記事は約2分で読めます。

一応備忘録として残します。

以下をrobots.txtに入れると、AIのボットのクロールを避けることができるみたい。とは言っても、robots.txtを無視するAIボットもあるらしいので、絶対とは言えませんが。本当にAIに巡回してもらいたくないのなら、Simple Membershipプラグインか何かを使って、コンテンツをログインの壁の後ろに置くしかないです。

User-agent: Google-Extended
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: AdsBot-Google
Disallow: /

User-agent: bingbot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: YouBot
Disallow: /