robots.txtに以下のテキストを入れること。
User-agent: ia_archiver
Disallow: /
が、Archive.orgはrobots.txtへの記載を絶対に尊重するとは限らない。載ってしまった後消すにはメールするしかない。
実験的なヒップホップビートを作って配布しています。
robots.txtに以下のテキストを入れること。
User-agent: ia_archiver
Disallow: /
が、Archive.orgはrobots.txtへの記載を絶対に尊重するとは限らない。載ってしまった後消すにはメールするしかない。
コメントを残す
Only people in my network can comment.