Drupalのrobots.txtは自前で用意 September 8, 2006
たいした問題ではないので放置していたのだが、Drupalはrobots.txtを置かないと、管理画面のログが”robotx.txt not found.”であふれかえる。
ダミーのファイルを置けば解消するだろうということは分かっているものの、この際少し調べてみた。公式サイトにrobots.txtの参考例の記事が掲載されている。
ロボットのクロール間隔を空けてもらうための設定(Crawl-Delay)と、管理系のアドレスにアクセスしないような設定(Disallow)が入っている。 正しそうなので、ほぼそのまま流用した。
robots.txtというテキストファイルにコピー＆ペーストするだけで作成できる。あとはFTPアップロード。 設置場所はDrupalをインストールしたトップディレクトリ。サイトのトップディレクトリと同じだと思う。