robots.txtとは?

robots.txtファイルは、検索サイトのクローラーによるサイトへのアクセスをある程度制御することができます。
クローラーの制御は、Webサイト単位、ディレク卜リ単位、ファイル単位でアクセスの「許可」や「拒否」を設定することができます。
robots.txtでアクセスを拒否していたとしても、robots.txtには、強制力がないため、クローラーによっては記述内容を無視する場合もあります。
正しい動作をするクローラーは、Webサイトのぺージにアクセスする際に、特定のページへのアクセスを拒否するrobots.txtファイルがあるかないかを確認してから、Webサイト内の巡回を開始します。

実際にrobots.txtファイルが必要となるのは、CGIプログラムなどを置いたディレク卜リなど、検索サイトのインデ ックスに登録したくないコンテンツが含まれる場合のみでしょう。
Webサイトのすべてのコンテンツを検索サイトのインデックスに登録したい場合は、robots.txtファイルは必要ありません。
ウェブマスターツールのrobots.txt生成ツールを使用してrobots.txtファイルを生成する方法もありますが、ディレクトリ設定などがめんどうなので、テキス卜エディタで直接記述したほうが分かりやすいでしょう。
作成したrobots.txtをFTPでWebサイトのトップページのindex.html(php)と同じ場所にアップロードしてください。パーミッションは644か604などデフォル卜のままでもOKです。

Be the first to comment

Leave a Reply

Your email address will not be published.


*