robots.txt生成
シンプルで分かりやすい robots.txt を作成します。
robots.txt ジェネレーター
検索エンジンへの指示、サイトマップの指定、一部クローラーの制限、不要なボットのブロックに使える、読みやすい robots.txt を生成します。
サイトプロフィール
基本ルール
サイトマップ
ブロックするボット
詳細
生成済み robots.txt
robots.txt はクローラーへの指示です。セキュリティ保護ではありません。
簡単な説明
開始プロファイルを選び、一般ルールを追加し、必要ならサイトマップを指定して、ブロックしたいロボットを選択します。不要な重複を避け、生成されるファイルは簡潔に保たれます。
こちらもおすすめ
クローラーの実際のアクセスを確認しますか？
Apacheログ解析を使うと、サイトで実際にアクセスされた IP、検索エンジン、エラー、URL を確認できます。
追加情報
読みやすい robots.txt を作成
robots.txt は、サイトを巡回するロボットに指示を与えるファイルです。巡回させたくない領域、サイトマップの場所、一部のボットに対するクロール間隔、特定 user-agent のブロックなどを指定できます。
このジェネレーターは短く確認しやすい出力を重視しています。共通のディレクティブをまとめ、不要なブロックを避け、生成結果をそのまま robots.txt ファイルへコピーできます。
複雑にせず必要なものだけブロック
クイックプロファイルから、通常のサイト、すべて許可、すべてブロック、準備中サイトのいずれかを選べます。その後 Allow / Disallow のパスを追加し、除外したいボットだけを選択できます。
robots.txt はセキュリティ機能ではありません。非公開ページを保護するには、サーバー側の実際のアクセス制御、認証、適切な権限設定を使用してください。
公開後に実際の動作を確認
公開後は Apacheログ解析でクローラーの実際の動きを確認できます。ログを見れば、どの URL が要求されたか、どのボットが頻繁に来ているか、どのエラーが繰り返されているかが分かります。
制限と再利用
AppErgo のツールは、実用および情報提供を目的として無料で提供されています。設計には十分配慮していますが、結果が不完全、予期しないもの、または誤っている場合があります。重要な用途で結果を利用する前に、適切な方法で確認してください。
ツールの不具合を報告するには、専用の不具合報告フォームをご利用ください。
AppErgo のツールで生成された結果は、自由にコピーして再利用できます。結果、方法、または AppErgo のページを公開の場で再利用する場合は、該当ページへのリンクを付けていただけると幸いです。
別途明記されていない限り、AppErgo の文章、画像、視覚要素、スクリプト、テンプレート、内部コンポーネントの権利は AppErgo に帰属します。
その他のお問い合わせは、ウェブマスターにご連絡ください。