「robots.txt」は、検索エンジンのクローラーに対してサイト内の「どのページをクロールしてよいか」または「クロールしないでほしいか」を指示するためのテキストファイルだ。 適切に設定することで、クローラーの挙動をコン … 続きを読む robots.txtのをわかりやすく解説｜必要なケースと設定方法