SEO対策において、Googleのクロール頻度を上げることは重要だ。
Googleのクロール頻度を上げると、自社のコンテンツがより早くGoogleに発見され、検索結果に表示されやすくなる。
一方で、
「一般的なGoogleのクロール頻度を知りたい」
「Googleのクロール頻度の確認方法がわからない」
「Googleのクロール頻度を上げる方法について知りたい」
といった疑問や悩みを抱えるマーケティング担当者も少なくないだろう。
本記事では、Googleクロール頻度の概要や、クローラーの巡回頻度の調べ方、クロール頻度を上げる方法を具体的に解説する。
1.Googleクロール頻度とは
Googleのクロール頻度とは、Googleのロボットが自社のWEBサイトに訪れる（クロールを行う）頻度だ。
クロールが行われることにより、自社のWEBサイトがGoogleに認識され、検索結果に反映される。
Googleは、ほとんどのサイトでは新しいページがクロールされ、認識されるまでに数日かかると説明している。
また、一般的には3日～1カ月程度に1回はクロールされるとのことだ。
出典：大規模なサイト所有者向けのクロール バジェット管理ガイド|Google検索セントラル
WEBサイトの状況によってクロール頻度は変わってくるが、数日～1カ月の間に1回はクロールされると思っておいてよいだろう。
1.1.Googleのクローラーの仕組み
次に、Googleのクローラーの仕組みを解説していく。
Googleは「クロール」「インデックス登録」「検索結果への表示」という3つのプロセスでWEBサイトの検索順位を決定する。
「クローラー」というロボットが、インターネット上のコンテンツを収集する行為が「クロール」だ。
Googleのクローラーは「Googlebot」と呼ばれている。
そして、クロールされたコンテンツは、一定の条件でデータベースに登録される。
これを「インデックス登録」という。
インデックス登録されたコンテンツは、ユーザーが検索する際に入力したキーワードとのマッチングを行い、さまざまなランキングアルゴリズムによって検索順位が決定される。
Googleの検索順位が決まる仕組みについては、以下の記事で詳細を解説している。あわせて参考にしてほしい。
1.2.クローラーとSEOの関係性
自社のWEBサイトにクローラーが訪れることは、コンテンツが検索上位に表示されるためのファーストステップだ。
そのため、SEO担当者の多くは「自社のWEBサイトへ頻繁にクローラーが来てほしい」と思うだろう。
しかし、WEBサイトによってクローラーが訪れる頻度は違う。
クローラーが訪れる頻度が高いWEBサイトは、新規記事の公開や既存記事のリライトを行った際、検索エンジンに認知されやすい。
一方、クロール頻度が低いサイトでは、検索エンジンが記事を認知するまでに時間がかかり、機会損失につながってしまう。
クローラーがWEBサイトの情報を発見し、理解しやすくなっているかどうかを示す指標を「クローラビリティ」という。
SEO対策で成果を出すためには、このクローラビリティを改善していくことも重要だ。
クローラビリティを改善するには、WEBサイトのテクニカルSEOに取り組む必要がある。
テクニカルSEOでやるべき施策については、以下の記事が参考になるだろう。
2.Googleクロール頻度の2つの意味について
Googleにおける「クロール頻度」という言葉には、実は「クローラー巡回速度」と「クロール速度」の2つの意味があり、混乱を招く原因となっている。
このことを理解しておかないと、成果につながらない施策や情報収集に無駄な時間をかけてしまいかねない。
2つの意味の違いについて、簡潔に解説しておこう。
2.1.クローラー巡回頻度とは？
「クローラー巡回頻度」とは、自社のWEBサイトにGoogleのクローラーが訪れる頻度を指す。
一般的に「クロール頻度」という言葉は、こちらの意味で使われる。
クローラーが巡回する頻度によって、自社のWEBサイトのコンテンツがGoogleに認識されるまでの期間が変わってくる。
そのため、SEO対策における重要度は高く、クローラー巡回頻度が低い場合は対策が必要だ。
2.2.クロール速度とは？
「クロール速度」とは、クローラーがWEBサイトをクロールする際に送信する1秒あたりのリクエスト数を指す。
Google公式のヘルプページでは、クロール速度の意味で「クロール頻度」という言葉が用いられている。
出典：Google のクロール頻度を下げる|Google検索セントラル
しかし、クロール速度のSEO対策における重要度はあまり高くない。
一般的なWEBサイトであれば、クロール速度を改善するよりも、コンテンツの質の改善や基本的なSEO対策に取り組んだほうが成果につながるだろう。
また、以前まではGoogleサーチコンソールでクロール速度の設定が可能だったが、現在はできなくなっている。
そもそもほとんどのWEBサイト運営者にとっては、これらの機能を使ってクロール速度を変更する必要がなかったため、特に気にしなくてよい。
SEO担当者は「クロール頻度にはクロール速度という意味もある」ことだけ覚えていれば問題ないだろう。
出典：Search Console のクロール頻度制限ツールのサポート終了予定|Google検索セントラル
3.クローラーの巡回頻度の調べ方
クローラーの巡回頻度を改善するためには、まず現状分析を行い、自社のWEBサイトにどれくらいの頻度でクローラーが訪れているのかを調査する必要がある。
クローラーの巡回頻度を調べる方法をいくつか紹介するため、自社に合った方法を試してみてほしい。
3.1.GoogleサーチコンソールのURL検査を行う
まず、GoogleサーチコンソールのURL検査機能を使い、特定のURLを確認する方法だ。
URL検査を行うと、そのURLにおける前回のクロール日時を確認できる。
新規記事を公開したあとなど、特定URLのクロール状況を確認したいときには便利な機能だ。
また、URLがインデックスされていない場合のトラブルシューティングとしても活用できる。
URL検査の方法は以下のとおりだ。
まず、Googleサーチコンソールにログインし、最上部に表示される「○○内の全てのURLを検査」にURLを入力しよう。
エンターを押すと、そのURLに関するインデックスの情報が表示される。
「ページのインデックス登録」を開くと、前回のクロール時間を確認できるようになっている。
出典：URL 検査ツール|Search Consoleヘルプ
3.2.Googleサーチコンソールのクロール統計情報を確認する
Googleサーチコンソールのクロール統計情報を確認することで、自社WEBサイトの複数URLをまとめて調査可能だ。
クロール統計情報では、URLごとにクロールリクエストの更新や検出の時間がわかるようになっている。
Googleサーチコンソールでクロール統計情報やクロール頻度を確認する流れは以下のとおりだ。
設定＞クロールの統計情報＞目的別（更新・検出）
3.3.GoogleサーチコンソールのAPIを利用する
Googleが提供する「URL Inspection API」を活用し、複数のURLを効率的に調査することも可能だ。
「API」とは、異なるソフトウェアやプログラムを連携する仕組みを指す。
APIを使い、Googleスプレッドシートと連携することで、クロール頻度を継続的にモニタリングできるようになる。
「URL Inspection API」の使い方は、公式サイトにて解説されている。
出典：Search Console の新たな API、URL Inspection API のご紹介|Google検索セントラル
ただし、ある程度の専門知識が必要であり、API連携の経験がないとややハードルが高い方法といえるだろう。
3.4.Google Bulk Inspect URLsを利用する
「Google Bulk Inspect URLs」という海外の無料WEBツールを使う方法もある。
英語サイトのため少々わかりにくい部分があるかもしれないが、複数URLのクローラー巡回頻度を無料で調べられる。
使い方は以下のとおりだ。
まず、サイトにアクセスして「1. authorize」をクリックする。
Googleのログイン画面が表示されるため、Googleサーチコンソールを利用しているアカウントでログインし、認証を行う。
その後「2. select property」をクリックし、調査したいWEBサイトを選択。
「3.enter one url per line and at least one url to check」の項目に一行ずつ調査したいURLを入力していこう。
このとき、URLはWordPressのプラグインを活用して一括取得すると効率的だ。
URLの入力後「4. inspect URLs」をクリック。
調査結果として、URLごとに前回のクロール日時が表示される。
また、調査したデータはCSVとしてダウンロードすることも可能だ。
3.5.サーバーログを確認する
自社のWEBサイトを格納しているサーバーのログからも、クローラー巡回頻度を調べることが可能だ。
クローラーが、いつどのページをクロールしたのかを直接確認できる。
ただし、分析を行うには、ある程度の専門知識が必要なうえに工数もかかる。
時間をあまりかけずに調査を行いたい場合は、ほかの方法を試したほうがよいだろう。
4.クロール頻度を上げる方法
クロール頻度の調査を行った結果「クロールしてほしいURLがクロールされていない」と判明することもあるだろう。
クロールされていないURLはインデックス登録がされず、検索結果にも表示されない。
SEO対策で成果を出すためには、クロール頻度を上げていくことも大切だ。
クロール頻度に課題感のある方は、これから紹介する方法を試してほしい。
4.1.Googleサーチコンソールからリクエストを送信する
特定のURLのクロール頻度を上げたい場合は、Googleサーチコンソールからインデックス登録のリクエストを送信するとよい。
リクエストによって、GoogleがURLを発見しクロールを行いやすくなる。
一連の流れを解説しよう。
まず、Googleサーチコンソールにログインし、最上部に表示される「○○内の全てのURLを検査」にURLを入力する。
エンターを押すと、入力したURLのGoogleでの登録状態が表示される。
「インデックス登録をリクエスト」をクリックすれば、リクエストが完了する。
4.2.XMLサイトマップを送信する
XMLサイトマップの送信もクロール頻度の向上につながる。
XMLサイトマップとは、WEBサイト内のページを適切にGoogleへ伝えるためのデータだ。
XMLサイトマップを作成し、Googleサーチコンソールなどのツールから送信することで、GoogleがURLを発見してクロールを行いやすくなる。
複数URLのクロールリクエストをまとめて行えるため、効率的にサイト全体のクロール頻度を上げることが可能だ。
XMLサイトマップの作成は手動でも可能だが、WordPressのプラグインや自動生成ツールを活用する方法もある。
4.3.サーバーの応答速度を改善する
サーバーの応答速度が遅いと、クローラーがクロールするのに時間がかかってしまう。
クロール頻度を上げるためには、サーバーの応答速度を改善していくことも大切だ。
サーバーの平均応答時間は、Googleサーチコンソールの「クロールの統計情報」で確認できる。
また、Googleが提供する「PageSpeed Insights」を利用すれば、ページ表示速度の診断も可能だ。
画像の最適化、キャッシュの使用、CSSやJavaScriptの圧縮、不要なコードの削除などを行うことで、サーバー応答速度の改善につながる。
4.4.コンテンツの質と更新頻度を高める
Googleがクロールする目的は、検索を行うユーザーに役立つと考えられるコンテンツを発見し、評価することだ。
そのため、高品質なコンテンツを更新していけば、自然とクローラーのクロール頻度が上がりやすくなる。
また、SEO対策の最終的な目的は、検索上位に表示されることではなく、商談や受注を増やすことだ。
ユーザーから自社への信頼性を高めるためにも、質の高いコンテンツを制作することは重要といえる。
自社独自の知見やノウハウが詰まった質の高いコンテンツは、競合他社が簡単には真似できないため、差別化にもつながるだろう。
Googleからもユーザーからも評価される質の高いコンテンツの制作方法は、以下の記事で解説している。
「E-E-A-T」と呼ばれるGoogleの評価基準についても理解したうえでコンテンツを制作すると、自然と質も高くなるはずだ。
また、コンテンツの更新頻度を高めれば、クローラーが最新情報を発見するためにクロール頻度が増していく。
高品質なコンテンツを継続的に制作できる体制を整えることが、SEO対策やBtoB企業のマーケティングにおいては重要だ。
BtoBマーケティングの基礎知識については以下の記事で解説している。
4.5.内部リンクを設置する
WEBサイト内のページには、適切に内部リンクを設置していくことが重要だ。
関連するページ同士を内部リンクでつなげることで、クローラーがWEBサイトを循環し、発見しやすくなる。
内部リンクが充実していると、ユーザーが関連する情報を素早く見つけられるため、自社の信頼性向上にもつながるだろう。
内部リンクの効果的な設置方法については以下の記事で解説している。
5.Googleクロール頻度についての注意点
最後に、Googleクロール頻度についての注意点を挙げておこう。
5.1.クロール頻度を上げすぎると、サーバー負荷がかかる
クロール頻度を上げすぎると、サーバーに負荷がかかってしまう。
サーバーへの負荷は、ユーザーがWEBサイトを閲覧する際の応答速度の低下やサーバーダウンといった問題を招くおそれがある。
次に解説する、無駄なクロールを防ぐための設定もあわせて実施しよう。
5.2.robots.txtやnoindexを適宜設定し、無駄なクロールを防ぐ
robots.txtやnoindexを設定することで、無駄なページへのクロールを防ぎ、サイト内のより重要なページへのクロールが優先されるようになる。
これらの設定は、サーバーの負担減やSEO対策にもつながる。
ただし、robots.txtはすべてのサイトに必要ではない。
小規模サイトでは効果が限定的だ。
robot.tctやnoindexタグの詳細は以下の記事で解説している。
5.3.クロール頻度を上げるとSEO対策で成果が出るというわけではない
クロール頻度を上げることで、Googleが自社のコンテンツを発見しやすくなるのは事実だ。
しかし、コンテンツがクロールされたからといって、必ずしも検索上位に表示されるわけではない。
競合他社よりも質の低いコンテンツは、当然検索上位に表示されない。
また、自社のコンテンツが上位表示されたとしても、流入されるキーワードやコンテンツの質、CVの動線などによっては成果につながらないケースもある。
クロール頻度を上げることは大切だが、顧客理解や質の高いコンテンツの制作といった本質的な部分で手を抜かないようにしよう。
6.まとめ
今回の記事では、Googleクロール頻度の概要や、巡回頻度の上げ方について解説してきた。
Googleのクロール頻度を上げることで、自社サイトのコンテンツが素早くインデックス登録され、SEO対策の成果が出やすくなる。
一方で、制作したコンテンツが検索上位に表示され、問い合わせや資料請求につなげるためには、質の高いコンテンツの継続的な公開も重要だ。
弊社では、BtoBのIT企業向けに、SEOのコンサルティングやコンテンツ制作支援を行っている。
自社のSEO対策で悩んでいる方は、ぜひお気軽に問い合わせいただきたい。
