Googleにインデックスされない原因と対策を考える
前回の記事で、アドセンス審査不合格の原因の1つとしてSearch Consoleのインデックス登録数が少ないことを考えました。
また、アドセンスに関わらずブログ記事が検索結果に表示されないと誰にも見てもらえないため、当然記事を書くモチベーションも下がります。早急な解決が必要になったので、考えられる原因に対して順番に対策を施していきます。
ひとまず解決しました
Googleからの情報
Google検索の仕組み｜クロールとインデックス登録
https://www.google.com/intl/ja/search/howsearchworks/crawling-indexing/
特に、新しいサイトの情報、既存のサイトの変更点、無効なリンクについて重点的に確認します。クロールするサイト、クロールの頻度、各サイトから取得するページ数はコンピュータ プログラムによって決定されます。
当然ですがインデックス登録の基準は明記されていません。作成間もないサイトではクロールの頻度も少ないのかと思いましたが、クロールリクエスト自体は定期的に行われているようでした。
ただ、インデックス登録はPC版Googlebotで行われているようですが、PCのGooglebotが9%と少ない点は気になります。
技術的な問題？
サイトマップはどちらも送信済みで確認もしていましたが、Google Search ConsoleだけでなくBing Webmaster Toolsでもインデックスされてなかったためサイト内容の問題と言うよりは何らかの技術的な問題だと思われます。
とは言え、URL検査はどちらも問題なくリクエストも受け付けてもらえました。
現在の現象の整理
- サイトマップは送信済み、ステータスも「成功しました」になっている。
- サーチコンソールのカバレッジで除外されているページが多い（と言うかほぼすべて）。内容：「このページはインデックスに登録されていませんが、エラーではありません。」
- 問題ない場合：「サイトマップで検出 → インデックス未登録 → その内インデックス登録」
- 現状：「サイトマップで検出 → インデックス未登録 → 除外からも消える（インデックスは未登録のまま）」
- URL検査は問題なしだが、インデックス登録をリクエストしても登録されない（1週間経過中）。
インデックスされている別サイトと比較
管理している別サイトでは記事数はおなじ程度ですが公開2週間で約90%の記事（全16ページ中14ページ）がインデックス登録されていたため、このサイトと比較して違いを探します。
- スキン
- プラグイン
- フロントページ
- Search Consoleの所有権認証
ですが、正直このくらいしか違いは見つかりませんでした…。
仕方ないので想像で対策
参考サイト
対策案
- ブログ記事の追加や更新は継続的に実施（頻度は特に決めてない）。
- サイトマップを充実させるためスタンダードにSEOプラグイン（All in One SEO）を導入。
- クロールエラーの可能性とURLの可読性向上のためURLスラッグを変更して改めてクロールリクエスト。 → それでも登録されない場合はクロールではなくサイト構成の問題として4.へ進む。
- サイト構成を変更するためスキンの変更とフロントページを追加してインデックス登録をリクエスト。
SEOは難しい
SEOと言うほどの事でも無いと思いますが、良いと思う記事を作るだけで見てもらえないのでは意味が無いということが身に沁みました。
現在は1. 2.を実施して、新しい記事については関連したURLスラッグを付けるようにしていますので、1週間後を目安に改めてSearch ConsoleとWebmaster Toolsの確認をしてみたいと思います。
もしかしたら、ただ待っていればいいだけなのかもしれませんが…。
追記
AMPのエラー検証の合格まで1か月必要
Search Consoleに登録して2週間ほどして、Contact form 7でAMPエラーが出たので修正して検証を始めましたが、合格まで1か月かかりました。
長くても10日ほどと書いている情報もあり、このサイトが現時点ではSearch Consoleの更新が遅いのは確実のようです。
とは言え、時間がかかっても確認はされているようなので、ひとまずは現状の対策1. 2.と新規記事のURLスラッグを内容と合わせながら更新を続けていこうと思います。
3週間経過後（2022/2/2）
インデックス登録数は7ページ…投稿記事数（32記事）に対する割合はほとんど変化ありません。
Bing WebmasterToolsもインデックスされたのは3記事だけ。
このまま待っていても変わる気配が少ないため、対策3.投稿済み記事のURL変更と対策4.の一部でスキン・カルーセル無しの状態にして2週間ほど待ってみようと思います。
MFIでない？
改めて色々と確認していたところ、メインクローラがPCです。今はGoogleもPC用のクロールボットよりもスマートフォン用クロールボットを中心にしますが、調べていたところ気になる内容が出てきました。
ユーザー操作時にプライマリ コンテンツの遅延読み込みを行わないようにします。Googlebot は読み込みにユーザーの操作（スワイプ、クリック、入力など）が必要なコンテンツを読み込みません。遅延読み込みコンテンツを Google が認識できるようにしてください。
https://developers.google.com/search/mobile-sites/mobile-first-indexing?hl=ja
これってもしかして、遅延読み込みはダメなんですかね？ひとまず、追加で遅延読み込みを無しにして様子を見てみます。
それはそれで問題が起きました…