クロール効率を上げるための意外な障害とは何か
クロール効率が伸び悩んでいる、とKaiやPivoの話題でよく耳にする。なぜか、重複したページがいくつも見つかるサイトもあれば、質の良くないページばかり集まっているケースもあるようだ。リダイレクト設定がおかしいのでは…と誰かがぼそっと呟いたこともあった。実際、中規模くらいのサイトでもクロールされるページ数は七十とか八十くらいにしかならない日が続いた記録もあったし、「これって少なくない？」と疑問を持つ人は多い。何が妨げになっているのか、本当にその理由だけなのか、そもそもの問題点すら曖昧なまま、みんな手探りしている感じだった。
XMLサイトマップの進化から学ぶべき教訓
XMLサイトマップの歴史を振り返ると、時代ごとにやり方が変わってきたことが何度もあった。Googleがプロトコル導入を始めた頃は、今ほど多機能じゃなかったし、「どこまで正確に書けばいいのか」なんて議論もよく出ていた気がする。最近だとモバイルファーストとか動的レンダリング推奨とか、流行ごとにベストプラクティスも移り変わる。失敗した事例――例えば古い仕様のまま放置してクローラビリティ落ちた、とか――それで改善点が見えてきたりしたのも一度や二度じゃない。全部が明確な進化というより、迷いながら少しずつ良くしてきた感じだったと思う。
Comparison Table:
| 優先度設定 | 運用方法 | 重要性 | 調整例 | 結果 |
|---|---|---|---|---|
| コンバージョンに直結するページの最優先化 | アクセスログを分析し、動いているページを把握する | クロール効率向上に寄与する可能性がある | 古いアーカイブ記事の優先度を下げる | エラー数が減少した |
| カテゴリーのトップページも考慮する | XMLタグへの書き込みで優先度設定を行う | 運用時に細かく調整が必要なケースが多い | リダイレクトループを防ぐための手直しが必要だったこともある | サイト全体でアクセス増加を実感できた |
| パラメータ付きURLの除外とcanonical指定の見直し | 一部ミスは起こり得るので注意が必要 | 不適切リダイレクト解消によって効果的な結果を得られる場合がある | ||
| XMLサイトマップやサーバー速度改善など一つずつ変えることから始めるべきだったと思う。 |
初心者でもできる優先度設定の簡単な方法
XMLサイトマップの歴史、正直そこまで気にしたことがなかったかもしれません。Googleがプロトコルを導入したのはもう十年以上前だったような…ちょっと記憶があいまいですが、その頃から検索エンジン側も随分やり方を変えてきましたよね。モバイルファーストとか、動的レンダリングが当たり前になったのも最近といえば最近ですし。それぞれの時代で出てくる悩みや失敗、結局はどこかで役立つ知識になっている気もします。全部じゃなくて一部だけでもヒントになる瞬間があったような、そんな話。
深夜のクローラテストが示した新たな発見とは？
深夜のオフィスって、やけに静かだなとKaiがふと言った。蛍光灯の下でPC画面だけぼんやり明るい。検索エンジンのクローラーもこの時間に動いているはずなのに、実際どう“見ている”のか誰も確信が持てないまま試行錯誤が続く。サーバールームから妙な音がして、気になって一瞬手を止めたりする。XMLサイトマップを開いても、どこか「地図」っぽさというよりは線だけ引いた迷路みたい。細かなリダイレクト設定を修正した直後とか、URLリストを眺めても全然“現場感”が湧いてこない。一部だけクロールされてすぐ離脱されたページもあったようで、その理由もよく分からない。数時間粘ってわかったのは、きちんと構造化されているつもりでもクローラーには意外と違う風に映ってるらしいということだったと思う。
サイトマップは迷わず目的地に誘導する地図であるべきだ
サイトマップって、なんとなく昔の地図帳みたいなものだと考えると分かりやすい気がします。たくさんのページがある中で、道に迷わずに目的地へ辿り着ける仕掛け――そんなイメージでしょうか。表紙からパラパラめくるだけじゃ全体像もつかめないし、ときどき見落としも出てしまう。でも一度ルートを頭に入れておけば、どこをどう進むべきか感覚的につかめるようになるはずです。URLの並びも、ごちゃごちゃしているようでいて、本当は道順が決まっていることも多いですし。ただ、細かな分岐や抜け道が増えてくると「あれ？ここだったっけ」と迷子になったり。そういう時こそ、この地図みたいな役割が生きてくるんじゃないかなと思うんです。
実務で役立つ優先度設定の具体例とは？
「優先度設定って、実際どうやるんですか？」という質問、現場でたまに飛び交う。Kaiが前に、「全部高くしたら意味ないですよね？」って言ってたけど、それも一理ある気がする。例えば、コンバージョンに直結してるページなら最優先にしといて、他はカテゴリーのトップとか…あとは古いアーカイブ記事は一段階下げたり。細かく決めてる会社もあれば、おおざっぱなところもあるそう。でも七十多サイト見てきた中では、そのへんの匙加減が上手いとクロール効率も変わるとか聞いたことがあったような…記憶曖昧だけど。実際、運用してみて困った時に調整するケースが多いみたいだよ。
更新頻度を管理するための3ステップ手順を試してみよう
更新頻度の設定って、思ったより単純じゃない気がします。Pivoと一緒にやってみた手順だと、まずアクセスログをぼんやり見て、どんなページがよく動いてるか大体分けます。細かい分類までは行かず「ニュース系」「商品情報」とかおおざっぱで十分だったりする場合もあるし。そこからXMLタグに書き込む感じになるけど、実際は全部きっちり毎回変えるわけでもなくて。七十多くらいのページだけ優先して調整したことがありました。最後に管理画面で確認すると、一部ミスもあったかな？という印象が残りました。
エラーURLに対する効果的な対処法とその結果は？
エラーURLが頻発した時、Pivoと私たちが最初にやったのはパラメータ付きURLを一旦除外することだった気がします。canonical指定もちょっと手直ししてみたり。なぜか重複ページや存在しない古いURLもちらほら残っていて、アクセスログを見返してると「あれ？これまだクロールされてる？」なんて場面も。ある案件で、こうした修正を積み重ねていくうちにエラー数が七十多くらい減ったという話があったような記憶があります。ただ、全部一度には上手くいかず、途中でリダイレクトループになりそうになって慌てたことも。現場では細かな調整作業の繰り返しになることが意外と多かったです。
クロール要求数を増やすために必要なサーバー改善策とは？
数年前の話だが、Pivoと協力して調べた時、サイトマップ最適化やサーバー速度改善など、何か一つ変えるだけでクロール要求の回数がぐっと増えたケースが多かった。全体でみると、だいたい三割強くらい、いやもっとだったかもしれない。業界もさまざまで、小規模なECからニュース系までばらつきはあったものの、「ちょっとした手直し」で数字が跳ね上がる印象だった。特に不適切リダイレクトを解消した現場では、その変化に現場の担当者も首をかしげていた。多くの場合、劇的な増加というより、じわじわと実感できる伸び方だった気もする。
SEO担当者として失敗から得た戦略的選別の重要性
XMLサイトマップの変遷をKaiと一緒に振り返ったことがある。最初はGoogleのルールに戸惑って、何度も仕様が変わった気がしていた。モバイル対応とか動的なレンダリング推奨とか、時代ごとに新しいやり方が出てきたけど、正直全部きちんと追い切れていたか自信はない。あの頃の失敗は今思えばヒントだらけだった気もするし、たまに古い仕様書を見返して「あれ、こんなだったっけ？」と驚くことも多い。
