この記事はAhrefs公式ブログの日本語訳です。
原文：＜Ahrefs crawlers are now rendering web pages and executing JavaScript＞
（著者：＜Tim Soulo＞/ 原文の最終更新日：＜September 7, 2017＞）
※フルスピード註：この記事は2017年9月7日時点の記載をもとに翻訳しています。Ahrefs公式ブログの記事は今後追記・再公開されることがありますことをご了承ください。
3 年近く前、Google は「JavaScript を実行する一般的なブラウザで表示される内容を解釈する」ために JavaScript を使用して「相当数の Web ページをレンダリング」していると公式に発表しました。
残念ながら、Ahrefs は 2017 年まで HTML に含まれるバックリンクのみをクロールしていました。
特に SEO コミュニティは私たちのバックリンク データを非常に信頼しており、私たちを「ゴールド スタンダード」とさえ呼んでいたので、これは私たちを非常に悩ませました。
そこで今年初め、Dmitry (当社の創設者兼 CEO) は、Ahrefs が競合他社の中で最初に JavaScript リンクをクロールする必要があると判断しました。
それは先月簡単に達成できました。
「JS」タグは、対象ページでJavaScriptを実行中にリンクが見つかったことを意味します
JavaScript を初めて使用する場合
簡単に言うと、JavaScript は Web ページを読み込むときにブラウザによって実行されるコードであり、多くの場合、Web ページの外観やコンテンツが変更されます (つまり、ページのソース コードに JavaScript が含まれている場合)。
この「ブラウザ レンダリング」は、当時の Google クローラーにとって一定の課題を課していました。なぜなら、Google クローラーはブラウザを使用せず、人間と同じように Web ページを見なかったからです。そのため、JS によって生成されたページの一部にバックリンクが隠されている場合、それを見ることができませんでした。
しかし、もう何年も経ちますが、そうではありません。
GoogleはJS内のリンクを「カウント」しますか?
Mariya Moeva (Google の検索品質チームのメンバー) によると、JS で見つかったリンクは、Google によってプレーン HTML のリンクと同じように扱われます。
そして、誰もが知っているように、リンク プロフィールはGoogle の 3 つの主要なランキング要素の 1 つです。
Ahrefs は Google と同じ方法で JS をレンダリングしますか?
残念ながら、Google は JavaScript の処理方法について多くの情報を提供していません。
しかし、Onely のチームは最近、 Google (およびその他の検索エンジン) がさまざまな JS フレームワークをどのように処理するかを研究する素晴らしい実験を実施しました。
彼らは、シンプルな Web サイトhttp://jsseo.expertを作成しました。この Web サイトでは、各ページが異なる JS フレームワークで構築され、異なる検索エンジンがそれをクロールできるようにしました。
これらのフレームワークのほとんどから JS を実行できる検索エンジンは、Google と Ask だけでした。
私たちはこの挑戦を受け入れ、JS クローラーを使用してこの同じ Web サイトをクロールしました。これにより、そこに存在するすべてのページがレンダリングされました (上の画像でわかるように)。
したがって、Ahrefs は Google と同じ方法で JS をクロールしていると言っても過言ではありません。
しかし、それは JS フレームワークの違いだけではありません。Web ページをレンダリングする際には、他にも考慮すべきことがかなりたくさんあります。Will Critchlow が Moz での最近の記事で概説したものと同様です。
Ahrefs JS クローラーに関するこれらの質問に対する答えは、ほぼ同じです。
Ahrefs はすべての Web ページで JS を実行しますか?
現在、ページに 15 を超える参照ドメインが存在する場合にのみ JavaScript が実行されます。そして、それを行うための専用サーバーが約 400 台あります。
Dmitryが以前SEL のインタビューで言ったように:
「当社の規模ですべてのページに対して JS を実行するには、10,000 ～ 15,000 台のサーバーが必要ですが、当社の顧客はまだその費用を支払う準備ができていないと考えています。」
そして、その制限があっても、現在、私たちは1 日に約 60 億ページをクロールし、そのうち約 3,000 万ページで JS を実行しています。
その結果、1 日あたり約 2 億 5,000 万の「JS」リンクが見つかります (これらは JS を実行した後にのみ発見されたリンクであり、ページの生の HTML には含まれていませんでした)。
まとめ
Ahrefs の核となる価値観の 1 つは、常にデジタル マーケティングの専門家に最高かつ最も正確なデータを提供することです。
私たちは、お客様がビジネスやマーケティングに関するあらゆる種類の意思決定を行うために Ahrefs データに大きく依存していることを承知しています。したがって、私たちは可能な限りあらゆる方法でデータの整合性と規模を改善し続けるつもりです。
いつものように、このアップデートに関するフィードバックがありましたら、コメント欄にお知らせください。
著者
Tim は Ahrefs の CMO です。しかし最も重要なことは、彼が会社の最大のファンであり、真の伝道者であるということです。
コメント