AhrefsのSite AuditツールがWebサイトをクロールしながらJavaScriptを実行できるようになった

この記事はAhrefs公式ブログの日本語訳です。
原文：Ahrefs’ Site Audit tool can now execute JavaScript while crawling your website
（著者：Nick Churick / 原文の最終更新日：January 18, 2018）
※フルスピード註：この記事は2018年1月18日時点の記載をもとに翻訳しています。Ahrefs公式ブログの記事は今後追記・再公開されることがありますことをご了承ください。

先月、私たちは期待されていたサイト監査ツールをリリースしました。私たちは、すぐに JavaScript レンダリングをサポートすることを約束しました。

そして今、それが実現しました！

当社のサイト監査ツールは、クロールするページで JavaScript を実行し、Web サイト訪問者と同じようにコンテンツを確認できるようになりました。

クローラーにとって JavaScript のレンダリングが重要なのはなぜですか?
どのように機能するのでしょうか?
Site Audit ツールは、JavaScript で生成されたページのすべての部分をクロールしますか?
最新の JS フレームワークで構築された Web サイトをクロールしますか?
トラッカーや広告が表示されるのでしょうか?
まとめ

クローラーにとって JavaScript のレンダリングが重要なのはなぜですか?

現在、多くの Web サイトのページには JavaScript によって生成された動的 HTML が含まれています。これにより、ウェブマスターは動的コンテンツを含む見栄えの良いページを作成できます。

静的 HTML のクロールは非常に簡単なタスクです。最も簡単に言えば、Web クローラーはページのソースコードを読み取るだけです。すべてのテキストコンテンツとすべてのリンクがそこにあります。

しかし、JavaScript で生成されたページのソースコードはかなり異なります。

このページを例として使用します: PointBlankSEO の Jon Cooper によるリンク構築戦術の完全なリスト。

Ahrefs Site Explorer には、ahrefs.com へのリンクがあると表示されます。

そして、そのページを開くと、そこにあることがわかります。

しかし、ページのソースコード内で「ahrefs」に関する記述を見つけようとすると…

一言も言及されていません。

このリンクとそのページのほとんどのコンテンツは JavaScript によって生成されます。

私たちの Site Explorer は、このリンクを報告するのに十分賢明でした。なぜなら、少し前に(Google とよく似た方法で) JS のレンダリングを開始したからです。

当社のサイト監査ツールでもそれができるようになりました。

ただし、Site Explorer はまだ、見つかったすべてのページで JS を実行するわけではなく、より評判の高いページを優先しますが、Site Audit ツールは、監査する Web サイト上の任意のページで JavaScript で生成されたコンテンツをレンダリングします。

そのため、現在、JS で構築された Web サイトは、サイト監査ツールにとって問題になりません。静的 HTML サイトの場合と同様に、そのような Web サイト上で 100 以上の事前設定された SEO の問題を検出します。

どのように機能するのでしょうか?

通常、当社のクローラは、訪問者のブラウザでレンダリングされるのと同じ方法で、JS を利用した Web サイトを表示できます。

非常に単純化したシーケンスは次のとおりです。

ページのドキュメントオブジェクトモデル (DOM) が読み込まれます。DOM は動的に生成されるページの基礎です。
ページのレンダリングに必要なスクリプトとリソースがロードされます。
JavaScript が実行され、DOM に変更が加えられ、ページの HTML コードが形成されます。
Site Audit クローラーは 3 秒間待機し、生成された HTML コードのスナップショットを取得します。

JavaScript ページをクロールする際の最も困難な点は、JavaScript が Web ブラウザで実行されるのと同じ方法で、クローラー自体によって実行される必要があることです。

古いコンピューターで最新の Facebook を閲覧しようとしたことがありますか? 遅いですよね？これは、JavaScript が Facebook サーバーではなくデバイス上で実行されるために発生します。

動的 HTML のクロールには、静的ページのクロールよりも多くのリソースが必要になるのはこのためです。

しかし、Ahrefs にはこれらのリソースがあります。

Site Audit ツールは、JavaScript で生成されたページのすべての部分をクロールしますか?

完全ではありません。場合によっては、クローラーが動的に生成されたページからすべての可能なデータを取得できないことがあります。

ページの読み込み後しばらくしてからスクリプトが実行される場合があります。したがって、クローラーが HTML のスナップショットを取得した後にコードが生成された場合、そのコードはクロールされません。
スクロールトリガースクリプトとクリックトリガースクリプトがあります。Site Audit クローラーは、スクリプトをトリガーするためにページで使用される可能性のあるスクロールダウンまたはクリックアクションをシミュレートしません。下にスクロールするとさらに多くのコンテンツが表示される Facebook の無限スクロールが良い例です。

したがって、リンクが上記の場合にのみ表示される場合、そのリンクはクローラーによって検出されず、追跡されません。

最新の JS フレームワークで構築された Web サイトをクロールしますか?

はい。Site Explorer クローラーと同じ方法です。

トラッカーや広告が表示されるのでしょうか?

いいえ。当社のクローラーは、Google Analytics や Piwik (旧 Piwik) などのトラッカーコードを実行しません。

広告もトリガーされません。

Site Audit ツールを使用して JS を利用した Web サイトをクロールするために他に知っておくべきことは何ですか?

まず、クロール設定で「JavaScriptを実行する」設定をオンにする必要があります。

また、JavaScript のクロールには静的 HTML のクロールよりもはるかに時間がかかることにも注意してください。これは主に JS の実行に必要なタイムアウトが原因です。ただし、Web サイトに新しいプロジェクトを設定するときに並行リクエストの数を増やすことで、Site Audit の全体的なクロール速度を向上させることができます。