※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
ウェブサイトの管理者によって、AI企業によるウェブサイトのスクレイピングからサーバーを保護するためのシステム「Anubis」が設定されています。「Anubis」は、メールのスパム削減を目的とした提案スキームであるHashcashと同様のProof-of-Work（PoW）スキームを使用しています。
個人スケールでは追加の負荷は無視できる程度ですが、大規模なスクレイピングレベルでは負荷が累積し、スクレイピングのコストを大幅に高める仕組みとなっています。また、「Anubis」の利用にはモダンなJavaScript機能が必要であり、JShelterなどのプラグインによって無効化されるため、対象ドメインではこうしたプラグインを無効化する必要があります。
この記事のポイント
- 「Anubis」はAI企業による積極的なウェブスクレイピングからサーバーを保護するために導入されている。
- Hashcashに似たProof-of-Workスキームを採用し、大規模スクレイピングのコストを増加させる。
- プレースホルダーとしての解決策であり、将来的にはフォント描画などの方法を用いたヘッドレスブラウザのフィンガープリンティングと識別へ時間を割くことが目指されている。
- 利用にはモダンなJavaScript機能が必要であり、JShelterなどのプラグインを無効化する必要がある。
考察（筆者の見解）
事実: 「Anubis」は、ボット対策としてProof-of-Workを用いた仕組みを採用しており、将来的にはヘッドレスブラウザのフィンガープリンティングと識別を行うプレースホルダーとしての位置づけであることが示されています。推測: このようなProof-of-Work方式を用いたボット対策は、AI企業によるスクレイピング負荷を一時的に抑制できる一方で、JavaScriptが無効な環境やプラグインを利用する正当なユーザーに対してもアクセス上のハードルとなる可能性があります。今後はブラウザの挙動や特性に基づく識別技術へ移行していくと見られます。意見: 筆者は、AIクローラー対策と一般ユーザーの利便性を両立させるためには、単純な負荷賦課だけでなく、より精度の高いクライアント識別技術の確立が不可欠であると考えます。
コメント