robots.txt で Google の AI 関連のクローラを止めたのに、アクセスログに Google-Agent や Google-NotebookLM の名前が残っている。この状態は、robots.txt の書き間違いとは限りません。Google のドキュメント「Google ユーザー トリガー フェッチャーの一覧」は、ユーザーの操作で動くフェッチャーについて「通常このようなフェッチャーでは robots.txt ルールは無視されます」と書いています。
この記事では、このフェッチャーが Googlebot とどう違うか、ログに出る名前ごとに何のために来るか、店のサイト側で打てる手を順に見ます。Google-Extended と AI による概要の関係はGoogle-Extended の記事、CDN でまとめて止めたときの副作用はCDN でのブロックの記事で扱っています。
ユーザー トリガー フェッチャーとGooglebotの違い
Google は「Google のクローラーとフェッチャーの概要」で、自社のクローラーとフェッチャーを 3 つのタイプに分けて説明しています。分かれ目は、誰の都合でアクセスが始まるかと、robots.txt をどう扱うかです。
| タイプ | robots.txt の扱い | 例 | 逆引き DNS の末尾 |
|---|---|---|---|
| 一般的なクローラー | 自動クロールでは常に従う | Googlebot | googlebot.com |
| 特殊なケース用のクローラー | 従う場合と従わない場合がある | AdsBot | google.com |
| ユーザー トリガー フェッチャー | 無視される | Google サイト検証ツール | gae.googleusercontent.com か google.com |
「robots.txt ルールは無視されます」の意味
ユーザー トリガー フェッチャーは、エンドユーザーの操作をきっかけにページを取りに来ます。Google の概要ページは、これを「エンドユーザーがフェッチをトリガーする、ツールおよびサービスの機能の一部です」と定義しています。Google 側が自分で巡回を始めるわけではありません。
robots.txt を無視する理由も、同じ点にあります。リクエストの確認方法のページは「フェッチはユーザーによってリクエストされたものであるため、このようなフェッチャーでは robots.txt ルールは無視されます」と書いています。一覧ページの同じ文には「通常」が付いています。どのフェッチャーが例外になるのかは、一覧ページには書かれていません。
Google-Extendedはフェッチャーの名前ではない
robots.txt に Google-Extended を書いても、ログにその名前が出ることはありません。一般的なクローラーの一覧は「Google-Extended には、個別の HTTP リクエスト ユーザー エージェント文字列はありません」と書いています。Google-Extended は「スタンドアロンのプロダクト トークン」です。Google がクロールしたコンテンツを、Gemini のモデルのトレーニングとグラウンディングに使ってよいかを伝える印として働きます。
一方の Googlebot のような一般的なクローラーについて、一覧は「自動的にクロールする際、クローラーは常に robots.txt ルールに従います」と書いています。robots.txt が意思を伝える相手は、この自動のクロールです。
ログに出るユーザー トリガー フェッチャーの一覧
Google の一覧ページは、9 つのフェッチャーについて、ログに出るユーザー エージェントと用途を載せています。ログを名前で探すときは、ユーザー エージェントの中の次の文字列を目印にします。
| 名前 | ログで探す文字列 | 何のために来るか |
|---|---|---|
| Google-Agent | Google-Agent | Google 上のエージェントがユーザーの依頼でウェブを操作する |
| Gemini Notebook | Google-GeminiNotebook | ユーザーがソースに指定した URL を取りに来る |
| Google Read Aloud | Google-Read-Aloud | ユーザーの求めでページを読み上げる |
| Google メッセージ | GoogleMessages | チャットに貼られた URL のプレビューを作る |
| Google サイト検証ツール | Google-Site-Verification | Search Console の確認トークンを取りに来る |
| Feedfetcher | FeedFetcher-Google | Google ニュースや WebSub のフィードを取りに来る |
| Google Pinpoint | Google-Pinpoint | 文書コレクションのソースに指定された URL を取りに来る |
| Google パブリッシャー センター | GoogleProducer | パブリッシャーが渡したフィードを取りに来る |
| Chrome ウェブストア | Google-CWS | 拡張機能やテーマの情報にある URL を取りに来る |
Google-Agentはユーザーの依頼で動くエージェント
Google-Agent について、一覧ページは「ウェブをナビゲートし、ユーザーのリクエストに応じてアクションを実行するために、Google インフラストラクチャでホストされているエージェントが使用します」と書いています。ユーザー エージェントはモバイルとデスクトップの 2 種類で、どちらにも compatible; Google-Agent が入っています。
どちらの文字列にも Chrome/W.X.Y.Z の部分があります。一般的なクローラーの一覧は、これをプレースホルダと説明しています。そのうえで、ログで探すときは「バージョン番号のワイルドカードを使用します」と書いています。
NotebookLMはGemini Notebookの名前で来る
一覧ページの Gemini Notebook の項は、いまのユーザー エージェントを Google-GeminiNotebook としています。以前のエージェントとして Google-NotebookLM を載せ、「2026 年 8 月までサポート対象」と書いています。取りに来るのは「Gemini Notebook ユーザーがプロジェクトのソースとして提供した個々の URL」です。
読み上げのアクセスはクロールではない
Google Read Aloud のページは、このサービスについて「エンドユーザーが TTS を有効にしてページにアクセスしたときにアクティブになります」と書いています。さらに「Google Read Aloud はウェブ クローラーではありません」とし、「リンクはたどりません」と続けています。
一覧に無い名前もある
この一覧は全部ではありません。一覧ページは「このリストはすべてを網羅しているわけではなく、ログファイルに表示される可能性が高く、質問を受けているリクエスタのみを記載しています」と断っています。確認方法のページも、Apps Script などを例に「このリストにない IP アドレスを使用して Google がサイトにアクセスする場合があります」と書いています。その場合は、通常の Google の IP アドレスのリスト（goog.json）と照合するよう案内しています。
店のサイト側でできること
ユーザー トリガー フェッチャーに robots.txt で断る意思を伝える手は、一覧ページの説明の範囲では使えません。サイト側で打てる手は、本物の Google かを確かめる、読み上げを断る、署名で Google-Agent を見分ける、の 3 つです。
本物のGoogleかをhostコマンドで確かめる
最初に、ログの名前が本物の Google かを確かめます。一覧ページは「ユーザー エージェント文字列はなりすましが可能です」と注意しています。確認方法のページが示す手順は次の 4 段です。
- ログの IP アドレスを
hostコマンドで逆引きする - 返ってきたドメイン名が
googlebot.com・google.com・googleusercontent.comのどれかであるかを見る - そのドメイン名を
hostコマンドで正引きする - 正引きの結果が、ログの元の IP アドレスと同じかを見る
host <ログに残った IP アドレス>
host <1 行目で返ってきたホスト名>
ユーザー トリガー フェッチャーの逆引き DNS は、Google 所有かユーザー所有かで ***-***-***-***.gae.googleusercontent.com か google-proxy-***-***-***-***.google.com に一致します。件数が多いときは、公開されている IP 範囲と照らす方法もあります。ユーザー トリガー フェッチャーの範囲は user-triggered-fetchers.json・user-triggered-fetchers-google.json・user-triggered-agents.json の 3 つで公開されています。
読み上げはnopagereadaloudで断れる
ユーザー トリガー フェッチャーのうち、Google が断り方を示しているのは読み上げです。Google Read Aloud のページは「robots.txt ファイルを使用してオプトアウトすることはできません」としたうえで、nopagereadaloud のメタタグを使うよう書いています。
<meta name="google" content="nopagereadaloud">
タグを置いても、アクセスがすぐゼロになるわけではありません。原文は、メタタグを認識するために「埋め込みリソースを含むページに事前にアクセスしてレンダリングすることがあります」と書いています。続けて「ページでメタタグが認識されると、その後のリクエスト数が自動的に減ります」とあります。
Google-AgentはWeb Bot Authの署名で見分けられる場合がある
Google は、Google-Agent の一部のリクエストに暗号の署名を付ける試験運用をしています。Web Bot Auth のページは「Google-Agent によって行われたリクエストのサブセットは、Web Bot Auth で署名されます」と書き、その場合は https://agent.bot.goog として認証されるとしています。
このページの目的は、Google の AI エージェントを見分けて許可リストに入れることです。原文は「主要な bot 検出サービス、CDN、WAF は Web Bot Auth をサポートしています」と書き、具体的な手順はプロバイダに問い合わせるよう案内しています。署名の付かないリクエストもあるので、原文は IP ベースの検証に戻ることを忘れないよう書いています。署名を自分で検証する手順は、この記事の対象外です。
止めるための書き方は載っていない
Google-Agent や Gemini Notebook を断るための指示は、今回読んだ Google のドキュメント 6 本には書かれていません。断り方が書かれていたのは、読み上げの nopagereadaloud だけでした。
まとめ
robots.txt で止めたのにログに残る Google の名前が一覧にあるなら、それはユーザーの操作で来るフェッチャーで、robots.txt の書き間違いを疑う前に名前を確かめる場面です。本物かどうかは host コマンドの逆引きと正引きで確かめられ、読み上げだけは nopagereadaloud で断れます。
DigitalGOAT編集部としては、いまはログに出ている名前を上の一覧と照らし、その名前を止めたいのか、見分けて記録したいのかを決める段階だと考えています。