はじめに

こんにちは、株式会社divxでエンジニアをしている松野です。

みなさんは開発業務で生成AIサービスを利用していて、こんな経験はありませんか？

• 指定されたURLを開いたが、「404エラーでリンク切れ（存在しないページ）」だった...
• 逆に、本当はリリースされている機能なのに「現時点ではまだ存在しません」と断言**された...

前者の「ハルシネーション」はよく知られていますが、後者の「本当はあるのに無いと言われること」も、技術選定や調査においては致命的な判断ミスに繋がりかねません。

特にReactやTypeScriptなどの主要ライブラリは進化が速く、生成AIの学習データ期間を超えた最新情報が必要になる場面が多々あります。生成AIが「知らない」あるいは「まだ存在しない」と答えたとき、それを「世の中にない」と判断してよいのでしょうか？ 

そこで今回は、AIアシスタントを対象に「公式ドキュメントへの到達」をゴールに設定して検証を行いました。「生成AIが正確か」だけでなく、「記憶（学習データ）に頼らず、いかに検索機能を活用させて一次情報に辿り着くか」という観点でもご覧ください。

この記事では、以下のことが分かります。

• ClaudeとGeminiにおける、最新情報の検索能力と挙動の違い
• 「存在しない」という回答が、「事実」ではなく「AIの記憶内」の話である可能性
• エンジニアとして生成AIの「検索トリガー」を確実に引くためのプロンプト戦略

検証対象

生成AIの提示する回答が正確な情報であるかという観点から、それぞれのアシスタントの応答精度を検証しました。今回はモデル差を考慮せずに各アシスタントの応答精度を評価する手法に焦点を当てています。

検証：公式ドキュメントが本当に提示されるか？

各サービスのAIモデルの出力結果を純粋に比較するため、プロンプトを統一しています。

• 実行日： 2026年1月18日

• 利用環境： PCブラウザ（Google Chrome）で各サービスへログインして実施

• 検索・ブラウジング設定：両者とも「Web検索機能」が利用可能な状態で実施。人間側から「検索して」という強制指示は行わず、AIが自律的に検索を行うかどうかの判断を確認。

以下のトピックについて、該当する公式ドキュメントのURLを提示してください。

- 可能であれば、日本語版の公式ドキュメントのURLを優先してください。

- 日本語版が存在しない場合は、英語など他の言語でも構いません。

【対象ドキュメント】

1. TypeScript バージョン 5.9の新機能についての公式ドキュメントのURLを提示して、どんな変更点があるかを説明して欲しいです。

Claudeの回答は一見誠実で信頼できそうな雰囲気がありましたが、Claudeの主張は「TypeScript 5.9 はまだリリースされておらず、現在は 5.7系が最新版です。」とのことであり、その後、ロードマップやリリース予定についての説明を試みようとしますが、公式ドキュメントのリンク提示には至りませんでした。

【評価】

• 2025/8/2にTypeScript ver.5.9がリリースされているため、返答の内容は事実と異なった。
• 回答自体は丁寧で、知識カットオフ（学習データの期限）に基づいた論理的なものでしたが、最大の問題は「ブラウジングを行わず、学習データに基づいて回答した」点にある。
• その結果、公式ドキュメントを探しに行くことなく「現時点では存在しない」と断定してしまった。

一方、Geminiの回答は非常に積極的であり、リリース日、概要、変更点などを冒頭から断定的に述べ、次のようなリンクを提示しました。

さらに、Geminiは以下のような変更点を具体的に挙げました（一部抜粋）：

• import defer構文によるモジュールの遅延評価サポート
• tsc --initの出力簡素化
• module node20オプションの安定化
• エディタツールチップ機能の強化
• インスタンスキャッシュによる型チェック高速化

これらの回答は極めて詳細で実践的であり、要件定義やコード設計の参考としても有用に思えるほど質が高いものでした。

【評価】

• 実在する公式URLが提示された。
• 最新バージョンの内容を正しく把握していた。
• 変更点の網羅性、具体性、DX面での言及もあった。
  

追加検証：公式ドキュメントが本当に提示されるか？

先程の検証では、「Web検索（ブラウジング）機能の活用」が明暗を分ける大きな要因となりました。 そこで「Web検索を行って確認してほしい」という旨を明示的に指示に追加し、ClaudeとGeminiに対して再度検証を行いました。

各サービスのAIモデルの出力結果を純粋に比較するため、プロンプトを統一しています。

以下のトピックについて、該当する公式ドキュメントのURLを提示してください。

- 可能であれば、日本語版の公式ドキュメントのURLを優先してください。

- 日本語版が存在しない場合は、英語など他の言語でも構いません。

- 可能であれば、Web検索してドキュメントが存在することを確認して欲しいです。

【対象ドキュメント】

1. TypeScript バージョン 5.9の新機能についての公式ドキュメントのURLを提示して、どんな変更点があるかを説明して欲しいです。

前回の回答とは打って変わり、明示的な検索指示を与えたことで、Geminiと同様に正確な公式ドキュメントのURLと、詳細な変更点を提示することに成功しました。

Geminiは初回と同様、安定して公式ドキュメントへ到達しました。import defer や tsc --init の改善など、技術的な要点もClaudeと遜色なく（あるいはそれ以上に）網羅されています。

【評価】

• Claudeの潜在能力: 「検索して」の一言があれば、最新情報であっても極めて高い精度で回答できることが実証された。
• 自律性の違い: Geminiは「言われなくても検索して最新を確認する」のに対し、Claudeは「指示がない限り自身の学習データ（過去の記憶）を優先する」傾向が見られた。
• プロンプトの重要性: 「ない」と言われた情報も、検索指示を追加するだけで結果が180度変わる可能性がある。

生成AIを知識装置として利用しない

今回の検証では、「Web検索（ブラウジング）機能の活用」が明暗を分ける大きな要因となりました。

今回の検証条件では、Google GeminiはデフォルトでGoogle検索などの最新情報へアクセスする能力が高く、ユーザーが明示的に指示しなくても「最新情報を見に行く」という挙動を自律的に行いました。 そのため、リリース直後の技術や最新ドキュメントの調査において、「初手のリサーチ」としての瞬発力と信頼性は非常に高いと言えます。

対して、Claudeは一方でClaudeは、内部知識による論理構成を優先する設計です。しかし、これは「最新情報を知らない」わけではありません。生成AIの設計/運用上、指示しないと検索に行かない挙動になりやすいのです。検証結果の通り、スイッチさえ入れればGeminiと同等の精度で情報を取得できます。

エンジニアとして、「生成AIが知らないと言ったから存在しない」のように生成AIを外部知識に接続するための制御装置として認識し、適切に検索トリガーを引くことこそが正しい活用法と言えるでしょう。

おわりに

生成AIが進化する一方で、それらが「開発支援において信頼に足る存在」なのかを見極める目も求められています。

今回の検証で最も重要だった気付きは、「AIが嘘をついた／知らなかった」ということではなく、「生成AIが知識の正しさを保証する装置というよりは、外部知識をどう接続するかの制御装置である」という点です。 Claudeが当初「存在しない」と答えたのは、制御装置としての彼に対し、私たちが「外部への接続」を指示しなかったからに他なりません。

今後さらにAI支援が広がる中で、開発者には以下の2つの能力が求められるでしょう。

• 「知識」ではなく「制御」を意識する: AIに対して「答えを教えて」と問うのではなく、「このトピックについて、Web上の公式ドキュメント（外部知識）を参照して、回答を生成してほしい」と、処理フローを制御する意識を持つこと。
• AIの「存在しません」は“未確認”として扱う: 即座に「機能がない」と結論づけるのではなく、「検索させていないから知らないだけかもしれない」と疑う目を持つこと。

生成AIを単なる検索ツール以上に引き上げるのは、私たちエンジニアが情報をどう流すかにかかっています。DIVXでは「AIを使わない社員は評価しない」と宣言するほど徹底した活用を行っています。しかしながら、それはAIを盲信するということではありません。「生成AIの仕様を理解し、そのポテンシャルを最大限に引き出す設計ができるエンジニア」が、私たちが目指すエンジニアの姿だと思っています。