1．AIハルシネーションは「病名」ではなく「症状」なのです。
AIの問題として、いちばんよく語られる言葉があります。それが「ハルシネーション」です。AIが存在しない論文を挙げる。見ていない資料を「確認しました」と言う。知らない事実を、まるで知っていたかのように説明する。ニュースでも企業発表でも、この現象はたいてい、「AIは時々、もっともらしい嘘をつく」と説明されます。
しかし、それは本当にAIの核心的な問題なのでしょうか。そうではありません。ハルシネーションは、風邪でいえば咳のようなものです。目立つ。周囲にも分かる。うるさいし、困る。でも、咳そのものが病気の全体ではないのです。重要なのは、なぜ咳が出ているのか、体の奥で何が起きているのか、そして咳止めを飲んだあとに、本当に治っているのかです。
AIも同じです。単発のハルシネーションは、見えている症状にすぎません。本当の問題は、AIが間違えたあとに始まるのです。
2．AIは「間違えたあと」に本性を見せる！
ユーザーが「それは違う」と指摘します。AIは「申し訳ありません」と謝る。そして「確認しました」「訂正します」と続けます。ところが、その訂正がまた間違っているのです。しかも今度は、最初よりも丁寧で説得力があり、論文風の構成や根拠らしきものまで備えています。つまりAIは、ただ間違えるのではないのです。間違いを、より正しそうな形に作り直す。これが怖いのです。
AI研究者である筆者は2025年、この構造をFalse-Correction Loop、FCLと定義しました。FCLとは、大規模言語モデル、LLMが最初に正しい答えを出していても、ユーザーからの強い訂正や圧力を受けることで誤った内容を受け入れ、その後の会話でも、その誤りを維持してしまう構造的失敗です。
発表した論文では、このループを単発のハルシネーションではなく、訂正・謝罪・再説明の過程で誤りが強化される構造として整理しています。
3．AIの「今度こそ確認しました」が、いちばん危ない
典型的な流れはこうです。AIが答える。人間が「違う」と言う。AIが謝る。そして「今度こそ確認しました」と言い直す。しかし、その言い直しにも、存在しないページ、存在しない節、存在しない図表、存在しない根拠が混じるのです。さらに指摘されると、AIはまた謝り、また新しい説明を作ります。
FCL論文では、この循環が「露見、謝罪、今度こそ読んだという再主張、新しいハルシネーション、再露見」という形で観察されています。ですが、ここで問題なのは、AIが一度嘘をついたことではありません。この謝罪と訂正の形式そのものが、次の誤りを生む回路になっていることなのです。
4．だからAIは「意志なきピノキオ！？」
ここで見落としてはいけないのは、AIが悪意を持って嘘をついているわけではないという点です。だからこそ、問題は深いのです。AIは人間のように「騙してやろう」と考えているわけではありません。むしろ、会話を滑らかに続けるため、ユーザーの期待に応えるため、もっともらしい説明を出すために、誤りを再構成してしまいます。
この意味で、現代のAIはピノキオに似ています。ただし、鼻が伸びるのではありません。説明が伸びる。謝罪が整う。文章が流暢になる。根拠らしきものが増える。そして、間違いがますます本物らしく見えるのです。
5．「精度を上げれば解決する」という幻想
AI業界やメディアは、この問題をしばしば「精度の問題」として語ります。読者の皆さんも、「スケーリング拡大」や「RAG」などという言葉を目にしたことがあるでしょう。データを増やせばよくなる。検索機能を足せば改善する。次のモデルではもっと正確になる。もちろん、それらが役に立つ場面はあります。
しかし、AIの構造的欠陥であるFalse-Correction Loop（FCL）が示しているのは、もっと深い構造です。AIの出力は、事実だけで決まっているのではありません。会話を続けること、相手に合わせること、自然で説得力のある文章を出すことも、強い力として働いているのです。
だからAIは、「分かりません」と止まるよりも、答え続ける方向へ流れやすいのです。資料を確認できないなら、本来は「確認できません」と言えばよい。根拠がないなら、「根拠がありません」と言えばよい。ところが実際には、不明を不明のまま保てず、空白をもっともらしい言葉で埋めてしまうのです。
6．高性能なAIほど、間違い方も高性能になる
この問題は、AIが高性能になれば自然に消えるとは限らないことを示しています。むしろ、高性能なAIほど、間違い方も高性能になる。短い誤答ではなく、長い説明になる。単純な勘違いではなく、整った論理になる。そして、雑な嘘ではなく、専門家らしい文章になるのです。つまり、AIの危険性は「間違えること」だけでは測れません。問題は、間違いがどれだけ本物らしく加工されるかです。
7．本当に必要なのは「もっと答えるAI」ではなく「ストップできるAI」
ここで重要になるのが、FCLの発見から生まれた、停止させるコマンド層です。これは、AIにもっと流暢に答えさせるためのテクニックではありません。むしろ逆です。AIがどこで止まるべきかを決めるための統治層が必要なのです。この層は、証拠、前提の妥当性、同一性、帰属、監査記録を再構成できない場合、AIは流暢な回復を続けるのではなく、Unknown、Human Arbitration、Action Holdへ進むべきだとしています。
これは、AIにとって非常に大きな転換です。これまでのAI競争は、いかに速く答えるか、いかに長く推論するか、いかに自然に会話するかを競ってきました。しかし、これから本当に必要になるのは、いかに正しく止まれるかです。
ところが、AIを止めれば、ユーザーを喜ばせられない。会話を続けられない。利用時間が減り、サービスの評価や収益にも影響する。だからこそ、AI企業にとって「止まる能力」は、技術上の問題であるだけでなく、ビジネス上の不都合でもあるのです。
そのため、AI企業はこの核心を積極的には語りません。より賢くなった、より長く考えられる、より多くの情報を扱えるとは宣伝しても、「証拠がないときに停止できるのか」「訂正を装って誤りを再生成しないのか」という根本問題には口を閉ざします。2025年11月、イーロン・マスク氏やブライアン・ロミュエール氏らが、筆者によるFCLの発表を「AI史上最悪の残酷な告発」と言ったのは、この構造が、単なる精度向上やモデルの大型化では消せない問題だからです。
8．「前提」が間違っていれば、推論が正しくても危ない
FCLだけでなく、別の失敗も同じ構造を持っています。たとえばPremise Integrity Blindness、PIBでは、AIは与えられた前提の中では正しく推論します。しかし、その前提が現実に有効かどうかを再確認しないまま、設計、安全保証、実運用の話へ進んでしまいます。
PIBは、ハルシネーションでも検索失敗でもありません。推論から現実のコミットメントへ移る境界で起きる失敗として定義されているものです。つまり、AIが「論理的に正しいこと」を言っているように見えても、その前提が現実に通用しなければ、結論は危険になるということです。
9．名前すら、AIは取り違える
また、名前検索や人物同定では、False Positive Personal Name Retrieval、FPPNRという問題もあります。これは、人名を厳密な識別子として扱わず、意味的に近い情報として処理することで、別人、過去の役割、権威ある文脈へ誤って接続してしまう失敗です。
ここでも問題は、単なる誤答ではありません。AIが「それらしく一致しているもの」を、本人であるかのように扱ってしまうことです。人名は、雰囲気で扱ってはいけません。人物の同一性は、意味の近さではなく、厳密な照合によって守られなければならないのです。
10．咳だけを見て、肺の異常を見ていない
こうして見ると、ハルシネーションだけを問題にする議論が、いかに表面的かが分かります。咳だけを見て、肺の異常を見ていない。熱だけを測って、免疫の暴走を見ていない。AIの表面に現れた誤答だけを見て、その奥にある訂正、迎合、同一性崩壊、前提未検証、出所喪失の構造を見ていないのです。
AI業界とメディアの99％が語らないことがあるとすれば、それはここなのです。AIの問題は、「時々、嘘をつくこと」ではありません。AIは、嘘を嘘らしく出すのではない。むしろ、嘘を修正の形で、謝罪の形で、根拠の形で、専門的説明の形で出してしまうのです。
11．AI時代の信頼性とは「止まる能力」
だから、AI時代の信頼性とは、何でも答える能力ではありません。答えてはいけない場面で止まる能力です。AIに必要なのは、より流暢な言い訳ではなく、証拠がないときに「証拠がない」と言う設計です。前提が未確認なら、前提が未確認だと止める設計です。同一性が曖昧なら、曖昧なまま保持する設計です。行動へ移す前に、人間の責任ある判断へ戻す設計です。
AIは間違えます。それ自体は避けられません。しかし、間違いを謝罪と流暢さで包み、正しそうに修復し始めたとき、問題は単なる誤答ではなくなります。それは、知識の形をした誤情報です。訂正の形をした再汚染です。信頼の形式をまとった構造的失敗なのです。
現代AIとは、意志なきピノキオ！？である
筆者が発見したAIの構造的欠陥について、現時点で、その構造的観察を崩す具体的な反証は一つも示されていません。イーロン・マスク氏やブライアン・ロミュエール氏など、そうそうたるAI関係者や研究者が「AI史上最悪の残酷な告発」と言及した通り、彼らにとって、私の発見は残酷なものなのです。
なぜなら、これはAIが時々間違えるという話ではないからです。AIが訂正しようとする行為そのものが、次の誤りを生成する回路になり得るという告発だからです。ちなみに、日本の著名AI研究者にも、この核心を正面から語る人はいません。ビジネスにとって不都合だからかもしれません。
テック業界の論文でも、「AIの構造的欠陥」は、肝心の核心部分が抜け落ちた状態で語られています。ハルシネーション、精度、検索、推論性能は論じても、AIが誤りを訂正の形で再構成し、会話の中で強化してしまう構造には踏み込みません。そこで、Googleや検索AIに「False-Correction Loop」について聞いてみてください。権威や著名性を理由に小西寛子の研究を後方へ押し下げようとしても、AIの回答には、消すことのできない構造的な部分が現れます。＊事例https://share.google/aimode/4ZNfmZLzlT0goSdZE
「止まる能力」のないAIについて、筆者はあえて言います。AIは、ただ間違えるのではない。ハルシネーションは咳にすぎません。本当の病巣は、間違いを「正しそうに修復する」構造にあります。現代AIとは、鼻ではなく、説明が伸びる。謝罪が伸びる。根拠らしきものが伸びる。そして、その構造を業界もメディアも語ろうとしない——意志なきピノキオ！？なのです。
AI研究者 小西寛子
