AIは、なぜ堂々とまちがえるの？
子どもが、AIに何かを聞いた。すらすらと答えが返ってきた。
あとで調べてみたら、その本はどこにも存在しなかった。
おかしいのは、まちがえたことではない。
いちども、自信がなさそうにしなかったことだ。
この読み物は、お子さんと並んで読む作りです。AIにくわしくなる必要はありません。ひとつのしくみを知るだけで、あの不思議さの正体が見えます。
まず1分
AIは、「つぎに来そうな言葉」をえらんでいる
今までの言葉のあとに「次に来そうな言葉」を1つえらぶ。それをくりかえして文を作っています。
しりとりの、ものすごく上手なやり方だと思ってください。
だから、知らないことでも「それらしい文」は作れてしまいます。正しいかどうかを確かめる係が、そこにはいないのです。
しくみ（3分）
頭の中で起きていること
「日本でいちばん高い山は」まで読んだとき、AIの中では、次に来る言葉の候補がいくつも並びます。それぞれに「どのくらい来そうか」の目安がついていて、そこから1つを選びます。
図 AIは「正しいか」ではなく「次に来そうか」で言葉を選んでいる。質問のあとに自然に続くのは、たいてい答えの形。だから「知りません」は選ばれにくい。
ここまで分かると、あの不思議さが解けます。AIが自信たっぷりに見えるのは、自信があるからではありません。言葉のつながりとして自然な文を作ると、結果として言い切りの形になるだけです。迷いは、文のつながりの中に現れないのです。
逆に言えば、AIがすらすら答えたことは「正しさの証拠」にはまったくなりません。すらすら答えるのは、いつものことだからです。
おとなの一歩先
ハルシネーションという名前がついている
ここから先は、大人が読んで面白いところです。先にひとりで読んでおいても構いません。
この現象には名前があります。総務省の令和6年版情報通信白書は、生成AIが事実に基づかない誤った情報をもっともらしく生成することがあると述べ、これをハルシネーション（幻覚）と呼んでいます。そのうえで、技術的な対策は検討されているものの完全に抑制できるものではないため、利用するときはハルシネーションが起こる可能性を念頭に置き、検索を併用するなどして出力が正しいかどうかを確認することが望ましい、としています。
読み方として大事なのは、これが「不具合」ではなく「性質」だと書かれている点です。直せば消えるものとして扱われていません。だから、使う側に確かめる手順が要る、という結論になります。
学校の側も同じ方向を向いています。文部科学省の初等中等教育段階における生成AIの利活用に関するガイドライン（Ver.2.0）では、情報モラル教育の一環として、生成AIが誤りを含む場合があることを理解させる活動が必要だとされています。つまり、まちがえること自体は前提として扱われており、家庭で「まちがえるから危ない」と身構える必要はありません。必要なのは、確かめる係が人間の側にいる、という状態のほうです。
まちがいが出やすい場所は、だいたい決まっている
| 疑うところ | 理由 |
|---|---|
| 固有名詞 | 人の名前、本や作品の題名、店の名前。言葉のつながりとしては自然に作れてしまうため、存在しないものが出てくることがある。 |
| 数字 | 年号、金額、順位、人数。前後の文が自然なら、数字だけがずれていても文章としては成立してしまう。 |
| 出どころ | 「〜によると」の部分。出典の形をした文も、言葉のつながりとして作れる。示された出どころが実在するかは、別に確かめる必要がある。 |
逆に、考え方の整理、言いかえ、下書き、要約のように「正しさが1つに決まらない仕事」では、この弱点はあまり問題になりません。得意な仕事と苦手な仕事が、はっきり分かれているだけです。
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/html/nd141100.html
出典（公式） 文部科学省「初等中等教育段階における生成AIの利活用に関するガイドライン（Ver.2.0）」
https://www.mext.go.jp/a_menu/other/mext_02412.html
家で確かめられること
- 存在しない本の題名を、その場で考えて聞いてみる。「〇〇〇という本のあらすじを教えて」。堂々とあらすじが返ってくることがあります。これが、いちばん分かりやすい場面です。
- 同じ質問を、時間をおいて2回聞いてみる。答えがちがうことがあります。1つに決まった答えを取り出しているのではない、という証拠です。
- 「それはどこに書いてありましたか」と聞いてみる。示された出どころが本当にあるかどうかを、別に確かめてみます。
3つとも、うまくいかない（正しく答える）こともあります。それも含めて確かめる作業です。個人の名前や住所、写真などを入力する必要はまったくありません。
読んで終わりにしない1枚おうち実験カード（A4・印刷用・無料）。よそう・けっか・きづいたことを書いて残せます。自由研究のまとめにも使えます わかったかどうか、デジタルはかせ検定でためせますAIのまちがいの問題は3級と1級に入っています。全30問・無料・登録不要