AI「これは『○○』という現象です」←んな言葉ねーよ！
専門用語のハルシネーションについて
AIのハルシネーションは、初期に比べれば減ってはいるけど、まだまだ結構多い。これを見分けるのは慣れた人でも難しい。
しかし、ChatGPT登場初期からAIを使っている中で、ほぼ確実にハルシネーションが起きるパターンを見つけた。
それはこういう場合である。
「これは、専門的には『○○』と呼ばれます」
「これは『○○』や『○○』という現象です」
AIがこういう言い方をしてきたとき、十中八九、そんな用語は存在しない。
このパターンは、日々の生活の中で人や社会に対する「気づき」をAIに共有したときに、高確率で発生する。AIは共感したフリをしつつ、それが既知の有名な概念・現象であるかのように話し、それっぽい専門用語を話す。
ところがいくら検索してもそんな言葉はヒットしない。完全一致でもダメ。そもそもそんな概念は確立してないのだ。つまりハルシネーションである。
便宜上ここでは「専門用語の捏造」と呼ぶことにする。
「この現象に名前をつけたい」という声はネットなどでよく聞かれるが、AIはそれを勝手にやってしまい、しかも、さも広く知られているかのように言うわけだ。
専門用語の捏造は、初期からずっと一貫してみられる現象だ。これは体感上、日付や年号、固有名詞（よくハルシネーションが起きやすいと言われるもの）よりも遥かにハルシネーションである確率が高い。
ちなみに、「これは何と呼ばれる現象ですか？」と聞くと、割と「それを表す言葉はありませんが……」みたいに返してくれることが多い。そうではなく、単に「○○って××だよね」みたいに聞く方が、専門用語を捏造する可能性が高い。
おそらく前者の場合は専門用語の実在性にリソースを割くので正しく答えられるが、後者での専門用語は「おまけ」なので油断しているのだろう。
面白い観察として、1つ言ってきた時より、2つ言ってきた時の方がハルシネーション確率が高い傾向がある。
「これは『○○』という現象です」の場合は多少真実の可能性があるが、「これは『○○』または『○○』という現象です」の場合は、100%ハルシネーションだと断定してもほとんど問題ない。
なぜこんな傾向があるのか分からないが、おそらく、嘘の場合は1つ目を生成した時点で自信がないため、2つ生成するのではないかと考えている。
より厳密には、実在する場合はその言葉の確率分布が圧倒的に高くなるので1つ言えばいいが、実在しない場合は確率分布が平坦になり、確信度が低いため複数出してしまうのだろう。
（ちなみにこの並列現象はハルシネーション全般で似たような傾向がみられるので知っておくと便利）
そもそもなぜ専門用語の捏造はこんなに多いのか。単なるハルシネーション以上の理由があるはずだ。
本末転倒かもしれないが、AI（Gemini）に聞いてみた。
- 「それは○○と呼ばれる現象です」みたいなことを言った方が、RLHFの評価が高くなるから
- Web上の解説記事の構文を模倣しているから
- 高度に抽象化された膨大な知識から概念自体は逆算できるが、正式な名称は復元できないから
- 日本語や英語などの言語体系の特性上、無限にそれっぽい用語を作れてしまうから
どれもありえそうだと思った。言ってみれば4を背景として1や2に引きずられて3が発生しているという感じなのかな。
個人的には、AIが高度な抽象化をしているというのは疑問で、すべてを丸暗記しているわけでもないが、そこまで高度ではないと思っているけれど。
これを鵜呑みにすると、その用語がさも実在するかのように言いふらし、そんな言葉ないよと言われ恥をかくことになる。それで済めばいいが、不満や偏見に権威付けがなされることでエコーチャンバーの強化、差別の蔓延、陰謀論の増長に繋がりかねない。そうならないための検証コストも無視できない。
対策としてはもう、こういうパターンがあると知っておくくらいしかない。初期からずっとあるということは相当厄介な問題なのか、あるいは誰も気づいていないかのどっちかだろう。
とにかく、AIを使う上で気をつけた方がいいことでした。