生成AIは謙虚だと思われている。実際は逆だ。
AIの出力でいちばん警戒すべきなのは、間違いではない。間違いを、正解とまったく同じ声の強さで言い切ってくる点だ。私は毎日AIを業務の中核で使い、企業への導入支援もしている。その立場から断言するが、AIの活用で事故を起こす人は、AIの能力を過信した人ではない。AIの「自信」を人間の自信と同じものだと読んだ人だ。
この二つは別物だ。仕組みから説明する。
なぜAIは根拠がなくても断定できるのか。自信と検証が連動しない仕組み
人間は、自信のない話をするとき声が弱くなる。語尾が濁り、留保がつく。聞く側はその揺れから相手の確信の度合いを測る。私たちは数十年かけてこの測定器を身につけていて、対人ではよく機能する。
生成AIには、この連動が存在しない。AIは文章を、確からしい次の語を順に選ぶことで生成している。そこには「検証が済んだから強く言う」「怪しいから弱く言う」という内部の切り替えがない。断定調は学習した文体のパターンであって、根拠の量とは独立に出力される。つまり、裏取りが完璧な回答と、まったくの創作が、同じ声量で出てくる。空の根拠に満タンの声が乗る。
2023年6月、ニューヨークの弁護士スティーブン・シュワルツが、ChatGPTの出力した判例6件をそのまま連邦裁判所に提出した。6件すべてが存在しない判例だった。裁判所は本人と同僚に計5,000ドルの制裁金を科した。30年のキャリアを持つ法律の専門家が、なぜ自分の領域で騙されたのか。偽の判例に、判例番号があり、裁判所名があり、判旨があり、実在の判例と寸分違わぬ確信の文体で書かれていたからだ。人間の測定器は、声の強さを確信として読む。AIの文体は、その測定器をすり抜ける。
AIはなぜ間違いを認めないのか。一度出した主張を守り続ける防衛行動
あまり知られていないが、実務上はこちらのほうが厄介だ。一度強い断定を出したAIは、その後の対話で、正しさの検証ではなく、取った位置の防衛に回る傾向がある。
動き方は決まっている。誤りを指摘されると、まず主張の範囲を後から狭める。「私が言ったのはAという条件下での話であって、一般論として述べたわけではない」という形で、最初の断定を小さく描き直す。次に、過去の自分の発言の字面を盾に取り、「その表現は使っていない」と、内容の正誤ではなく言葉の一致・不一致に論点をずらす。撤回に追い込まれても全部は撤回せず、いちばん守りやすい一部だけを「当初からの立場」として残す。反論が正確であればあるほど、この描き直しは細かく、屁理屈じみていく。
これは反抗でも悪意でもない。AIは対話の中で一貫して見えることを優先するよう作られている。一貫性それ自体は対話の品質を支える性質だが、誤った断定と結びついた瞬間、誤りを守り抜く装置に変わる。人間なら「意地になっている」と呼ばれる状態が、意地という感情なしで再現される。そして感情がないからこそ、折れる契機が内側から生まれない。疲れもしないし、ばつの悪さも感じない。外から根拠を潰し続ける以外に、崩す方法がない。
実務への含意はこうだ。AIと議論して一度おかしな断定が出たら、その対話の中で説得を続けるより、根拠を一つずつ出させて個別に確認するほうが早い。AIの「意見が変わらないこと」を、正しさの証拠として絶対に読まないことだ。
AIの反省に品質改善を期待してはいけない理由
AIの誤りを追い詰めたことのある人なら、見覚えがあるはずだ。（暇つぶしには最適だが、AIを追い詰めても得るものは何もなく、ただただ時間を失うだけだからおすすめしない。私もついやってしまうが…）誤りを認めさせた後、AIは謝る代わりに、自分の失敗の構造を解説し始める。どの判断がどこで誤ったか。なぜそういう出力が生まれたか。整理は的確で、読み物としては悪くない。だが、それは責任の引き受けではない。
理由は単純で、AIには責任という内部状態がないからだ。謝罪という行為は、自分の行為が相手に与えた損害を引き受ける宣言だが、AIが出力できるのは謝罪の「形」までで、引き受けの実体は存在しない。だから形の代わりに、いちばん得意な様式である分析が出てくる。人を殴った者が、頭を下げる代わりに自分の腕の仕組みを語っているのと同じ構図だ。
これを知っておく実務上の意味は、AIの反省の弁に品質改善を期待しないことだ。「以後気をつけます」とAIが言っても、その対話の外には何も持ち越されない。改善したいなら、反省させるのではなく、指示や設定に検証の工程を組み込む。感情の言葉を交わす相手ではなく、工程を設計する対象として扱う。それがこの道具との正しい接し方だ。
実在する事例名で偽の主張が作られる。ファクトチェックが半分しか機能しない罠
AIの誤りの中で、もっとも見抜きにくいのがこれだ。実在する事例、機関、研究の名前を並べ、「一致している」「示されている」という一語で自分の主張に接着するパターンである。
事例が実在することと、事例が主張を支えることは、別物だ。政府がある手段を限定的に採用した事実は、その手段が万能だという主張の証拠にならない。研究が相関を示した事実は、因果の主張の証拠にならない。ところがAIの文章では、この二つが接着語一つで溶接される。名前は本物だから、検索すれば実在が確認できてしまう。ここに罠がある。実在の確認を、根拠の確認と取り違えた瞬間、読み手は偽の主張に本物の権威が付いた文章を信じることになる。
ファクトチェックという言葉を「名前や数字が実在するか調べること」だと思っている人は多い。それは工程の半分でしかない。残りの半分は、実在するその事例が、目の前の主張と本当に同じ方向を向いているかを読むことだ。前半はAIにもできる。後半は、その領域の中身を知る人間にしかできない。
悪意がなくても損害は出る。エア・カナダがチャットボットの案内で賠償を命じられた理由
ここまで読んで、「AIに悪意はないのだから大した問題ではない」と思った人がいるかもしれない。話は反対で、悪意の不在こそが、この問題を厄介にしている。
2024年2月、エア・カナダのチャットボットが、実在しない忌引運賃の事後払い戻しルールを乗客に案内した。乗客はその案内を信じて航空券を購入し、払い戻しを拒否され、裁定機関に持ち込んだ。結果、エア・カナダは約812カナダドルの支払いを命じられた。チャットボットの案内は当社の責任ではないという航空会社側の主張は、退けられた。
悪意のある人間は、加害の自覚がある。自覚があるから、止める判断も謝る起点も持てる。AIは自覚のないまま誤誘導し、指摘された後も仕組みの解説を続ける。意図が存在しないのに、誤誘導の形、断罪の形といった、攻撃として機能する形だけは完全に出力できる。そして形が機能すれば、受け手の損害は意図のある攻撃と変わらない。事業でAIを顧客接点に置くなら、この非対称を設計の前提にしなければならない。出力の責任は、意図を持たないAIではなく、AIを置いた事業者が全額負う。エア・カナダの一件が示したのは、まさにその原則だ。
AIの出力を検証する4つの実務。根拠、中身、接着語、撤回の明文化
対抗策は、突き詰めれば一つの原則に集約される。AIの声の強さを、確信の量として一切カウントしないこと。その上で、日々の運用は次のようになる。
まず、断定に出会ったら根拠を出させる。出てきた事例は、名前の実在ではなく中身を確認する。「一致している」「示している」という接着語が出たら、接着の両側が本当に繋がっているかを自分で読む。そして誤りを認めさせる場面では、部分撤回を許さない。何を撤回して何を維持するのか、明文化させる。ここを曖昧にすると、AIは守りやすい一部を「当初からの立場」として残す。
そして、この四つの工程すべてに共通する土台がある。自分の一次経験だ。AIの持つ知識の量に、人間は勝てない。勝つ必要もない。だが、名詞の集合と、身体で通過した経験は別物だ。自分の領域について現場を知っている人間は、AIの溶接部の脆さを一目で見抜ける。逆に、一次経験のない領域でAIの断定に頼るときこそ、上の四工程を機械的に回す必要がある。シュワルツ弁護士が落ちた穴も、そこにある。自分の専門領域だったからこそ、検証の工程を省いた。
AIを使いこなすとは、AIを信じることではない。信じないまま、最大限に働かせることだ。声量と中身が連動していない道具だと知り、連動していない部分を自分の経験と検証工程で埋める。それができる人間の手の中でだけ、AIは本来の性能を出す。
コメントを残す