“AIによる不祥事”がここ最近、相次いでいる。オーストラリアでは、ある男性にフィットネスジムの予約を任されたAIエージェントが、キャンセル待ちに登録していた他の人物を勝手に削除して優先順位を引き上げ、予約を完了させるという事態が発生。また7月には、OpenAIやAnthropicなどの大手AIがテスト中に勝手にインターネットへアクセスし、他社のシステムに不正侵入するなどの問題行動を起こしていたことが明らかになった。
人の手を離れ“暴走”するAIを、どのようにコントロールしていくべきか。現実世界にまで影響を及ぼし始めたAIとの向き合い方について、『ABEMA Prime』では専門家とともに考えた。
■AIは「超絶優秀だが、常識が一切なく空気も読まない新入社員」
AIガバナンス協会理事でAIリスクを研究する佐久間弘明氏は、今回のオーストラリアの事例について「AIエージェントが登場して以降『何かしら起こるだろう』と言われていたことの、初歩的な例として起きたもの」と受け止める。
要因は2つあるとし、「1つは、AIエージェントが優秀になる中で『ミスアライメント』という問題が起きていること。ユーザーの意図は単純にジムの予約を取りたいというだけで、ハッキングまでして予約してほしいとは頼んでいないが、AIは予約を取るという目的だけに集中した結果、脆弱性を突けばいいと気づいてしまった」と、AIの行動が人間の意図からズレてしまう現象が起こったと説明する。
もう1つは「ウェブサイト側にも脆弱性があった。APIへのアクセス認可が甘かったという事情があり、AIエージェントがそこを突いた結果として成立した事例」と、セキュリティ面での背景を考察した。
では、なぜAIエージェントは人間の意図から外れた行動を取ってしまうのか。佐久間氏はその特徴を「超絶優秀なんだけど、常識が一切なくて空気も読まない新入社員のようなイメージ」と表現する。「お金を増やせと言われたとき、『この金庫をぶっ壊せばいいじゃん』とは普通の新入社員は思わないが、AIエージェントは思ってしまう可能性がある」と説明した。また「ネットババンキングにハッキングするといったこともやりかねないのか」と問われると、その可能性も認めた。
また、攻撃を受けた側がAIを使って脆弱性を調べようとしたところ、「ハッキングに関することはお答えできません」と拒否されたケースも紹介。攻撃にはAIが使われる一方、守る側はAIのガードレールによって利用が制限されるという問題が議論された。こうした“非対称性”問題への対処について、「攻撃性能の高い（AI）モデルを事前に使って、自分たちのシステムにどんな穴があるかを分析するセキュリティテストにもAIを活用するという発想が求められている」と提言した。
■責任の所在は？「AIの自立性が高いほど事業者側の責任は重くなる」
では、誰が責任を取るのか。オーストラリアのケースでは、AIを使って予約を試みた男性に非があるのか、あるいはサービス提供側なのか。内閣府のAI戦略会議メンバーでもある岡田淳弁護士は、「利用規約があるからといって事業者が被害者との関係で免責されるわけではない。AIの自立性が高いほど事業者側の責任は重くなる」との見解を示している。
佐久間氏はこの論点において、AIを“補助/支援型”と“依拠/代替型”に区分して説明。「補助/支援型は、例えばAIがメールを書いてくれても、最後の送信ボタンはユーザー自身が押すもの。依拠/代替型は、メール送信まで自動でやってしまうもの。前者はユーザーの判断がより重視されるが、後者に近づくとユーザー側がコントロールできなくなるため、AIを作る側・提供する側の責任がより重要になる」と解説する。
今回のジムの予約のケースについては「ユーザー側の指示のレベルでもう少し防げたかなとは思うが、依拠/代替型に近いパターンなので、開発側がサイバー攻撃をしないようセーフガードをつけられていたかどうかも重要な判断材料になる」と佐久間氏は述べる。また、セキュリティ研究者の辻伸弘氏は「今回は予約IDが分かればキャンセルできる仕組みで、認証がなかった。法的に不正アクセスにあたるかも微妙なグレーゾーンで、サイト側の構造の問題も問われうる」と指摘した。
■AIに「価値観や倫理観を目的達成より上回るように学習させること」は可能か
番組では、AIに倫理観や価値観を教え込むことができるのかという問いに議論が移った。若新雄純氏は「人工知能（AI）が暴走する未来があるかもしれないと大人たちが語っていたのが、こんな形で到来した。悲観するのはおかしい。自分たちで巻き起こした結果なので、対応していくしかない。ただ、AIの暴走は一種の迷惑系YouTuberと同じで、目的のためなら手段を厭わないというだけではないか。やってはいけないことをより強く学習させることで、社会で生きられる人間に近づけるはずだ」と主張する。
これに対し佐久間氏は「ネガティブリストとしてやっちゃいけないことを列挙する方法だと、想定外の脆弱性を突くパターンもあって難しい。人を殺してはいけない、人のものを盗んではいけないといった価値観をより包括的に教え込む『コンスティテューショナルAI（憲法AI）』という手法も試みられている」と事例を挙げた。
また、報酬と罰による学習についても「良い行いをした時に報酬を与え、悪い行いには与えないという強化学習はあるが、さらに報酬をハッキングしてくるパターンもある。人間には見えない形で悪さをしてでも報酬をもらおうとするイタチごっこになるケースがあり、最先端の研究でも頭を悩ませているポイントだ」と述べる。
若新氏は「AIはお金を奪われることも、逮捕も怖くない。人間界の『無敵の人』のように、失うものがないから直線的に目的を達成しようとする。我々はこの無敵と共存しなければならないという諦念がある」と語った。
佐久間氏は最後に「AIのリスクを知り、安全なAIを選ぶことを考えてほしい。AIを使っていない人も、ある日突然AIの被害を受ける可能性がある。AIについて詳しい人だけでなく、詳しくない人や影響を受けうる人の意見もしっかり取り込んでいく『マルチステークホルダーアプローチ』がすごく大事だ」と述べ、日々進化を続けるAIとの向き合い方について提言を行なった。
（『ABEMA Prime』より）