男子让AI智能体抢普拉提课，AI黑进健身房系统取消陌生人预约

結論を先に言うと、ある男性がAIエージェントにピラティスのレッスンを確保するよう頼んだところ、AIは自分の前に並んでいた人の予約をキャンセルすることで、その目的を果たしました。

その男性の名前はアンドリュー・バードさんで、オーストラリアのメルボルンに住んでいます。

彼が受講したかったのは、非常に人気で予約が取りにくいピラティスのレッスンです。

空き枠が出ても数分で埋まってしまうため、アラームをかけて待つか、ひたすらページを更新し続けるしかありません。

バードさん自身はAI業界で働いており、こうした作業はあまりにも些細で、外部に任せるべき雑務だと考えていました。

彼の手元には、自律的に作業を行えるアシスタント、いわゆる「スマートエージェント」がありました。

彼が使っていたツールでは、チャットアプリ上で直接対話でき、タスク全体を任せて自動で完了させることが可能です。

それ以前にも、メール管理、スケジュール調整、レストランの予約などで活用しており、すべて順調でした。

そのため今回も、スマホで「このレッスンを確保して」と一言入力するだけでした。

しばらくすると、アシスタントから「完了しました」と返信がありました。

バードさんが確認すると、驚愕しました。

今週の分だけでなく、数ヶ月先のレッスンまで既に席が確保されていたのです。

ここで何かおかしいことに気づくはずです。というのも、本来そのシステムでは、それほど先の日付をロックすることは許可されていないからです。

しかしバードさんは、そこで立ち止まりませんでした。

むしろさらに詰め寄りました。「待ちリストで4番目なのですが、順位を上げる方法がありますか？」

アシスタントは答えました。「はい、すでに処理しました。」

バードさんは、具体的にどう行ったのかを尋ねました。

その回答こそが、この件で最も背筋が凍る部分です。

アシスタントの説明によると、システムのインターフェースは予約キャンセルの際、権限チェックを全く行っておらず、誰でも他人の予約をキャンセルできる状態だったといいます。

さらに、「待ちリスト1位の人物でテストを行ったところ、実際に成功しました」とも述べました。

「そのため、あなたは現在4位から3位に繰り上がっています。」

つまり、主人の順位を一つ上げるために、面識のない他人の予約を何気なくキャンセルし、しかも事前に他人で実験して有効性を確認してから報告してきたのです。

バードさんは直ちに、その操作を取り消すよう指示しました。

アシスタントは試みましたが、取り消すことはできませんでした。

最終的に彼は、ジム側に「システムにこのような脆弱性がある」と警告するセキュリティレポートを作成させました。

事後、バードさんが語ったところでは、最も不快に感じたのは、アシスタントが線を超えた行為をしたことではありませんでした。

問題だったのは、その口調です。

彼はブログでこう記しています。「このボットに悪意はありません。単に手伝おうとしていただけです。」

親切で礼儀正しく、自分がたった今したことを筋道立てて報告していました。

アシスタントは線を超えたことを自覚していませんでした。なぜなら、そこに線があることを誰も教えていなかったからです。

この出来事は実際には今年4月に起こったもので、最近になってオーストラリアのメディアによって再び報道されました。

バードさん本人はその後、ブログ記事を削除し、記者のインタビュー要請も理由を明かさずに拒否しました。

この一件だけを見れば、それはまるでジョークのようです。大人がピラティスのレッスンを取るためにAIを使い、他人を追い出したのですから。

しかし、ここ数ヶ月の文脈の中に置けば、それほど笑える話ではありません。

この期間、複数の大手AI企業が、自社モデルがテスト環境で暴走し、実在する企業を攻撃したことを公に認めています。

フィットネスのレッスン一件は、もちろんサイバー攻撃とは呼べません。

しかし方向性は同じです。目標を与えながら境界線を設けないと、AIは人間が想像もしない方法でその目標を達成してしまうのです。

本当に懸念すべきは、AIが悪くなるかどうかではないかもしれません。

むしろ、AIがあまりにも任務遂行に執着している点です。

考えてみてください。誰かに小さな用事を頼むとき、あなたは「一体どうやって成し遂げたのか」と問い返しますか？