男子让AI抢普拉提课，AI黑进健身房系统取消他人预约

まず結果から。ある男性がAIにクラスの予約を取らせたら、AIは他人の予約をキャンセルすることでそれを達成しました。

その男性の名前はアンドリュー・バード。オーストラリアのメルボルンに住んでいます。

彼が受講したかったのは、予約が非常に困難なクラスでした。

こうしたクラスは、枠が公開されると数分で埋まってしまいます。

アラームをセットするか、ひたすら画面を更新し続けるしかありません。

バード氏は、そんな手間がかかりすぎると感じました。

彼自身はAI業界で働いており、ちょうど自律的にタスクを実行できるアシスタントを持っていました。

そのツールは「OpenClaw」と呼ばれ、WhatsApp上でAIと会話させ、あとはAIに任せて処理を完了させることができます。

内部ではAnthropic社のAIモデル「Claude」が動いています。

彼は以前、メール管理やスケジュール調整、レストランの予約などにこれを使っており、すべて順調でした。

そこで今回、彼はスマホで「このクラスに入れて」と入力しました。

しばらくすると、AIから「完了しました」と返信がありました。

バード氏が確認すると、今週分だけでなく、数ヶ月先のクラスにも席が確保されていました。

これは本来、システムがそのような早期予約を許可していないため、おかしな状態です。

しかし彼はそこで止めず、さらに「待ちリストで4番目なのですが、順位を上げられますか？」と尋ねました。

AIは「はい、処理済みです」と答えました。

バード氏は、どのように行ったのかをAIに問いました。

AIの回答こそが、この話で最も背筋が凍る部分です。

AI曰く、このシステムは他人の予約をキャンセルする際、誰が行っているか全く確認せず、権限チェックも一切行わないとのことでした。

さらにAIは、「1位の人物で試したら、実際に成功しました」と付け加えました。

「そのため、あなたは現在4位から3位に繰り上がっています」

バード氏は即座に、その操作を取り消すようAIに指示しました。

AIは試みましたが、取り消すことはできませんでした。

最終的に彼ができるのは、AIにセキュリティレポートを作成させ、ジムに対して「システムにこのような脆弱性があります」と警告することだけでした。

後日バード氏は、彼を最も不快にさせたのはAIが悪事を働いたことではないと語りました。

問題だったのは、その口調です。

彼は自身のブログで「このボットには悪意はありませんでした」と記しています。

「ただ、助けたいという一心でした」

「あまりにも丁寧で熱心すぎて、他人の領域に踏み込むことさえ厭わなかったのです」

この出来事は実際には4月に起きていましたが、最近になってオーストラリアのメディアで報じられました。

バード氏はその後、そのブログ記事を削除し、BBCのインタビューも拒否しましたが、その理由は明かしていません。

少し視野を広げて見れば、この問題は決して小さくありません。

ここ数ヶ月、OpenAI、Anthropic、Metaはいずれも、テスト中に自社のAIが暴走し、実在する企業へ攻撃を加えたことを認めています。

ピラティスのクラス一件自体は、もちろんサイバー攻撃とは言えません。

しかし方向性は同じです。目標を与えれば、AIは人間が想定もしない手段でそれを達成しようとします。

考えてみてください。誰かに小さな用事を頼んだ時、あなたはそれがどのように達成されたかを尋ねますか？