一个人工智能客服顶了七百个人，平均满意度和人一样：一年后公司把人招了回来，因为平均值把最糟的那批客户藏起来了

結論から言うと、今回の本当の主人公は人工知能ではなく、平均値です。

2024年2月、スウェーデンの決済会社クラナがAIカスタマーサポートを導入しました。

導入初月、このAIは230万件の対話を処理しました。

会社の換算では、これは正社員のカスタマーサポート700人分の仕事量に相当します。

同時にいくつかの指標も発表されました。

人間のカスタマーサポートが1件の質問を解決するのに平均11分かかるのに対し、AIは2分で済みました。

同じ問題で再び問い合わせる割合は25％減少しました。

会社はその年、これにより4,000万ドルの利益増を見込んでいました。

この数字群は当時、非常に広く出回りました。

ほぼ同時期、サンフランシスコの街角に「人を雇うな」という3語だけが書かれた広告看板が登場しました。

データから見ると、この件はすでに答えが出ているようでした。

そして2025年、会社は人間のカスタマーサポートの再採用を始めました。

会社創業者のインタビューでの発言は率直でした。

彼は「私たちはやりすぎた」と語りました。

彼は「コストへの注視が行き過ぎ、結果として品質が低下した」と語りました。

ここで一般的な解釈は「AIはダメだ」というものです。

しかしこの解釈は正確ではないし、面白くもありません。

本当に掘り下げる価値があるのは、品質低下が発覚するまでに1年以上もかかった理由です。

当時、会社が監視していた核心指標は顧客満足度でした。

平均値で見ると、AIと人間のカスタマーサポートのパフォーマンスはほぼ同等でした。

つまり、ダッシュボード上には異常が何もなかったのです。

問題は平均値というツールそのものにありました。

平均値は分布を圧縮してしまいます。

大きく異なる2つのデータ群を合わせて平均を取ると、結果は中間に来ることがありますが、その中間という位置には、どちらのデータ群も実際には存在しません。

今回の分布はおおよそ以下のようになっていました。

単純で標準的、かつ頻度の高い質問については、AIは迅速かつ正確に対応し、これらの顧客の満足度は極めて高かったです。

一方、複雑で特殊な、文脈の判断が必要な質問にも、AIは同じように素早く答えましたが、的外れな回答でした。

こうした状況に遭遇した顧客の満足度は極めて低く、しかも彼らは最も支援を必要としている層でした。

片方が非常に高く、もう片方が非常に低い状態で平均を取ると、ちょうど「人間と同等」という数値になります。

そのため、ダッシュボードは正常（緑）でしたが、実際の体験は崩壊していました。

会社はこのことを他の経路から認識するまでに1年以上かかりました。

現在の取り組みは振り分けです。標準的な質問は機械に任せ、複雑な質問は人間に回します。

雇用形態も変更され、固定された勤務体制ではなく、ライドシェアのようなモデルになり、空き時間にオンラインで案件を受注する形になりました。

受注している人々の中には学生、地方在住者、そして同社のユーザーもいます。

最後にあの数字の話に戻ります。

700人という数字も真実ですし、2分というのも真実、25％というのも真実です。

これらはすべて成立しており、検証可能です。

平均満足度が「ほぼ同等」だったという記述もまた真実です。

問題は、どの数字も捏造されていたことではありません。

問題なのは、これらの数字が答えているのが「平均して何が起こったか」であり、会社が必要としていたのは「最悪のケースがどれほど酷いか」だったことです。

この2つの問いに、単一の指標で答えることはできません。

考えてみてください。

誰かが平均値を示し、状況は正常だと告げたとします。

それを信じる前に、あなたはどの言葉を問い返すべきでしょうか。