「精度99％の予測モデルができました」と報告を受けたら、多くの方は頼もしく感じるはずです。

「これだけ当たるなら、もう人間が悩む必要はない」と、そう思いたくなります。

ところが、そのモデルに「なぜ、この顧客は解約すると予測したのですか」と尋ねたとき、納得のいく答えが返ってこなかったとしたら、どうでしょうか。

「とにかく、データがそう言っています」としか説明できない人に、あなたは大事な意思決定を任せられるでしょうか。

実は、予測モデルの世界には、あまり知られていない不都合な事実があります。

それは「よく当たること」と「理由を説明できること」が、しばしば相性の悪い関係にあるということです。

精度を追い求めるほど、モデルの中身は人間に見えなくなっていきます。

今回は、なぜこのようなことが起きるのか、そしてビジネスの現場ではそれにどう向き合えばよいのかを、簡単な例をを用いながら説明していきます。

そもそも予測モデルはなぜ「説明」が苦手なのか

　単純なモデルは、理由が見える

まず、説明しやすいモデルとはどういうものかを見てみましょう。

たとえば、ある営業部門が「商談が受注に至る確率」を予測したいとします。

最もシンプルな作り方は、過去のデータから「効きそうな要素」をいくつか選び、それぞれに重みをつけて足し合わせる方法です。

• 商談金額が小さいほど受注しやすい
  
• 初回接触から提案までが早いほど受注しやすい
  
• 決裁者と直接会えていると受注しやすい

こうした要素に点数をつけ、合計点で確率を出す、というイメージです。

このようなモデルの良いところは、結果の理由がそのまま見えることです。

ある商談が「受注確率20％」と出たなら、「金額が大きく、決裁者にも会えていないから低い」と、誰にでも説明できます。

要素と結果が一本の線でつながっているため、中身が透けて見えるのです。

これは営業に限った話ではありません。

新製品の開発現場で「初年度にどれくらい売れそうか」を見積もるときも……

• 想定価格
  
• 競合製品の数
  
• 投入する広告量

……といった少数の要素を足し合わせるだけなら、なぜその数字になったのかを企画会議の場で一つひとつ説明できます。

関係者全員が前提を共有できるため、議論もかみ合います。

　よく当たるモデルの中身は「数百万のダイヤル」

ところが、現実のビジネスはそれほど単純ではありません。

「金額が大きくても、特定の業界で、特定の時期で、過去に問い合わせ履歴があれば、むしろ受注しやすい」といった、要素が複雑に絡み合う関係が無数に潜んでいます。

こうした複雑な関係まで捉えようとすると、モデルは一気に巨大になります。

先ほどは数個の要素に重みをつけるだけでしたが、よく当たるモデルでは、調整すべき「ダイヤル」が数万、数百万、ときにそれ以上にのぼります。

それぞれのダイヤルが互いに影響し合いながら、全体として絶妙な予測を生み出しています。

これが、精度の高いモデルの正体です。

イメージとしては、数個のダイヤルを回して音を合わせるラジオと、数百万のダイヤルが連動する巨大な音響ミキサーの違いです。

後者のほうがはるかに繊細な調整ができますが、「なぜ今この音が鳴っているのか」を一つひとつのダイヤルから説明するのは、もはや現実的ではありません。

　性能を上げるほど、中身は人間に追えなくなる

ここで重要なのは、ダイヤルが増えるのは「精度を上げるため」だということです。

複雑な現実を細かく捉えれば捉えるほど予測は当たるようになりますが、その代償として、中身は人間の理解が届かない領域へと遠ざかっていきます。

つまり、モデルが賢くなることと、人間に説明できなくなることは、別々の出来事ではありません。

同じコインの裏表なのです。

この点を押さえておくと、「よく当たる」と「説明できる」の「トレードオフ」という考え方がすっと理解できます。

「よく当たる」と「説明できる」は両立しにくい

　透明なモデルとブラックボックスなモデルの地図

予測モデルにはさまざまな種類がありますが、「説明のしやすさ」という物差しで並べると、おおまかな地図が描けます。

一方の端には、先ほど取り上げたような、要素を足し合わせるシンプルなモデルや、「もし金額が100万円以上なら…」と条件で枝分かれしていく樹形図型のモデルがあります。

これらは中身が見える「ガラス張り」のモデルで、判断の道筋を上から下までたどれます。

もう一方の端には、こうした樹形図を何百本も組み合わせたモデルや、人間の脳を模した何層もの構造を持つモデルがあります。

これらは精度が高い反面、判断が無数の要素に分散していて、中身が見えない「ブラックボックス」です。

そして多くの場合、ガラス張りの側よりブラックボックスの側のほうが、予測はよく当たります。同じデータを渡しても、シンプルなモデルの的中率が80％、複雑なモデルが90％、ということは珍しくありません。

この「あと10％」を取りに行くかどうかが、しばしば悩みどころになります。

　なぜトレードオフが生まれるのか

なぜ、当たることと説明できることが反比例しがちなのでしょうか。

理由はシンプルで、現実の複雑さを正確に写し取ろうとすれば、モデル自身も複雑にならざるを得ないからです。

世の中の因果関係が「Aが増えればBも増える」という素直な直線であれば、シンプルなモデルで十分に当たります。

しかし実際には……

• ある程度までは効くが、それを超えると逆効果
• 他の条件と組み合わさって初めて効く

……といった、ねじれた関係が大半です。

たとえば広告出稿と売上の関係も、出せば出すほど比例して伸びるわけではなく、一定量を超えると効果が頭打ちになります。

こうした複雑さを捉えるために、モデルは無数の例外と組み合わせを内部に抱え込みます。

その結果として精度は上がりますが、同時に「人間が一目で追える単純さ」は失われていきます。

複雑さが、高い精度と説明の難しさを同時に連れてくるのです。

　ただし「必ず」ではない、という補足

ここで一点、誤解を避けるための補足をしておきます。

「当たるモデルは絶対に説明できない」と言い切るのは、やや乱暴です。

問題の性質によっては、シンプルなモデルでも十分に高い精度が出ることがあります。

また後ほど触れるように、ブラックボックスなモデルに「後から説明を加える」技術も進歩しています。

トレードオフは確かに存在しますが、それは「逃れられない宿命」ではなく、「意識して設計すべき天秤」だと捉えるのが正確です。

よく当たれば正解、とは限らない

精度の高さは魅力的です。

しかし「当たりさえすればよい」という考え方には、見落とされがちな落とし穴があります。

説明できないことが、具体的にどんな問題を引き起こすのか。3つの側面から見ていきましょう。

　説明できないと、間違いに気づけない

第一に、モデルが間違った理由で当たっている場合に、それを見抜けなくなります。

あるマーケティング部門で、キャンペーンに反応しそうな顧客を予測するモデルを作ったところ、高い精度が出たとします。

喜んで使い始めたものの、後から調べると、モデルは「顧客の好みや行動」ではなく、たまたまデータに紛れ込んでいた「配信リストの並び順」に強く反応していた、という笑えない事態が起こり得ます。

並び順はそのときのリストにたまたま付いていただけの特徴で、本質的な意味はありません。

にもかかわらず精度が高く見えたのは、過去データの中で偶然それが結果と一致していたからです。

中身が見えるモデルであれば「なぜ並び順を見ているのか」と気づけますが、ブラックボックスでは、間違った根拠で当たっていても表面上は優秀に見えてしまいます。

そして本番のデータでこの偶然が崩れた瞬間、精度は一気に落ちます。

ここに、見過ごされがちな逆説があります。

テストでの精度が高いことは、必ずしも「正しく学んでいる」ことを意味しません。

むしろ高すぎる精度は、モデルが本質とは無関係な手がかりにこっそり頼っているサイン、いわば過去問の答えだけを丸暗記してしまった状態であることすらあるのです。

そしてその危うさは、中身を説明できて初めて表に出てきます。

説明できないモデルは、優秀なふりをしたまま、静かに落とし穴を抱え込みます。

　説明できないと、現場が使ってくれない

第二に、どれだけ精度が高くても、現場が納得しなければモデルは使われません。

たとえば生産現場で、設備が故障する時期を予測するモデルを導入したとします。

ベテランの保全担当者にとって、長年の経験で培った「異音」や「温度」の勘は揺るぎないものです。

そこへ「来週、この設備が止まります」とだけ告げるモデルが現れても、「なぜそう言えるのか」が分からなければ、現場は従来どおりの点検を続けるだけでしょう。

逆に「いつもと違う微細な振動が出ている」と根拠まで示せれば、ベテランも「なるほど、そこを見ているのか」と腑に落ち、行動が変わります。

予測は、信じてもらえて初めて価値を生みます。説明は、その信頼への入り口なのです。

　説明できないと、責任が取れない

第三に、説明できないことが、そのまま事業上のリスクになる場面があります。

融資の審査や、人材の採用選考など、誰かの将来を左右する判断では、「なぜその結論に至ったのか」を説明できることが求められます。

「モデルがそう言ったから」という理由で融資を断ると、顧客は納得しないかもしれません。

当たるかどうか以前に、説明責任を果たせるかどうかが問われるのです。

このように、説明できないことは……

• 気づけない
• 使われない
• 責任を取れない

……という、精度とは別次元の問題を生みます。

あえて精度を少し譲る、という賢い判断

　「最高精度のモデル」より「説明できるモデル」を選ぶ合理性

ここまで読むと、ある逆説が見えてきます。

最も精度の高いモデルが、ビジネスにとって最良のモデルとは限らない、ということです。

たとえば精度95％だが理由を説明できないモデルと、精度90％だが理由を明快に語れるモデルがあったとき、現場で実際に役立つのは後者であることが少なくありません。

5％の精度差よりも、「なぜそうなるか」が共有でき、間違いに気づけ、現場が信頼して動けることのほうが、事業全体への貢献が大きいからです。

あえて精度を少し譲る判断は、決して妥協ではなく、合理的な選択になり得ます。

製品開発の品質管理を考えると分かりやすいでしょう。

完成品の中から不良品になりそうなものを予測するモデルがあったとして、ただ「これは不良の可能性が高い」と告げるだけでは、設計の改善にはつながりません。

少し精度が落ちても「この組み立て工程の温度が高いときに不良が増える」と理由まで示せるモデルなら、原因そのものを潰しにいけます。

予測を当てること自体がゴールではなく、その先の改善アクションにつなげることがゴールであるなら、説明できるモデルの価値は精度差を上回ります。

　高精度モデルに後から説明をつける（XAI）という第3の道

とはいえ、「当たること」も「説明できること」も諦めたくない、というのが本音でしょう。

そこで近年注目されているのが、ブラックボックスなモデルに後から説明を加えるアプローチです。

これは「説明可能なAI（XAI）」と呼ばれる技術領域です。

仕組みのイメージはこうです。

複雑なモデルの中身を直接ほどくのではなく、「この入力をこう変えたら、予測がこれだけ動いた」という観察を積み重ねることで、外側から「どの要素がどれだけ効いたか」を推し量ります。

先ほどの解約予測であれば、「この顧客の解約確率が高いのは、ここ数か月の利用頻度の急な低下が最も効いている」といった形で、結果の理由を後づけで可視化できるのです。

実務での見え方も具体的です。

たとえば需要予測のモデルに説明の仕組みを添えると、今月この商品の予測が高めに出ているのは……

• 気温の上昇が＋15
  
• 週末の配置が＋8
  
• 一方で競合の値下げが−5

……というように、一つの予測値を要因ごとに分解して示せます。

営業担当は「確かにこの地域は暑くなると動く」と自分の肌感覚と照らし合わせられ、納得して在庫を厚くできます。

これにより、高い精度を保ったまま、説明という価値を取り戻す道が開けます。

　問うべきは「何％当たるか」ではなく「外したとき気づけるか」

最後に、モデルを評価するときの問いそのものを見直してみましょう。

私たちはつい「このモデルは何％当たるのか」と尋ねます。

もちろん大切な問いですが、それと同じくらい重要なのが「外したとき、なぜ外したか分かるか」という問いです。

どんなに優秀なモデルも、いつかは外します。そのとき原因を突き止め、学習し、立て直せるかどうかが、長く使えるモデルとそうでないモデルを分けます。

説明できることは、この「立て直す力」の土台なのです。

今回のまとめ

予測モデルの話になると、私たちはどうしても「精度何％」という数字に目を奪われがちです。

しかしビジネスの現場で本当に問われているのは、当たる確率の小数点以下ではなく、「そのモデルを信頼して意思決定を任せられるか」という一点に尽きます。

そして信頼は、結果の理由を説明できることの上に築かれます。

• 間違いに気づけること
  
• 現場が納得して動けること
  
• 関係者に説明責任を果たせること

これらはいずれも、説明できるという土台があって初めて成り立ちます。

よく当たるモデルほど理由を語れなくなる、というトレードオフは確かに存在します。

しかしそれは避けられない宿命ではなく、目的に応じて意識的に選び取るべき天秤です。

• 説明できるモデルをあえて選ぶ
  
• あるいは高精度なモデルに後から説明を添える

どちらの道を取るにせよ、出発点になるのは「当たればよい」という発想から一歩離れることです。

実務でできる第一歩は、新しい予測モデルの導入を検討するときに、精度の数字だけでなく「このモデルが外したとき、私たちはなぜ外したのか説明できるだろうか」と一つ問いを足してみることです。

その答えに詰まるなら、たとえ精度が高くても、立ち止まって設計を見直す価値があります。

モデルを選ぶ物差しを「どれだけ当てる力があるか」から「説明しながら当てる力があるか」へと広げたとき、予測モデルは初めて、安心して任せられるビジネスの相棒になるのではないでしょうか。