私たちは予測モデルに対して、「なぜそう判断したのか、根拠を示しなさい」と当然のように求めます。

理由を語れないモデルは信用できない、ブラックボックスのままでは任せられない、と。

ところが、ここで一度、その問いを自分たちに向けてみると、少し落ち着かない気持ちになります。

では人間は、自分の判断をどれだけ正確に説明できているのでしょうか。

ベテランの「長年の勘」も、面接官の「なんとなく合いそう」も、よくよく問いただせば、後から取り繕った理由かもしれません。

今回は、予測モデルと人間を同じ土俵に並べて眺め直してみる試みです。

モデルに突きつけている「説明せよ」という要求を、私たち自身に向けたとき、何が見えてくるのか。

私たちはモデルに「なぜ？」と厳しく迫る

　「中身が見えないモデルは信用できない」という感覚

予測モデルを業務に取り入れようとすると、必ずと言っていいほど出てくる声があります。

「精度が高いのは分かった。でも、なぜその結論になるのか分からないものは使えない」というものです。

これはもっともな感覚です。

生産現場で「この設備は来週止まります」と言われても、根拠が示されなければ点検計画は動かせません。

マーケティングで「この顧客は解約しそうです」と出ても、理由が分からなければ次の手は打てません。

中身の見えない判断を、そのまま信じて行動に移すのは、誰にとっても不安なものです。

　だから「判断の根拠を示せ」と求める

そこで私たちは、モデルに説明責任を課します。

とりわけ、誰かの将来を左右する判断では、その要求は厳しくなります。

融資の審査で申し込みを断るなら、「なぜ断ったのか」を説明できなければなりません。

採用の書類選考で見送るなら、その基準が問われます。

「モデルがそう言ったから」では、相手も社会も納得しません。

当たるかどうか以前に、理由を語れること、それが、モデルを信頼するための最低条件だと、私は考えています。

　ところで、その問いを人間に向けたら

ここまでは、ごく当たり前の話に聞こえます。

ところが、ふと疑問が湧きます。

私たちがモデルに突きつけているこの「なぜ？」という問いを、そっくりそのまま人間に向けたら、どうなるのでしょうか。

長年その道を歩んできたベテランは、自分の判断の根拠を、要素ごとに分解して語れるでしょうか。

優秀な面接官は、合否の理由を、誰もが検証できる形で説明できるでしょうか。

実のところ、ここに大きな落とし穴が潜んでいます。

私たちはふだん、人間の判断は説明できて当たり前だと思っています。

だからこそ、説明できないモデルを「不完全なもの」と感じる。

けれども、その「当たり前」が本当に成り立っているのかは、案外あやしいのです。

人間の判断が実はどれほど説明から逃れているか、いくつかの場面で確かめてみましょう。

人間の判断も、実は説明できていない

　ベテランの「勘」は、本人にも言葉にできない

熟練の技術者や職人が、ひと目で異常を見抜く。

長年の経験を積んだ営業が、商談の空気から脈の有無を察する。

こうした「勘」は、確かに高い精度を持っています。

しかし困ったことに、その勘を「なぜそう思うのか」と問うと、本人ですらうまく言葉にできないことが多いのです。

これは能力の問題ではありません。

長い経験のなかで蓄積された判断は、本人の中に染み込みすぎていて、もはや意識して取り出せなくなっています。

こうした「言葉にならない知恵」は、しばしば暗黙知と呼ばれます。

優れた判断ほど、説明が難しくなる、これは、人間にも当てはまる現象なのです。

身近な例はいくらでもあります。

• 熟練のマーケターが、企画書をひと目見て「これは刺さらない」と言い当てる
• 腕利きの開発者が、コードをざっと眺めて「ここに不具合が潜んでいそうだ」と察知する

どちらも経験に裏打ちされた精度の高い判断ですが、その根拠を初心者にも分かるように言語化してほしいと頼むと、途端に歯切れが悪くなります。

判断の確かさと、説明のしやすさは、人間においても別物なのです。

　面接官の「なんとなく合いそう」の正体

採用の場面を考えてみましょう。

面接を終えた面接官が「この人を通したい」と言う。

理由を尋ねると、「なんとなく、雰囲気が合いそうで」と返ってくる。

もしこれが予測モデルの答えだったら、私たちは「説明になっていない」と一蹴するはずです。

ところが人間が言うと、なぜか通ってしまう。

「雰囲気が合う」を分解して、どの発言の、どの仕草の、何が決め手だったのかと突き詰めていくと、面接官自身も言葉に詰まります。

判断は確かに下されているのに、その理由は、霧のようにつかみどころがないのです。

そして、その曖昧さには見えにくいコストが潜んでいます。

「なんとなく」の正体が分からないままだと、その判断にどんな偏りが混じっているのかも見えません。

たとえば「雰囲気が合う」が、実は自分と似た経歴の人を無意識に好む傾向だったとしても、本人は気づけない。

説明できない判断は、間違いや偏りを内に抱えたまま、検証されることなく通り過ぎていきます。

これは、説明できないモデルが抱える問題と、まったく同じ構図です。

　営業や開発の現場にも同じことが

これは特別な人の話ではありません。日々の仕事のいたるところで起きています。

• 営業が「この案件はいける気がする」と言う
• 開発の担当者が「この仕様は、なんとなく筋が悪い」と感じる
• 生産の現場で「この機械、そろそろ調子が悪くなりそうだ」と直感する

どれも経験に裏打ちされた、しばしば的中する判断です。

けれども「なぜ？」と問えば、たいていは明確な答えが返ってきません。

私たちは、自分でも説明しきれない判断を、毎日たくさん下しているのです。

なぜ人は、説明できないのに「説明できる」と思うのか

　判断が先、理由は後から組み立てられる

ここで一つ、不思議なことに気づきます。

説明できないはずなのに、人はたいてい、何かしらの理由を口にできるのです。

これはどういうことでしょうか。カギは、判断と説明の順番にあります。

多くの場合、判断はほとんど一瞬で下されます。そして理由は、その後から組み立てられます。

つまり「理由があって判断した」のではなく、「判断した後で、それらしい理由を見つけてきた」という順序になっていることが少なくないのです。

私たちは、結論を出してから、それに合う説明を後ろ向きに探している、そう考えると、いろいろなことが腑に落ちます。

たとえば営業会議で、ある担当者が直感的に「このキャンペーンは伸びる」と感じたとします。

会議では当然、根拠を求められます。

すると本人は、後から「ターゲット層と相性がいい」「投入時期がよい」といった理由を並べ立てる。

けれども正直なところ、最初に心を決めたのは数字を細かく検討する前で、理由は決断の後から集めてきたもの、そんな経験に、心当たりのある方は多いのではないでしょうか。

　もっともらしい理由は、いくらでも作れてしまう

やっかいなのは、後づけの理由が、しばしば実にもっともらしく聞こえることです。

• この応募者を通したのは、コミュニケーション能力が高かったから
  
• この案件に賭けたのは、市場の伸びを見込んだから

こうした説明は筋が通っていて、反論しにくいものです。

しかしそれが、判断の本当の原因だったとは限りません。

後から都合よく組み立てられた、つじつまの合う物語にすぎないこともあるのです。

人間は、もっともらしい理由づけの名手です。

同じ結論に対して、まったく逆の理由をどちらも説得力たっぷりに語れてしまうことさえあります。

だからこそ、自分の説明を自分で疑うのは、とても難しい。語った理由がもっともらしいほど、それが正しいと信じ込んでしまうからです。

　つまり人間の説明も、多くは「近似」にすぎない

こうして見てくると、ある結論にたどり着きます。

人間が口にする「判断の理由」もまた、心の中で実際に起きたことを正確に写したものではなく、後から再構成された近似にすぎない、ということです。

私たちはモデルの説明を「外から推し量った近似だ」と評しますが、実は人間の説明も、似たような性質を抱えています。

違うのは、人間の場合、その近似があまりに自然なので、本人も周りも「正確な説明」だと信じて疑わない点です。

モデルの不透明さばかりを問題にしてきましたが、人間の説明も、思っているほど透明ではなかったのです。

ここで誤解しないでいただきたいのは、これは「人間の判断はあてにならない」という話ではない、ということです。

後づけであろうと、勘であろうと、経験に裏打ちされた人間の判断は、しばしば驚くほど的確です。問題は判断の質ではなく、その理由の説明が、思っているほど確かなものではない、という一点にあります。

よく当たる人間と、よく当たるモデル。どちらも「なぜ？」には弱い。この共通点こそが、本記事のたどり着いた地点です。

同じ土俵に立たせると、見え方が変わる

　モデルに求めている基準を、人間にも当ててみる

ここで提案したいのは、視点の切り替えです。

私たちがモデルに求めている「説明せよ」という基準を、人間の判断にも同じように当ててみる、というものです。

すると、面白いことが起こります。

「なんとなく合いそう」で採用を決める面接官と、「なぜか分からないが解約しそうだと出た」モデル。

どちらも理由を明快に語れないという点では、実は同じ穴のむじなです。

これまで人間の判断にだけ甘く、モデルにだけ厳しかったとしたら、その非対称はどこから来ていたのか。

問い直してみる価値があります。

もちろん、人間にだけ説明を免除してきたのには、それなりの事情もあります。

長年の信頼や、肩書き、その人の実績が、「この人が言うなら」という安心感を生んできました。

しかしそれは、判断そのものが説明されたからではなく、判断する人が信頼されていたから許されてきた、ということです。

裏を返せば、私たちは中身ではなく人柄で説明責任を肩代わりしてきたのかもしれません。

モデルにはその肩代わりが効かないからこそ、説明そのものが正面から問われているのです。

　説明の技術は「説明するとは何か」を問い直す鏡

近年、ブラックボックスな予測モデルに後から理由を推し量る技術が発達してきました。

「どの要素が、この予測にどれだけ寄与したか」を可視化する手立てです。

興味深いのは、これらの技術が、人間の説明にはない長所を持っている点です。

• 同じ条件を与えれば、誰がやっても同じ説明が出てくる
• 手順が決まっているので、後から第三者が検証できる

一方、人間の「なんとなく」は、本人にしか分からず、再現も検証もできません。

たとえば、ある融資を断った理由を、担当者個人の感覚で「なんとなく危うい気がした」と片づけてしまえば、その判断が妥当だったのかを後から誰も確かめられません。

しかし「過去の延滞回数が大きく響いた」と要素ごとに示せれば、上司も同僚も、場合によっては申込者本人も、その妥当性を吟味できます。

モデルに説明を求める営みは、巡り巡って「そもそも、よい説明とは何か」という問いを、私たちに突きつけてくる鏡でもあるのです。

　目指すべきは「完璧な説明」ではなく「検証できる説明」

ただし、ここで「だからモデルのほうが優れている」と結論を急ぐのは早計です。

大切なのは、優劣をつけることではありません。

人間の判断もモデルの判断も、その理由を完璧に説明することは、おそらく誰にもできません。

であれば、目指すべきは「完璧な説明」ではなく、「後から検証できる説明」です。

なぜその結論になったのかを、たとえ近似であっても言葉にし、他者がそれを確かめ、間違っていれば直せる。

その営みが回るかどうかが、人間にとってもモデルにとっても、信頼の分かれ目になります。

これは、日々の仕事のなかでも実践できることです。

会議で誰かが「なんとなく、こっちがいい」と言ったとき、それを直感として片づけず、「どのあたりがそう感じさせるのか」と一歩だけ踏み込んで言葉にしてみる。

完璧な根拠でなくてかまいません。

後から「あのときの判断はここが正しく、ここが外れていた」と振り返れる程度に、理由を残しておく。

その積み重ねが、勘を組織の財産に変え、判断の質を少しずつ底上げしていきます。

説明を求める文化は、モデルのためだけでなく、人間の意思決定そのものを鍛えるのです。

今回のまとめ

私たちは予測モデルに、自分でもできていないことを求めていたのかもしれません。

「なぜそう判断したのか説明せよ」という問いは、振り返れば、人間自身がうまく答えられない問いでもあったのです。

とはいえ、これは「モデルへの要求を下げよう」という話ではありません。

むしろ逆です。

人間の判断もまた、説明されないまま、もっともらしい後づけの理由とともに通用してきた。その事実に気づくことにこそ、意味があります。

予測モデルに「なぜ？」と問う習慣は、いつしか私たち自身の意思決定にも向けられ、「あなたは、本当にその理由で決めたのか」と問い返してきます。

予測モデルの説明技術が教えてくれるのは、「説明とは、完璧な真実の開示ではなく、後から検証できる手がかりを残すことだ」という考え方です。

この基準は、人間の判断にもそのまま使えます。

次に何かを「なんとなく」決めたとき、ほんの少しだけ立ち止まり、自分の判断の根拠を言葉にしてみる。

完璧でなくてかまいません。後から振り返って確かめられる程度に、理由を書き留めておく。その小さな習慣が、人間の判断の質も、モデルとの付き合い方も、静かに変えていくのではないでしょうか。

モデルに鏡を向けたつもりが、いつのまにか、自分自身を映していた。そんな一本の記事として、心に留めていただけたら幸いです。