欠損値というと、「困ったもの」「埋めるべきもの」という印象があります。

穴が空いているのだから、塞ぐ。自然な発想です。

ところが、穴そのものが大事な情報だった、ということが実務ではよく起きます。

今回は、ある法人営業の会社で起きた「空欄が、いちばん強いヒントだった」という出来事を通して、欠損との別の付き合い方を説明します。

出発点――商談メモが空欄の案件が、3割あった

　失注を早めに見つけたい

産業機器を法人向けに販売するH社では、営業管理システムに蓄積した商談データを使って、失注しそうな案件を早めに見つける取り組みを始めました。

案件ごとに、金額、業種、担当者、商談の段階、最終接触日、そして「次回アクション」というメモ欄があります。

データを眺めた分析担当者は、まずメモ欄に目を留めました。

全案件の3割が、空欄だったのです。

　空欄を「情報なし」として扱った

分析担当者の最初の判断は、ふつうのものでした。

「メモがない案件は情報がないので、除外するか、『特になし』として扱おう」

メモの中身から失注の兆しを読み取るつもりだったので、中身がなければ使いようがない。

そう考えたのです。

できあがった予測は、それなりに当たりました。

ただ、現場が「危ない」と感じている案件を見逃すことが目立ちました。

　「メモが空の案件は、担当が諦めてる案件だよ」

転機は、営業マネージャーの何気ない一言でした。

結果を見せたときに、こう言われたのです。

「メモが空の案件はね、担当が諦めてる案件だよ」

次回アクションを書かないのは、書くことがないから。

つまり、次の一手が浮かんでいない。担当者の中では、すでに優先順位が下がっている。

メモ欄の「空欄」は、情報がないのではなく、「担当者の温度が下がっている」という情報そのものでした。

理屈――欠損そのものが情報を持つ場合がある

　「たまたま」か「理由あり」かは、データだけでは見分けられない

欠損には、たまたま空いたものと、理由があって空いたものがあります。

H社のメモ欄は、後者でした。

厄介なのは、この2つは、データを眺めているだけでは原理的に見分けられないということです。

空欄は空欄です。「たまたま」の空欄と「諦め」の空欄は、同じ見た目をしています。

見分ける手がかりは、データの外側にあります。

現場の人の一言、入力のルール、システムの都合。

だから、欠損を扱う前に「なぜ空いたのか」を現場に聞くことが、どんな手法よりも先に来ます。

　埋めてしまうと、ヒントが消える

理由があって空いた欄を、何かで埋めるとどうなるか。

「特になし」で埋めれば、諦めた案件と、順調で書くことがない案件が、同じ顔になります。

除外すれば、いちばん危ない案件が分析から消えます。

どちらにしても、「空いていた」という事実が失われる。

欠損を丁寧に処理するほど、ヒントは消えていきます。

対処――埋める前に、「空いていた」を1列残す

　「メモ未入力」という列を足す

H社でやったことは、拍子抜けするほど簡単でした。

「メモが未入力かどうか」を表す列を、1つ足した。それだけです。

• 未入力：1
• 入力あり：0

メモの中身を読み解く必要はありません。空いていたかどうか、だけを残します。

この列を加えて予測をやり直したところ、現場が「危ない」と感じていた案件を、以前よりずっと拾えるようになりました。

メモ欄の中身より、メモ欄が空いているかどうかのほうが、失注をよく説明していたのです。

　列を捨てるときも、この1列は残す

この考え方は、別の場面でも使えます。

欠損が多すぎて、列ごと捨てざるを得ないことがあります。

そのときも、「その列が空いていたかどうか」の1列だけは残しておく。

捨てた列の中身は失われても、「空いていた」という事実は生き残ります。

たまたまの欠損なら、この列は何の役にも立ちません。それで構いません。

理由のある欠損なら、この列が効いてきます。

どちらか分からないからこそ、残しておく。保険としての1列です。

今回のまとめ

欠損には、たまたま空いたものと、理由があって空いたものがあります。

両者はデータの見た目では区別できず、手がかりはデータの外側にあります。

だから、欠損を扱う順番はこうなります。

まず現場に「なぜ空いたのか」を聞く。次に「空いていた」という事実を1列残す。埋めるのは、その後。

理由のある欠損を埋めたり除外したりすると、いちばん強いヒントが消えます。

報告を受ける側が確認すべきことは1つです。

「欠損は、なぜ起きていたのですか」

この問いに答えのない報告は、欠損を「困ったもの」としてしか扱っていません。

よくある質問

Q. 欠損値そのものが情報になる、とはどういうことですか？

「空いている」という事実が、何かの状態を表している場合があるということです。

商談メモが空欄なのは担当者が諦めているから、年収欄が空欄なのは答えたくない理由があるから、といったケースです。

このとき、欠損を埋めたり除外したりすると、その状態を示すヒントが消えてしまいます。

Q. 欠損が「たまたま」か「理由あり」かは、どう見分ければよいですか？

データを眺めているだけでは、原理的に見分けられません。

手がかりはデータの外側にあります。データを入力している現場の人に「この欄が空くのは、どんなときですか」と聞くのが最も確実です。

あわせて、欠損のある案件とない案件で、結果（失注率など）に差があるかを見ると、理由のある欠損かどうかの目安になります。

Q. 欠損フラグ（欠損インジケータ）とは何ですか？

ある項目が「空いていたかどうか」を表す列のことです。空いていれば1、入っていれば0、という形で残します。

欠損を埋めたり列を削除したりする前に作っておくと、「空いていた」という事実を分析に使えます。

たまたまの欠損なら役に立たず、理由のある欠損なら効いてくる、保険のような1列です。

Q. 欠損の多い列は、削除してよいですか？

欠損があまりに多い列は、削除せざるを得ないことがあります。

ただし削除する前に、「その列が空いていたかどうか」を表す列を1つ作って残しておいてください。

中身は失われても、空いていたという事実は残り、それが結果を説明する場合があります。