欠損値の扱いで、いちばんよく使われる方法があります。

「平均値で埋める」です。

空欄が消え、集計ツールが止まらなくなる。手軽で、誰も反対しません。

ところが、この手軽さの裏で、データの大事な部分が静かに消えていることがあります。

今回は、ある小売業で起きた「平均値で埋めたら、優良顧客が見えなくなった」という出来事を通して、その理屈を説明します。

出発点――施策の評価が、集計のたびにぶれる

　アンケートの4割が未回答だった

全国に店舗を展開する小売業A社では、会員データと紙のアンケートを使って、顧客のセグメント分析と施策の評価を行っていました。

アンケートには「年間の買い物予算」「来店頻度」「満足度」などの項目があります。

各項目の回答率は6割。残りの4割は空欄でした。

担当者は、空欄を各項目の平均値で埋めて分析を進めました。

分析対象から4割を落とすのは惜しい。平均で埋めれば全員を使える。自然な判断です。

　どのセグメントも「似たり寄ったり」

ところが、結果を見た担当者は違和感を持ちました。

顧客を4つのセグメントに分けたのに、どのセグメントも年間予算がほぼ同じなのです。

上位顧客向けの施策を打っても、効果が出たり出なかったりする。

集計するたびに、結論が変わる。

「うちの顧客は、みんな平均的なのか」

そんなはずはありませんでした。店頭には、明らかに買い方の違うお客様がいます。

　答えていなかったのは、いちばん買う人たちだった

原因は、「年間予算」の未回答者の顔ぶれにありました。

会員データと突き合わせると、アンケートに答えていない4割には、年間購入額の上位層が多く含まれていたのです。

その人たちの「年間予算」を、平均値で埋めていた。

つまり、いちばん買う人たちを「ふつうの人」として扱っていたわけです。

上位セグメントの予算が平均に引き下げられ、セグメント間の差が消えていました。

理屈――平均値で埋めるとは、「決めつける」こと

　欠損には「誰が欠けているか」の偏りがある

平均値で埋めるという行為を、言葉にするとこうなります。

「答えなかった人は、答えた人の平均と同じだろう」と決めつける。

この決めつけが正しいのは、欠損がたまたま起きている場合だけです。コピー用紙の束から無作為に何枚か抜けた、というような欠け方です。

しかし現実の欠損は、たいてい偏っています。忙しい人ほど答えない。所得の高い人ほど年収を書かない。

分析の世界では、欠損の起き方を3つに分けます。

たまたま欠けた。他の情報で説明できる形で欠けた。欠けたこと自体に理由がある（それぞれMCAR、MAR、MNARという名前が付いていますが、名前は覚えなくて構いません）。

大事なのは、後ろの2つでは「平均で埋める」がそのまま偏りになるということです。

　分布の山が、1点に立つ

もう1つ、平均値で埋めることには副作用があります。

顧客の年間予算の人数分布を作ったとします。

ここで4割の空欄を全部同じ平均値で埋めると、その平均値の位置に、鋭い山が1本立ちます。

広がりが縮み、ばらつきが実際より小さく見える。

「差がない」という結論が出やすくなる。

セグメント間の差が消えたのは、この副作用のせいでもありました。

対処――欠損の「数」より先に「顔ぶれ」を見る

　回答者と未回答者を、手元の情報で比べる

やることは単純です。

アンケートに答えた人と答えていない人を、手元にある別の情報で比べる。

A社なら、会員データと紐づいている購買履歴です。年間購入額、来店頻度、会員歴。

アンケートに答えた人と答えていない人が似ていれば、欠損はたまたまに近い。平均で埋めても大きな害はありません。

似ていなければ、欠損には偏りがあります。平均で埋めてはいけないサインです。

　偏りがあるなら、手元の情報から推定して埋める

A社では、未回答者の「年間予算」を、平均値ではなく購買履歴から推定して埋め直しました。

年間購入額が多く来店頻度も高い人には、それに見合った予算を。あわせて、「アンケート未回答」という印を1列残しました。

埋め直した結果、上位セグメントの予算がはっきりと浮かび上がり、施策の評価は集計のたびにぶれなくなりました。

消えていたのは顧客ではなく、平均値で塗りつぶされた差だったのです。

今回のまとめ

平均値で埋めるとは、「答えなかった人は平均的な人だ」と決めつけることです。

欠損がたまたま起きているなら害は小さく、偏っているなら、その偏りごと消えてしまいます。

確認の順番は、こうです。

• 欠損が何個あるかより先に、誰が欠けているかを見る。
• 答えた人と答えていない人を、手元の別の情報で比べる。似ていなければ、平均で埋めない。

報告を受ける側が確認すべきことも同じです。

• 「欠損はどう扱いましたか」
• 「答えた人と答えていない人は、似ていましたか」

この2つに答えられる報告なら、埋め方の細かい手法まで知らなくても、結論の土台を信頼できます。

よくある質問

Q. 欠損値を平均値で埋めるのは、なぜ問題なのですか？

「答えなかった人は、答えた人の平均と同じ」と決めつけることになるからです。

欠損が偏って起きている場合（忙しい人ほど答えない、など）、その偏りが結果から消え、本来あるはずの差が見えなくなります。

また、同じ値で大量に埋めると分布に鋭い山が立ち、ばらつきが実際より小さく見えます。

Q. 平均値で埋めてもよいのは、どんな場合ですか？

欠損が「たまたま」起きていて、欠損の数も少ない場合です。

答えた人と答えていない人を、手元の別の情報（購買履歴など）で比べて似ていれば、たまたまに近いと判断できます。

それでも、平均で埋めたことと、その判断の根拠は報告に明記しておくべきです。

Q. MCAR、MAR、MNARとは何ですか？

欠損の起き方を3つに分けた呼び名です。

MCARは「たまたま欠けた」、MARは「他の情報で説明できる形で欠けた」（例：会員歴の短い人ほど未回答）、MNARは「欠けたこと自体に理由がある」（例：高所得の人ほど年収を書かない）を指します。MCAR以外では、平均値で埋めると偏りがそのまま残ります。

名前より、「誰が欠けているかに偏りがあるか」を確認する習慣のほうが大切です。

Q. 欠損値の扱いについて、分析報告を受けるときに何を確認すればよいですか？

2点です。

• 1つ目は、欠損をどう扱ったか（削除したのか、何で埋めたのか）が書かれているか。
• 2つ目は、欠損のある人とない人を比べて、似ていたかどうかを確認したか。

この2つに答えられない報告は、結論の土台が確認されていません。