データ分析や機械学習の前処理で、避けて通れないのが欠損値(データの空欄)です。「とりあえず削除する」「とりあえず平均値で埋める」で済ませると、分析結果が偏ったり、モデルの精度が伸びなかったりします。
このページは、欠損値の「検出・分析・処理」を順に学べる欠損値処理シリーズ(全10回)の目次です。欠損のメカニズムから、削除、単変量補完、時系列補完、多変量補完、手法の選び方までを扱います。
読み方を選べます
同じテーマを、目的に合わせて3つの形で公開しています。
| 読み方 | こんな方に | 内容 |
|---|---|---|
| 完全版(このブログ) | 手を動かしながら、しっかり理解したい方 | 解説、全コード、グラフをステップごとに掲載 |
| コードの要点(Zenn) | 実装方法だけを短時間で確認したい方 | 最小限の動くコードと実行結果、注意点 |
| 考え方(note) | コードなしで、判断の考え方を知りたい方 | 数回分を1本にまとめた読み物(全5本) |
全10回の一覧
| 回 | テーマ | 完全版 | コードの要点 | 考え方 |
|---|---|---|---|---|
| 第1回 | 欠損値とは何か — MCAR / MAR / MNAR を理解する | 読む | Zenn | note① |
| 第2回 | 欠損値の検出と可視化 — pandas と missingno で現状把握 | 読む | Zenn | note① |
| 第3回 | 削除戦略① — リストワイズ削除(完全ケース分析・CCA) | 読む | Zenn | note② |
| 第4回 | 削除戦略② — 特徴量削除とペアワイズ削除 | 読む | Zenn | note② |
| 第5回 | 単変量補完① — 定数・任意値での補完(pandas と SimpleImputer) | 読む | Zenn | note③ |
| 第6回 | 単変量補完② — 平均・中央値・最頻値での補完 | 読む | Zenn | note③ |
| 第7回 | 単変量補完③ — ランダムサンプル補完で分布を保つ | 読む | Zenn | note③ |
| 第8回 | 時系列データの欠損値補完 — LOCF / NOCB / 線形補間 | 読む | Zenn | note④ |
| 第9回 | 多変量補完① — KNN Imputer で近傍から補完する | 読む | Zenn | note⑤ |
| 第10回 | 多変量補完② — MICE・MissForest と欠損インジケータ、選び方ガイド | 読む | Zenn | note⑤ |
note版(考え方編)の5本
- note① 欠損値は「なぜ欠けたか」から考える(第1回・第2回に対応)
- note② 消していいデータ、消してはいけないデータ(第3回・第4回に対応)
- note③ 「とりあえず平均で埋める」の落とし穴(第5回〜第7回に対応)
- note④ 売上データの「穴」はどう埋めるか(第8回に対応)
- note⑤ 高度な手法が勝つとは限らない(第9回・第10回に対応)
目的別の入口
第1回から順に読むのがおすすめですが、困りごとが決まっている方は、次の回から読み始めることもできます。

