需要予測のモデルを作ったら、次に知りたいのは「どのくらい当たるのか」です。
ところが、この精度の数字は、モデルを変えなくても評価のしかただけで変わります。
この記事では、同じデータ・同じモデルのまま、データの分け方だけを変えて、誤差がどう変わるかを Python で確かめます。
この記事の概要です。
- 日次の販売データをランダムに分けて評価すると、誤差が実際より小さく見えます。この記事の例では、MAE(誤差の平均)が 3.30。時系列で分けると 4.11 で、ランダム分割のほうが約2割小さく出ました。
- 需要予測の評価は、「ある日までのデータで学習し、その翌日以降を予測する」形にそろえます。これが時系列分割です。
- 1回だけの評価は、たまたま当たりやすい週・外れやすい週に左右されます。基準日をずらして何度も評価する(バックテスト)と、数字が安定し、週ごとのばらつきも見えます。
時系列分割とは、データを日付の順に並べ、古い期間を学習に、新しい期間を評価に使う分け方です。バックテストとは、その時系列分割を、基準日をずらしながら何度もくり返し、過去の各時点で「もし予測していたら、どのくらい当たったか」を確かめる方法です。
先に、この記事で出てくる用語を整理します
いま全部覚える必要はありません。読んでいて分からなくなったら、ここに戻ってください。
| 用語 | 意味 |
|---|---|
| 需要予測 | 商品が、この先どのくらい売れるかを、過去のデータから見積もること |
| 学習 | 過去のデータから、モデル(予測の計算式)を作ること |
| 評価 | 学習に使っていないデータで予測し、実績とどのくらいずれたかを測ること |
| 特徴量 | 予測の手がかりとしてモデルに渡す値(曜日、7日前の販売数量など) |
| ラグ特徴量 | 「7日前の販売数量」のように、過去の実績をずらして作る特徴量 |
| MAE | 平均絶対誤差。予測と実績のずれ(個数)の平均。小さいほど良い |
| 基準日 | 「この日までのデータが手元にある」と決める日。予測はこの翌日から先を対象にする |
| ランダム分割 | 日付に関係なく、行をランダムに学習用と評価用に分けること |
| 時系列分割 | 日付の順に、古い期間を学習用、新しい期間を評価用に分けること |
| バックテスト | 基準日をずらしながら、時系列分割での評価を何度もくり返すこと |
| リーク | 予測する時点では手に入らないはずの情報が、学習や特徴量に混ざること |
| ベースライン | 比べる相手にする、単純な予測。この記事では「前の週の同じ曜日の実績をそのまま使う」予測 |
| MAE比 | モデルのMAE ÷ ベースラインのMAE。1より小さければ、単純な予測より良い |
なぜ、ランダム分割ではいけないのか
機械学習の入門書では、データを学習用と評価用に分けるとき、train_test_split でランダムに分ける方法を最初に習います。
顧客の属性から購入の有無を当てるような、行の並び順に意味がないデータなら、それで問題ありません。
日次の販売データは事情が違います。行は日付の順に並んでいて、近い日どうしは似ています。先週よく売れた商品は、今週もよく売れることが多いからです。
ランダムに分けると、評価する日の前日や翌日が、学習用のデータに入ります。モデルは、評価する日の「すぐ隣の日」の売れ方を知ったうえで予測することになります。
実際に予測するときは、明日より先の実績はまだ存在しません。つまりランダム分割の評価は、実際には手に入らない情報を使った、有利な条件での点数です。これがリークの一種です。
時系列分割では、評価する日は必ず学習する日よりあとに来ます。実際に予測するときと同じ条件なので、その点数は、運用を始めたあとの精度の目安になります。
Pythonで確かめる:同じモデルでも、分け方でMAEが変わる
ここからは、コードを動かして確かめます。必要なライブラリは pandas、numpy、scikit-learn の3つです。コードは上から順につなげると、1本のスクリプトとしてそのまま実行できます。
練習用のデータと特徴量を作る
1つの商品の、2年ぶんの日次の販売数量を作ります。水準(ふだんの売れ方)がゆっくり変わり、曜日ごとの癖(金曜は多め、土日は少なめ)がある、という設定です。乱数の種を固定しているので、誰が実行しても同じ数字になります。
特徴量は、曜日、日付の通し番号、7日前・14日前・21日前・28日前の販売数量の6つです。7日先までを予測する前提なので、7日前より新しい実績は使っていません(理由はあとで説明します)。
以下、コードです。
import numpy as np
import pandas as pd
from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.model_selection import train_test_split
# 1. 練習用のデータを作る(1商品・2年分の日次の販売数量)
rng = np.random.default_rng(0)
dates = pd.date_range("2024-09-01", "2026-08-31", freq="D")
level = 30 + np.cumsum(rng.normal(0, 0.6, len(dates))) # ゆっくり変わる水準(客数や人気など、データに無い要因)
weekday_factor = np.array([1.0, 1.0, 1.0, 1.0, 1.1, 0.7, 0.6])[dates.dayofweek] # 月〜日の曜日の癖
qty = rng.poisson(np.clip(level, 5, None) * weekday_factor) # その日の販売数量
df = pd.DataFrame({"date": dates, "qty": qty})
# 2. 特徴量を作る(7日先までの予測に使える値だけ)
df["dow"] = df["date"].dt.dayofweek # 曜日(0=月)
df["day_no"] = np.arange(len(df)) # 日付の通し番号(水準の変化を追わせるために入れることが多い)
for k in (7, 14, 21, 28):
df[f"lag{k}"] = df["qty"].shift(k) # k日前の販売数量
df = df.dropna().reset_index(drop=True)
FEATURES = ["dow", "day_no", "lag7", "lag14", "lag21", "lag28"]
print(f"行数 {len(df)} / 期間 {df['date'].min().date()} 〜 {df['date'].max().date()}")
def fit_predict(train, test):
model = HistGradientBoostingRegressor(loss="poisson", random_state=0)
model.fit(train[FEATURES], train["qty"])
return model.predict(test[FEATURES])
def mae(pred, actual):
return float(np.mean(np.abs(pred - actual)))
以下、実行結果です。
行数 702 / 期間 2024-09-29 〜 2026-08-31
28日前の販売数量を作れない最初の28日を除いて、702日ぶんのデータになりました。
ランダム分割と時系列分割で、同じモデルを評価する
モデルは、scikit-learn の HistGradientBoostingRegressor(勾配ブースティングという、決定木をたくさん組み合わせる方法)です。
販売数量は0以上の個数なので、loss="poisson" を指定しています。モデルの中身は、この記事では気にしなくて構いません。大事なのは、どちらの分け方でも、まったく同じモデルを使うことです。
評価用のデータは、どちらも56日ぶんです。ランダム分割は702日からランダムに56日を抜き出し、時系列分割は最後の56日を使います。
以下、コードです。
# 3. やってはいけない例:ランダムに分ける train_r, test_r = train_test_split(df, test_size=56, random_state=0) # 56日ぶんをランダムに抜き出して評価用にする mae_random = mae(fit_predict(train_r, test_r), test_r["qty"]) # 4. 時系列で分ける:最後の56日を評価用にする train_t, test_t = df.iloc[:-56], df.iloc[-56:] mae_holdout = mae(fit_predict(train_t, test_t), test_t["qty"])
結果は、次のバックテストとまとめて表示します。
バックテスト:基準日をずらして8回くり返す
時系列分割で1回だけ評価すると、評価に使った期間がたまたま予測しやすかったのか、難しかったのかが分かりません。そこで、基準日を7日ずつずらして、同じ評価を8回くり返します。
毎週月曜日の営業が終わったら、その日までのデータでモデルを作り直し、翌日からの7日間を予測する。そういう運用を、過去の8週間ぶんについて再現している、と考えると分かりやすいです。
比べる相手として、「前の週の同じ曜日の実績をそのまま予測にする」というベースラインの誤差も一緒に計算します。
以下、コードです。
# 5. バックテスト:基準日を7日ずつずらして8回、「基準日までで学習 → 翌7日を予測」
rows = []
last = df["date"].max()
for i in range(8, 0, -1):
origin = last - pd.Timedelta(days=7 * i) # 基準日
train = df[df["date"] <= origin] # 学習は基準日まで
test = df[(df["date"] > origin) & (df["date"] <= origin + pd.Timedelta(days=7))] # 評価は翌7日
pred = fit_predict(train, test)
rows.append({"基準日": origin.date(), "評価期間": f"{test['date'].min().date()}〜{test['date'].max().date()}",
"学習行数": len(train), "モデルのMAE": mae(pred, test["qty"]),
"前週同曜日のMAE": mae(test["lag7"], test["qty"])})
bt = pd.DataFrame(rows)
print(bt.round(2).to_string(index=False))
mae_backtest = bt["モデルのMAE"].mean()
mae_naive = bt["前週同曜日のMAE"].mean()
print()
print(f"ランダム分割 MAE {mae_random:.2f}")
print(f"時系列分割(最後の56日) MAE {mae_holdout:.2f}")
print(f"バックテスト(8回の平均) MAE {mae_backtest:.2f} / 前週同曜日 {mae_naive:.2f} / MAE比 {mae_backtest / mae_naive:.2f}")
以下、実行結果です。
基準日 評価期間 学習行数 モデルのMAE 前週同曜日のMAE 2026-07-06 2026-07-07〜2026-07-13 646 4.28 6.71 2026-07-13 2026-07-14〜2026-07-20 653 4.76 7.29 2026-07-20 2026-07-21〜2026-07-27 660 4.05 4.14 2026-07-27 2026-07-28〜2026-08-03 667 2.81 4.43 2026-08-03 2026-08-04〜2026-08-10 674 4.01 4.43 2026-08-10 2026-08-11〜2026-08-17 681 5.58 5.71 2026-08-17 2026-08-18〜2026-08-24 688 4.27 5.43 2026-08-24 2026-08-25〜2026-08-31 695 3.74 3.57 ランダム分割 MAE 3.30 時系列分割(最後の56日) MAE 4.11 バックテスト(8回の平均) MAE 4.19 / 前週同曜日 5.21 / MAE比 0.80
結果を読む
| 評価のしかた | MAE | 読み方 |
|---|---|---|
| ランダム分割 | 3.30 | 評価する日の前後の日を学習に使っている。実際には出せない点数 |
| 時系列分割(最後の56日) | 4.11 | 評価する日は学習よりあと。モデルは1回だけ作る |
| バックテスト(8回の平均) | 4.19 | 基準日ごとにモデルを作り直して、翌7日を予測する |
読み取れることは3つあります。
- ランダム分割の 3.30 は、時系列分割の 4.11 より 0.81 個、約2割小さい。モデルもデータも同じです。変えたのは、評価用の56日の選び方だけです。この 3.30 を「このモデルの精度」として報告すると、運用を始めたあとに「聞いていたより外れる」ということになります。
- 週によって、誤差は 2.81 から 5.58 まで動く。もし 7/27 の週だけで評価していたら 2.81、8/10 の週だけなら 5.58 です。1回だけの評価では、どちらを引くか分かりません。8回の平均 4.19 のほうが、ふだんの精度の目安として信頼できます。
- ベースラインに勝っているかは、週ごとに違う。8回の平均では、モデルが 4.19、前週同曜日が 5.21 で、MAE比は 0.80(単純な予測より誤差が2割小さい)です。ただし 8/24 の週は、モデルが 3.74、前週同曜日が 3.57 で、単純な予測のほうが良い結果でした。平均だけを見ていると、こういう週があることに気づけません。
なぜランダム分割だと良く見えるのか、このデータで説明します。販売数量の水準はゆっくり変わります。
ランダム分割では、評価する日の前後の日が学習データに入っているので、モデルは「その時期の水準」を、日付の通し番号を手がかりに覚えてしまいます。
時系列分割では、評価する期間の水準はまだ誰も知りません。この差が、0.81 個の差になって表れています。
特徴量でも、未来を使わない
分け方を時系列にしても、特徴量に未来の情報が入っていると、同じことが起きます。考え方は1つで、「基準日の時点で、その値は手元にあるか」です。
たとえば、基準日の翌日から7日先までを予測するとします。7日先の日にとって「1日前の販売数量」は、基準日の6日後の実績です。基準日の時点では、まだ存在しません。
これを特徴量に入れてしまうと、評価では高い精度が出るのに、実際の予測では値が入らない、ということになります。上のコードで、7日前より新しい実績を使わなかったのは、このためです。
一方、予測する日の曜日や祝日、予定している販促や販売価格は、未来の日付のことでも、基準日の時点で分かっています。これらは使って構いません。
自分のデータで評価するときのチェックリスト
- 評価用の期間は、学習用の期間よりあとにあるか
- 評価は1回だけでなく、基準日をずらして複数回行ったか(週次の運用なら、7日ずつずらして8回前後が目安)
- 予測する日数(7日先までなど)は、実際に使う場面と同じか
- 特徴量は、基準日の時点で手元にある値だけで作っているか
- 基準日ごとに、モデルを作り直しているか(運用で毎週作り直すなら、評価でも作り直す)
- 平均だけでなく、基準日ごとの誤差も見たか
- 単純な予測(ベースライン)と比べたか
まとめ
今回のポイントです。
- 需要予測の精度は、評価のしかたで変わる。ランダム分割は、実際より良い数字が出やすい
- 「基準日までで学習し、その先を予測する」時系列分割にそろえる
- 基準日をずらしてくり返すバックテストで、平均と、週ごとのばらつきの両方を見る
- 特徴量も、基準日の時点で手元にある値だけで作る
よくある質問
Q. scikit-learn の TimeSeriesSplit を使ってもよいですか
使えます。TimeSeriesSplit は、行の並び順で「前を学習、後ろを評価」に分ける道具です。
ただし、複数の商品が1つの表に入っているデータでは、行の順番と日付の順番が一致しないことがあります。その場合は、この記事のように、日付(基準日)で分けるほうが安全です。
基準日が画面に出るので、あとで結果を説明しやすいという利点もあります。
Q. バックテストは何回くり返せばよいですか
決まった正解はありません。週次で予測を更新する運用なら、7日ずつずらして8回(約2か月ぶん)が1つの目安です。
回数を増やすほど数字は安定しますが、古い基準日ほど学習データが短くなり、計算時間も増えます。
季節による違いを見たい場合は、夏と冬のように、時期の違う基準日を含めます。
Q. ランダム分割で良い数字が出たモデルは、悪いモデルですか
そうとは限りません。この記事の例でも、モデルは同じです。
問題はモデルではなく、その数字を運用時の精度の目安として使えないことです。
同じモデルを時系列分割で評価し直せば、目安として使える数字になります。
Q. MAEだけ見ていれば十分ですか
十分ではありません。MAEは個数の誤差なので、よく売れる商品ほど大きくなります。
商品どうしを比べるには、割合で測る指標(SMAPE)や、ベースラインとの比(MAE比)を併せて見ます。これは次の記事で扱います。

