【需要予測エージェントを作る #1】
需要予測の精度は「評価のしかた」で変わる
― ランダム分割ではなく、時系列分割とバックテストを使う理由 ―

【需要予測エージェントを作る #1】需要予測の精度は「評価のしかた」で変わる― ランダム分割ではなく、時系列分割とバックテストを使う理由 ―

需要予測のモデルを作ったら、次に知りたいのは「どのくらい当たるのか」です。

ところが、この精度の数字は、モデルを変えなくても評価のしかただけで変わります。

この記事では、同じデータ・同じモデルのまま、データの分け方だけを変えて、誤差がどう変わるかを Python で確かめます。

この記事の概要です。

  • 日次の販売データをランダムに分けて評価すると、誤差が実際より小さく見えます。この記事の例では、MAE(誤差の平均)が 3.30。時系列で分けると 4.11 で、ランダム分割のほうが約2割小さく出ました。
  • 需要予測の評価は、「ある日までのデータで学習し、その翌日以降を予測する」形にそろえます。これが時系列分割です。
  • 1回だけの評価は、たまたま当たりやすい週・外れやすい週に左右されます。基準日をずらして何度も評価する(バックテスト)と、数字が安定し、週ごとのばらつきも見えます。

時系列分割とは、データを日付の順に並べ、古い期間を学習に、新しい期間を評価に使う分け方です。バックテストとは、その時系列分割を、基準日をずらしながら何度もくり返し、過去の各時点で「もし予測していたら、どのくらい当たったか」を確かめる方法です。

Screenshot

【月1 特定テーマ講座(12月)】
需要予測エージェントを作る(需要予測 × PYTHON × 生成AI)

【開催日時】 全2回(土)2026/12/5,12/19(13:30〜18:00)
【受講形式】 当日Zoom( or 復習用に後日動画視聴)
【参加費用】 2万2千円(税込み)/人

先に、この記事で出てくる用語を整理します

いま全部覚える必要はありません。読んでいて分からなくなったら、ここに戻ってください。

用語 意味
需要予測 商品が、この先どのくらい売れるかを、過去のデータから見積もること
学習 過去のデータから、モデル(予測の計算式)を作ること
評価 学習に使っていないデータで予測し、実績とどのくらいずれたかを測ること
特徴量 予測の手がかりとしてモデルに渡す値(曜日、7日前の販売数量など)
ラグ特徴量 「7日前の販売数量」のように、過去の実績をずらして作る特徴量
MAE 平均絶対誤差。予測と実績のずれ(個数)の平均。小さいほど良い
基準日 「この日までのデータが手元にある」と決める日。予測はこの翌日から先を対象にする
ランダム分割 日付に関係なく、行をランダムに学習用と評価用に分けること
時系列分割 日付の順に、古い期間を学習用、新しい期間を評価用に分けること
バックテスト 基準日をずらしながら、時系列分割での評価を何度もくり返すこと
リーク 予測する時点では手に入らないはずの情報が、学習や特徴量に混ざること
ベースライン 比べる相手にする、単純な予測。この記事では「前の週の同じ曜日の実績をそのまま使う」予測
MAE比 モデルのMAE ÷ ベースラインのMAE。1より小さければ、単純な予測より良い

 

なぜ、ランダム分割ではいけないのか

機械学習の入門書では、データを学習用と評価用に分けるとき、train_test_split でランダムに分ける方法を最初に習います。

顧客の属性から購入の有無を当てるような、行の並び順に意味がないデータなら、それで問題ありません。

日次の販売データは事情が違います。行は日付の順に並んでいて、近い日どうしは似ています。先週よく売れた商品は、今週もよく売れることが多いからです。

ランダム分割と時系列分割の違い28日ぶんのデータを、ランダムに分けた場合と、時系列で分けた場合の、学習に使う日と評価に使う日の並び。同じ28日ぶんのデータを、2通りに分けるランダム分割(やってはいけない例)学学学評評学学評学評学学評学学評学学学学学学学評学学学学古い新しい評価する日(評)の前にも後ろにも、学習する日(学)がある → 未来を知ったうえで予測している時系列分割学学学学学学学学学学学学学学学学学学学学学評評評評評評評古い新しい評価する日は、必ず学習する日よりあと → 実際に予測するときと同じ条件学=学習に使う日評=評価に使う日

 

ランダムに分けると、評価する日の前日や翌日が、学習用のデータに入ります。モデルは、評価する日の「すぐ隣の日」の売れ方を知ったうえで予測することになります。

実際に予測するときは、明日より先の実績はまだ存在しません。つまりランダム分割の評価は、実際には手に入らない情報を使った、有利な条件での点数です。これがリークの一種です。

時系列分割では、評価する日は必ず学習する日よりあとに来ます。実際に予測するときと同じ条件なので、その点数は、運用を始めたあとの精度の目安になります。

 

Pythonで確かめる:同じモデルでも、分け方でMAEが変わる

ここからは、コードを動かして確かめます。必要なライブラリは pandas、numpy、scikit-learn の3つです。コードは上から順につなげると、1本のスクリプトとしてそのまま実行できます。

 

 練習用のデータと特徴量を作る

1つの商品の、2年ぶんの日次の販売数量を作ります。水準(ふだんの売れ方)がゆっくり変わり、曜日ごとの癖(金曜は多め、土日は少なめ)がある、という設定です。乱数の種を固定しているので、誰が実行しても同じ数字になります。

特徴量は、曜日、日付の通し番号、7日前・14日前・21日前・28日前の販売数量の6つです。7日先までを予測する前提なので、7日前より新しい実績は使っていません(理由はあとで説明します)。

以下、コードです。

import numpy as np
import pandas as pd
from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.model_selection import train_test_split

# 1. 練習用のデータを作る(1商品・2年分の日次の販売数量)
rng = np.random.default_rng(0)
dates = pd.date_range("2024-09-01", "2026-08-31", freq="D")
level = 30 + np.cumsum(rng.normal(0, 0.6, len(dates)))            # ゆっくり変わる水準(客数や人気など、データに無い要因)
weekday_factor = np.array([1.0, 1.0, 1.0, 1.0, 1.1, 0.7, 0.6])[dates.dayofweek]   # 月〜日の曜日の癖
qty = rng.poisson(np.clip(level, 5, None) * weekday_factor)        # その日の販売数量
df = pd.DataFrame({"date": dates, "qty": qty})

# 2. 特徴量を作る(7日先までの予測に使える値だけ)
df["dow"] = df["date"].dt.dayofweek                # 曜日(0=月)
df["day_no"] = np.arange(len(df))                  # 日付の通し番号(水準の変化を追わせるために入れることが多い)
for k in (7, 14, 21, 28):
    df[f"lag{k}"] = df["qty"].shift(k)             # k日前の販売数量
df = df.dropna().reset_index(drop=True)
FEATURES = ["dow", "day_no", "lag7", "lag14", "lag21", "lag28"]
print(f"行数 {len(df)} / 期間 {df['date'].min().date()} 〜 {df['date'].max().date()}")


def fit_predict(train, test):
    model = HistGradientBoostingRegressor(loss="poisson", random_state=0)
    model.fit(train[FEATURES], train["qty"])
    return model.predict(test[FEATURES])


def mae(pred, actual):
    return float(np.mean(np.abs(pred - actual)))

 

以下、実行結果です。

行数 702 / 期間 2024-09-29 〜 2026-08-31

 

28日前の販売数量を作れない最初の28日を除いて、702日ぶんのデータになりました。

 

 ランダム分割と時系列分割で、同じモデルを評価する

モデルは、scikit-learn の HistGradientBoostingRegressor(勾配ブースティングという、決定木をたくさん組み合わせる方法)です。

販売数量は0以上の個数なので、loss="poisson" を指定しています。モデルの中身は、この記事では気にしなくて構いません。大事なのは、どちらの分け方でも、まったく同じモデルを使うことです。

評価用のデータは、どちらも56日ぶんです。ランダム分割は702日からランダムに56日を抜き出し、時系列分割は最後の56日を使います。

以下、コードです。

# 3. やってはいけない例:ランダムに分ける
train_r, test_r = train_test_split(df, test_size=56, random_state=0)   # 56日ぶんをランダムに抜き出して評価用にする
mae_random = mae(fit_predict(train_r, test_r), test_r["qty"])

# 4. 時系列で分ける:最後の56日を評価用にする
train_t, test_t = df.iloc[:-56], df.iloc[-56:]
mae_holdout = mae(fit_predict(train_t, test_t), test_t["qty"])

 

結果は、次のバックテストとまとめて表示します。

 バックテスト:基準日をずらして8回くり返す

時系列分割で1回だけ評価すると、評価に使った期間がたまたま予測しやすかったのか、難しかったのかが分かりません。そこで、基準日を7日ずつずらして、同じ評価を8回くり返します。

バックテストのしくみ基準日を2026年7月6日から8月24日まで7日ずつずらし、それぞれ基準日までのデータで学習して翌7日を評価する様子。バックテスト:基準日を7日ずつずらして、8回くり返す基準日 7/6学習(基準日までの全部)← 評価(翌7日)基準日 7/13基準日 7/20基準日 7/27基準日 8/3基準日 8/10基準日 8/17基準日 8/24学習評価未来を使わない学習は基準日以前だけ特徴量も基準日までの値だけ毎回、学習し直す基準日ごとにモデルを作り直す週次の運用を過去で再現する8回ぶんをまとめる評価は 7日×8回=56日ぶん1回だけの評価より安定する

 

毎週月曜日の営業が終わったら、その日までのデータでモデルを作り直し、翌日からの7日間を予測する。そういう運用を、過去の8週間ぶんについて再現している、と考えると分かりやすいです。

比べる相手として、「前の週の同じ曜日の実績をそのまま予測にする」というベースラインの誤差も一緒に計算します。

以下、コードです。

# 5. バックテスト:基準日を7日ずつずらして8回、「基準日までで学習 → 翌7日を予測」
rows = []
last = df["date"].max()
for i in range(8, 0, -1):
    origin = last - pd.Timedelta(days=7 * i)                       # 基準日
    train = df[df["date"] <= origin]                               # 学習は基準日まで
    test = df[(df["date"] > origin) &amp; (df["date"] <= origin + pd.Timedelta(days=7))]   # 評価は翌7日
    pred = fit_predict(train, test)
    rows.append({"基準日": origin.date(), "評価期間": f"{test['date'].min().date()}〜{test['date'].max().date()}",
                 "学習行数": len(train), "モデルのMAE": mae(pred, test["qty"]),
                 "前週同曜日のMAE": mae(test["lag7"], test["qty"])})
bt = pd.DataFrame(rows)
print(bt.round(2).to_string(index=False))

mae_backtest = bt["モデルのMAE"].mean()
mae_naive = bt["前週同曜日のMAE"].mean()
print()
print(f"ランダム分割            MAE {mae_random:.2f}")
print(f"時系列分割(最後の56日)  MAE {mae_holdout:.2f}")
print(f"バックテスト(8回の平均)  MAE {mae_backtest:.2f}  / 前週同曜日 {mae_naive:.2f}  / MAE比 {mae_backtest / mae_naive:.2f}")

 

以下、実行結果です。

       基準日                  評価期間  学習行数  モデルのMAE  前週同曜日のMAE
2026-07-06 2026-07-07〜2026-07-13   646     4.28       6.71
2026-07-13 2026-07-14〜2026-07-20   653     4.76       7.29
2026-07-20 2026-07-21〜2026-07-27   660     4.05       4.14
2026-07-27 2026-07-28〜2026-08-03   667     2.81       4.43
2026-08-03 2026-08-04〜2026-08-10   674     4.01       4.43
2026-08-10 2026-08-11〜2026-08-17   681     5.58       5.71
2026-08-17 2026-08-18〜2026-08-24   688     4.27       5.43
2026-08-24 2026-08-25〜2026-08-31   695     3.74       3.57

ランダム分割            MAE 3.30
時系列分割(最後の56日)  MAE 4.11
バックテスト(8回の平均)  MAE 4.19  / 前週同曜日 5.21  / MAE比 0.80

 

 結果を読む

評価のしかた MAE 読み方
ランダム分割 3.30 評価する日の前後の日を学習に使っている。実際には出せない点数
時系列分割(最後の56日) 4.11 評価する日は学習よりあと。モデルは1回だけ作る
バックテスト(8回の平均) 4.19 基準日ごとにモデルを作り直して、翌7日を予測する

読み取れることは3つあります。

  • ランダム分割の 3.30 は、時系列分割の 4.11 より 0.81 個、約2割小さい。モデルもデータも同じです。変えたのは、評価用の56日の選び方だけです。この 3.30 を「このモデルの精度」として報告すると、運用を始めたあとに「聞いていたより外れる」ということになります。
  • 週によって、誤差は 2.81 から 5.58 まで動く。もし 7/27 の週だけで評価していたら 2.81、8/10 の週だけなら 5.58 です。1回だけの評価では、どちらを引くか分かりません。8回の平均 4.19 のほうが、ふだんの精度の目安として信頼できます。
  • ベースラインに勝っているかは、週ごとに違う。8回の平均では、モデルが 4.19、前週同曜日が 5.21 で、MAE比は 0.80(単純な予測より誤差が2割小さい)です。ただし 8/24 の週は、モデルが 3.74、前週同曜日が 3.57 で、単純な予測のほうが良い結果でした。平均だけを見ていると、こういう週があることに気づけません。

なぜランダム分割だと良く見えるのか、このデータで説明します。販売数量の水準はゆっくり変わります。

ランダム分割では、評価する日の前後の日が学習データに入っているので、モデルは「その時期の水準」を、日付の通し番号を手がかりに覚えてしまいます。

時系列分割では、評価する期間の水準はまだ誰も知りません。この差が、0.81 個の差になって表れています。

 

特徴量でも、未来を使わない

分け方を時系列にしても、特徴量に未来の情報が入っていると、同じことが起きます。考え方は1つで、「基準日の時点で、その値は手元にあるか」です。

特徴量に使えるものと使えないもの基準日より前の実績は特徴量に使え、基準日より後の実績は使えない。カレンダーと販促の計画は未来の日付でも使える。特徴量に使えるもの・使えないもの(基準日で線を引く)基準日基準日までの実績 → 使える・7日前・14日前…の販売数量・直近7日・28日の平均・過去の同じ販促のときの売れ方基準日より後の実績 → 使えない・予測する日の販売数量そのもの・その日の来店客数、カテゴリ合計・翌日以降の販売数量カレンダーと計画 → 未来の日付のことでも、予測する時点で分かっているので使える・予測する日の曜日、月、祝日・予定している販促(値引・陳列)、販売価格・基準日から何日先か

 

たとえば、基準日の翌日から7日先までを予測するとします。7日先の日にとって「1日前の販売数量」は、基準日の6日後の実績です。基準日の時点では、まだ存在しません。

これを特徴量に入れてしまうと、評価では高い精度が出るのに、実際の予測では値が入らない、ということになります。上のコードで、7日前より新しい実績を使わなかったのは、このためです。

一方、予測する日の曜日や祝日、予定している販促や販売価格は、未来の日付のことでも、基準日の時点で分かっています。これらは使って構いません。

 

自分のデータで評価するときのチェックリスト

  • 評価用の期間は、学習用の期間よりあとにあるか
  • 評価は1回だけでなく、基準日をずらして複数回行ったか(週次の運用なら、7日ずつずらして8回前後が目安)
  • 予測する日数(7日先までなど)は、実際に使う場面と同じか
  • 特徴量は、基準日の時点で手元にある値だけで作っているか
  • 基準日ごとに、モデルを作り直しているか(運用で毎週作り直すなら、評価でも作り直す)
  • 平均だけでなく、基準日ごとの誤差も見たか
  • 単純な予測(ベースライン)と比べたか

 

まとめ

今回のポイントです。

  • 需要予測の精度は、評価のしかたで変わる。ランダム分割は、実際より良い数字が出やすい
  • 「基準日までで学習し、その先を予測する」時系列分割にそろえる
  • 基準日をずらしてくり返すバックテストで、平均と、週ごとのばらつきの両方を見る
  • 特徴量も、基準日の時点で手元にある値だけで作る

 

よくある質問

Q. scikit-learn の TimeSeriesSplit を使ってもよいですか

使えます。TimeSeriesSplit は、行の並び順で「前を学習、後ろを評価」に分ける道具です。

ただし、複数の商品が1つの表に入っているデータでは、行の順番と日付の順番が一致しないことがあります。その場合は、この記事のように、日付(基準日)で分けるほうが安全です。

基準日が画面に出るので、あとで結果を説明しやすいという利点もあります。

Q. バックテストは何回くり返せばよいですか

決まった正解はありません。週次で予測を更新する運用なら、7日ずつずらして8回(約2か月ぶん)が1つの目安です。

回数を増やすほど数字は安定しますが、古い基準日ほど学習データが短くなり、計算時間も増えます。

季節による違いを見たい場合は、夏と冬のように、時期の違う基準日を含めます。

Q. ランダム分割で良い数字が出たモデルは、悪いモデルですか

そうとは限りません。この記事の例でも、モデルは同じです。

問題はモデルではなく、その数字を運用時の精度の目安として使えないことです。

同じモデルを時系列分割で評価し直せば、目安として使える数字になります。

Q. MAEだけ見ていれば十分ですか

十分ではありません。MAEは個数の誤差なので、よく売れる商品ほど大きくなります。

商品どうしを比べるには、割合で測る指標(SMAPE)や、ベースラインとの比(MAE比)を併せて見ます。これは次の記事で扱います。

Screenshot

【月1 特定テーマ講座(12月)】
需要予測エージェントを作る(需要予測 × PYTHON × 生成AI)

【開催日時】 全2回(土)2026/12/5,12/19(13:30〜18:00)
【受講形式】 当日Zoom( or 復習用に後日動画視聴)
【参加費用】 2万2千円(税込み)/人