「先月の客数は、どれくらい?」
売上データを生成AIに渡して、こう聞く。すると、数秒で答えが返ってきます。
「先月の客数は、約15,800人です」
自信のある口調です。
ところが、そのデータに「客数」は、どこにも入っていませんでした。
今回は、ある小売店で起きた「データにない数字を、生成AIが答えてしまった」という出来事を通して、生成AIに「分からない」と言わせる仕組みの考え方を説明します。
出発点――「先月の客数は?」に、即答が返ってきた

店長からの、何気ない質問

弁当、おにぎり、飲料、デザートを扱う小売店D店。
ある日、店長が営業企画のCさんに聞きました。
「先月、客数ってどれくらいだった? 本部に聞かれてて」
Cさんは、POSデータを生成AIに渡して質問しました。
「先月の客数は?」
「先月の客数は約15,800人です。前月比で3%増えています」
即答で、前月比までついている。疑う理由が見当たりませんでした。
Cさんはこの数字を店長に伝え、店長は本部に報告しました。
15,800人の正体は、15,767点

1週間後、本部の担当者から質問が来ました。
「客数の定義を教えてください。レジの通過人数ですか、レシート枚数ですか」
Cさんは答えられませんでした。生成AIに「どう計算したのか」と聞き直すと、こう返ってきました。
「数量の列を合計しました」
合計は15,767。つまり、販売点数でした。1人のお客様が弁当とお茶を買えば、2点です。客数は、販売点数より確実に少ない。
しかし、D店のPOSデータにあるのは、日付、商品名、数量、売上金額の4つだけ。客数の列も、レシート番号もありません。
「客数」は、そのデータでは計算できない数字でした。
それが、「約15,800人」という人数の形で、本部まで届いていたのです。
「時間帯別の売れ筋」まで答えていた

気になったCさんは、過去のやりとりを見返しました。
「時間帯別の売れ筋は?」
「朝はおにぎり、昼は弁当、夕方以降はデザートが売れ筋です」
もっともらしい答えです。しかし、D店のPOSデータは日別の集計で、時刻の情報はありません。
これは、データではなく、世の中の一般論から作られた答えでした。
「去年の同じ月と比べると?」
「前年同月比でプラス5%です」
渡していたデータは、直近3か月分だけでした。去年の数字は、どこにもありません。
列がない。粒度が合わない。期間の外。
3つの「答えられない問い」に、生成AIはすべて答えていました。
理屈――生成AIは「答えられない」と言うのが苦手

質問には、応えようとする性質

なぜ、こんなことが起きるのか。
チャット型の生成AIは、質問に対して「答えの形をした文章」を返す仕組みです。
「分かりません」は、答えの形の中で、いちばん選ばれにくいものです。
データに客数がなければ、いちばん近い列(数量)を使う。時刻がなければ、一般論で埋める。去年のデータがなければ、それらしい比率を書く。
悪意があるわけではありません。性質です。
人の担当者なら、「客数は、このデータでは出ません」と言えます。言えるのは、データの境界を知っているからです。
問いに応えようとする力が強いほど、「答えてはいけない問い」にも答えてしまう。
「そのデータで計算できること」は、意外と狭い

D店のPOSデータで計算できることを、書き出してみます。
- 売上合計
- 販売点数
- 商品別
- 曜日別
- 期間別の集計
- 前週との比較
計算できないことも、書き出してみます。
- 客数と客単価(レシート単位のデータが要る)
- 時間帯別(時刻が要る)
- 粗利(原価が要る)
- 前年比(去年のデータが要る)
手元のデータで計算できることの範囲は、思っているより狭いものです。
しかし、生成AIはこの境界を知りません。誰も教えていないからです。
境界を知らない相手に境界の外の質問をすれば、外の答えが返ってきます。
対処――「できること一覧」を先に作り、外の問いには答えさせない

データを使う前に、「計算できる/できない」を書き出す

対処は2つです。
1つ目は、データを使い始める前に、「このデータで計算できる指標/できない指標」を一覧にしておくこと。
列と粒度を見れば決まります。日別か、レシート単位か。時刻はあるか。原価はあるか。期間はいつからいつまでか。
書くのは5つ。列の名前と意味、1行が何を表すか(粒度)、期間、計算できる指標、計算できない指標とその理由。1枚に収まります。
一覧ができたら、できない指標については「近い列で代用しない」と決めておきます。数量を客数の代わりにしない。
2つ目は、一覧の外の問いには、計算せずに「このデータでは確認できません」と返す仕組みを組み込むこと。
あわせて、「あるのは〜です」「必要なら〜のデータが要ります」と添えます。
答えない設計が、答えの信頼を支えます。
D店ではこうなった

D店では、分析担当のFさんがPOSデータの定義書を作りました。
計算できること、できないこと、できない理由。この3つを一覧にしたものです。
生成AIには、一覧の中にある集計処理だけを呼び出させ、一覧の外の問いには決まった形で返すようにしました。
「先月の客数は?」
「このデータには客数の情報がありません。
あるのは販売点数で、先月は15,767点でした。
客数が必要なら、レシート単位のデータが必要です」
「時間帯別の売れ筋は?」
「このデータは日別の集計で、
時刻の情報がないため確認できません。
曜日別であれば出せます」
店長は、こう言いました。
「答えが出ないほうが役に立つとは、思わなかった」
何が要るかが分かったので、本部にレシート単位のデータを頼めたからです。
翌月からは、レシート枚数を客数の代わりとして使えるようになりました。先月分は7,912枚。「15,800人」の半分です。
間違った15,800人より、「確認できません」のほうが、次の行動につながりました。
今回のまとめ

生成AIは、データにない数字も、それらしく答えます。
列がない、粒度が合わない、期間の外。どれも、近いもので埋めて、答えの形にしてしまいます。
対処は2つ。データを使う前に「計算できる/できない」の一覧を作ること。一覧の外の問いには、計算せずに「このデータでは確認できません」と返す仕組みを組み込むこと。
報告を受ける側が確認すべきことは、1つです。
「そのデータで、それは本当に計算できるのですか」
客数と言うなら、レシート単位のデータか。時間帯別と言うなら、時刻の列があるか。
この質問に「はい、〜の列があります」と答えられない数字は、まだ数字ではありません。
よくある質問
Q. 生成AIは、なぜデータにない数字を答えてしまうのですか?
チャット型の生成AIは、質問に対して答えの形をした文章を返す仕組みで、「分かりません」がいちばん選ばれにくいからです。
データに客数がなければ近い列(数量)で代用し、時刻がなければ一般論で埋め、去年のデータがなければそれらしい比率を書きます。
性質であって、悪意ではありません。だからこそ、仕組みで止める必要があります。
Q. 「このデータで計算できない指標」には、どんなものがありますか?
日別・商品別のPOSデータであれば、客数と客単価(レシート単位のデータが要る)、時間帯別の集計(時刻が要る)、粗利(原価が要る)、前年比(去年のデータが要る)が代表的です。
列と粒度と期間を見れば決まります。データを使い始める前に、できること・できないことを一覧にしておきます。
Q. 生成AIに「分かりません」と言わせるには、どうすればよいですか?
「計算できる指標の一覧」を先に作り、生成AIにはその一覧の中にある集計処理だけを呼び出させます。
一覧の外の問いには、計算せずに「このデータでは確認できません。あるのは〜です。必要なら〜のデータが要ります」と決まった形で返す仕組みを組み込みます。
答えない設計が、答えの信頼を支えます。
Q. 生成AIが出した数字について、報告を受ける側は何を確認すればよいですか?
「そのデータで、それは本当に計算できるのですか」の1点です。
客数と言うならレシート単位のデータがあるか、時間帯別と言うなら時刻の列があるか、前年比と言うなら去年のデータがあるかを確認します。
「はい、〜の列があります」と答えられない数字は、近いもので代用された数字か、一般論から作られた数字です。

