「効果を知りたいなら、ABテストをすればいい」
効果測定の話になると、必ずこの答えが返ってきます。
対象を2つに分けて、片方だけに施策を打ち、結果を比べる。理屈としては、これが最も確実です。
ただ、実務でこう返された経験のある方も多いはずです。
「それができれば苦労していない」
値上げを一部のお客様にだけ試すわけにはいきません。テレビCMを特定の人にだけ見せることもできません。
そして何より、知りたいのはたいてい、すでに打ってしまった施策の効果です。過去に戻ってテストすることはできません。
では、テストができない場面では効果を測ることを諦めるしかないのか。
そうではありません。今回は、テストなしで効果に迫るための考え方と、実務で使える3つの比較的簡単な方法を紹介します。
実務の大半は、ABテストできない
ABテストできない3つの事情
まず、なぜABテストできないのかを整理しておきます。
事情は大きく3つです。
1つ目は、分けられない
価格改定、商品リニューアル、テレビCM、店舗の改装。
これらは全体に一度に適用されるもので、一部の人にだけ適用することが物理的に難しい。
価格を人によって変えれば、公平性の問題も生じます。
2つ目は、分けたくない
「効果がありそうな施策を、あえて一部のお客様に届けないのは機会損失だ」
この反対は、実務では非常に強く出ます。
特に営業やマーケティングの現場では、正論として通ってしまいます。
3つ目は、もう終わっている
そして実は、これが最も多い。
「先月のキャンペーン、効果はどうだった？」と聞かれる。
すでに全店で実施済みです。時間は巻き戻せません。
諦める必要はない
3つのうち、1つ目と3つ目は工夫の余地がありません。
2つ目については、対象の5%だけ配信を止める枠を作るなど、交渉の余地があります。
実際、その5%が数千万円の予算判断を支えることもあります。
ただ、それでも残る大半の場面では、ABテストなしで測るしかない。
そしてそのための考え方は、実はABテストと同じ土台の上にあります。
「やらなかった世界」を作るという発想
本当に比べたいもの
効果とは何か。
厳密に言えば、同じ相手について「施策を打った場合の結果」と「打たなかった場合の結果」の差です。
たとえばキャンペーンを実施した店舗の売上が1,200万円だったとします。
知りたいのは、「この店がキャンペーンをやらなかったら、いくらだったか」です。
それが1,100万円なら効果は100万円。1,200万円なら効果はゼロ。
問題は、「やらなかった場合」は永遠に観測できないことです。
同じ店の同じ月を、2通り経験することはできません。
代役を立てるという発想
そこで実務がやることは1つです。
観測できない「やらなかった場合」の、代役を立てること。
ABテストは、この代役をくじ引きで作る方法です。
ランダムに分ければ、2つのグループは施策の有無以外で平均的に同じになるので、片方が他方の代役として使えます。
つまりABテストは、目的そのものではありません。
代役を作る手段の1つです。
だとすれば、くじ引き以外の方法で代役を用意できれば、テストなしでも効果に迫れます。
この視点に立つと、効果測定の設計とは「この代役は、本当に代役として使えるか」を検討する作業だと分かります。
代役を立てる3つの方法
似た相手を探す
1つ目は、施策を受けなかった相手の中から、性質の近い相手を探して比べる方法です。
キャンペーンを実施した店舗があるなら、実施していない店舗の中から、規模・立地・客層・過去の売上水準が近い店を選んで比べます。
1店対1店ではなく、10店対10店のように束で比べると安定します。
この方法の要は、「近い」の中身をどこまで具体的に言えるかです。
「なんとなく似た店」では代役になりません。
売場面積、駅からの距離、前年同月の売上、来店客数。揃える項目を具体的に挙げ、両者の平均を並べた表を1枚作ってください。
この表が添えられているかどうかで、報告の説得力はまったく変わります。
施策前の期間を使う
2つ目は、同じ相手の施策前の期間を代役にする方法、いわゆる前後比較です。
手軽ですが、単独で使うと危険です。
期間が違えば、施策以外のものもすべて変わっているからです。
季節、気温、競合の動き、景気、同時に走っていた他の施策。前後の差には、それらがすべて混ざります。
前後比較は、次に紹介する方法と組み合わせて初めて実用的になります。
前後比較に、比較対象を足す
3つ目が、実務で最も使い勝手の良い方法です。
前後比較に、施策を打っていない相手の同じ期間を並べます。
たとえば、キャンペーンを実施したA地域の売上が、前月比+15%だったとします。同じ期間、実施していないB地域は+10%でした。
この場合、季節や景気の影響が+10%分あったと考えられるので、キャンペーンの効果は差し引き5%程度と見積もれます。
前後比較だけなら「+15%の効果があった」と報告してしまうところです。
比較対象を1つ足すだけで、見積もりは3分の1になりました。この差が、そのまま予算判断の精度になります。
注意点は、B地域が「A地域と同じように動くはずだった相手か」です。
確認する方法があります。
施策を打つ前の何ヶ月かを並べて、2つの地域の売上が同じような動き方をしていたかを見てください。
施策前から動きが揃っているなら、代役として信頼できます。施策前からバラバラなら、この比較は使えません。
結果をどこまで信じるか
「効果は○○万円」と断言しない
これらの方法で出した数字は、ABテストの結果ほど確かではありません。
だからこそ、報告の仕方に工夫が要ります。
避けたいのは、「効果は500万円でした」という言い切りです。
代役の選び方に前提がある以上、この数字には幅があります。
推奨したいのは、前提とセットで示すことです。
「近い条件の10店舗と比べたところ、差は500万円でした。ただし、両者の客層は揃えていますが、競合店の出店状況までは揃えられていません」。
このように書けば、読み手は数字の性質を正しく受け取れます。
限界を書くと結論が弱く見えると感じるかもしれません。
実際は逆です。限界を明示できる報告のほうが、意思決定者からの信頼は高くなります。
精度に応じた使い方をする
そして、精度が完璧でなくても意思決定はできます。
「効果はほぼゼロだった」と分かれば、その施策は止められます。
「大きな効果があった」と分かれば、拡大の判断ができます。
細かい金額まで正確でなくても、方向と桁が分かれば動ける判断は多いのです。
厳密さを求めすぎて何も測らないより、前提を明示した粗い見積もりのほうが、実務の役には立ちます。
今回のまとめ
ABテストができないことは、効果が分からないことを意味しません。
ABテストは代役を作る手段の1つであって、目的そのものではないからです。
やるべきことはシンプルです。
「この施策をやらなかったら、どうなっていたか」
その代役を、どこから連れてくるかを考える。似た相手を探すのか、施策前の期間を使うのか、その両方を組み合わせるのか。
そして選んだ代役について、「これは本当に代役として使えるか」を自分の言葉で説明できるようにしておく。
効果測定でつまずく原因の多くは、計算の複雑さではありません。
何と比べているのかが曖昧なまま、数字だけが独り歩きすることです。
逆に、比較の相手さえ意識できていれば、使える手法は限られていても、判断の質は確実に上がります。
次に「先月の施策、効果はどうだった？」と聞かれたら、まずこう考えてみてください。
「やらなかった場合の代わりは、どこにあるだろうか」。
そこから始まる分析は、少なくとも間違った方向には進みません。
よくある質問
Q. A/Bテストができない場合、効果測定は諦めるべきですか？
いいえ。ABテストは「施策をやらなかった場合」の代役をくじ引きで作る手段の1つであり、目的そのものではありません。
似た条件の相手を探す、施策前の期間と比べる、施策を打っていない相手の同じ期間を並べるといった方法で、代役を用意できます。
精度はテストに劣りますが、前提を明示すれば実務の判断には十分使えます。
Q. なぜ前後比較だけでは不十分なのですか？
期間が違えば、施策以外のものもすべて変わっているからです。
季節、気温、競合の動き、景気、同時に実施していた他の施策。前後の差には、これらがすべて混ざります。
施策を打っていない相手の同じ期間を並べることで、施策以外の影響がどれくらいかを見積もれます。
Q. 比較する相手は、どうやって選べばよいですか？
「近い」の中身を具体的に決めることが重要です。
店舗なら売場面積、駅からの距離、前年同月の売上、来店客数など。選んだあとは、施策前の数ヶ月の動きが両者で揃っているかを確認してください。
施策前から同じように動いていた相手は、代役として信頼できます。
Q. 一部のお客様にだけ施策を届けないのは、機会損失ではないですか？
その懸念は正当です。
ただし、対象の5%程度に絞れば損失は限定的です。
一方で、数千万円規模の予算を「効果があるかどうか分からないまま」投じ続けるリスクと比べれば、5%の機会損失は小さい投資と考えられます。
Q. 測定した効果は、どこまで信じてよいですか？
テストの結果ほどの確からしさはありません。
だからこそ「効果は500万円でした」と言い切るのではなく、「近い条件の10店舗と比べた差が500万円。
ただし競合の出店状況までは揃えていません」のように、前提と限界をセットで示してください。方向と桁が分かれば、実務の判断には十分な場合が多くあります。