第219話｜データによる効果検証とネクストアクション

プロモーションを実施したとき、その効果を知りたくなるものです。

例えば、A群とB群に分け、A群には従来のプロモーションを実施し、B群には新しいプロモーションを試したとき、売上などがどう異なるのかを検証するといったものです。

仮に、新しいプロモーションが従来のプロモーションに比べ効果があった、と言えても、それがそのままネクストアクションに繋がるかと言うと、そう単純でもありません。

今回は、「データによる効果検証とネクストアクション」というお話しをします。

Contents

ケーススタディ
3つの効果検証の分析方法
AB比較分析
Before&After分析
差分の差分析
全体的な傾向にすぎない
個店レベルにする
予測は点ではなく、区間もしくは分布で表現しレコメンドする
今回のまとめ

ケーススタディ

ある小売チェーンで、4月にあるプロモーションを実施していました。

毎年ほぼ同じプロモーションを実施しています。

2019年に新しいプロモーションを試すことになりました。そこで、賛同する店舗を募集し、実際に新しいプロモーションを実施しました。

A群（対照群）店舗集合：2019年も従来のプロモーションのまま
B群（処置群）店舗集合：2019年に新しいプロモーションを実施

4月の売上（月販）が出揃ったところで、新しいプロモーションが従来のプロモーションに比べ効果があったどうかを分析することになりました。

	A群（対照群）	B群（処置群）
2018年4月	3.21億円/店	2.79億円/店
2019年4月	3.36億円/店	3.00億円/店

3つの効果検証の分析方法

今紹介したケーススタディを例に、よくあるデータ分析の方法を3つ紹介します。

AB比較分析
Before&After分析
差分の差分析

AB比較分析

一番多い分析方法かと思います。

単純に、2019年のA群とB群の4月の売上（月販）を比較するというものです。

	A群（対照群）	B群（処置群）	差分（B群-A群）
2018年4月	3.21億円/店	2.79億円/店	-0.42億円
2019年4月	3.36億円/店	3.00億円/店	-0.36億円

この例では、B群の店舗はA群の店舗に比べ-0.36億円（-3,600万円）で、売上が低いことが分かります。

この結果から……

新しいプロモーションは従来のプロモーションに比べ効果はない

……となります。

この分析方法にはある前提があります。

それは、A群とB群の店舗集合は「ほぼ同じ」という仮定です。

B群の店舗は、自ら手を挙げてこの新しいプロモーションに参加したということと、そもそも2018年の4月の売上（月販）が異なるため、「ほぼ同じ」という仮定は難しいかもしれません。

この仮定を満たすために、最近では傾向スコアと言うものを活用し調整することも増えました。詳しくは説明しません。気になる方は、調べてみたください。

Before&After分析

次に多い分析方法です。

B群の中で、従来プロモーションを実施した2018年と、新プロモーションを実施した2019年の4月の売上（月販）を比較するというものです。

	A群（対照群）	B群（処置群）	差分（B群-A群）
2018年4月	3.21億円/店	2.79億円/店	-0.42億円
2019年4月	3.36億円/店	3.00億円/店	-0.36億円
差分（2019年-2018年）	+0.15億円	+0.21億円

この例では、従来プロモーションを実施した2018年に比べ新プロモーションを実施した2019年の4月の売上（月販）は+0.21億円（+2,100万円）で、売上が上がっていることが分かります。

この結果から……

新しいプロモーションが従来のプロモーションに比べ効果があった

……となります。

AB比較分析と結論が異なります。

この分析方法にはある前提があります。

それは、B群の店舗にとって2018年と2019年は「ほぼ同じ」という仮定です。

仮に、2018年と2019年は「ほぼ同じ」という仮定が満たされたとします。この仮定が満たされたと言っても、A群も新しいプロモーションを実施したほうがいいとか、B群も2020年に新しいプロモーションを継続したほうがいいとか、そういうことまでは言えません。

要するに、データから効果検証を分析した結果、効果があったとしてもネクストアクションに即つながるかと言うと難しい面があります。

なぜならば、2020年も「ほぼ同じ」という仮定が満たされている必要があるからです。

差分の差分析

最近増えた分析方法です。

Before&After分析を、A群とB群でそれぞれで実施し、2018年と2019年の売上（月販）の差分を求めます。

A群の差分（2019年の4月の月販-2018年の4月の月販）：+0.15億円（+1,500万円）
B群の差分（2019年の4月の月販-2018年の4月の月販）：+0.21億円（+2,100万円）

さらに、この差を計算します。

B群の差分-A群の差分=+0.06（+600万円）

この結果から……

新しいプロモーションが従来のプロモーションに比べ効果があった

……となります。

この分析方法にはある前提があります。

それは、A群とB群の店舗集合は「ほぼ同じ」という仮定です。さらに、A群とB群で「効果はほぼ同じ」という仮定も設けています。

先ほど、B群の差分-A群の差分=+0.06（+600万円）と計算しました。これは、A群が新しいプロモーションを実施すると、+0.06（+600万円）になるという前提があります。

この仮定を満たすために、最近では傾向スコアと言うものを活用し調整することも増えました。詳しくは説明しません。気になる方は調べてみてください。

しかし、A群が新しいプロモーションを実施したとき、B群と同じ効果を得られるという保障はどこにもありません。なぜならば、自ら手を挙げたB群と、手を挙げなかったA群では、データで見えないやる気などの部分などで、異なることでしょう。そのため、、A群も新しいプロモーションを実施したほうがいいとはなりません。

さらに、A群であろうがB群であろうが、2020年に新しいプロモーションを継続したほうがいいとか、そういうことまでは言えません。当然ながら、過去の傾向が2020年も続くという仮定があります。

先ほども言及しましたが、データから効果検証を分析した結果、効果があったとしてもネクストアクションに即つながるかと言うと難しい面があります。

最終的には、人的な決断が必要になります。

全体的な傾向にすぎない

今、3つの分析方法を紹介しました。

AB比較分析
Before&After分析
差分の差分析

どの分析方法も何かしらの仮説が設定されており、どのような仮定設定をするかで分析結果が異なります。

さたに、傾向スコア等で調整し最もらしい分析結果を見出しても、それはあくまでも全体的な傾向に過ぎず、個店のネクストアクションからほど遠いものです。

例えば、全体的な傾向として、新しいプロモーションが従来のプロモーションに比べ効果があった、と言えても個店で考えたとき、どうなんだろう……　となります。

そこで、店舗属性（立地など）を元に分けて効果検証の分析をするケースもあります。

例えば、ロードサイト店舗では効果はあった、駅前店舗では効果はなかった、といったものです。

しかし、ロードサイト店舗では効果はあった、となっても、個店で考えたとき、どうなんだろう……　となります。

経営層や経営企画レベルで効果の有無を把握するのならば、全体の傾向や立地条件ごとの傾向を知ること意味はあるかもしれませんが、個店レベルになると使えない分析結果である可能性があります。

では、どうすればいいのでしょうか？

個店レベルにする

アクションに落とすには、今回の例の場合、個店レベルにする必要があります。

店舗ごとにきめ細やかに何をすべきかを、データから提示すべきです。

同じロードサイド店舗でも、新しいプロモーションを実施したほうがいい店舗もあれば、従来のプロモーションのままがいい店舗もある、ということです。

1,000店舗でも10,000店舗でも、現在のコンピュータの性能と分析技術により、個店レベルのデータ分析や予測モデルの構築などは可能です。

要は、効果検証のデータ分析と、ネクストアクションのためのデータ分析は異なります。

予測は点ではなく、区間もしくは分布で表現しレコメンドする

今回のケースでネクストアクションのためのデータ分析をするとき、多くの場合、予測ということをすると思います。

新しいプロモーションの場合の売上予測
従来のプロモーションの場合の売上予測

多くの場合、点の予測（例：1億円）をするかと思います。

それはそれでいいのですが、可能でああれば区間（例：0.9～1.1億円）もしくは分布を予測すると、良いと思います。

なぜならば、点の予測（例：1億円）の値が高くても、区間が広かったり、分布が広がっていることはあります。区間が狭い方かったり、分布が尖っている方が、点の予測の値に近くなる確実性が高いです。そのような場合、点の予測（例：1億円）の値が低くても、確実性の高い方を選択した方が良いこともあります。

データ分析の世界では、予測の区間が広がりや分布の広がりを、リスクと表現したりします。