効果検証の話題で、名前だけはよく聞く手法があります。「傾向スコア」です。
ところが、解説を読み始めると、多くの方が途中で閉じてしまいます。
ロジスティック回帰、共変量、マッチング。数式と専門用語の壁が、いきなり立ちはだかるからです。
今回は、数式を一切使わずに、この手法が「何をやっているのか」だけを説明します。
実は、やっていることは驚くほど素朴です。
似た者同士のペアをつくって比べる。それだけです。
読み終わる頃には、報告書でこの手法を見かけたときに、確認すべきポイントまで分かるようになっています。
出発点――そのまま比べると、もともとの差が混ざる
いつもの問題
ある通販会社F社で、アプリ会員の年間購入額を集計したところ、非会員の1.8倍という結果が出ました。
「アプリ会員になると、購入額が80%増える」と言いたくなる数字です。
しかし、もうお気づきかもしれません。
アプリを入れるのは、もともとよく買うお客様です。
会員と非会員は、アプリの有無以外の点でも、最初から違う集団でした。
1.8倍という差には、アプリの効果と、もともとの差が混ざっています。
理想は「そっくりさん」を探すこと
この問題への素直な対処は、こうです。
会員のひとりひとりについて、性質がそっくりな非会員を探してきて、ペアにする。
35歳・女性・月2回購入・首都圏在住の会員には、同じ条件の非会員をペアにする。
こうしてできたペアの束で購入額を比べれば、「もともとの差」は消え、残った差はアプリの効果に近づきます。
考え方としては、これで完成です。
似た者同士をつくって比べる。傾向スコアがやろうとしていることは、最初から最後までこれだけです。
ところが「そっくりさん」は見つからない
問題は、実行の段階で起きます。
揃えたい条件は、年齢だけではありません。
性別、購入回数、購入金額、地域、利用年数、よく買う商品カテゴリ。
条件を1つ増やすたびに、すべてが一致する相手は急速にいなくなります。
7つも8つも条件を重ねれば、ペアの相手が見つからない会員だらけになる。
そっくりさん探しは、理想的だが実行できない。
ここで、発想の転換が必要になります。
発想の転換――「そっくり」を1つの点数にまとめる
「会員になりやすさ」を点数にする
転換のアイデアはこうです。
条件を1つずつ揃えるのをやめて、「この人がアプリ会員になりそうな度合い」を1つの点数にまとめてしまう。
年齢、購入回数、地域といった手元の情報から、「この人が会員になる見込みは何%か」を計算します。
よく買う若いお客様なら85点、ほとんど買わないお客様なら10点、といった具合です。
この点数のことを、分析の世界では傾向スコアと呼びます。
名前は仰々しいですが、実体は「施策の受けやすさの点数」です。
点数が同じなら、中身の組み合わせは違ってよい
点数ができたら、あとは単純です。
40点の会員には、40点の非会員をペアにする。85点には85点を。
条件7つの完全一致を探す代わりに、点数という1つの物差しだけで相手を探します。
ここで面白いのは、ペアの中身です。
片方は「若いが購入回数は少ない」、もう片方は「年配だが購入回数が多い」かもしれません。
個々の条件は違っても、「会員へのなりやすさ」という物差しの上では同じ位置にいる。
何十個の条件を1つの点数に圧縮することで、見つからなかったそっくりさんが、見つかるようになるわけです。
F社では、結論がこう変わった
F社で、点数の近い者同士をペアにして購入額を比べ直したところ、会員は非会員の1.15倍でした。
単純比較では1.8倍。似た者同士の比較では1.15倍。
差の大部分は、アプリ以前からあった「もともとの差」だったことになります。
アプリに効果はある。ただし80%増ではなく、15%増程度。
この違いは、アプリ施策にいくら投じるかの判断を大きく変えます。
ペアを作って終わり、ではない――「揃ったか」の確認
本当に似た者同士になったかを、表で確かめる
この手法には、飛ばしてはいけない工程が1つあります。
ペアを作った後に、本当に似た者同士になったかを確認することです。
やることは単純です。
ペアにした後の会員グループと非会員グループについて、平均年齢、平均購入回数、地域の構成比などを並べた表を作ります。
ペアにする前は大きく違っていた数字が、ペアの後にほぼ揃っていれば、比較の土台ができたと言えます。
揃っていなければ、点数の作り方を見直してやり直しです。
報告書を見るときのチェックポイント
裏を返せば、この表は報告を受ける側の武器になります。
傾向スコアを使った分析報告に、「ペア後の比較表」が添えられているか。
添えられていなければ、似た者同士になった証拠がないまま結論だけが示されている、ということです。
手法の名前に説得されず、この1点を確認してください。
この手法が使えない2つの場面
ペアの相手が、そもそもいない
1つ目は、点数の分布が偏っている場合です。
会員のほとんどが90点以上で、非会員側に90点台の人がほとんどいないとします。
このとき、高得点の会員にはペアの相手がいません。
無理に70点の非会員をあてがえば、それは似ていない者同士の比較です。
対処は、比べられる範囲だけで比べること。
そして「90点以上の会員は比較から外れている」と報告に明記することです。
範囲を絞ることは分析の失敗ではありません。
黙って範囲外まで結論を広げることが失敗です。
大事な性質が、データにない
2つ目は、より根本的な限界です。
点数は、手元にあるデータからしか作れません。
たとえば「買い物そのものが好きかどうか」という性質が、アプリを入れるかどうかを大きく左右しているとします。
この性質はデータにありません。
すると、点数を揃えても、この性質は揃わないままです。
似た者同士に見えるペアが、実は肝心なところで似ていない。
つまりこの手法は、魔法ではありません。
消せるのは、手元のデータに含まれている範囲の「もともとの差」だけです。
だからこそ、報告には「何を揃えたか」だけでなく、「何は揃えられていないか」も書く必要があります。
今回のまとめ
傾向スコアという名前から想像されるほど、この手法は難解ではありません。
やっていることは、①施策の受けやすさを1つの点数にまとめ、②点数の近い者同士をペアにして、③似た者同士の状態で比べる。
これだけです。
覚えておく価値があるのは、手法の名前や計算方法ではなく、その狙いです。
そのまま比べると混ざってしまう「もともとの差」を、似た者同士をつくることで取り除く。
この狙いさえ理解していれば、自分で計算しなくても、報告書を正しく読めます。
確認すべきは2点です。
ペアにした後の比較表が添えられているか。そして、手元のデータにない要因として何が残っているか。
この2つを問える読み手がいる組織では、手法が一人歩きすることはありません。
よくある質問
Q. 傾向スコアとは何ですか？一言で説明してください
「その人が施策を受けやすいかどうか」を1つの点数にまとめたものです。
たとえばアプリ会員施策なら、年齢や購入履歴などの情報から「この人が会員になりそうな度合い」を計算します。
この点数が近い者同士をペアにして比べることで、施策を受けた人と受けていない人の「もともとの差」を取り除きます。
Q. なぜ条件を1つずつ揃えるのではなく、点数にまとめるのですか？
条件を増やすほど、すべてが一致する相手が見つからなくなるからです。
年齢・性別・購入回数・地域など7つも8つも条件を重ねると、完全に一致するペアはほぼ存在しません。
多数の条件を「施策の受けやすさ」という1つの点数に圧縮すれば、点数という1つの物差しだけで相手を探せるようになります。
Q. 傾向スコアを使えば、施策の効果は正しく測れますか？
条件付きで近づけます。
取り除けるのは、手元のデータに含まれている範囲の「もともとの差」だけです。
たとえば「買い物好きかどうか」のようにデータにない性質が施策の利用を左右している場合、点数を揃えてもその性質は揃いません。
報告では「何を揃えたか」と「何は揃えられていないか」をセットで示す必要があります。
Q. 傾向スコアの分析報告を受けるとき、何を確認すればよいですか？
2点です。
1つ目は、ペアを作った後の比較表（両グループの平均年齢や購入回数などを並べた表）が添えられているか。これがなければ、似た者同士になった証拠がありません。
2つ目は、手元のデータにない要因として何が残っているか。
この2つを確認すれば、手法の名前に説得されずに報告を読めます。
Q. 傾向スコアが使えないのは、どんな場面ですか？
大きく2つあります。
1つ目は、点数の分布が偏っていて、ペアの相手が見つからない場合です。この場合は比べられる範囲だけで比べ、範囲外を除いたことを明記します。
2つ目は、施策を受けるかどうかを左右する大事な性質がデータにない場合です。
この場合、点数を揃えても肝心な部分は揃いません。