全体では施策Aが優れているのに、属性別に分けると、どのグループでも施策Bのほうが優れている。そんな結果を目の前にすると、計算ミスを疑ったり、「結局どちらの数字を信じればよいのか」と迷ったりするでしょう。シンプソンのパラドックスを理解する鍵は、逆転した数字だけを見るのではなく、各グループの人数構成と、比較対象・結果・第三変数がどのような関係で結ばれているのかを確かめることにあります。
シンプソンのパラドックスと交絡因子の関係
シンプソンのパラドックスとは、集団全体で観察された二つの変数の関係が、ある第三の変数で集団を分けたときに弱まったり消えたり、場合によっては反対方向へ逆転したりする統計的な現象です。
たとえば、店舗全体では広告Aの購入率が広告Bを上回っているのに、新規顧客だけで比べるとBが高く、既存顧客だけで比べてもBが高いという結果が現れることがあります。
この数字を見ると、「新規顧客でも既存顧客でもBが高いなら、全部まとめてもBになるはずではないか」と感じるでしょう。部分集団のすべてが同じ方向を示しているなら、全体も同じ方向になると考えたくなるからです。
ところが、全体の割合は各グループの成績だけでは決まりません。それぞれのグループが全体に何人含まれているかという構成比も重みとして反映されるため、人数配分が大きく違えば、全体では反対の結果が現れることがあります。
E. H. Simpsonは1951年に発表した論文で、分割表における変数間の関係をどのように解釈するかという問題を扱いました。その後、Colin R. Blythは1972年にJASAへ「On Simpson's Paradox and the Sure-Thing Principle」を発表し、「Simpson's Paradox」という名称を用いてこの問題を論じています。
ここで深く関係するのが交絡です。
交絡とは、知りたい要因Xと結果Yの関係に第三の要因Zの影響が混ざり、観察されたXとYの関係から、Xそのものの因果的な効果をそのまま読み取りにくくなる状態を指します。
典型的には、第三の変数Zが「誰がXを受けるのか」という選択に関係し、同時に「Yがどうなるのか」という結果にも影響している場合、XとYの単純比較にはZによる構成差まで入り込みます。
ただし、シンプソンのパラドックスと交絡は同じ概念ではありません。
シンプソンのパラドックスは、全体と部分集団の集計結果に現れる逆転現象です。一方の交絡は、因果効果を読み取るときに問題となる構造であり、逆転現象が起きたからといって、必ず交絡が原因だとは限りません。
さらに、「第三の変数を見つけたら、その変数で分ければ正しい答えになる」と考えることもできません。第三の変数が交絡因子ではなく、原因から結果へ効果を伝える媒介変数や、複数の原因から影響を受けるコライダーであれば、条件をそろえること自体が新しいバイアスを生む場合があります。
シンプソンのパラドックスを理解するときに重要なのは、全体か部分かを機械的に選ぶことではなく、なぜその集計結果になったのかを考えることです。
この視点があれば、「逆転したから層別値を信じる」という一段浅い理解から抜け出し、データが生まれた仕組みまで見られるようになります。
そもそも交絡因子とは何か
交絡因子という言葉は難しく聞こえますが、考え方そのものは日常でも見つかります。
たとえば、子どもの身長Xと語彙力Yを調べたところ、背の高い子どもほど知っている言葉が多いという関係が観察されたとします。
数字だけを見れば、「身長が高くなるほど語彙力も高くなる」と読めるかもしれません。しかし、身長を伸ばす処置をしたからといって、その子どもの語彙力まで増えるとは通常考えないでしょう。
背景には年齢Zがあります。
年齢が上がれば身体が成長して身長は伸びますし、同じ時間の流れの中で学校教育や読書、家庭での会話や生活経験も積み重なるため、語彙力も高まりやすくなります。
構造を単純化すれば、年齢Zから身長Xへ影響があり、同じ年齢Zから語彙力Yへも影響があると考えられます。
年齢を無視してXとYだけを見ると、Zによって同時に生じた二つの変化を、XがYを生み出した関係であるかのように読み違える可能性があります。
交絡因子を考えるときの視点
交絡因子の候補を探すときには、その変数が比較対象Xより前から存在していたか、Xが選ばれる仕組みに関係しているか、さらに結果Yにも影響しているかという流れを確認すると理解しやすくなります。
ただし、「この三つを満たせば必ず交絡因子になる」という機械的な判定規則ではありません。現代の因果推論では、何を調整すべきかは、推定したい因果効果と因果構造全体を踏まえて判断します。
たとえば、顧客の年齢が購入率に強く関係していたとしても、広告Aと広告Bの割り当てにはまったく影響していないのであれば、その事実だけで年齢を交絡因子とは呼べません。
反対に、医師が患者の重症度を見ながら治療法を選び、その重症度自体も治療成功率を左右するなら、重症度は治療法と結果の単純比較を歪め得る重要な変数になります。
交絡因子とは、単に結果と関連する変数ではなく、知りたいXとYの因果関係へ別の経路から影響を持ち込む変数です。
この区別が分かると、「関係しそうな変数を全部調整すれば安全」という発想が、なぜ危険なのかも見えてきます。
なぜ全体とグループ別で結果が逆転するのか
シンプソンのパラドックスを直感だけで理解しようとすると、「部分ではAなのに、全体ではBになる」という不思議さが残りやすいでしょう。
そこで、同じ三つの変数を「集計表」「人数構成」「因果構造」という順番で見ていきます。
ここでは、シンプソンのパラドックスを説明するときによく用いられる腎結石治療のデータを扱います。治療法をX、治療成功をY、結石サイズをZとして考えると、逆転の仕組みと交絡の意味を同じ例の中で追えます。
第1段階 集計表で逆転を確認する
腎結石の治療成績を、小さい結石と大きい結石に分けて整理すると、次のようになります。
| 結石の大きさ | 治療法Aの成功 | Aの成功率 | 治療法Bの成功 | Bの成功率 |
|---|---|---|---|---|
| 小さい結石 | 81／87人 | 93.1％ | 234／270人 | 86.7％ |
| 大きい結石 | 192／263人 | 73.0％ | 55／80人 | 68.8％ |
| 全体 | 273／350人 | 78.0％ | 289／350人 | 82.6％ |
小さい結石の患者では、治療法Aの成功率が93.1％、治療法Bが86.7％となり、観察された成功率はAのほうが高くなっています。
大きい結石でもAは73.0％、Bは68.8％なので、こちらでもAが上回ります。
ところが、すべての患者をまとめるとAは78.0％、Bは82.6％となり、全体ではBのほうが高くなります。
この数字を前にすると、「小さい結石でも大きい結石でもAが高いのに、なぜ全部まとめるとBが上になるのだろう」と戸惑うでしょう。まさに、この直感とのずれがシンプソンのパラドックスを分かりにくくしています。
数字がおかしいわけではありません。
ただし、この層別成功率を見ただけで「患者一人ひとりにとってAを選べばBより治りやすい」と因果的に断定することもできません。観察データでは、結石サイズ以外にも治療法の選択や治療成績へ影響する要因が存在するという可能性があるからです。
それでも、なぜ集計結果が反転したのかを理解する材料として、このデータは非常に分かりやすいでしょう。
第2段階 人数構成から加重平均を見る
次に、成功率ではなく各治療群の患者構成を確認します。
| 治療法 | 小さい結石 | 大きい結石 | 合計 |
|---|---|---|---|
| 治療法A | 87人 24.9％ | 263人 75.1％ | 350人 |
| 治療法B | 270人 77.1％ | 80人 22.9％ | 350人 |
治療法Aでは350人のうち263人が大きい結石であり、全体の約75％を占めています。一方の治療法Bでは270人が小さい結石で、約77％がこちらの層です。
そして、どちらの治療法についても、小さい結石の成功率は大きい結石の成功率より高くなっています。
つまりAには、もともと治療成功率が低くなりやすい大結石患者が多く、Bには比較的成功しやすい小結石患者が多く含まれていました。
ここで全体成功率の意味が変わって見えてきます。
全体成功率は、小結石の成功率と大結石の成功率を単純に足して2で割った数字ではありません。それぞれの患者層が全体の何％を占めているかによって重みが変わる、加重平均です。
治療法Aの場合は、小結石の93.1％に24.9％という比較的小さな重みが付き、大結石の73.0％には75.1％という大きな重みが付きます。
その結果、全体では約78.0％です。
治療法Bでは逆に、小結石の86.7％に77.1％という大きな重みが付き、大結石の68.8％には22.9％の重みしか付きません。
その結果、全体では約82.6％になります。
治療法Bは、小さい結石でも大きい結石でも観察された成功率がAを下回っています。それでも成功しやすい小結石患者が大半を占めているため、全体平均ではBが高くなるわけです。
一方のAは、成功が難しい大結石患者を多く含んでいるため、各層では高い成功率を示していても、全体値は低くなります。
シンプソンのパラドックスで数字が逆転する背景には、各層の成績だけでなく、その層がどれだけ含まれているかという重みの違いがあります。
「Aは78.0％、Bは82.6％」という二つの数字だけを眺めていたときには見えなかった事情が、分母まで確認すると一気に浮かび上がります。
3つの変数を因果図で整理する
ここまでは、集計値がなぜ逆転したのかを加重平均で確認しました。
しかし、ここから「それなら結石サイズで分けた結果を信じればよい」と進むには、もう一段考える必要があります。
同じ三つの変数について、現実世界で何が何へ影響しているのかを整理するためです。
この例では、治療法をX、治療成功をY、結石サイズをZとします。
もし、結石サイズによって選ばれやすい治療法が変わり、同時に結石サイズそのものも治療成功に影響すると考えられるなら、因果関係は次のような形になります。
結石サイズZ → 治療成功Y
治療法X → 治療成功Y
分析者が本当に知りたいのは、「治療法Xを変えたとき、治療成功Yがどう変わるのか」というXからYへの因果効果でしょう。
ところが、ZからXとYの双方へ矢印が伸びていると、治療法と治療成功の間には「X ← Z → Y」という別の経路も存在します。
このようにXへ後ろ側から入り、Yへつながる非因果的な経路は、因果推論ではバックドア経路として扱われます。
全体をそのまま比較すると、XからYへ向かう治療法そのものの影響と、Zによって生じた患者構成の影響が混ざります。
そこで、結石サイズZが実際に交絡を生む共通原因であり、想定した因果構造が妥当だという前提のもとでは、Zを条件付けることでバックドア経路を遮断できます。
この例で因果効果を考えるために結石サイズで層別化する目的は、単にデータを細かくして見やすくすることではありません。治療法とは別の理由で治療成功へ入り込む経路を切り離し、XとYをより比較しやすくするためです。
この例では、層別化が交絡による別経路を抑えるための手段として使われています。
ただし、層別化には記述的な比較や効果修飾の確認など、ほかの目的もあります。そのため、「層別化は常にバックドア経路を遮断するために行う」と一般化することはできません。
さらに、結石サイズを調整したからといって、すべての交絡が消えたと断定することもできないでしょう。
年齢や全身状態、結石の位置、医療機関の違いなど、治療法の選択と治療結果の両方に関係する別の要因が存在するという可能性があります。
因果ダイアグラムは、手元の表から正解を自動的に出す装置ではありません。どの変数が何に影響していると考えるのかを明示し、その仮定に照らして分析方法を選ぶための道具です。
第三の変数なら何でも分ければよいわけではない
交絡の仕組みが分かると、「では、関連しそうな第三の変数をできるだけ多く見つけ、全部の条件をそろえれば安全なのではないか」と考えたくなるかもしれません。
公平に比較したいと思うほど、条件を細かくそろえたくなるでしょう。
しかし、ここが次の落とし穴です。
第三の変数による調整は、交絡を減らして比較を改善する場合もあれば、それまで存在しなかった関連を人工的に作る場合もあります。
Simpsonの1951年論文が示唆している重要な点の一つは、「全体より層別した結果のほうが常に正しい」という単純な原則が存在しないことです。
同じような統計的逆転が見えていても、その第三変数が現実世界でどのような役割を持っているかによって、分けるべき場合と分けるべきでない場合があります。
コライダーで分けると新しい関連が生まれる
この問題を理解するため、トランプの例を考えてみます。
52枚のカードについて、絵札かどうかをX、赤か黒かという色をYとして、両者に関係があるかを調べるとしましょう。
通常のトランプでは、絵札か数字札かという種類と、赤か黒かという色に因果的な関係を考える理由はありません。
ところが、ある場面で子どもがカードを触っており、その子どもが絵札を好むと同時に赤いカードも好んでいたため、一部のカードが汚れていたとします。
このとき、カードの種類Xから汚れCへ影響があり、カードの色Yからも汚れCへ影響があるという構造を考えられます。
つまり、因果関係は「X → C ← Y」です。
ここでCは、XとYの二つから影響を受ける共通の結果であり、このように矢印が集まる変数をコライダー、または合流点と呼びます。
全カードをまとめて見る限りXとYが無関係だったとしても、「汚れたカードだけ」に限定すると関連が現れることがあります。
汚れていることが分かっているカードについて、絵札ではないと判明すれば、「それでもよく触られて汚れたのなら、赤いカードだった可能性が相対的に高いのではないか」という情報が生まれるためです。
その結果、本来は無関係だったカードの種類と色の間に、汚れという条件を加えたことで見かけ上の関連が生まれます。
ここでは、第三変数で分けたことで分析が改善したのではなく、むしろ新しいバイアスを作っています。
第三の変数で分けること自体が正しいのではなく、その変数が因果構造のどこにあるのかによって処理を変える必要があります。
この一点を押さえると、交絡因子とコライダーを同じ感覚で扱ってはいけない理由が分かるでしょう。
交絡因子と媒介変数とコライダーの違い
第三の変数を扱うとき、初心者がまず区別したいのは、交絡因子、媒介変数、コライダーの三つです。
| 変数の役割 | 基本構造 | XとYに対する位置 | 総効果を考える場合の基本方針 |
|---|---|---|---|
| 交絡因子 | X ← Z → Y | XとYの共通原因 | 必要に応じて調整する |
| 媒介変数 | X → M → Y | Xの効果をYへ伝える途中 | むやみに調整しない |
| コライダー | X → C ← Y | XとYの共通結果 | 通常は調整しない |
この表は基本構造を理解するために単純化したものですが、第三変数を一律に処理してはいけないことは分かります。
交絡因子を放置すると、XからYへの因果効果とは別の経路が残り、観察された関連を歪める可能性があります。
反対に媒介変数を固定すれば、XがYへ効果を伝える正規の因果経路の一部を遮断してしまいます。また、コライダーで条件付ければ、通常は閉じていた非因果的な経路が開き、本来存在しなかった関連が生まれる場合があります。
「できるだけ多くの条件をそろえたほうが厳密だ」と思う気持ちは自然ですが、因果推論では、不要な調整そのものがバイアスの原因になり得ます。
分析の質を決めるのは調整した変数の数ではなく、なぜその変数を調整するのかを因果構造で説明できることです。
ここまでが、シンプソンのパラドックスを交絡の問題だけで終わらせないための重要な分岐点になります。
交絡因子と媒介変数をどう見分けるか
第三の変数の中でも、交絡因子と特に混同されやすいのが媒介変数です。
どちらもXとYに関連するため、統計表だけを見ると似て見えます。しかし、因果構造の中ではまったく異なる位置にあります。
媒介変数は効果が伝わる途中にある
あるWebサービスで、有料プランへの加入Xが利用時間Yにどれほど影響するのかを調べるとします。
有料プランへ加入すると広告が非表示になり、その快適さによって利用時間が伸びるのであれば、「有料プラン加入X → 広告非表示M → 利用時間Y」という経路を考えられます。
この場合、広告非表示MはXより前から存在する共通原因ではありません。
Xによって生じ、その変化を通じてYへ影響するため、Mは媒介変数です。
ここで知りたいものが「有料プランに加入させたとき、最終的な利用時間がどれだけ変わるか」という総効果だったとします。
すると、広告非表示Mを固定して比較するのは適切ではありません。
「広告表示の条件まで完全にそろえて、有料会員と無料会員を公平に比較しよう」と考えると、一見すると丁寧な分析に見えるでしょう。
しかし、広告が消えること自体が有料プランの効果の一部なら、その条件をそろえることで、有料化によって生じた利益を自分で分析から取り除いてしまいます。
医療でも同じ過剰調整が起こる
降圧薬Xが心筋梗塞Yを減らす効果を考える場合にも、同じ問題が生じます。
薬を飲むことで血圧Mが下がり、その結果として心筋梗塞リスクが下がるのであれば、「降圧薬X → 血圧低下M → 心筋梗塞リスクY」という経路が存在します。
この状況で服薬後の血圧を完全にそろえて比較すると、薬によって血圧が下がったために得られた予防効果まで除いてしまいます。
総合的な薬の効果を知りたかったにもかかわらず、効果が生まれる経路の一部を統計的に消してしまうわけです。
もちろん、「血圧低下を経由しない薬の直接効果だけを知りたい」という研究目的であれば、媒介変数を扱う分析に意味があります。
したがって、媒介変数は絶対に調整してはいけないという話でもありません。
第三変数の扱いを決める前に、XがYへ与える総効果を知りたいのか、それとも特定の経路を除いた効果を知りたいのかを明確にする必要があります。
目的が変われば、同じ変数でも扱い方が変わります。
統計表だけでは因果構造を決められない
ここまで読むと、「データを詳しく調べれば、第三変数が交絡因子なのか媒介変数なのか、自動的に分かるのではないか」と期待するかもしれません。
しかし、一般には統計的な関連だけで完全に判断することはできません。
たとえば「X ← Z → Y」という交絡構造と、「X → Z → Y」という媒介構造は、いずれもX・Y・Zの間に統計的な関連を作ります。
さらに、Zで条件付けたときにXとYの関連が変化するという現象だけを見ても、Zが共通原因なのか、XからYへ至る途中なのかを一意に決められない場合があります。
数字は関連の有無を示してくれても、因果の矢印がどちら向きなのかまでは教えてくれません。
そこで重要になるのが、時間的な順序や業務ルール、医学的な知識、既存研究、実験設計といった現実世界の情報です。
広告を見る前から決まっている顧客の年齢や過去の購買履歴は、今回の広告によって生じた媒介変数にはなりません。一方、広告を見た後のクリック数や滞在時間は、広告そのものによって変化した可能性があるため、調整対象として慎重に考える必要があります。
とはいえ、「施策前ならすべて交絡因子、施策後ならすべて媒介変数」という分類もできません。
施策前から存在していてもXやYと関係のない変数はありますし、施策後に生まれた変数には媒介変数だけでなく、コライダーやその子孫など異なる役割のものも含まれます。
統計だけでは足りないからこそ、データがどのような過程を経て生まれたのかというデータ生成過程の理解が必要になります。
ここまで分かると、現場を知る人への聞き取りや業務フローの確認が、統計計算と同じくらい重要になる理由も見えてくるでしょう。
データを見るときの確認手順
シンプソンのパラドックスや交絡を疑ったとき、いきなり複雑なモデルを使う必要はありません。
むしろ最初は、何を知りたいのか、どのような人が各群へ入ったのか、その背景にどの変数が関わっていたのかという順番で整理したほうが、分析の迷子になりにくいでしょう。
手順1 知りたい因果的な問いを決める
最初に、「何を変えたとき、何がどう変わるのか」という形で問いを明確にします。
たとえば、「広告AをBへ変更すると購入率は上がるのか」「治療法AをBへ変えると治療成功率はどう変わるのか」「有料プランへの加入によって利用時間は増えるのか」といった形です。
ここが曖昧なままだと、どの変数を調整すべきかも決まりません。
店舗全体の現状を知りたいのか、施策を変更したときの因果効果を推定したいのかでは、同じデータでも見るべき値が変わります。
手順2 データが生まれた時間的な順序を確認する
次に、それぞれの変数がいつ決まったのかを整理します。
施策より前から存在していた属性なのか、それとも施策を受けた結果として変わった行動なのかという違いは、変数の役割を考える重要な手掛かりです。
ECサイトなら、年齢や過去の購買回数は施策前から存在します。一方、広告を見た後のクリック数やページ滞在時間は、施策そのものによって変化した可能性があります。
時間順序だけですべてを分類できるわけではありませんが、「この数字は施策より前から存在したのか」と確認するだけでも、媒介変数を不用意に調整する失敗は減らせます。
手順3 成功率だけでなく人数構成と分母を見る
全体とグループ別で結論が変わったときには、成功率や平均値だけでなく、各群に誰が何人含まれているのかを確認します。
A群に重症者が集中し、B群に軽症者が集中しているなら、全体の成功率にはその構成差が強く反映されます。Web施策であれば、新規顧客が一方へ偏っていないか、特定の曜日だけBの配信率が高くなっていないかという運用上の違いも確認対象になるでしょう。
ここでは、A群とB群でどの層の構成が異なっているのか、その違いがどのような選択ルールや現場事情から生じたのか、さらにその属性自体が結果へどう関係しているのかを、一続きの流れとして考えます。
そうすれば、「A群には重症者が多かった」という事実が単なる人数差ではなく、なぜ粗集計がAに不利な方向へ動いたのかを説明する材料になります。
手順4 三つの変数を矢印で結ぶ
次に、比較対象Xと結果Yを書き、その周囲へ気になる第三変数を置きます。
そのうえで、第三変数がXを決める側にあるのか、Xによって生じる側にあるのか、Yとはどのようにつながるのかを考えながら矢印を描きます。
ZからXとYの両方へ矢印が伸びるなら交絡を疑う構造になり、XからMを経由してYへつながるならMは媒介変数であるという可能性があります。一方、XとYの双方からCへ矢印が集まる場合には、Cで条件付けることで新たな偏りを作らないか注意が必要です。
難しいDAG作成ソフトを使わなくても、因果の向きを言葉にするだけで、「この変数は本当にそろえるべきなのか」という問いが生まれます。
手順5 粗集計と調整後の違いを説明する
最後に、全体をそのまま見た粗推定値と、因果構造を踏まえて層別化や調整を行った推定値を並べます。
ここで結果が逆転していたとしても、「調整後のほうが正しい」で終わらせてはいけません。
なぜ二つの値が違ったのかを、各群の人数構成、Xが割り当てられた仕組み、第三変数がYへ影響する理由までつなげて説明できる状態を目指します。
たとえば、「Aには大結石患者が多く含まれており、結石サイズは治療選択にも治療成功にも関係していたため、粗集計ではAが不利に見えた」というところまで説明できれば、数字の変化に現実的な意味を与えられます。
それでも因果構造を判断する材料が不足しているなら、「このデータだけではどちらを因果効果として採用すべきか断定できない」と結論付けることも重要です。
良い分析とは必ず一つの答えを出すことではなく、データから言えることと、因果仮定に依存する部分を区別できる分析です。
A/Bテストで起こる注意点
ここからは実務上の補足です。
A/Bテストではランダム化を行うため、「交絡は観察データだけの問題ではないか」と感じる人もいるでしょう。
適切なランダム割り当てが維持されていれば、年齢や既存の購買意欲といった施策前の要因がA群とB群のどちらかへ系統的に偏ることを防ぎやすくなります。
これがランダム化の大きな利点です。
しかし、実際の運用では実験期間の途中で配信率を変えたり、施策実施後の行動を条件として分析対象者を絞ったりすることがあります。
たとえば、ある会社が新機能Bを安全確認のため平日は10％だけ配信し、問題がないと判断して週末から50％へ引き上げたとします。
もし平日と週末で購入率そのものが大きく異なるなら、Bを受ける確率と曜日が関連するため、全期間を単純にまとめた集計では時期による構成差が結果へ混ざるという可能性があります。
このような場合には、同じ時期に割り当てられたAとBを比較したり、期間と配信率の変化を踏まえて分析したりする必要があります。
SRMは交絡因子ではなく警告信号
A/Bテストでは、Sample Ratio Mismatchを意味するSRMも重要です。
SRMとは、50対50など事前に予定した割り当て比率と、実際に分析データへ入ったユーザー比率が統計的に不自然なほど一致しない状態を指します。
ただし、SRMそのものを交絡因子と呼ぶのは適切ではありません。
SRMは、割り当て処理、ログ収集、ユーザー除外、トリガー条件、データ欠損など、実験や分析パイプラインのどこかに問題が存在するという可能性を知らせるシグナルです。
たとえば、B群だけ特定の不具合によってログが欠落しやすかったなら、最初の割り当てはランダムでも、最終的に分析へ残った集団はランダムではなくなるでしょう。
「ランダム化したから安心だ」と思っている場面ほど、予定した人数比と実際の人数比のずれは見逃さないほうが安全です。
ランダム化は強力ですが、割り当て後のデータ収集や分析対象者の選び方まで自動的に正しくしてくれるわけではありません。
よくある質問
- シンプソンのパラドックスと交絡は同じ意味ですか？
-
同じ意味ではありません。
シンプソンのパラドックスは、全体で見た関係と部分集団で見た関係が消失したり逆転したりする統計的な現象です。一方の交絡は、知りたいXとYの因果関係へ別の要因による経路が入り込み、観察された関連から因果効果をそのまま読み取りにくくなる構造を指します。
交絡によってシンプソン型の逆転が起こることはありますが、それだけが唯一の原因ではありません。第三変数がコライダーなら、むしろ分けたことで本来存在しなかった関連が生まれる場合もあるため、「逆転したら交絡」と判断するのは早計です。
- 交絡因子はどうやって見つけますか？
-
相関係数や統計表だけを見て、交絡因子を自動的に特定することは一般にはできません。
まずXがどのような仕組みで選ばれたのか、Yを左右する原因には何があるのかを考え、業務ルールや現場へのヒアリング、先行研究、実験設計、変数が測定された時点などを組み合わせて因果構造の仮説を作ります。
ある変数がXとYの両方に関連していても、その関連がどちら向きの因果によって生じたのかまでは数値だけで分からないことがあります。そのため、対象分野についての知識も重要になります。
- 全体とグループ別ではどちらを信じればよいですか？
-
どちらか一方を常に信じればよいという原則はありません。
第三変数がXとYの共通原因として交絡を生んでおり、その因果構造が妥当なら、適切に調整した比較が因果効果を考えるうえで重要になります。
一方、第三変数が媒介変数なら、総効果を見る際にむやみに調整すべきではありません。また、コライダーで条件付ければ新しいバイアスを生む場合があります。
したがって、「全体か部分か」という二択より先に、「何を知りたいのか」と「第三変数は因果構造のどこにあるのか」を考える必要があります。
- データを細かく分ければ分けるほど正確になりますか？
-
細分化すれば自動的に正確になるわけではありません。
不要な変数で分ければ各グループのサンプル数が減り、偶然のばらつきが大きくなります。さらに、媒介変数やコライダーを不用意に条件付けることで、総効果を過小評価したり、本来存在しなかった関連を作ったりする可能性もあります。
必要なのは分割する変数の多さではなく、その分割が何を取り除き、何を残すのかを説明できることです。
- A/Bテストでも交絡や逆転は起こりますか？
-
適切にランダム化されたA/Bテストでは、施策前の交絡要因が一方の群へ系統的に偏る問題を抑えやすくなります。
それでも、期間中に割り当て率を変更した場合や、施策後の条件で分析対象者を限定した場合、ログ欠損や不適切なトリガー処理が発生した場合には、単純集計の信頼性が損なわれることがあります。
SRMが見つかったときも、その状態を交絡そのものと呼ぶのではなく、まず実験設計やデータ収集のどこに問題があったのかを確認する必要があります。
まとめ
シンプソンのパラドックスとは、全体で見た関係とグループ別で見た関係が逆転する統計的な現象です。
その数理的な背景には、各グループの成功率だけでなく、A群とB群にどのグループがどれだけ含まれているかという構成比の違いがあり、加重平均によって全体値が大きく動きます。
しかし、逆転を見つけたからといって、第三の変数で無条件に分ければよいわけではありません。
その変数がXとYの共通原因として交絡を生んでいるなら調整が必要になる場合がありますが、XからYへ効果を伝える媒介変数を固定すれば総効果の一部を消し、XとYの共通結果であるコライダーを固定すれば新たな関連を作るという可能性があります。
だからこそ、データを見るときには表の成功率だけで判断せず、まず人数構成と分母を確認し、その後で比較対象X、結果Y、第三変数Zがどのような矢印で結ばれているのかを考える必要があります。
次に全体値とグループ別の値が食い違ったときは、「どちらが正しいのか」と急いで決めるのではなく、その差がどのような構成比から生じ、第三変数が施策選択と結果へどのように関わっているのかを確かめてみてください。
そうすれば、シンプソンのパラドックスは単なる奇妙な数字の逆転ではなく、「数字がどのような現実の仕組みから生まれたのか」を考えるための入口として使えるようになります。
参考資料
E. H. Simpson「The Interpretation of Interaction in Contingency Tables」
Colin R. Blyth「On Simpson's Paradox and the Sure-Thing Principle」
Stanford Encyclopedia of Philosophy「Simpson’s Paradox」
Hernán and Robins「Causal Inference: What If」
Microsoft Research「Diagnosing Sample Ratio Mismatch in Online Controlled Experiments」
