除外変数バイアス （じょがいへんすうばいあす、omitted-variable bias, OVB）は、統計学 において、統計モデル から関連する変数を除外することで発生するバイアス 。このバイアスの結果、除外された変数の効果を、モデルに含まれた変数の効果に帰してしまう。
より具体的には、回帰分析 において、従属変数の決定要因であり、含まれている独立変数と相関するような変数が省略されているなど、仮定した仕様が正しくない場合に、パラメータ の推定値にあらわれるバイアスのこと。
真の因果関係が次の式で与えられると仮定する。
y
=
a
+
b
x
+
c
z
+
u
{\displaystyle y=a+bx+cz+u}
ここで、
a
,
b
,
c
{\displaystyle a,b,c}
y
{\displaystyle y}
x
,
z
{\displaystyle x,z}
u
{\displaystyle u}
x
{\displaystyle x}
y
{\displaystyle y}
b
{\displaystyle b}
除外変数バイアスが線形回帰 に存在するには、2つの条件が当てはまる必要がある。
除外変数は、従属変数の決定要因である、すなわち真の回帰係数が非ゼロ
除外変数は、独立変数と相関している、すなわち
c
o
v
(
z
,
x
)
{\displaystyle \mathrm {cov} (z,x)}
回帰から
z
{\displaystyle z}
x
{\displaystyle x}
z
{\displaystyle z}
z
=
d
+
f
x
+
e
{\displaystyle z=d+fx+e}
ここで、
d
,
f
{\displaystyle d,f}
e
{\displaystyle e}
2番目の方程式を最初の方程式に代入すると、
y
=
(
a
+
c
d
)
+
(
b
+
c
f
)
x
+
(
u
+
c
e
)
{\displaystyle y=(a+cd)+(b+cf)x+(u+ce)}
y
{\displaystyle y}
x
{\displaystyle x}
x
{\displaystyle x}
b
+
c
f
{\displaystyle b+cf}
x
{\displaystyle x}
y
{\displaystyle y}
b
{\displaystyle b}
x
{\displaystyle x}
z
{\displaystyle z}
f
{\displaystyle f}
z
{\displaystyle z}
y
{\displaystyle y}
c
{\displaystyle c}
z
{\displaystyle z}
偏微分 ではなく全微分 を推定したことになる。
c
{\displaystyle c}
f
{\displaystyle f}
バイアスの向きは
c
f
{\displaystyle cf}
c
f
{\displaystyle cf}
例として、次の形式の線形モデルを考える。
y
i
=
x
i
⊤
β
+
z
i
δ
+
u
i
,
i
=
1
,
⋯
,
n
{\displaystyle y_{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+z_{i}\delta +u_{i},\quad i=1,\cdots ,n}
ここで、
列ベクトル
x
i
{\displaystyle \mathbf {x} _{i}}
i
{\displaystyle i}
i
{\displaystyle i}
p
{\displaystyle p}
列ベクトル
β
{\displaystyle {\boldsymbol {\beta }}}
p
{\displaystyle p}
x
i
{\displaystyle \mathbf {x} _{i}}
スカラー
z
i
{\displaystyle z_{i}}
i
{\displaystyle i}
i
{\displaystyle i}
スカラー
δ
{\displaystyle \delta }
z
i
{\displaystyle z_{i}}
u
i
{\displaystyle u_{i}}
i
{\displaystyle i}
i
{\displaystyle i}
誤差項 であり、
x
i
{\displaystyle \mathbf {x} _{i}}
z
i
{\displaystyle z_{i}}
y
i
{\displaystyle y_{i}}
i
{\displaystyle i}
i
{\displaystyle i}
従属変数
i
=
1
,
⋯
,
n
{\displaystyle i=1,\cdots ,n}
X とベクトル y 、z 、u を得る。
X
=
[
x
1
⊤
⋮
x
n
⊤
]
∈
R
n
×
p
{\displaystyle \mathbf {X} =\left[{\begin{array}{c}\mathbf {x} _{1}^{\top }\\\vdots \\\mathbf {x} _{n}^{\top }\end{array}}\right]\in \mathbb {R} ^{n\times p}}
と
y
=
[
y
1
⋮
y
n
]
,
z
=
[
z
1
⋮
z
n
]
,
u
=
[
u
1
⋮
u
n
]
∈
R
n
×
1
{\displaystyle \mathbf {y} =\left[{\begin{array}{c}y_{1}\\\vdots \\y_{n}\end{array}}\right],\quad \mathbf {z} =\left[{\begin{array}{c}z_{1}\\\vdots \\z_{n}\end{array}}\right],\quad \mathbf {u} =\left[{\begin{array}{c}u_{1}\\\vdots \\u_{n}\end{array}}\right]\in \mathbb {R} ^{n\times 1}}
独立変数 z が回帰から省略されている場合、他の独立変数の応答係数の推定値は、通常の最小二乗 計算によって与えられる。
β
^
=
(
X
⊤
X
)
−
1
X
⊤
y
{\displaystyle {\widehat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} }
ここで、
⊤
{\displaystyle \top }
行列の転置 を意味し、-1の上付き文字は逆行列 を表す。
仮定された線形モデルに基づいて y を代入すると、
β
^
=
(
X
⊤
X
)
−
1
X
⊤
(
X
β
+
z
δ
+
u
)
=
(
X
⊤
X
)
−
1
X
⊤
X
β
+
(
X
⊤
X
)
−
1
X
⊤
z
δ
+
(
X
⊤
X
)
−
1
X
⊤
u
=
β
+
(
X
⊤
X
)
−
1
X
⊤
z
δ
+
(
X
⊤
X
)
−
1
X
⊤
u
{\displaystyle {\begin{aligned}{\widehat {\boldsymbol {\beta }}}&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }(\mathbf {X} {\boldsymbol {\beta }}+\mathbf {z} \delta +\mathbf {u} )\\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {z} \delta +(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {u} \\&={\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {z} \delta +(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {u} \end{aligned}}}
u
{\displaystyle \mathbf {u} }
X
{\displaystyle \mathbf {X} }
E
(
β
^
∣
X
)
=
β
+
(
X
⊤
X
)
−
1
E
(
X
⊤
z
∣
X
)
δ
=
β
+
bias
{\displaystyle {\begin{aligned}\mathbb {E} \left({\widehat {\boldsymbol {\beta }}}\mid \mathbf {X} \right)&={\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbb {E} \left(\mathbf {X} ^{\top }\mathbf {z} \mid \mathbf {X} \right)\delta \\&={\boldsymbol {\beta }}+{\text{bias}}\end{aligned}}}
右辺第2項が除外変数バイアスであり、除外変数 z が行列 X に含まれる変数のいずれかと相関している場合（
X
⊤
z
≠
0
{\displaystyle \mathbf {X} ^{\top }\mathbf {z} \neq \mathbf {0} }
ガウス-マルコフの定理 は、古典的な線形回帰モデルの仮定を満たす回帰モデルが、最も効率的で線形で不偏な推定量を提供すると述べている。通常の最小二乗法では、古典的な線形回帰モデルの関連する仮定は、誤差項が回帰子と無相関であるということである。
除外変数バイアスの存在は、この仮定に反するので、通常の最小二乗法による推定値にバイアスがかかり、一貫性が失われる。バイアスの方向は、推定量や、回帰子と除外された変数の間の共分散に依存する。 除外変数が回帰変数や従属変数と共分散が正の時、係数の推定値は真の値よりも大きくなる。
![{\displaystyle \mathbf {X} =\left[{\begin{array}{c}\mathbf {x} _{1}^{\top }\\\vdots \\\mathbf {x} _{n}^{\top }\end{array}}\right]\in \mathbb {R} ^{n\times p}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7e3904d6999f42485c202bfb9b1078c9b0daf1a5)
![{\displaystyle \mathbf {y} =\left[{\begin{array}{c}y_{1}\\\vdots \\y_{n}\end{array}}\right],\quad \mathbf {z} =\left[{\begin{array}{c}z_{1}\\\vdots \\z_{n}\end{array}}\right],\quad \mathbf {u} =\left[{\begin{array}{c}u_{1}\\\vdots \\u_{n}\end{array}}\right]\in \mathbb {R} ^{n\times 1}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8165e84aabab3b2252c1c39feac90e9719f5d1c4)
