ぽんすけのしがないブログ

日常生活で見つけた役立つ情報を発信していきます。

定数項のないモデルにおける決定係数について

計量経済学

0｜もくじ

1｜まえがき

最小二乗法（Ordinary Least Squares, or OLS）によって推定した回帰モデルの当てはまりの良さの尺度として、決定係数： R^2がよく使われます。しかし、定数項のないモデルなど、モデルによっては決定係数の前提条件が成り立たず、当てはまりの良さの尺度として決定係数を用いることが適当でない場合があります。本記事では、定数項のないモデルの場合において、その理由を解説します。

2｜定数項なしのモデルにおける決定係数

定数項ありの一般的なモデル： Y_{i} = \alpha + \beta X_{i} + U_{i}における決定係数の導出については、以下の記事をご覧ください。
なお、本記事は、こちらの記事にある内容を前提として話を進めていきます。
tidbits555.hatenablog.com


今回は、定数項のないモデル： Y_{i} = \beta X_{i} + U_{i}を想定します。

まずは、観測値： \{X_{i}\}_{i=1}^n, \space \{Y_{i}\}_{i=1}^nを用いて、最小二乗法により真のパラメータ： \betaの最小二乗推定値（Ordinary Least Squares Estimate）： bを導出してみましょう。

最小二乗法では、残差平方和（Residual Sum of Squares, or RSS）を最小化するかたちでパラメータの推定値を求めるため、以下の最小化問題を解くことになります

\displaystyle \begin{equation*} \min_{b} \sum_{i=1}^n (Y_{i} - bX_{i})^2 \end{equation*}

一階条件より、

\displaystyle \begin{equation*} \frac{\partial}{\partial b} \sum_{i=1}^n (Y_{i} - bX_{i})^2 = -2 \sum_{i=1}^n X_{i} (Y_{i} - bX_{i}) = 0 \end{equation*}

したがって、最小二乗推定値： bは、

\displaystyle \begin{equation*} \sum_{i=1}^n X_{i} (Y_{i} - bX_{i}) = 0 \tag{1} \end{equation*}

を満たすことがわかります。


ここで、決定係数： R^2がどのようにして構成されていたかについて一度考えてみましょう。

決定係数は全変動（ \text{TSS}）に占める回帰変動（ \text{ESS}）の割合、すなわち観測値の変動を予測値がどれくらい説明できているかを示した指標でした。

\displaystyle \begin{equation*} R^2 = \frac{\sum_{i=1}^n (\hat{Y_{i}} - \overline{Y})^2}{\sum_{i=1}^n (Y_{i} - \overline{Y})^2} = \frac{\text{ESS}}{\text{TSS}}\\ \end{equation*}

\displaystyle \begin{align*} \text{where} \quad &\hat{Y_{i}} = \beta X_{i}\\ &\overline{Y} = \frac{1}{n} \sum_{i=1}^n Y_{i} \end{align*}

その前提として、全変動（ \text{TSS}）が回帰変動（ \text{ESS}）と残差変動（ \text{RSS}）*1の和に分解できること、すなわち、

\displaystyle \begin{equation*} \text{TSS} = \text{ESS} + \text{RSS} \end{equation*}

が成り立つ必要があります。

もし上記の式が成り立たず、正負が不明で解釈不可能な余分な項が含まれてしまう場合、回帰モデルによって説明できている部分である回帰変動と、回帰モデルで説明できなかった部分である残差変動の単純な和によって、全変動を表現することはできないということになります。

すると、全変動に占める回帰変動がどれだけ多いか（残差変動がどれだけ少ないか）という指標である決定係数は、当てはまりの良さの尺度としては必ずしも適切ではなくなってしまいます。*2

実は、定数項のないモデルでは、まさにこれが起こるのです。
実際に計算して確かめてみましょう。

\displaystyle \begin{equation*} Y_{i} - \overline{Y} = (\hat{Y_{i}} - \overline{Y}) + (Y_{i} - \hat{Y_{i}}) \end{equation*}

とできるので、両辺を2乗してすべての i \in \{1, \space 2, \space \cdots, \space n\}について足し合わせると、

\displaystyle \begin{align*} \sum_{i=1}^n (Y_{i} - \overline{Y})^2 &= \sum_{i=1}^n (\hat{Y_{i}} - \overline{Y})^2 + \sum_{i=1}^n (Y_{i} - \hat{Y_{i}})^2\\ & \quad \quad+ 2 \sum_{i=1}^n (\hat{Y_{i}} - \overline{Y})(Y_{i} - \hat{Y_{i}}) \end{align*}

すなわち、

\displaystyle \begin{equation*} \text{TSS} = \text{ESS} + \text{RSS} + 2 \sum_{i=1}^n (\hat{Y_{i}} - \overline{Y})(Y_{i} - \hat{Y_{i}}) \tag{2} \end{equation*}

となります。

ここで、一般的な回帰モデル： Y_{i} = \alpha + \beta X_{i} + U_{i}の場合では、計算を進めると (2)式の右辺第3項： \sum_{i=1}^n (\hat{Y_{i}} - \overline{Y})(Y_{i} - \hat{Y_{i}})がゼロに等しいことがわかるので、結果として \text{TSS} = \text{ESS} + \text{RSS}が成り立ちました。*3

では、今回はどうでしょうか。

\displaystyle \begin{align*} \sum_{i=1}^n (\hat{Y_{i}} - \overline{Y})(Y_{i} - \hat{Y_{i}}) &= \sum_{i=1}^n (b X_{i} - \overline{Y})(Y_{i} - b X_{i})\\ &= b \sum_{i=1}^n X_{i} (Y_{i} - b X_{i}) - \overline{Y} \sum_{i=1}^n (Y_{i} - b X_{i})\\ &= - \overline{Y} \sum_{i=1}^n (Y_{i} - b X_{i}) \quad \because (1) \end{align*}

ここで、最後に残った - \overline{Y} \sum_{i=1}^n (Y_{i} - b X_{i})は、式の形状から一般にゼロにはならないことがわかります。*4
また、正負どちらの値をとるかもわかりません。

したがって、定数項のないモデルでは、全変動は純粋に回帰変動と残差変動のみの和で表せず、ゼロでない値をとりうる余分な項 - \overline{Y} \sum_{i=1}^n (Y_{i} - b X_{i})が含まれてしまうことがわかりました。

ゆえに、定数項のないモデル： Y_{i} = \beta X_{i} + U_{i}における決定係数： R^2は、当てはまりの良さの尺度として適切ではないといえます。

3｜まとめ

回帰モデルの当てはまりの良さの尺度として、決定係数： R^2がよく用いられますが、想定するモデルによっては不適切な場合があります。

具体的には、定数項のないモデル： Y_{i} = \beta X_{i} + U_{i}が挙げられ、この場合、全変動を回帰変動と残差変動のみの和に分解することができないことから問題が生じたのでした。

*1:残差変動と残差平方和は同じものを指しています。

*2:仮に余分な項が負の値をとる場合、決定係数はもはや割合ではなくなってしまいます。余分な項が正の値をとるにしても、その項が何を表しているかを考えなければなりません。意味のわからないものが分母（TSS）に含まれていては、信頼に足る指標とはなりませんよね。

*3:詳しい計算過程はこちらの記事をご覧ください。

*4:観測値の値によってはゼロになる可能性もありますが、常にゼロになることはないということです。