【MS03】統計・計量経済学 回帰分析の理論 最小二乗法、多重共線性、不均一分散

はじめに

MS02では、推測統計の基礎——標本理論、仮説検定、信頼区間——を扱った。本稿は、その第二の各論として、回帰分析の理論——最小二乗法、多重共線性、不均一分散——を掘り下げる。最小二乗法は、統計学史上、最も早くから確立された優先権論争の一つを伴う、由緒ある手法である。

最小二乗法の起源——ルジャンドルとガウスの優先権論争

ルジャンドルによる公表

最小二乗法の概念が、初めて公式に発表されたのは、1805年、フランスの数学者アドリアン＝マリ・ルジャンドルが出版した『彗星軌道の決定のための新方法』においてである[1]。ルジャンドルは、この方法を、天文データ・測地データの当てはめ問題に応用した[2]。

ガウスによる優先権の主張

ドイツの数学者カール・フリードリヒ・ガウスも、この方法を独立に発展させ、理論的にさらに完成させた[2]。ガウスは、当初、最小二乗法および非線形最小二乗法の具体的な計算方法を、公表したがらなかった[3]。しかしルジャンドルが1805年に先に発表すると、ガウスは、1809年の著書『天体の運行に関する理論』において、最小二乗法の原理は、自分が既に1795年の時点で発見していたと主張した[3]。ガウスはまた、なぜ誤差の「二乗」を用いることが妥当なのかについても、この著書で説明を加えている[3]。

解決しなかった論争、そして発展的な研究

その後、どちらが最初に最小二乗法を発見したかをめぐり、ルジャンドルとガウスは、書簡を通じて論争を交わした[3]。この論争は、結局、明確な決着を見なかったが、ガウスは、誤差を最小化する問題に対して優れた性質を持つことを証明する、発展的な研究を、次々と発表していった[3]。この発展的研究の一つの到達点が、後述するガウス＝マルコフの定理である。

多重共線性

説明変数間の相関という問題

回帰分析において、複数の説明変数の間に、強い相関関係が存在する場合、個々の説明変数の係数を、統計的に正確に推定することが困難になる。この現象は、多重共線性（multicollinearity）と呼ばれる。多重共線性が深刻な場合、係数の推定値は、標本のわずかな変化に対して、大きく変動しうる、不安定なものとなる。

不均一分散という問題と、ホワイトの貢献

ガウス＝マルコフの定理と、その前提

最小二乗法の推定量が、線形不偏推定量の中で最小の分散を持つ（最良線形不偏推定量、BLUE）ことを保証する、ガウス＝マルコフの定理は、誤差項の分散が、全ての観測において等しい（均一分散）という前提に、依拠している。この前提が崩れ、誤差項の分散が観測ごとに異なる状態が、不均一分散（heteroskedasticity）である。

ホワイトによる、頑健な標準誤差の提案

1980年、経済学者ハルバート・ホワイトは、論文「不均一分散に頑健な共分散行列推定量と、不均一分散の直接検定」を、学術誌『エコノメトリカ』に発表した[4]。この論文は、線形回帰モデルの撹乱項が不均一分散である場合でも、一致性を持つ、パラメータの共分散行列推定量を提示した[5]。この推定量は、不均一分散の構造について、事前に特定の形を仮定する必要がないという特徴を持つ[5]。

アイカー＝ヒューバー＝ホワイト標準誤差という呼称

この頑健な標準誤差は、今日、「不均一分散頑健標準誤差」あるいは「アイカー＝ヒューバー＝ホワイト標準誤差」と呼ばれる。この呼称は、フリードヘルム・アイカーが1967年に、ピーター・ヒューバーが同じく1967年に、それぞれ独立に導出していた、先行する貢献を認めるものである[6]。ホワイトは、カリフォルニア大学サンディエゴ校において、この結果を、独立に導出した[6]。

ホワイトの貢献の核心

ホワイトの研究の核心的な貢献は、共分散行列の個々の構成要素について、一致性のある推定量が得られない場合であっても、共分散行列全体としては、一致性のある推定量を得られることを示した点にある[7]。この洞察は、画期的なものであり、標準誤差の推定における、その後の重要な発展を導いた[7]。

実務上の限界——小標本における過剰棄却

ただし、ホワイトの標準誤差には、実務上の重要な限界がある。標本サイズが小さい場合、ホワイトの標準誤差に基づくt検定は、帰無仮説が真であっても、過剰に棄却する傾向があることが、以前から知られている[8]。名目上の有意水準が0.05である場合でも、実際の検定の水準（誤って棄却してしまう確率）が、0.15に達することも、珍しくないとされる[8]。この限界に対応するため、マッキノンとホワイトによる1985年の改良（HC2）、クリバリ＝ネトによる2004年の改良（HC4）等、有限標本での性質を改善する、複数の修正手法が、その後提案されてきた[8][9]。

交通・物流分野への接続

交通需要関数の推定において、複数の説明変数（運賃、所要時間、代替交通手段の有無等）は、しばしば相互に強く相関しており、多重共線性の問題に直面しやすい【推論】。また、地域ごとの交通データを扱う分析では、地域間で、需要の変動の大きさそのものが異なる（都市部と過疎地域で、需要の分散が異なる等）ことが多く、不均一分散への対応——ホワイトの頑健な標準誤差の利用——が、実務上、重要な意味を持つ。ただし、本稿で確認した通り、標本数が少ない地域データを扱う場合には、ホワイトの標準誤差の過剰棄却という限界にも、注意を払う必要がある。

おわりに

本稿は、最小二乗法の起源をめぐる、ルジャンドルとガウスの優先権論争、多重共線性という問題、そしてホワイトによる不均一分散頑健標準誤差の確立（アイカー・ヒューバーの先行研究、実務上の限界を含む）を整理した。次稿MS04では、パネルデータ分析——固定効果・変量効果モデル——を扱う。

主要先行研究

Legendre（1805）、Gauss（1809）、White（1980）[1][3][4]。

参考資料一覧

1. 「最小二乗法」日本語版ウィキペディア。ルジャンドルによる1805年の公表について。
2. 「最小二乗法」百度百科（日本語版）。ガウスによる独立の発展、1809年の理論的体系化について。
3. 「科学史から最小二乗法(回帰分析)を説明してみる」ill-identified diary。ルジャンドルとガウスの優先権論争の経緯（1795年の発見主張、書簡での論争）について。
4. White, H. (1980). A Heteroskedasticity-Consistent Covariance Matrix Estimator and a Direct Test for Heteroskedasticity. Econometrica, 48(4), 817–838.
5. 同上（論文要旨）。
6. 「Ch08. Heteroskedasticity」Ping Yu, HKU Business School講義資料。Eicker (1967)、Huber (1967)の先行研究、ホワイトによる独立の導出について。
7. 「Heteroskedasticity robust standard errors: Some practical considerations」The Stata Blog。ホワイトの貢献の核心（共分散行列全体の一致性）について。
8. 「Heteroskedasticity-Robust Inference in Finite Samples」MIT Economics。小標本における過剰棄却の問題、実際の検定水準について。
9. 「When Does Heteroskedasticity Matter?」arXiv掲載論文。MacKinnon & White (1985) HC2、Cribari-Neto (2004) HC4等の改良について。

用語集

• 最小二乗法, Least Squares Method, —, —: 残差平方和を最小にするように、係数を決定する回帰分析の手法。1805年、ルジャンドルが公式に発表した。
• 多重共線性, Multicollinearity, —, —: 複数の説明変数間に強い相関があるために、個々の係数の推定が不安定になる現象。
• 不均一分散, Heteroskedasticity, —, —: 誤差項の分散が、観測ごとに異なる状態。ガウス＝マルコフの定理の前提を崩す。
• ガウス＝マルコフの定理, Gauss-Markov Theorem, —, —: 均一分散等の前提の下で、最小二乗推定量が、線形不偏推定量の中で最小の分散を持つ（最良線形不偏推定量、BLUE）ことを示す定理。
• 不均一分散頑健標準誤差, Heteroskedasticity-Consistent Standard Errors, HC標準誤差, アイカー＝ヒューバー＝ホワイト標準誤差: 不均一分散のもとでも一致性を持つ、標準誤差の推定量。ホワイトが1980年に確立した。

Claude ログ

正確な典拠を確認してから執筆する。White (1980)の不均一分散頑健標準誤差についても確認する。十分な資料が集まった。MS03を執筆する。整合性を確認する。引用番号[1]〜[9]の連番、全HTMLタグの対応が一致した。MS03を執筆した。

主な内容

• 最小二乗法の優先権論争：1805年ルジャンドルによる公式発表、これに対しガウスが1809年、自分は1795年時点で既に発見していたと主張した経緯、書簡による論争が決着しなかったことを正確に整理
• 多重共線性：説明変数間の強い相関が係数推定を不安定にする現象を簡潔に解説
• ホワイトの不均一分散頑健標準誤差（本稿の核心）：1980年『エコノメトリカ』論文の正確な書誌情報、「アイカー＝ヒューバー＝ホワイト標準誤差」という呼称の由来（1967年のアイカー・ヒューバーの先行研究、ホワイトによる独立の導出）、そして**「共分散行列の個々の構成要素が一致性を持たなくても、全体としては一致性のある推定量が得られる」という画期的な洞察**を整理
• 実務上の重要な限界：小標本でのホワイト標準誤差が名目5%水準に対し実際には15%まで過剰棄却しうるという、実務家が見落としがちな注意点を明示。HC2（1985年）、HC4（2004年）という改良手法も紹介
• 交通・物流への接続：交通需要関数の推定における多重共線性の起きやすさ、地域間の需要分散の違いへの対応としての不均一分散頑健標準誤差の意義、そして小標本地域データでの過剰棄却リスクを、【推論】タグ付きで指摘

引用[1]〜[9]、参考資料一覧・用語集も本文に組み込み済み。全HTMLタグの対応を確認済み。

SNSリード文

「1795年に発見していた」——ガウスはそう主張しましたが、公式発表はルジャンドルが1805年に先んじていました。決着しなかった優先権論争と、ホワイトの1980年の不均一分散頑健標準誤差（小標本では実は5%のはずが15%まで過剰棄却しうるという限界も）を整理する回です。（129文字）

タイトル案

1. ガウスとルジャンドル、決着しなかった優先権論争
2. ホワイト標準誤差の落とし穴——小標本での過剰棄却
3. 「アイカー＝ヒューバー＝ホワイト」という名前の由来

次はMS04（パネルデータ分析）の執筆に進んでよいか、確認したい。