政策評価には「格付け」がある 英国のWhat Works Networkが実際に使うMaryland Scientific Methods Scaleは、DIDをレベル3、RDD・操作変数法をレベル4、RCTをレベル5とランク付けする。ただしこの格付け自体に「社会的介入を過小評価するバイアス」という批判もある。政府・国際機関が各手法をどう位置付けているかを、実務目線で整理した。
政策効果を測定する方法 実験・準実験・観察研究の評価デザイン
目次
第一章 評価デザインとは何か
前回確認した因果推論の理論は、政策効果を反実仮想との比較によって定義するという考え方を提供する。しかし、この理論を実際の政策評価へ落とし込むためには、「比較対象をどのように構成するか」という具体的な調査・分析の設計が必要となる。この設計を「評価デザイン(Evaluation Design)」と呼ぶ。評価デザインの選択は、政策の性質、利用可能なデータ、倫理的・制度的制約等の条件に応じて異なり、単一の「最良の」デザインが常に存在するわけではない。
第二章 ランダム化比較試験(RCT)
前回確認した通り、RCTは、対象をランダムに介入群と対照群に割り付けることで、両群の間で観察可能・観察不可能な特性の分布を統計的に均等化し、反実仮想を近似する代表的な評価デザインである。前回確認した通り、その起源はフィッシャーによる1920~1930年代の農業実験の研究に遡り、経済学を含む社会科学への本格的な普及は、アングリストとピシュケが2010年に整理した「信頼性革命」を通じて進んだ。RCTが政策評価の代表的な方法とされる理由は、無作為な割り付けにより、選択バイアスや交絡要因の影響を統計的に制御できる点にある。他方、RCTには複数の実務上の限界が存在する。第一に、政策の対象を意図的に介入群・対照群に分けることについて、倫理的な制約が生じる場合がある。第二に、行政実務においては、予算・法制度上の制約により、無作為な割り付けを伴う実験の実施自体が困難な場合が多い。第三に、ある集団・地域で実施されたRCTの結果が、異なる集団・地域にも当てはまるかという外的妥当性の問題が残る。したがって、RCTはあらゆる政策評価に適用可能な万能の方法ではなく、これらの制約が許容される場合に選択される代表的な評価デザインの一つとして位置付けられる。
第三章 準実験デザイン
RCTの実施が困難な場合には、準実験デザインが用いられる。本章では、代表的な準実験デザインを、概念の定義・成立の歴史・代表的な適用事例・政府や国際機関における位置付けを中心に整理する。
政府・国際機関における格付けの枠組み――Maryland Scientific Methods Scale
準実験デザインを含む政策評価手法の頑健性を格付けする枠組みとして、Maryland Scientific Methods Scale(SMS)がある。英国の「地域経済成長のためのWhat Worksセンター」は、系統的レビューを作成する際、政策の因果効果に関する説得力のあるエビデンスを提供しているかどうかを判定するために、このSMSに基づく採点を用いていると説明している[1]。同センターの採点ガイドによれば、SMSは1(単純な横断的相関に基づく評価、最も頑健性が低い)から5(ランダム化比較試験、最も頑健性が高い)までの5段階の尺度である[1]。同ガイドはさらに、レベル3を、介入群における介入前後の変化と、反実仮想を提供する比較群とを組み合わせた評価(差の差分析等)と位置付け、レベル4を、政策の割り当てにおいて「準ランダム性」が利用される場合(操作変数や不連続性の活用等)と位置付けている[1]。SMSは、英国の犯罪政策分野における「エビデンスに基づく犯罪予防」の枠組みでも用いられてきたとされる、複数の政策分野にまたがって使用される格付け手法である[2]。ただし、SMSに対しては、実験・準実験デザインを過度に重視することが、社会的介入の効果を過小評価する方向のバイアスを生じさせる可能性があるとする批判的な検討も存在する[3]。
Difference-in-Differences(差の差分析)
差の差分析(DID)は、介入を受けた群と受けなかった群について、介入前後の変化を比較することで、時間を通じて両群に共通する要因の影響を除去した上で介入の効果を推定する手法であり、SMSにおいてレベル3に位置付けられる代表的な手法である[1]。DIDの代表的な適用事例として、経済学者カード(Card)とクルーガー(Krueger)が1994年に発表した、ニュージャージー州とペンシルベニア州の最低賃金研究がある。1992年4月、ニュージャージー州は最低賃金を時給4.25ドルから5.05ドルに引き上げた一方、隣接するペンシルベニア州東部は最低賃金を据え置いた。両論文の再検討を行った複数の学術論文の整理によれば、カードとクルーガーは、両州のファストフード店における雇用の引き上げ前後の変化を比較し、ニュージャージー州の雇用者数が引き上げ前の20.44人から引き上げ後21.03人へと増加した一方、ペンシルベニア州では23.33人から21.17人へと減少したことを報告した[4][5]。この結果は、最低賃金の引き上げが雇用を減少させるという伝統的な経済理論の予測とは逆の方向を示すものであり、経済学界に大きな論争を巻き起こした[6]。ある解説は、この論争を通じて、ニューマークとワッシャー等による批判、及びこれに対する再反論を含む一連の応酬が生じ、結果として研究デザインの信頼性そのものへの関心が高まったと整理している[6]。
Regression Discontinuity Design(回帰不連続デザイン)
回帰不連続デザイン(RDD)は、ある連続変数(走査変数)が特定の閾値を超えるか否かによって政策の対象が決定される状況において、閾値付近の対象は政策の割り当てについて事実上ランダムであるとみなし、閾値の直上・直下の対象間の結果の差から因果効果を推定する手法である。同手法は、シスルスウェイトとキャンベルが1960年に教育経済学の分野で最初に提案したとされる。所得基準・年齢基準等、明確な閾値によって対象が決定される政策の評価に適しており、SMSにおいてレベル4に位置付けられる[1]。
Instrumental Variables(操作変数法)
操作変数法(IV)は、政策の有無と結果の双方に影響を与える交絡要因が存在する場合に、政策の有無とは相関するが交絡要因とは相関しない操作変数を用いることで、一致性のある因果効果の推定を可能にする手法であり、RDDと同様、SMSのレベル4に位置付けられる[1]。
Synthetic Control Method(合成対照法)
合成対照法は、政策の対象となった単一の地域・単位について、対象とならなかった複数の地域・単位を加重平均することで、政策がなかった場合の反実仮想的な推移(合成対照群)を構成する手法である。ある学術論文の整理によれば、同手法は経済学者アバディ(Abadie)とその共著者による一連の論文で最初に提案されたとされる[7]。アバディとガルデアサバル(Gardeazabal)は2003年、スペインのバスク地方におけるテロ紛争が同地方の経済に与えた影響を、他のスペインの地域を用いて推定する研究を発表した[8]。アバディらは2010年には、カリフォルニア州のタバコ規制立法がタバコ消費に与えた影響を検証する研究を発表しており、この研究は同手法の代表的な適用事例の一つとされる[7][9]。単一の地域・国等を対象とした政策の評価に適している。
Matching(マッチング)
マッチングは、介入を受けた対象と、観察可能な特性が類似した対象を対照群として選び出すことで、比較可能な群を統計的に構成する手法である。前回確認した通り、傾向スコアを用いたマッチング手法は、ローゼンバウムとルービンが1983年に発表した論文に起源を持つ。傾向スコアマッチングを含むマッチング手法は、SMSのレベル3の評価において、処置群・対照群の差を調整するための技法として用いられる場合があるが、観察されない重要な差異が残る可能性があると位置付けられている[1]。
Interrupted Time Series(中断時系列分析)
中断時系列分析(ITS)は、政策の導入時点を境に時系列データを区分し、導入前の傾向(トレンド)から導入後の実績がどの程度乖離したかを分析することで、政策の効果を推定する準実験デザインである。ITSは、ランダム化比較試験の実施が難しい保健医療政策の評価において、頑健な観察研究デザインの一つとして重視されてきたとされる[10]。国際的なエビデンス統合機関であるコクラン共同計画の「効果的な実践と医療組織(EPOC)」グループは、系統的レビューへの採録基準として、介入前後それぞれ少なくとも3時点のデータを有するITS研究を対象とすることを推奨している[10]。
第四章 観察研究と質的評価
実験も準実験も実施できない政策は数多く存在する。このような場合には、ケーススタディ、比較事例研究、プロセス評価、参与観察、インタビュー、文書分析、行政記録の分析、時系列分析といった観察研究・質的評価の手法が用いられる。質的研究と量的研究は対立する方法ではなく、異なる種類の問いに答えるための方法として位置付けられる。すなわち、量的な因果推論の手法が「政策に効果があったか」という問いに答えようとするのに対し、質的な手法は、その効果が「どのように」生じたか、あるいは生じなかったかという、過程・メカニズムに関する問いに答えようとするものである。
第五章 混合研究法(Mixed Methods)
政策評価においては、量的分析のみ、あるいは質的分析のみでは十分でない場合が多い。混合研究法(Mixed Methods)は、量的手法と質的手法を組み合わせて用いるアプローチであり、複数の異なる情報源・手法から得られた結果を突き合わせて検証する「トライアンギュレーション(Triangulation)」という考え方を伴う場合がある。
近年の評価学において重視されるアプローチの一つに、リアリスト評価(Realist Evaluation)がある。同アプローチは、社会学者ポーソン(Ray Pawson)とティリー(Nick Tilley)が1997年に提唱したものであり、「介入は効果があるか」という問いだけでなく、「何が、誰に対して、どのような状況のもとで効果を持つか」という問いに答えることを目指す[11]。BetterEvaluationの解説によれば、リアリスト評価は「文脈(Context)-メカニズム(Mechanism)-結果(Outcome)」という構成(CMO)を用いて、特定の文脈のもとで特定のメカニズムが作動し、特定の結果が生じるという説明を提示することを目的とする[11]。ジョージア健康政策センターの解説は、この手法が、複雑な環境における介入の評価に特に適しているとされることを紹介している[12]。
第六章 評価デザインはどのように選択されるのか
本シリーズ第1部で確認した通り、英国のマゼンタブックは、評価が介入のライフサイクルのあらゆる段階において役割を持つとし、政策・プログラム・プロジェクトの評価は、包括的かつ比例的(proportionate)であるべきとしている。この「比例的」という考え方は、評価デザインの選択が、当該政策の性質・規模に見合ったものであるべきことを示唆する。評価デザインの選択には、政策目的、Theory of Change(想定される因果構造)、利用可能なデータ、倫理的制約、制度上の制約、予算、時間的制約、対象者の特性、実施主体の行政能力など、多くの条件が影響する。したがって、評価デザインの選択における基本的な考え方は、「最も高度な(統計的に洗練された)手法」を選ぶことではなく、「当該政策課題に最も適した設計」を選ぶことにあると整理できる。
第七章 Theory of Changeとの関係
本シリーズのこれまでの整理を踏まえると、Theory of Change、因果推論、評価デザインの三者は、それぞれ異なる役割を担いつつ、相互に接続した関係にある。Theory of Changeは、政策がどのようなメカニズムで成果を生み出すと想定するかを示す政策設計である。因果推論は、その想定された因果関係を検証するための理論的基盤である。評価デザインは、その理論を具体的な調査・分析の手続きへと落とし込む実証方法である。この三者が揃うことで、政策の想定(設計)、検証の考え方(理論)、検証の手続き(実証方法)が一貫した形で接続される。
第八章 まとめ
本レポートで確認した事実は、以下の通り整理される。
第一に、評価デザインとは、因果推論の理論を実際の調査・分析へ落とし込むための、比較対象の構成方法に関する設計である。
第二に、RCTは反実仮想を近似する代表的なデザインであるが、倫理的制約、行政実務上の制約、外的妥当性の問題により、あらゆる政策評価に適用できるわけではない。
第三に、DID(カード&クルーガー, 1994年)、RDD(シスルスウェイト&キャンベル, 1960年)、合成対照法(アバディ&ガルデアサバル, 2003年等)、マッチング(ローゼンバウム&ルービン, 1983年)といった準実験デザインは、それぞれ具体的な起源となる研究を持ち、異なる成立条件のもとで、RCTが実施できない状況における因果効果の推定を可能にする[4][7][8]。これらの手法の頑健性は、英国What Works Networkが用いるMaryland Scientific Methods Scaleによって格付けされている[1]。
第四に、実験・準実験が実施できない政策については、ケーススタディ、プロセス評価、インタビュー等の観察研究・質的評価が用いられ、これらは量的手法とは異なる、過程・メカニズムに関する問いに答えるものである。
第五に、近年の評価学では、量的・質的手法を組み合わせる混合研究法に加え、文脈・メカニズム・結果の関係を説明するリアリスト評価(Pawson and Tilley, 1997)が重視されている[11][12]。
第六に、評価デザインの選択は、政策目的、Theory of Change、データ、倫理、制度、予算、時間、対象者、行政能力といった多くの条件に依存し、「最も高度な手法」ではなく「政策課題に最も適した設計」を選ぶという考え方が基本となる。
第七に、Theory of Change(政策設計)、因果推論(理論)、評価デザイン(実証方法)は、相互に接続した一連の枠組みを構成する。
本レポートでは、政策効果を検証するための評価デザインを整理した。政策評価では、「効果があるか」だけでなく「費用に見合う価値があるか」も判断する必要があり、この経済評価の方法論は前々回で整理した。次部(第4部)では、これらの方法論が英国、米国、OECD、EU、日本においてどのような制度として実装されているのかを扱う。
参考文献
- [1] “Guide to scoring evidence using the Maryland Scientific Methods Scale,” What Works Centre for Local Economic Growth. https://whatworksgrowth.org/wp-content/uploads/16-06-28_Scoring_Guide.pdf
- [2] “Maryland Scientific Methods Scale,” Office of Justice Programs(Sherman, Farrington et al., Evidence-Based Crime Prevention, 2002所収の解説に基づく)。https://www.ojp.gov/ncjrs/virtual-library/abstracts/maryland-scientific-methods-scale-evidence-based-crime-prevention-p
- [3] “Pretend It Doesn’t Work: The ‘Anti-Social’ Bias in the Maryland Scientific Methods Scale,” Office of Justice Programs. https://www.ojp.gov/ncjrs/virtual-library/abstracts/pretend-it-doesnt-work-anti-social-bias-maryland-scientific-methods
- [4] “Difference-in-Differences in the Presence of Unknown Interference”(Card and Krueger, 1994の再検討)。https://arxiv.org/pdf/2512.21176
- [5] “An Optimal Transport Approach to Estimating Causal Effects via Nonlinear Difference-in-Differences.” https://arxiv.org/pdf/2108.05858
- [6] “The Importance of Study Design in the Minimum-Wage Debate,” Economic Policy Institute. https://www.epi.org/publication/importance-study-design-minimum-wage-debate/
- [7] “Synthetic Control Method for Dutch Policy Evaluation,” De Economist, Springer Nature Link. https://link.springer.com/article/10.1007/s10645-022-09417-5
- [8] Abadie, A., & Gardeazabal, J. (2003). “The Economic Costs of Conflict: A Case Study of the Basque Country.” American Economic Review. 引用は”Synthetic Control Methods for Comparative Case Studies,” MIT Economicsによる。https://economics.mit.edu/sites/default/files/publications/Synthetic%20Control%20Methods.pdf
- [9] “Synthetic Control Methods For Comparative Case Studies,” NBER Working Paper. https://www.nber.org/system/files/working_papers/w12831/w12831.pdf
- [10] “Use of interrupted time series methods in the evaluation of health system quality improvement interventions: a methodological systematic review,” PMC. https://pmc.ncbi.nlm.nih.gov/articles/PMC7559052/
- [11] “Realist evaluation,” Better Evaluation. https://www.betterevaluation.org/methods-approaches/approaches/realist-evaluation
- [12] “Realist Evaluation Framework,” Georgia Health Policy Center. https://ghpc.gsu.edu/tools-frameworks/realist-framework/
年表
- 1997年 Pawson&Tilley、リアリスト評価を提唱
- 2002年 Sherman、Farringtonら、Maryland Scientific Methods Scaleを提案
- 2016年6月 What Works Centre for Local Economic Growth、SMS採点ガイドを更新
用語集
- Ray Pawson and Nick Tilley, ポーソン&ティリー: 社会学者。1997年にリアリスト評価を提唱。
- Lawrence W. Sherman and David P. Farrington, シャーマン&ファリントン: 2002年にMaryland Scientific Methods Scaleを提案した犯罪学者。
- What Works Centre for Local Economic Growth: 公式サイト 英国What Works Networkの一部。SMSを用いて政策評価の頑健性を格付け。
- BetterEvaluation: 公式サイト リアリスト評価の解説を含む評価手法の国際的な情報プラットフォーム。
- Georgia Health Policy Center: 公式サイト リアリスト評価フレームワークの解説を公表。
- Cochrane Effective Practice and Organisation of Care, コクランEPOC(略称): 保健医療政策のエビデンス統合を行う国際的な研究グループ。ITS研究の採録基準を規定。
- Evaluation Design, 評価デザイン: 因果推論の理論を実際の調査・分析へ落とし込むための、比較対象の構成方法に関する設計。
- Maryland Scientific Methods Scale, メリーランド科学的手法尺度, SMS(略称): 政策評価手法の頑健性を1(横断的相関)から5(RCT)までの5段階で格付けする尺度。
- Difference-in-Differences, 差の差分析, DID(略称): 介入前後・介入群と対照群の変化を比較して因果効果を推定する手法。SMSレベル3に位置付け。
- Regression Discontinuity Design, 回帰不連続デザイン, RDD(略称): 閾値の直上・直下の対象を比較して因果効果を推定する手法。SMSレベル4に位置付け。
- Instrumental Variables, 操作変数法, IV(略称): 内生性の問題に対処する手法。SMSレベル4に位置付け。
- Synthetic Control Method, 合成対照法: 複数の対照事例を加重平均して反実仮想を構成する手法。SMS上の位置付けは不明。
- Matching, マッチング: 観察可能な特性が類似した対象を対照群として選び出す手法。SMSレベル3の調整技法として使用。
- Propensity Score Matching, 傾向スコアマッチング, PSM(略称): 処置を受ける確率(傾向スコア)に基づき対照群を構成するマッチング手法。
- Interrupted Time Series, 中断時系列分析, ITS(略称): 導入前後の時系列トレンドの乖離から政策効果を推定する手法。コクランEPOCが前後各3時点以上のデータを推奨。
- Quasi-randomness, 準ランダム性: 意図的に課されたものではないが、結果的にランダムに近い割り当てが生じている状態。
- Type II Error, 第二種の過誤: 実際には効果がある介入を「効果なし」と誤って結論づける誤り。SMS批判の文脈で言及。
- Process Evaluation, プロセス評価: 政策・プログラムがどのように実施されているかを検証する評価。
- Mixed Methods, 混合研究法: 量的手法と質的手法を組み合わせるアプローチ。
- Realist Evaluation, リアリスト評価: 「何が誰にどんな状況で効果を持つか」を説明することを目指す評価アプローチ。
- Context-Mechanism-Outcome, 文脈・メカニズム・結果, CMO(略称): リアリスト評価が用いる説明の構成。
- What Works Network: 英国政府が構築した、分野別のエビデンス収集・普及を担う機関のネットワーク。
- Proportionate Evaluation, 比例的な評価: 評価の規模・厳密さを当該政策の性質・規模に見合わせるべきとする考え方。
Claudeへのプロンプト
この巻は、第3部の中で最も「実務」に近い位置付けになります。
重要なのは、各手法の統計学的説明をすることではなく、「行政実務では、どのような条件でどの評価デザインを選択するのか」という設計思想を理解することです。
そのため、Difference-in-DifferencesやRDDなどについては、数式や推定量ではなく、
どのような政策評価に適しているのか
どのような前提条件があるのか
どのような限界があるのか
政府や国際機関ではどのような位置付けになっているのか
という実務的視点で整理する構成とします。
以下のプロンプトであれば、第3-2との重複を避けつつ、第3-4へ自然につながる約3万字のレポートになります。
あなたは公共政策学、行政学、評価学、計量経済学、政策分析を専門とする研究者です。
以下の条件に従い、約30,000字の詳細なレポートを作成してください。
# レポートタイトル
政策効果を測定する方法――実験・準実験・観察研究の評価デザイン
# レポートの目的
本レポートは政策評価シリーズ第3部・第3回として、「政策効果をどのような評価デザインによって測定するのか」を体系的に整理することを目的とする。
前回(第3-2)では、因果推論の理論を整理し、「政策効果とは、反実仮想との比較によって定義される」という現代因果推論の基本的な考え方を説明した。
しかし現実の行政では、その理論を実際の政策評価へ落とし込むために、どのような研究デザインを選択するかが重要となる。
本レポートでは、
・評価デザイン(Evaluation Design)とは何か
・RCT(ランダム化比較試験)
・準実験デザイン
・観察研究
・質的研究と量的研究
・混合研究法(Mixed Methods)
・評価デザインの選択
・Theory of Changeとの関係
を、政府資料、国際機関資料、評価ガイドライン、査読付き学術論文を基に整理する。
本レポートは統計学や計量経済学の教科書ではない。
Difference-in-Differences等の数式や推定理論を解説することが目的ではなく、
「行政実務では、どのような評価デザインが選択されているのか」
という視点で構成すること。
————————————————–
【執筆ルール】
————————————————–
政府資料
英国 HM Treasury
英国 Magenta Book
What Works Network
J-PAL
USAID
査読付き学術論文
評価学・公共政策学・計量経済学の標準的教科書
を優先して引用すること。
Wikipedia
企業サイト
個人ブログ
は引用しない。
政策提言は禁止。
独自見解は禁止。
事実のみを書くこと。
エビデンスが不足する場合は
「不明」
と記載すること。
推論を書く場合は
【推論】
タグを付与すること。
ルールを守れない場合は執筆を中断し、その理由を自己申告すること。
————————————————–
【レポート構成】
————————————————–
<h2>第一章 評価デザインとは何か</h2>
本章では、評価デザイン(Evaluation Design)の概念を整理する。
評価デザインはその理論を実際の調査・分析へ落とし込む設計であることを説明する。
「比較対象をどのように構成するか」が評価デザインの中心であることを整理する。
————————————————–
<h2>第二章 ランダム化比較試験(RCT)</h2>
RCTの基本的な考え方を説明する。
なぜRCTが政策評価の代表的な方法とされるのかを整理する。
公共政策における活用事例を紹介する。
一方で、
倫理的制約
行政実務上の制約
制度上の制約
外的妥当性
などの限界も整理する。
RCTを万能な方法として扱わないこと。
————————————————–
<h2>第三章 準実験デザイン</h2>
以下の代表的な評価デザインについて整理する。
Regression Discontinuity Design
それぞれについて、
どのような政策で利用されるのか
どのような比較対象を構成するのか
成立条件
代表的な長所
限界
政府・国際機関での位置付け
を説明する。
数式や推定量の導出は不要。
評価デザインとして理解できる説明に留める。
————————————————–
<h2>第四章 観察研究と質的評価</h2>
実験も準実験も実施できない政策は数多く存在する。
ケーススタディ
比較事例研究
プロセス評価
参与観察
インタビュー
文書分析
行政記録
時系列分析
などを整理する。
質的研究と量的研究は対立する方法ではなく、
異なる問いに答えるための方法であることを説明する。
————————————————–
<h2>第五章 混合研究法(Mixed Methods)</h2>
政策評価では、
量的分析だけでも、
質的分析だけでも、
十分ではないことが多い。
Triangulation
Process Evaluation
Realist Evaluation
などを紹介する。
近年の国際機関で重視される評価の考え方を整理する。
————————————————–
<h2>第六章 評価デザインはどのように選択されるのか</h2>
評価デザインの選択には
政策目的
利用可能なデータ
倫理
予算
時間
対象者
行政能力
など多くの条件が影響することを説明する。
Magenta Bookなどで示される考え方も整理する。
「最も高度な手法」ではなく、
「政策課題に最も適した設計」
という考え方を説明する。
————————————————–
<h2>第七章 Theory of Changeとの関係</h2>
評価デザイン
の関係を整理する。
Theory of Changeは政策設計。
因果推論は理論。
評価デザインは実証方法。
三者がどのようにつながるのかを整理する。
————————————————–
<h2>第八章 まとめ</h2>
本レポート全体を整理する。
評価デザインとは、
政策効果を検証するために比較対象をどのように設計するかという方法論であることを確認する。
RCTから観察研究まで、
それぞれに適した政策課題が存在することを整理する。
最後に、
政策評価では
「効果があるか」
だけでなく、
「費用に見合う価値があるか」
も判断する必要があることを説明し、
次回は
費用効果分析
費用効用分析
など、経済評価の方法論を扱うことを予告する。
————————————————–
【文体】
————————————————–
公共政策を学ぶ大学院生や行政実務者を対象とした専門書レベルとする。
数式は使用しない。
各評価デザインについて、
理論ではなく、
政策評価実務でどのように位置付けられているか
を重視する。
各章冒頭では本章の目的を説明し、
章末では内容を整理する。
————————————————–
【引用】
————————————————–
本文中は
[1]
[2]
形式。
最後に
<h2>参考文献</h2>
を設ける。
引用順に番号を付ける。
可能な限り政府資料・国際機関資料・標準的教科書・査読付き論文を優先する。
————————————————–
【重要事項】
————————————————–
本レポートは「評価デザイン」の解説であり、統計解析の教科書ではない。
各手法の数理的導出や推定量の詳細には立ち入らず、行政実務・国際機関・評価ガイドラインでどのように位置付けられているかを中心に解説すること。
また、費用便益分析や費用効果分析などの経済評価は次回レポートで扱うため、本レポートでは取り上げないこと。
シリーズ全体との整合性を重視し、第3-1(Theory of Change)、第3-2(因果推論)、第3-4(経済評価)との内容重複を避けて執筆すること。
この構成にすると、第3部は非常にきれいな流れになります。
第3-1では「何を根拠に政策は成果を生み出すと考えるのか」という政策設計の論理を扱い、第3-2では「その因果関係をどのように科学的に考えるのか」という理論を整理し、第3-3では「その理論を現実の行政でどのような評価設計として実装するのか」を扱います。そして第3-4では、「効果がある政策同士を、限られた資源の中でどのように比較・選択するのか」という経済評価へ進みます。
この構成は、EBPMを理念から方法論へ、さらに実務へと段階的に理解させるというシリーズ全体の設計思想とも整合しています。
第3部第3回、承知しました。統計学の教科書ではなく「行政実務でどの評価デザインをどう選ぶか」という設計思想を扱う回です。CDC評価フレームワークとRealist Evaluationを中心に、実務的な選択基準を調査します。No Wikipedia sources, structure balanced, citations consistent. Let me finalize and present.第3部第3回「政策効果を測定する方法」を執筆しました(約5,200字、今回はシリーズ中で最も短くなりました)。
正直な補足を、今回はいつもより多めにさせてください。
最大の弱点:DID・RDD・IV・合成対照法・マッチングの説明(第三章)は、本レポート内で新規の引用を付けておらず、既存シリーズ(因果推論回・元の政策評価法シリーズ)で確立した定義を、引用番号なしで再構成しています。これはご指示の「行政実務でどう使われているか」という実務的説明に重点を置いた結果ですが、本来であれば各手法について「政府・国際機関でどう位置付けられているか」を示す一次資料(例えばJ-PAL、CDC Evaluation Framework、What Works Networkの具体的な記述)を新たに引用すべきでした。今回はそこまで調査が及んでいません。
確認できた新規事項:Realist Evaluation(Pawson & Tilley, 1997)の「Context-Mechanism-Outcome(CMO)」という枠組みと、「効果があるか」ではなく「何が誰にどんな状況で効果を持つか」を問うという視点は、BetterEvaluationとジョージア健康政策センターの一次資料で確認できました。
Interrupted Time Seriesは、具体的な成立条件を示す一次資料を見つけられず「不明」としています。
文字数:約5,200字で、指定の約30,000字には大きく届いていません。今回は特に、第三章(準実験デザインの個別解説)が、本来最も厚みが必要な箇所であるにもかかわらず、最も薄くなってしまいました。
正直なところ、今回は他の回と比べて調査の深さが不足しています。もしご要望があれば、第三章を対象に、各手法の政府・国際機関での位置付けを追加調査して補強することもできます。いつものSNS用4点セット、追加調査、または第3-4回(経済評価)への進行、いずれをご希望でしょうか。
Maryland Scientific Methods Scale(英国What Works Networkが実際に使用する評価手法の格付け)という、まさに求めていた一次資料が見つかりました。続けて、World Bank/J-PALの実務的位置づけと、中断時系列分析(Interrupted Time Series)の政府・国際機関での扱いを調査します。Now let me strengthen this chapter with the newly-researched government/international organization positioning.I need to renumber references consistently throughout the document since I introduced new citations that conflict with existing ones. Let me fix this.Now let me update the reference list with all six citations in proper order.Now let me verify the full document structure and citation consistency.All citations verified consistent, structure balanced, grew from ~5,200 to ~7,600 characters. Let me finalize and present the updated version.第三章を補強しました(約5,200字→約7,600字)。
補強内容の要点です。
核心となる発見:**Maryland Scientific Methods Scale(SMS)**という、政策評価手法の頑健性を1〜5段階で格付けする枠組みを見つけました。これは英国の「地域経済成長のためのWhat Worksセンター」(英国政府のWhat Works Networkの一部)が系統的レビューの採録基準として実際に使用しているものです。DID=レベル3、RDD・操作変数法=レベル4(準ランダム性の活用)、RCT=レベル5という、まさにご要望の「政府・国際機関での位置付け」を具体的な格付けとして示すことができました。
批判的視点も追加:SMSに対しては「実験・準実験デザインを過度に重視すると社会的介入の効果を過小評価するバイアスが生じうる」という学術的批判があることも併記し、単純な礼賛にならないようにしています。
中断時系列分析(ITS)の「不明」を解消:コクラン共同計画のEPOCグループが定める「介入前後それぞれ3時点以上のデータを要件とする」という具体的な採録基準を確認できました。これは国際的なエビデンス統合機関の実務基準であり、ご要望に合致する内容です。
合成対照法は「不明」のまま:SMSの5段階評価上での明示的な位置付けを示す資料は見つけられず、正直に「不明」を維持しています。ここは今後の課題です。
引用番号の整合性:新しい引用[1]〜[4]を追加した結果、既存のリアリスト評価の引用が[1][2]から[5][6]に番号がずれるため、本文・参考文献リストの両方を整合させて修正しました。
いつものSNS用4点セット(更新版)をお作りしましょうか。あるいは第3-4回(経済評価)に進みますか。
承知しました。第3-2と第3-3も同じ構造(概念の定義・成立の歴史・代表的研究と政府指針・実務での利用・主要論争)で拡充します。まず第3-2(因果推論)に必要な、Judea Pearlの構造的因果モデルとRubinフレームワークとの関係、Angrist & Pischkeの「信頼性革命」を調査します。Part 3-2 verified: ~9,000 chars (up from ~6,100), citations consistent, no Wikipedia. Let me finalize this one and move to Part 3-3.Part 3-3 verified: ~9,100 chars (up from ~7,600), citations consistent, no Wikipedia. Let me finalize both files and present them.第3-2・第3-3をリライトしました。
– **第3-2「因果推論とは何か」**:約6,100字→約9,000字
– **第3-3「政策効果を測定する方法」**:約7,600字→約9,100字
**第3-2で新たに追加した最も重要な内容**:
– 元のプロンプトでご指定いただきながら未着手だった**Judea Pearlの構造的因果モデル(SCM)**を、Rubin流の潜在的結果フレームワークと並ぶもう一つの主要な枠組みとして追加しました。Halpernによる論理的等価性の証明と、それにもかかわらず実務では見解が分かれた「Battle for the Soul of Causal Inference」という2008年の具体的な論争(Rubin対Pearl)まで踏み込めました。
– **Angrist & Pischke(2010)の「信頼性革命」**を、Leamer(1983)の批判を起点として整理し、経済学がなぜランダム化を実務に取り入れるまで時間を要したかを説明しました。
– **Rosenbaum & Rubin(1983)の傾向スコア論文**の起源と、King & Nielsen(2019)による「PSMパラドックス」批判を追加しました。
– **Deaton(2010)による外的妥当性批判**を追加しました。
**第3-3で新たに追加した最も重要な内容**:
– **DID**にCard & Krueger(1994)のニュージャージー州最低賃金研究を、実際の雇用者数(20.44人→21.03人 vs 23.33人→21.17人)とともに具体例として追加し、これが経済学界に与えた論争まで記述しました。
– **合成対照法**にAbadie & Gardeazabal(2003、バスク地方のテロ紛争研究)とAbadie et al.(2010、カリフォルニア州のタバコ規制研究)という、具体的な起源論文を追加しました。
正直な限界として、第3-2ではRCTの倫理的側面(Equipoise概念等)の一次資料までは調査が及ばず、第3-3ではCEA/CMA関連のISPOR/NICEガイドラインは依然「不明」のままです。両レポートとも約9,000字台で、目標の3万字には届いていません。
第3部全体(第3-1〜第3-4)でこの調子に揃えるなら、第3-1(Theory of Change)も同様にリライトしましょうか。それとも第4部に進みますか。
- 投稿タグ
- #academic, #AIc, #glossary, #non_comic








