過去の投稿に画像リンク切れ多数ありご迷惑おかけしています.

回帰分析のエビデンスレベル

覚え書き

 最近とあるニュースが話題になりました.「博士採用増で生産性低下」という日本経済新聞の日本経済研究センターの報告を基にした記事です.オリジナルの報告に輪をかけて日経がおかしな解釈をしたことで,twitterでも(案の定)炎上していました.詳細はこのtogetterを読んでいただくとして,この記事についてここで論評するのは避けます.少なくともオリジナルの文献のグラフを見る限りでは博士採用と生産性には正の相関があるように見えますが,どうみれば負の相関があると言えるのでしょうか?

この記事のタイトルにしか目を通さない日経読者も大勢いるであろうことを考慮すると,少なくともメディアが記事のタイトルをコロコロと変え続けたのは問題ありとは思います.タイトルの変遷をみるに表現の違いだけでいろいろなニュアンスが出てくるのがわかります.このニュアンスの違いをうまく使い分けて読者を惹きつけるのがメディアの技量です.メデイアもやはり商売ですから,ある程度は情報を都合よく解釈することも売れる情報を発信するためには必要なのかもしれません.このような事情もあって,Stat Spottingを趣味とするものにとっては,メディアは良い対象なのです.とはいえ,週刊誌ならともかく,やはり新聞には信頼できる情報源としての品位を保ってもらいたいと個人的には願っています.
メディアに都合よく操られまいという意識が高まっている昨今ですから,読者も勉強しています.何かしらの報道があると,それは単なる疑似相関にすぎないというのがよくある批判の一つです.ビッグデータの流行に伴って様々な啓蒙書が出版されいます.例えば,以前紹介した伊藤公一郎(2017),『データ分析の力 因果関係に迫る思考法』,光文社新書などは産業分野以外における実験の工夫と苦労がわかる良書でした.この本に先駆けて中室牧子,津川友介(2017),『原因と結果の経済学』,ダイヤモンド社というかなり内容が重なっている本も出版されています.中室さんの『学力の経済学』に比べるとあっさりしすぎていてわたしには今ひとつでしたが,それでもよく売れているそうです.一般人に対する統計リテラシーレベルの底上げにこれらの書籍の貢献は大きいでしょう.
とはいえ,昨今の「因果関係を絶対視して相関関係を軽視する」風潮には少し疑問を持っています.
『原因と結果の経済学』ではエビデンスを因果関係を示唆する根拠と定義しています.経済学ではそのような考えがあるのかもしれませんが,私は因果関係があろうとなかろうとに関わらず,エビデンスとはpeer reviewを経た(科学的)知見のことと考えています.
もともとエビデンスという考え方は医療分野のEBM(Evidence Based Medicine)からきたもので,『原因と結果の経済学』にも有名なエビデンスのピラミッドが改変されて掲載されています.それによれば,エビデンスレベル(結果の信頼性)が高い方から低い方に,一番上にメタアナリシス,次にランダム化比較試験(RCT),擬似実験と続いて一番下に回帰分析があります.この改変されたピラミッドは間違いとまでは言えませんが,ミスリーディングを誘うと思います.
一つにはエビデンスの強さはデータの性質によるものであって,データ分析の手法には良いも悪いもないということが見落とされています.回帰分析くらいしか適用できないデータであるからこそエビデンスレベルが低いということなのです.回帰分析の結果であっても,ここから因果関係の仮説をたてて再現性の検証を実施したものであれば,信頼性はあるといえます.統計的問題解決で中心となる統計手法(統計モデリング)は重回帰です.
二つ目として,特定の研究手法を採用するだけで,その結果のエビデンスが強くなるとは限りません.EBMにおけるピラミッドではRCTがエビデンスレベルが高い(文献によっては,最高位にメタアナリシス代表されるSystematic Reviewという二次情報が置かれていて,その次のレベルをRCTとしているものもあります)のは当然としても,このRCTでは二重盲検などの処置が施された介入試験でなければなりません.RCTであればそれだけでエビデンス足り得ないことは明らかです.二重盲検の適用については適用実験ごとに議論が必要ですが,例えば,特定の学習手法が子供の能力向上に与える影響を調査するような場合は,やはり臨床試験におけるプラセボ効果の排除が必要になるでしょう.
三番目にEBMのピラミッドにはRCTの下の階層に非ランダム化比較試験とでもいうCohort Study(コホート研究)があり,更にその下のレベルにCase Control Study(症例対象研究)とアンケート調査のようなCase Series(横断研究)がそれぞれ位置します.これら三つの研究手法をまとめて疫学調査あるいは観察研究という場合があります.『原因と結果の経済学』で回帰分析と称している階層はおそらくこれらに対応させたものと考えられますが,EBMでは最下層にはCase Reports(症例報告)があって,これは記述研究と呼ばれています.更にその下にはEditorialという研究者の意見や考えというエビデンスとなり得ない階層もあるのです.このように,本来ならば回帰分析の下にもエビデンスレベルが低い手法があるのにそこを示さないのはやはり(著者の主張に)誘導的であると言わざるを得ません.いずれにせよ,オリジナルのEBMのエビデンスレベルのピラミッドでは回帰分析について言及されているわけではありません.
もう一つ言いたいことがあって,疫学調査では回帰分析を使うことが多いのは事実とはいえ,疫学調査の結果のエビデンスレベルが低いから研究の価値が低いというわけではないということです.疫学研究はその性質から結果のエビデンスレベルが低くなってしまうのは宿命のようなものです.かといって疫学研究の価値が低いわけでは全くありません.反対にRCTであっても特定の企業がスポンサーについたような研究では報告バイアスが生じる可能性がありますし,peer reviewされた研究であっても,そこにもやはり出版バイアスがあったかもしれないことを忘れてはなりません.要するにRCTで回避できるのはいわゆる交絡バイアスや選択バイアスだけなのです.
このような理由で産業分野の私にとっては『原因と結果の経済学』で回帰分析が不当に低く扱われているのに違和感を覚えました.そもそも因果関係を追求するのは学者の仕事であって,私たちには因果関係を追求するよりも重要な仕事があります.誤解されることを恐れずに言ってしまうと,それは利益を追求することです.装置に異常が起こって歩留まりを落としていることが判明したならば,直ちに対策を講じなければなりません.おそらくDOEを実施して因果関係を把握するよりも先に,手元にあるデータで回帰分析でも何でも実施して何らかの策を講ずるべきです.もちろん,因果関係は不明ですから,分析結果が再現する保証はありませんが,対策に固有技術の知見が裏打ちされているならばエビデンスレベルが低いからと言って躊躇すべきではないと考えます.
メタボ健診や子供の学力向上では経済学見地?からエビデンスを考慮することの必要性は理解できますが,それと量産ラインで今起こっている問題解決とは別のストーリーがあり得ると考えます.メタボ健診の場合であっても,エビデンスを求めるあまり,対策に時間がかかり過ぎてしまうと経済的損失が発生します.このことを見失っていないでしょうか.もちろん,エビデンスを軽視しているわけではありません.ただ,何らかの結果がpeer reviewを経て科学的知見に昇華するには一般的には長い時間がかかるということです.

ここまで一気に書いて読み返すと,いろいろ論理の粗や言いたりないことが目に入りますが,ブログなのでご容赦ください.因果関係についてはもっと書きたいこともあるのですが,論点もずれてきましたので続きはまた今度にします.それでは.
統計的問題解決研究所

コメント