前回のコラムで指摘しましたように，指導要領は時代とともに変化しているので，会社側ではその変化に対応して教育内容を変えていく必要があります．今までも高校で統計は教えられてきたのですが，今回それがパワーアップするというので，具体的に何が変わるのかと「高等学校学習指導要領(案)」に目を通してみました．それによると，数学Iで「具体的な事象において仮説検定の考え方を理解すること。」，数学Bで「正規分布を用いた区間推定及び仮説検定の方法を理解すること。」 と書かれていますが，どの程度まで仮説検定に踏み込むのかは不明です．実際，「高等学校学習指導要領解説 数学 統計関係部分抜粋」の「確率分布と統計的な推測」の項には，仮説検定という言葉は出てきません．とはいえ，標本調査では母集団の平均値を推定することを学ぶのでしょうから，少なくとも検定の入口はほぼ全ての高校生が学ぶことになるのは間違いなさそうです．
興味深かったのは，この6ページの文書の中に「コンピュータ」という言葉が5箇所に出てくることです．例えば，数学Bに「目的に応じて標本調査を設計し,収集したデータを基にコンピュータなどの情報機器を用いて処理するなどして,母集団の特徴や傾向を 推測し判断するとともに,標本調査の方法や結果を批判的に考察する こと。」とあります．昨年のSUMMITで米国から高校生のポスター参加がありましたけど，米国のように日本でも高校生がJMPを使うなどということも珍しくなくなるかもしれません．
統計教育を重視するという方針そのものは大歓迎ですが，あくまでも数学としてその枠組みの中で教えられることになるので，一つ気になることがあります．小３の算数テスト『３.９＋５.１＝９.０』が減点された！ 採点の理由に議論勃発 という記事のもとになったkennel（@kennel_org）さんのTweetも話題になりました．この子の使っていたという東京書籍の公式見解は，9という解も間違いではないということですが，減点した先生も間違いではないという玉虫色の見解です．算数の能力をテストするのではなく，教えたことをどれだけ覚えているかをテストしているということなのでしょう．統計ではこのような教育は混乱を招きます．統計には算数よりも曖昧な部分が多いからです．例えば，三重大学の奥村先生が指摘されているように，中学数学で教える四分位数の定義が一般的なものと異なっているようです．今回の改定で中学生2年性で箱ひげ図を習うようになるというので，「中学校学習指導要領解説 数学編」 を読んでみました．
ここに書かれている定義では．例えば第一四分位数はデータ全体のメディアンより小さいデータ部分の更にメディアンとして定義されています．データを三つの四分位数と最大・最小との5個の特徴量で記述し，それをもとに箱ひげ図として可視化する手法を考案したのは探索的データ解析（Exploratory data analysis)で有名なJohn.W.Tukey（ジョン・テューキー）ですが，いわばご本家のTukeyの定義とは確かに異なっています．両者ともメディアンを境にしてデータ列を上半分と下半分に分割することまでは同じですが，Tukeyの定義ではメディアンを分割したデータに含めるのに対し，文科省の定義では含めません．因みに，この定義は実際にはMoore and McCabeの定義と呼ばれるもので，文科省はそれを採用したに過ぎません．
これらの定義は人間に理解しやすいという特徴はありますが，その必要がない統計ソフトではまた異なる定義をもとに計算されます．おそらく授業で使われることが多いであろうエクセルには，2010年のバージョンから四分位数を返す関数がQUARTILE.INC関数とQUARTILE.EXC関数との二つに増えました．両者ともにパーセンタイルから四分位数を，例えば，25パーセンタイルを第一四分位数として導出しますが，サイズnのデータのqパーセンタイルを計算する際に，開区間（0,1）に対して求めるか閉区間［0,1］に対して求めるのかというだけの違いで，ちょうどそれぞれTukeyの定義とMoore and McCabeの定義とに対応しています．具体的には，QUARTILE.INC関数ではから，QUARTILE.EXC関数ではから求めるという違いになります．この違いはデータサイズが大きければ無視できますが，サイズが小さい場合は，QUARTILE.INC関数による第一及び第三四分位数はQUARTILE.EXC関数によるものに比べて中央値に寄ることになるので，後に説明する四分位数から定義される外れ値にシビアになります．因みに，QUARTILE関数も実装されていますがこれはQUARTILE.INC関数と同じもので，過去のマクロとの互換性を保つために残されたものです．
試しにJohn W.Tukey(1977), Exploratory Data Analysis, Addison-Wesleyで使われているオリジナルデータ[-3.2, -1.7, -0.4, 0.1, 0.3, 1.2, 1.5, 1.8, 2.4, 3, 4.3, 6.4, 9.8]で確認してみます．このデータに対して中学校では，第i四分位数をQiで表しますと，[Q1=-0.15, Q2=1.5, Q3=3.65]と教えられることになります．「3.9+5.1=9.0」のときとも違い，教えた通りに答えることを正解とするのであれば，これ以外の答えは不正解です．同じデータの四分位数を箱ひげ図の考案者のJohn W.Tukeyは，[Q1=0.1, Q2=1.5, Q3=3]と答えるでしょうし，エクセルを使えば，QUARTILE.EXC関数では[Q1=-0.15, Q2=1.5, Q3=3.65]ですし，QUARTILE.INC関数では[Q1=0.1, Q2=1.5, Q3=3]となるでしょう．
そしてJMPerであれば「1変量の分布」によるレポートを見ればいいわけです．出力結果は［Q1=-0.15, Q2=1.5, Q3=3.65］ですから，一見して文科省の定義に準拠しているかにみえますが，これはたまたまなので注意してください．試しに上記のTukeyのデータに-5を加えた次のデータで確認してみます．
[-5, 3.2, -1.7, -0.4, 0.1, 0.3, 1.2, 1.5, 1.8, 2.4, 3, 4.3, 6.4, 9.8]
文科省定義では［Q1=－0.4，Q2=1.35，Q3=3］となりますが，JMPのレポートでは［Q1=-0.725，Q2=1.35，Q3=3.325］になります．
JMPでの四分位点の定義はマニュアルのP72に書かれています．これによればJMPの四分位数の定義はQUARTILE.EXC関数と同じです．例えば，第一分位点は25%点のことですから，上のデータの場合，3.75となります．3.75番目の数が第一四分位数Q1となるわけですが，これを３番目の－1.7と4番目の－0.4とから比例配分で求めます．即ち，Q1 = -1.7 x 0.25 + -0.4 x 0.75 = -0.725となります．
このように単純な概念である四分位数にもいろいろ定義があるのです．おそらく文科省の定義は教えやすさを優先したのでしょうが，Tukeyの元祖四分位数も同じくらいには単純です．四分位数の定義が乱立している謎を解こうと文献を調べたら，この辺についてまとめてくださっている先生がいらっしゃいました．California州立大学のEric Langford先生が投稿された論文 Journal of Statistics Education Volume 14, Number 3 (2006)でHTMLでWEBでも読めます．Quartiles in Elementary Statistics この論文によればなんと15の定義が示されています．この文献のMethod 3がテューキーの定義で，この定義はMethod1と実質的には同じ数値を返します．文科省の定義はMethod 2で，Method 12がExcelのQUARTILE.INCに相当するものです．JMPの定義はMinitabと同じとのことで，Method11になります．この論文が出版された当時は存在しませんでしたが，エクセルのQUARTILE.EXCもMethod11に分類されます．
このように一つの用語に無数の定義があるなどというのは他の学問分野では珍しいのではないでしょうか．一つには，統計学が比較的歴史の浅い学問であるからかもしれません．Tukey先生は2000年まではご存命だったので，ジャイアント馬場のほうが先に亡くなったくらいですから私の感覚ではまだ最近の人です．（つい最近，ジャイアント馬場夫人が亡くなったので思い出しました．）しかしながら，四分位数の定義が乱立したことの背景には，実世界と紐付いていることが宿命付けられている統計学の実態があるように私には思えるのです．どの四分位数の定義であってもデータの分布を把握するという目的には些細な違いです．優劣をつけることは困難です．JMPが四分位数の定義を一つしか持たないのもこれが理由でしょう．エクセルやRのように複数の定義を実装するならばその使い分けも示されるべきです．そうでなければユーザーは混乱するだけです．
といっても，それぞれの定義で返す数値が異なるのもまた事実で，特に小さいサンプルサイズでは顕著になります．これは外れ値の違いとなって表出します．Tukeyは中央値でのデータの折り返しを蝶番に見立ててヒンジと命名したので，Q3，Q2は「Tukeyのヒンジ」とも言われています．ヒンジは厳密には四分位数ではないと，それぞれを区別する人もいますが，その話はここでは置いておきます．
Q3-Q2を四分位範囲といって箱ひげ図の箱の長さに相当し，この長さをk倍することでフェンスを定義します．箱ひげ図ではフェンスそのものは見えませんが，フェンスに囲まれたデータの最大・最小が髭の先端として示されます．Tukeyはフェンスを超えたデータを外れ値として定義しました．ですから，実務上は四分位数よりもフェンスの方が重要なくらいです．Tukeyは，このkの値を初期にはk=1とk=3としていましたが，後に k=1.5とk=3とに変更しました．ここらへんのことは下記の論文に詳しく書かれています．（David C. Hoaglin(2003), John W. Tukey and Data Analysis，Statistical Science 2003, Vol. 18, No. 3, 311–318）現在ではk=1.5のみでフェンスを定義しますが，Tukeyのフェンスは二重構えで内側をインナーフェンス，外側をアウターフェンスと定義していました．従って外れ値にもに二つの定義があったわけで，おそらく事例における使い分けを想定し，実際のデータの分布によってkの値も修正していったのでしょう．Tukeyは実務的な観点からヒンジやフェンスを定義し，外れ値を分析から除外するものとしてではなく，注目すべき対象としたことが重要です．生きたデータがあってはじめてヒンジもフェンスも，もちろんそれらのベースとなる四分位数も具現化できるものなのです．
大学生ならばともかく，中高生であればはまだ具体的な問題に対峙していないので，架空の問題を想定して統計を学んでいくしかありません．英語をいくら学校で勉強しても話せなくても，米国で生活すれば誰でも話せるようになるという事実を鑑みても，統計学の勉強はこの意味で実際の問題を抱えてからのほうが効率がよいのではないでしょうか．改定された指導要領で中高生が学ぶ統計が，実世界と分離されたものにならないことを願っています．
統計教育を重視するという方針そのものは大歓迎ですが，あくまでも数学としてその枠組みの中で教えられることになるので，一つ気になることがあります．小３の算数テスト『３.９＋５.１＝９.０』が減点された！ 採点の理由に議論勃発 という記事のもとになったkennel（@kennel_org）さんのTweetも話題になりました．この子の使っていたという東京書籍の公式見解は，9という解も間違いではないということですが，減点した先生も間違いではないという玉虫色の見解です．算数の能力をテストするのではなく，教えたことをどれだけ覚えているかをテストしているということなのでしょう．統計ではこのような教育は混乱を招きます．統計には算数よりも曖昧な部分が多いからです．例えば，三重大学の奥村先生が指摘されているように，中学数学で教える四分位数の定義が一般的なものと異なっているようです．今回の改定で中学生2年性で箱ひげ図を習うようになるというので，「中学校学習指導要領解説 数学編」 を読んでみました．
ここに書かれている定義では．例えば第一四分位数はデータ全体のメディアンより小さいデータ部分の更にメディアンとして定義されています．データを三つの四分位数と最大・最小との5個の特徴量で記述し，それをもとに箱ひげ図として可視化する手法を考案したのは探索的データ解析（Exploratory data analysis)で有名なJohn.W.Tukey（ジョン・テューキー）ですが，いわばご本家のTukeyの定義とは確かに異なっています．両者ともメディアンを境にしてデータ列を上半分と下半分に分割することまでは同じですが，Tukeyの定義ではメディアンを分割したデータに含めるのに対し，文科省の定義では含めません．因みに，この定義は実際にはMoore and McCabeの定義と呼ばれるもので，文科省はそれを採用したに過ぎません．
これらの定義は人間に理解しやすいという特徴はありますが，その必要がない統計ソフトではまた異なる定義をもとに計算されます．おそらく授業で使われることが多いであろうエクセルには，2010年のバージョンから四分位数を返す関数がQUARTILE.INC関数とQUARTILE.EXC関数との二つに増えました．両者ともにパーセンタイルから四分位数を，例えば，25パーセンタイルを第一四分位数として導出しますが，サイズnのデータのqパーセンタイルを計算する際に，開区間（0,1）に対して求めるか閉区間［0,1］に対して求めるのかというだけの違いで，ちょうどそれぞれTukeyの定義とMoore and McCabeの定義とに対応しています．具体的には，QUARTILE.INC関数ではから，QUARTILE.EXC関数ではから求めるという違いになります．この違いはデータサイズが大きければ無視できますが，サイズが小さい場合は，QUARTILE.INC関数による第一及び第三四分位数はQUARTILE.EXC関数によるものに比べて中央値に寄ることになるので，後に説明する四分位数から定義される外れ値にシビアになります．因みに，QUARTILE関数も実装されていますがこれはQUARTILE.INC関数と同じもので，過去のマクロとの互換性を保つために残されたものです．
試しにJohn W.Tukey(1977), Exploratory Data Analysis, Addison-Wesleyで使われているオリジナルデータ[-3.2, -1.7, -0.4, 0.1, 0.3, 1.2, 1.5, 1.8, 2.4, 3, 4.3, 6.4, 9.8]で確認してみます．このデータに対して中学校では，第i四分位数をQiで表しますと，[Q1=-0.15, Q2=1.5, Q3=3.65]と教えられることになります．「3.9+5.1=9.0」のときとも違い，教えた通りに答えることを正解とするのであれば，これ以外の答えは不正解です．同じデータの四分位数を箱ひげ図の考案者のJohn W.Tukeyは，[Q1=0.1, Q2=1.5, Q3=3]と答えるでしょうし，エクセルを使えば，QUARTILE.EXC関数では[Q1=-0.15, Q2=1.5, Q3=3.65]ですし，QUARTILE.INC関数では[Q1=0.1, Q2=1.5, Q3=3]となるでしょう．
そしてJMPerであれば「1変量の分布」によるレポートを見ればいいわけです．出力結果は［Q1=-0.15, Q2=1.5, Q3=3.65］ですから，一見して文科省の定義に準拠しているかにみえますが，これはたまたまなので注意してください．試しに上記のTukeyのデータに-5を加えた次のデータで確認してみます．
[-5, 3.2, -1.7, -0.4, 0.1, 0.3, 1.2, 1.5, 1.8, 2.4, 3, 4.3, 6.4, 9.8]
文科省定義では［Q1=－0.4，Q2=1.35，Q3=3］となりますが，JMPのレポートでは［Q1=-0.725，Q2=1.35，Q3=3.325］になります．
JMPでの四分位点の定義はマニュアルのP72に書かれています．これによればJMPの四分位数の定義はQUARTILE.EXC関数と同じです．例えば，第一分位点は25%点のことですから，上のデータの場合，3.75となります．3.75番目の数が第一四分位数Q1となるわけですが，これを３番目の－1.7と4番目の－0.4とから比例配分で求めます．即ち，Q1 = -1.7 x 0.25 + -0.4 x 0.75 = -0.725となります．
このように単純な概念である四分位数にもいろいろ定義があるのです．おそらく文科省の定義は教えやすさを優先したのでしょうが，Tukeyの元祖四分位数も同じくらいには単純です．四分位数の定義が乱立している謎を解こうと文献を調べたら，この辺についてまとめてくださっている先生がいらっしゃいました．California州立大学のEric Langford先生が投稿された論文 Journal of Statistics Education Volume 14, Number 3 (2006)でHTMLでWEBでも読めます．Quartiles in Elementary Statistics この論文によればなんと15の定義が示されています．この文献のMethod 3がテューキーの定義で，この定義はMethod1と実質的には同じ数値を返します．文科省の定義はMethod 2で，Method 12がExcelのQUARTILE.INCに相当するものです．JMPの定義はMinitabと同じとのことで，Method11になります．この論文が出版された当時は存在しませんでしたが，エクセルのQUARTILE.EXCもMethod11に分類されます．
このように一つの用語に無数の定義があるなどというのは他の学問分野では珍しいのではないでしょうか．一つには，統計学が比較的歴史の浅い学問であるからかもしれません．Tukey先生は2000年まではご存命だったので，ジャイアント馬場のほうが先に亡くなったくらいですから私の感覚ではまだ最近の人です．（つい最近，ジャイアント馬場夫人が亡くなったので思い出しました．）しかしながら，四分位数の定義が乱立したことの背景には，実世界と紐付いていることが宿命付けられている統計学の実態があるように私には思えるのです．どの四分位数の定義であってもデータの分布を把握するという目的には些細な違いです．優劣をつけることは困難です．JMPが四分位数の定義を一つしか持たないのもこれが理由でしょう．エクセルやRのように複数の定義を実装するならばその使い分けも示されるべきです．そうでなければユーザーは混乱するだけです．
といっても，それぞれの定義で返す数値が異なるのもまた事実で，特に小さいサンプルサイズでは顕著になります．これは外れ値の違いとなって表出します．Tukeyは中央値でのデータの折り返しを蝶番に見立ててヒンジと命名したので，Q3，Q2は「Tukeyのヒンジ」とも言われています．ヒンジは厳密には四分位数ではないと，それぞれを区別する人もいますが，その話はここでは置いておきます．
Q3-Q2を四分位範囲といって箱ひげ図の箱の長さに相当し，この長さをk倍することでフェンスを定義します．箱ひげ図ではフェンスそのものは見えませんが，フェンスに囲まれたデータの最大・最小が髭の先端として示されます．Tukeyはフェンスを超えたデータを外れ値として定義しました．ですから，実務上は四分位数よりもフェンスの方が重要なくらいです．Tukeyは，このkの値を初期にはk=1とk=3としていましたが，後に k=1.5とk=3とに変更しました．ここらへんのことは下記の論文に詳しく書かれています．（David C. Hoaglin(2003), John W. Tukey and Data Analysis，Statistical Science 2003, Vol. 18, No. 3, 311–318）現在ではk=1.5のみでフェンスを定義しますが，Tukeyのフェンスは二重構えで内側をインナーフェンス，外側をアウターフェンスと定義していました．従って外れ値にもに二つの定義があったわけで，おそらく事例における使い分けを想定し，実際のデータの分布によってkの値も修正していったのでしょう．Tukeyは実務的な観点からヒンジやフェンスを定義し，外れ値を分析から除外するものとしてではなく，注目すべき対象としたことが重要です．生きたデータがあってはじめてヒンジもフェンスも，もちろんそれらのベースとなる四分位数も具現化できるものなのです．
大学生ならばともかく，中高生であればはまだ具体的な問題に対峙していないので，架空の問題を想定して統計を学んでいくしかありません．英語をいくら学校で勉強しても話せなくても，米国で生活すれば誰でも話せるようになるという事実を鑑みても，統計学の勉強はこの意味で実際の問題を抱えてからのほうが効率がよいのではないでしょうか．改定された指導要領で中高生が学ぶ統計が，実世界と分離されたものにならないことを願っています．
長くなりましたので本日はこれで．
コメント