一要因の分散分析について学んだ

1.はじめに

　今年度から教育工学の先生が主催されている「英語ゼミ」というゼミに参加している。

○英語ゼミでの活動内容について
　このゼミは、主に海外の優良ジャーナルから定量的な研究方法を採用している論文を取り上げて、教員の指導のもと、毎週担当を決めて論評を行うものである。

○このゼミに参加している理由
　私がこのゼミに参加している理由は、定期的に英文を読み込み、それを咀嚼しアウトプットするための強制力をアウトソーシングすることができること、統計に関する基礎的な知識を得ることができること、他領域における学術システムに触れる中で、自身の所属する学術領域の特徴を相対化させることができることなどのメリットを感じているからだ。

○先日のゼミで読んだ論文について
　先日は、"A scaffolding strategy to develop handheld sensor-based vocabulary games for improving students' leaning motivation and performance"を取り上げて議論をした。
　この論文は、「足場ストラテジー」というヴィゴツキー由来の理論をもとに、開発した学習ツールの効果測定をすることを目的にしていた。この論文について議論するなかで、一要因の分散分析という分析手法について学ぶ機会があったので備忘録としてブログに残しておくことにする。

2.一要因の分散分析（ANOVA）

○ANOVAとは
　ANOVAを一言で説明するなら、「３つ以上のグループ（水準）の内、すくなくとも一つのグループの組み合わせに関して、その平均に有意な差があるかどうか」を調べるための分析手法ということになると思う。もちろん、一言で説明するのが難しいからこそ、咀嚼したことをこうしてブログにしているわけなのでなかなかうまく定義することができない。

　ANOVAの目的は、「推定する母集団における『要因』の各『水準』ごとの平均値に差があるかどうかを検討すること」と表現される。

○ANOVAを使わなければならないのはどんなときか
　２つのグループそれぞれの平均において有意な差があるかどうかを調べるのであればｔ検定を使うことになる。問題なのは、３つ以上のグループについて、それぞれの水準における平均に有意な差があるかどうかを調べるとき。こうした検討を行うには、「多重比較」という手法を用いなければならない。この場合、グループ１と２、２と３、３と１といった感じで、一つ一つ検証していく方法が考えられるわけだけども、これをやってしまうと、グループの数が増えるにつれて（つまり検証をするたびに）有意に差があると判断される確率が高くなってしまうのだ。だから、一発で検証を行う手法を用いる必要がでてきてしまうのだ。この点については、下記のwebページがとってもわかりやすく説明してくださっていた。ありがたや。

http://kogolab.chillout.jp/elearn/hamburger/chap6/sec1.html

○論文の評価について
　ということで、先の論文の話にもどるわけだが、この論文についてゼミで議論になったのが、リサーチクエッションと実現可能であった調査設計に対して最適な分析手法が採用されていないのではないかという点だ。まずは、この論文の目的と方法について簡単に整理しておく。

○RQ
本論文のRQは以下のとおり。
①学習ツールは、学習者のパフォーマンスを向上させることができたのか？
②学習ツールは、学習者の記憶に寄与しうるのか？
③学習ツールは、学習者の動機づけに効果があるのか？

○調査設計
以上のRQに対して、論者は、総計65名の大学生を調査協力者とし、これを、学習ツールをつかって学習を行った群と使わなかった群に分けて対照実験を行い、テストを用いた効果測定を行っている。テストは、事前と事後に加え、遅延テストという実験の一週間後に行われるテストを含めた３回に分けて行われた。

○分析
以上のテストによって得られたスコアデータの平均を分析するわけだが、分析手法については、データが正規分布ではなかったことと、サンプルサイズが小さかった（調査協力者が少なかった）ことからU検定が採用されていた。

○論文が犯していた過ちについて
　問題だとされた点は、２つあった。一つは、本論文が、先行研究において開発されているスケールを援用しているのにもかかわらず、質問項目群を恣意的に操作している点。そして、こちらが本題になるが、本論文が犯している決定的なミス、それは、事前,事後,遅延テストそれぞれについて、実験群と統制群の検定を行っているだけでスコアデータの分析が終わっており、それぞれのテストの時系列的な差については、分析がなされていなかったことだ。これでは、交互作用（※１）が働いている可能性を払拭することができない。このような文脈で用いられることになるのが、通称「ANOVA」と呼ばれる分析手法、一要因の分散分析ということであった。

3.まとめ
○ANOVAについて理解できたこと

３つ以上のグループの平均値の差について検定を行う場合は、ANOVAが有効であることを理解できたことは、今後、社会学的な調査設計を意識した研究構想につながる点で非常に意味のある学習であったと思う（ただ、実際に調査を行う場合は、必要となるサンプルの数や、質問紙の作成方法などまだまだ知識が必要だと思う）。

○ゼミを受けていて感じること
対象の大きさ（例えば、社会制度を対象にするのか、教授法の影響力を対象にするのか）の違いによって、論文の読み方も書き方も大きく異なってくるな～と思うことがしばしばある。たとえば、テストスコアを入手することができれば、最適化された分析手法にもとづいた考察が「ひとまず」（この点は重要だと思う）可能となる点などは、政府間の権力構造を考察する研究などとは、「一端の」アウトプットにたどり着くまでのスパンが大きくことなってくる。それは、領域間で博士論文提出までのステップとして必要となる条件の違いとしても実際に現れている。今は、まだまだうまく言語化できないがこの点については、今後も考えていきたいと思う。

○参考にした文献やウェブサイト・ウェブページ
・http://d.hatena.ne.jp/hoxo_m/20100917/p1
・http://mcn-www.jwu.ac.jp/~kuto/kogo_lab/psi-home/stat2000/DATA/07/09.HTM
・http://kogolab.chillout.jp/elearn/hamburger/index.html

・浦上昌則・脇田貴文2011:『心理学・社会科学研究のための調査系論文の読み方』東京図書．

○2017年10月23日加筆修正