投稿者: 石山ひかる | 査読者: 西澤倫 | 日付: 2021-08-09

この研究の背景

• ライティング問題には大きく分けて二つの形式がある。短い問いに答えさせる形式の独立問題（independent writing）と、文章を読ませたりレクチャーを聞かせたりした上でその内容を統合させて書かせる総合問題(integrated writing)だ。総合問題はライティング以外の能力も評価の対象となるため、独立問題よりも評価が難しいと言われている。
• ライティング評価の際、信頼性（評価者間での評価の安定度）が問題となる。つまり、評価者が違っても学習者は同じ評価を受けることが理想だ。そのため、問題形式に適した評価方法を選ぶ必要がある。
• 独立問題においては、１つの答案に対し１つの評価を与える全体評価(holistic rating scale)の方が、複数の評価基準（文章構成や語彙使用の正確さ等）にそれぞれ評価を与える分析評価(analytic rating scale)よりも信頼性が高いことが分かっている。しかし、総合問題における評価方法の研究は十分ではない。
• 本研究では、総合問題（リーディングからのライティング）を評価する際、どちらの評価方法がテストの信頼性に繋がるのかを探究した。

研究方法

• ライティング指導の経験がある５人に総合問題のエッセイ６０本を以下２つの方法で評価させた。
  • 全体評価：１つの答案につき１つの評価（TOEFLの評価基準を活用）
  • 分析評価：５つの観点（情報活用、文章構成、内容展開、言語使用、主張）につきそれぞれ評価

研究結果

• 総合問題の場合、全体評価よりも分析評価の方が、学習者の言語能力をより正確に捉え、能力に応じた評価につながった。
• 評価者間の評価のばらつきは分析評価の方が少なかった。つまり、分析評価は全体評価より信頼性が高い。
• 分析評価における５つの評価基準の中で信頼性が最も高かったのは情報活用（リーディング内容をどの程度適切にライティングに反映させているか）であった。
• 分析評価の方が評価者の数が少なくても信頼性が確保しやすいことが分かった。また、全体評価を総合問題に用いる場合は、比較的長期の評価トレーニングとより多くの評価者が必要になることも分かった。

実用的意義・示唆

本研究により、総合問題（リーディングからのライティングの場合）においては分析評価の方が全体評価よりも安定した評価に繋がり、信頼性が高いことが分かった。分析評価はより多くの労力と時間を要するが、各評価基準に応じて学習者にフィードバックを返すことが可能となるため、教育的な観点からも有益であるといえる。

論文情報:  Ohta, R., Plakans, L. M., & Gebril, A. (2018). Integrated writing scores based on holistic and multi-trait scales: A generalizability analysis. Assessing Writing, 38, 21–36. https://doi.org/10.1016/j.asw.2018.08.001