Back

Title
  • ja ルーブリック評価における項目反応理論
  • en Item Response Theory for Rubric-Based Assessment
Creator
    • ja 宇都, 雅輝 ja-Kana ウト, マサキ en UTO, Masaki
    • ja 植野, 真臣 ja-Kana ウエノ, マオミ en UENO, Maomi
Rights
  • Copyright © 2020 IEICE
Subject
  • Other ja パフォーマンス評価
  • Other ja ルーブリック
  • Other ja 項目反応理論
  • Other ja 教育評価
  • Other ja 評価者バイアス
  • Other en performance assessment
  • Other en rubric
  • Other en item response theory
  • Other en educational measurement
  • Other en rater bias
Description
  • Abstract 近年，学習者の実践的かつ高次な能力を測定する手法の一つとしてルーブリック評価が注目されている．ルーブリックは評価者の主観による評価基準をより客観的にするためのツールであるが，それでも評価がパフォーマンス課題や評価者，ルーブリックの評価観点の特性に依存してしまうことが指摘されてきた．この問題を解決する手法の一つとして，これらの特性を考慮して学習者の能力を測定できる項目反応モデルが近年多数提案されている．しかし，既存モデルは学習者・課題・評価者・評価観点で構成される4相の評価データに直接には適用できず，課題・評価者・評価観点の特性を同時に考慮した能力測定は実現できない．また，ルーブリック評価の評点は一般に段階カテゴリーとして与えられ，各カテゴリーに対する評価基準は評価者と評価観点の特性に依存する．しかし，既存モデルでは評価基準は評価者と評価観点のいずれか一方にのみ依存すると仮定している．以上の問題を解決するために，本論文では，評価観点と評価者の評価基準を考慮して，ルーブリック評価の4相データから学習者の能力を測定できる新たな項目反応モデルを提案する．また，シミュレーション実験と実データ実験を通して提案モデルの有効性を示す．
  • Abstract Rubric-based assessment has been attracted much attention as a method to measure higher-order abilities of learners. A persistent difficulty of the assessment is that ability measurement accuracy depends on characteristics of raters, performance tasks, and assessment criteria of a rubric. To resolve the problem, item response theory models that incorporate their characteristic parameters have been proposed. However, conventional models cannot estimate learner ability considering characteristics of all the three factors from rubric-based four-way rating data. In addition, they assume that a rating scale is determined by one of the three factors although it generally depends on both raters and assessment criteria. To resolve the problem, this study proposes a new item response theory model that incorporates rating scale parameters for raters and assessment criteria to estimate learner ability from the four-way rating data. This study demonstrates the effectiveness of the proposed model through simulation experiments and real data application.
Publisher 電子情報通信学会
Date
    Issued2020-05-01
Language
  • jpn
Resource Type journal article
Version Type VoR
Identifier URI https://uec.repo.nii.ac.jp/records/9676
Relation
  • isIdenticalTo DOI https://doi.org/10.14923/transinfj.2019JDP7065
  • URI https://search.ieice.org/index.html
Journal
    • ISSN 18810225
      • ja 電子情報通信学会論文誌. D, 情報・システム
      • Volume NumberJ103-D Issue Number5 Page Start459 Page End470
File
Oaidate 2024-03-08