問題解決型学習（PBL）におけるチューターの効果を評価するための短めの尺度開発論文をレビューします。
論文はこちら(被引用数：143件 (2025年3月27日時点))
Dolmans, D. H., & Ginns, P. (2005). A short questionnaire to evaluate the effectiveness of tutors in PBL: validity and reliability. Medical teacher, 27(6), 534-538.
内容をざっくりまとめます。
【背景】
・PBL（Problem-based Learning）ではチューターが中心的な役割を果たす
・PBLにおける既存のチューターの評価尺度
・De Grave et al.（1998）：33項目
・Dolmans et al.（2003）：22項目
・問題解決型学習の基礎となる構成主義的アプローチの理論的観念に基づいている
・構成主義者が用いる一般的原則には、能動的または構成的な学習、自己主導型学習、文脈学習、協調学習などがある
・これらの研究結果から、1人のチューターに対して6人以上の学生の回答が得られている場合、その評価方法は信頼性および妥当性があることが示されている
・既存の評価尺度は項目数が多く、学生が回答に疲れてしまうという課題があった
・対象：マーストリヒト大学医学部の問題解決型カリキュラムを受講する学生
・期間：2001～2002年、および2002～2003年の2年間
【PBLの流れ】
・学生は10人程度のグループに分かれ、週2回、2時間のセッションでチュートリアルを行う
・これらのグループで、学生たちは問題について議論する
・議論の過程で、さらに自己学習が必要な問題が浮上する
・チュートリアル・ミーティングの合間に、学生は学習が必要な問題に関する情報を収集する
・次のチュートリアル・ミーティングでは、学生たちは互いに収集した情報を報告し、得た情報を総合して問題に適用する
・各チュートリアルグループには、チューターと呼ばれる教員が指導にあたる
・6週間のコースごとに、約23～30のチュートリアルグループがチューターの指導を受ける
・各チューターは、問題解決型学習とチューターの原則に重点を置いた4日間のスタッフ開発トレーニングプログラムに参加することが義務付けられている
・学生によるチューターの総合評価と11の質問項目のスコアの相関関係も、質問票の構成妥当性に関する情報を提供している
・総合評価は11の質問項目すべてと高い相関関係を示しており、相関関係は0.65から0.87の範囲である（すべての相関関係はp <0.01で有意）」
論文はこちら(被引用数：143件 (2025年3月27日時点))
Dolmans, D. H., & Ginns, P. (2005). A short questionnaire to evaluate the effectiveness of tutors in PBL: validity and reliability. Medical teacher, 27(6), 534-538.
内容をざっくりまとめます。
【背景】
・PBL（Problem-based Learning）ではチューターが中心的な役割を果たす
・PBLにおける既存のチューターの評価尺度
・De Grave et al.（1998）：33項目
・Dolmans et al.（2003）：22項目
・問題解決型学習の基礎となる構成主義的アプローチの理論的観念に基づいている
・構成主義者が用いる一般的原則には、能動的または構成的な学習、自己主導型学習、文脈学習、協調学習などがある
・これらの研究結果から、1人のチューターに対して6人以上の学生の回答が得られている場合、その評価方法は信頼性および妥当性があることが示されている
・既存の評価尺度は項目数が多く、学生が回答に疲れてしまうという課題があった
【目的】
・11項目からなる短いPBLにおけるチューターの評価尺度の妥当性と信頼性を検証する
【方法】・11項目からなる短いPBLにおけるチューターの評価尺度の妥当性と信頼性を検証する
・対象：マーストリヒト大学医学部の問題解決型カリキュラムを受講する学生
・期間：2001～2002年、および2002～2003年の2年間
【PBLの流れ】
・学生は10人程度のグループに分かれ、週2回、2時間のセッションでチュートリアルを行う
・これらのグループで、学生たちは問題について議論する
・議論の過程で、さらに自己学習が必要な問題が浮上する
・チュートリアル・ミーティングの合間に、学生は学習が必要な問題に関する情報を収集する
・次のチュートリアル・ミーティングでは、学生たちは互いに収集した情報を報告し、得た情報を総合して問題に適用する
・各チュートリアルグループには、チューターと呼ばれる教員が指導にあたる
・6週間のコースごとに、約23～30のチュートリアルグループがチューターの指導を受ける
・各チューターは、問題解決型学習とチューターの原則に重点を置いた4日間のスタッフ開発トレーニングプログラムに参加することが義務付けられている
【参加者】
・2001～2002年度および2002～2003年度の6週間のコース22回におけるチュートリアルグループでのチューターのパフォーマンスに関するデータが収集された
・1年目のコースが6回、2年目のコースが5回、3年目のコースが6回、4年目のコースが5回
・各グループの参加学生数は9名または10名
・各グループの評価ツールを完了した学生数は少なくとも6名（平均回答率は90%以上）
・2001～2002年度の調査対象となったチューターの数は287名
・2002～2003年度の調査対象となったチューターの数は281名
・各チューターは1学年度に平均2つのチュートリアルグループを指導
【統計分析】・1年目のコースが6回、2年目のコースが5回、3年目のコースが6回、4年目のコースが5回
・各グループの参加学生数は9名または10名
・各グループの評価ツールを完了した学生数は少なくとも6名（平均回答率は90%以上）
・2001～2002年度の調査対象となったチューターの数は287名
・2002～2003年度の調査対象となったチューターの数は281名
・各チューターは1学年度に平均2つのチュートリアルグループを指導
・教育評価ツールの心理測定特性を評価する際には、個々のデータではなく、クラスの平均値で分析を行うのが標準的な手法（Marsh, 1987, 1991）
・11の項目についてもチュートリアルの平均値が使用された
・異なるチュートリアルにおける同一のチューターの評価を反映した平均スコアを算出
・Marsh（1987）の調査結果に基づき、同じコースを教える異なるチューターの総合評価間の相関（コース効果）は無視できるほど小さい（r=-0.05）一方、異なるコースで同じチューターの相関はかなり大きく（r=0.61）、同じコースの2つの異なる提供ではさらに大きくなる（r=0.72）ということが正当化されている
・仮説モデルは、まず2001～2002年度に評価された287人のチューターのクラス平均でテストされ、2002～2003年度に評価された281人のチューターで交差検証
・11の項目についてもチュートリアルの平均値が使用された
・異なるチュートリアルにおける同一のチューターの評価を反映した平均スコアを算出
・Marsh（1987）の調査結果に基づき、同じコースを教える異なるチューターの総合評価間の相関（コース効果）は無視できるほど小さい（r=-0.05）一方、異なるコースで同じチューターの相関はかなり大きく（r=0.61）、同じコースの2つの異なる提供ではさらに大きくなる（r=0.72）ということが正当化されている
・仮説モデルは、まず2001～2002年度に評価された287人のチューターのクラス平均でテストされ、2002～2003年度に評価された281人のチューターで交差検証
・確認的因子分析を実施：項目に内在する5つの要因の妥当性を評価
・確認的因子分析では、チューターごとに生徒の平均スコアを計算することで、データをチューターレベルで集約
・確認的因子モデルでは、すべての共通因子が相関しており、観測変数1から3は第1の共通因子の影響を受け、観測変数4と5は第2の共通因子の影響を受け、変数6と7は第3の共通因子の影響を受け、8と9は第4の共通因子の影響を受け、10と11は第5の共通因子の影響を受けていた
・確認的因子分析では、すべての観測変数が固有の因子（各変数の誤差）の影響を受けると仮定され、固有の因子のペアには相関がないと仮定
・確認的因子分析では、チューターごとに生徒の平均スコアを計算することで、データをチューターレベルで集約
・確認的因子モデルでは、すべての共通因子が相関しており、観測変数1から3は第1の共通因子の影響を受け、観測変数4と5は第2の共通因子の影響を受け、変数6と7は第3の共通因子の影響を受け、8と9は第4の共通因子の影響を受け、10と11は第5の共通因子の影響を受けていた
・確認的因子分析では、すべての観測変数が固有の因子（各変数の誤差）の影響を受けると仮定され、固有の因子のペアには相関がないと仮定
以下の分析では、Hu & Bentler (1999) の推奨に従ってモデルが評価された。これらの著者は、さまざまな適合指数の挙動を実証的に検証し、第1種の過誤と第2種の過誤の両方を制御するには、相対的な適合指数（例えば、 タッカー・ルイス指数（別名：Bentler-Bonett 非正規化適合指数、NNFI、および増分適合指数、IFI）の組み合わせが最適であると結論づけた。
・この組み合わせでは、モデル適合度は0.95以上、標準化残差平方根（SRMR）は0.08未満の良好なモデル
・モデル適合度：ロバスト最大尤度推定法を用いて推定
・他の推定法よりも正規性の仮定の違反に対して影響を受けにくい方法（Boomsma & Hoogland, 2001）
潜在構造が3つ以下の指標しか持たない場合、識別上の問題が生じ、推定されたパラメータが恣意的になり、無限の代替値も適切である可能性がある。各潜在変数を識別するために、潜在変数に対する項目の負荷量を1に固定した（Bollen, 1989）。
・この組み合わせでは、モデル適合度は0.95以上、標準化残差平方根（SRMR）は0.08未満の良好なモデル
・モデル適合度：ロバスト最大尤度推定法を用いて推定
・他の推定法よりも正規性の仮定の違反に対して影響を受けにくい方法（Boomsma & Hoogland, 2001）
潜在構造が3つ以下の指標しか持たない場合、識別上の問題が生じ、推定されたパラメータが恣意的になり、無限の代替値も適切である可能性がある。各潜在変数を識別するために、潜在変数に対する項目の負荷量を1に固定した（Bollen, 1989）。
【尺度】
・尺度は11の質問から構成されている
・各コースの終了時に、学生は各質問に対してどの程度同意するかについて、1から5までの尺度で回答（1=強く反対、5=強く同意）
・質問例
・「チューターは、根本的なメカニズムや理論を理解するように私たちを刺激した」
・「チューターは、議論された問題に知識を適用するように私たちを刺激した」など
・11の評価項目を表すものとして5つの要因が想定された
・学生にはチューターのパフォーマンスについて総合的な評価（1～10の評価で、6は「十分」、10は「素晴らしい」）を尋ねた（質問12）
・チューターが何回欠席したか、また、その際に別のチューターが代行したかどうかについても尋ねた
・最後に、学生には改善のためのヒントを尋ねた。
・各コースの終了時に、学生は各質問に対してどの程度同意するかについて、1から5までの尺度で回答（1=強く反対、5=強く同意）
・質問例
・「チューターは、根本的なメカニズムや理論を理解するように私たちを刺激した」
・「チューターは、議論された問題に知識を適用するように私たちを刺激した」など
・11の評価項目を表すものとして5つの要因が想定された
・学生にはチューターのパフォーマンスについて総合的な評価（1～10の評価で、6は「十分」、10は「素晴らしい」）を尋ねた（質問12）
・チューターが何回欠席したか、また、その際に別のチューターが代行したかどうかについても尋ねた
・最後に、学生には改善のためのヒントを尋ねた。
結果
（記述統計）
・11項目の平均スコアは、3.37（SD=0.43、1～5の尺度）～4.20（SD=0.59、1～5の尺度）の範囲
・最も低いスコアの項目は、さまざまなリソースの検索に関するもの
・最も高いスコアの項目は、チューターの役割に対するチューターの動機に関するもの
・11の項目の平均スコアと標準偏差は表1に示す
・5つの要因に関するクロンバックのα係数と95%信頼区間（Fan & Thompson, 2001）は表2に示す
・各尺度の信頼性の推定値の信頼区間は、内的整合性における妥当な値の範囲を示している
・この尺度の妥当性を評価するために、確認的因子分析が実施された
・2001年から2002年のデータセットで仮説の因子構造が検証され、2002年から2003年のデータセットで交差検証が行われた
【2001–2002年データセット】
・多変量正規性のテストでは、非正規性が有意（歪度・尖度ともに有意）
・PRELISを用いてデータを正規化し、非正規性は減少
・1因子モデルでは適合度が不十分（NNFI=0.86, IFI=0.88, SRMR=0.096）
・5因子モデルは良好な適合度（NNFI=0.96, IFI=0.98, SRMR=0.054）を示し、モデルとして採用
・高次因子モデルも検証されたが、5因子モデルより適合度が劣るため採用されなかった
【2002–2003年データセット（交差検証）】
・同様に多変量非正規性が確認され、正規化で減少
・1因子モデルは再び適合度が不十分（NNFI=0.86, IFI=0.88, SRMR=0.099）
・5因子モデルは再度良好な適合を示した（NNFI=0.98, IFI=0.99, SRMR=0.043）
・高次因子モデルはやや劣る適合度（NNFI=0.95, IFI=0.96, SRMR=0.075）
・最も低いスコアの項目は、さまざまなリソースの検索に関するもの
・最も高いスコアの項目は、チューターの役割に対するチューターの動機に関するもの
・11の項目の平均スコアと標準偏差は表1に示す
・5つの要因に関するクロンバックのα係数と95%信頼区間（Fan & Thompson, 2001）は表2に示す
・各尺度の信頼性の推定値の信頼区間は、内的整合性における妥当な値の範囲を示している
構成概念妥当性
・表3では、5つの要因間の相関が示されている
・2002年～2003年のデータセットでは、これらの相関は0.54から0.94の間で変動している
・2002年～2003年のデータセットでは、これらの相関は0.54から0.94の間で変動している
・この尺度の妥当性を評価するために、確認的因子分析が実施された
・2001年から2002年のデータセットで仮説の因子構造が検証され、2002年から2003年のデータセットで交差検証が行われた
【2001–2002年データセット】
・多変量正規性のテストでは、非正規性が有意（歪度・尖度ともに有意）
・PRELISを用いてデータを正規化し、非正規性は減少
・1因子モデルでは適合度が不十分（NNFI=0.86, IFI=0.88, SRMR=0.096）
・5因子モデルは良好な適合度（NNFI=0.96, IFI=0.98, SRMR=0.054）を示し、モデルとして採用
・高次因子モデルも検証されたが、5因子モデルより適合度が劣るため採用されなかった
【2002–2003年データセット（交差検証）】
・同様に多変量非正規性が確認され、正規化で減少
・1因子モデルは再び適合度が不十分（NNFI=0.86, IFI=0.88, SRMR=0.099）
・5因子モデルは再度良好な適合を示した（NNFI=0.98, IFI=0.99, SRMR=0.043）
・高次因子モデルはやや劣る適合度（NNFI=0.95, IFI=0.96, SRMR=0.075）
・学生によるチューターの総合評価と11の質問項目のスコアの相関関係も、質問票の構成妥当性に関する情報を提供している
・総合評価は11の質問項目すべてと高い相関関係を示しており、相関関係は0.65から0.87の範囲である（すべての相関関係はp <0.01で有意）」
【結論】
・本研究の目的は、PBLにおけるチューターのパフォーマンスを評価するための短い調査票の妥当性と信頼性を報告することであった
・当初のアンケートは22項目だったが、長いため11項目に短縮された
・5因子モデルは両年度のデータに適合していることが示された
・クロンバックのα係数および95%信頼区間は許容レベルを示した
・これらの結果に基づき、この短い尺度（11項目）は妥当かつ信頼性があると結論付けた
ここまで。
当論文は、前回読んだ問題解決型学習（Problem-based learning）の実施内容を評価するための尺度開発論文の中のチューター項目の参照元となっているもので、尺度を深堀して調べてみたいと思い手に取りました。
PBLにおいて、先輩学生がチューターやSA、TAとして後輩学生の指導をするモデルの授業も全国的に増えてきているので、そのような授業では当尺度は活用できそうだと思いました。
以下のappendixで尺度の項目が示されていますが、下位概念である5因子と併せて日本語訳したものも載せておきます。
・積極的／建設的（Constructive/active learning）
・内面的な行動（Intra-personal behavior as tutor）
・欠席/代理
・自由回答
・当初のアンケートは22項目だったが、長いため11項目に短縮された
・5因子モデルは両年度のデータに適合していることが示された
・クロンバックのα係数および95%信頼区間は許容レベルを示した
・これらの結果に基づき、この短い尺度（11項目）は妥当かつ信頼性があると結論付けた
ここまで。
当論文は、前回読んだ問題解決型学習（Problem-based learning）の実施内容を評価するための尺度開発論文の中のチューター項目の参照元となっているもので、尺度を深堀して調べてみたいと思い手に取りました。
PBLにおいて、先輩学生がチューターやSA、TAとして後輩学生の指導をするモデルの授業も全国的に増えてきているので、そのような授業では当尺度は活用できそうだと思いました。
以下のappendixで尺度の項目が示されていますが、下位概念である5因子と併せて日本語訳したものも載せておきます。
・積極的／建設的（Constructive/active learning）
チューターは、私たちを刺激した
1. . . . 私たちが学んだことを自分の言葉で要約するよう促した
2. . . . チュートリアルグループで議論された問題間の関連性を模索するよう促した
3. . . . 根本的なメカニズム/理論を理解するよう促した
・自己主導（Self-directed learing）チューターは私たちを刺激した
4. . . . 自分たちで明確な学習課題を生成するように
5. . . . 自分たちでさまざまなリソースを探索するように
・文脈的学習（Contextual learning）チューターは私たちを刺激した
6. . . . 話し合った問題に知識を適用して
7. . . . 他の状況や問題に知識を適用して
・協調的な学習（Collaborative learning）チューターは私たちを刺激した
8. . . . グループワークについて建設的なフィードバックを行うことで
9. . . . グループの協力を定期的に評価することで
・内面的な行動（Intra-personal behavior as tutor）
10. チューターとしての長所／短所を明確に把握していた
11. チューターとしての役割を果たすために明確な動機を持っていた
12. チューターの総合的なパフォーマンスを1～10の点数で評価してください（6が十分、10が
優れている）。
・欠席/代理
13. チューターの欠席はどの程度ありましたか？
14. チューターが欠席した際の代理対応はどの程度ありましたか？
・自由回答
15. 講師の改善点を挙げてください（簡潔に）。講師の評価が6未満だった場合は、特にご回答ください。
これより先はプライベートモードに設定されています。閲覧するには許可ユーザーでログインが必要です。
コメント