企業研修の効果測定で有名なカークパトリックの4段階評価モデルを高等教育に適応するアプローチを提案した論文をレビューします。
論文はこちら(被引用数：514件 (2024年5月27日時点))
Praslova, L. (2010). Adaptation of Kirkpatrick’s four level model of training criteria to assessment of learning outcomes and program evaluation in higher education. Educational assessment, evaluation and accountability, 22, 215-225.
カークパトリックの4段階評価モデルは、反応(reaction)、学習(learning)、行動(behavior/transfer)、成果(result)の基準から構成され、企業研修の効果測定のモデルとして非常に有名です。
新たな研修評価モデルも色々と登場していますが、カークパトリックのモデルは、依然として最も人気があり、よく引用されているそうです（Arthur et al.2003a; Salas and Cannon-Bowers 2001）
本論文では、この4レベルの評価モデルを高等教育に適用するための理論や適用例が紹介されています。正に読みたかった内容の論文。
以下、簡単に内容をまとめます。
評価の定義と目的
反応基準（Reaction criteria）
【メモ】
「労働力の生産性向上による地域経済や国家経済への経済的便益も極めて重要であるが、 大学が社会に貢献するもう一つの、そしておそらくさらに重要な方法は、大学卒業生が社会で重要なリーダーシップや市民的役割を果たすための人格形成や倫理的な準備態勢を整えることである」（Boyer and Hechinger 1981; Colby et al.2003; Dalton et al.2004; Russell 2004; Saxs 2004）
「行動基準、特に成果基準に関するデータの入手は困難であり、そのようなデータが完全であることは稀であろうが、入手可能であれば、そのようなデータは、プログラムの成果の評価と理解に唯一有用である」
「複数のレベルの基準を考慮することは、指導や共同カリキュラムの取り組みの最終的な目的を思い起こさせる上で有用である」
・教育の3つの目的（Biesta, 2009）
①資質・能力（Qualification）（スキルの提供）
②社会化（Socialization）
③主体化（Subjectification）（自立した思考と行動の準備）
論文はこちら(被引用数：514件 (2024年5月27日時点))
Praslova, L. (2010). Adaptation of Kirkpatrick’s four level model of training criteria to assessment of learning outcomes and program evaluation in higher education. Educational assessment, evaluation and accountability, 22, 215-225.
カークパトリックの4段階評価モデルは、反応(reaction)、学習(learning)、行動(behavior/transfer)、成果(result)の基準から構成され、企業研修の効果測定のモデルとして非常に有名です。
新たな研修評価モデルも色々と登場していますが、カークパトリックのモデルは、依然として最も人気があり、よく引用されているそうです（Arthur et al.2003a; Salas and Cannon-Bowers 2001）
本論文では、この4レベルの評価モデルを高等教育に適用するための理論や適用例が紹介されています。正に読みたかった内容の論文。
以下、簡単に内容をまとめます。
評価の定義と目的
「アセスメントとは、学生の学習をモニターし、改善するためにデザインされた継続的なプロセスである」（Allen, 2006）
「アセスメントとは、学生が学業における様々な段階で何を知り、何ができるかを示す、有効かつ信頼できる証拠を収集するための体系的な手法の集合である」（Ewell, 2006）
このような定義が紹介されるアセスメントですが、個々の学生の成績評価や、教育機関レベルの学習目標がどの程度達成されているかを検証するための認証評価など、教室、コース、プログラム、一般教育、教育機関といった複数のレベルで行われます（Bers 2008）。
このことから、認証評価など外部からの要求と内部のフィードバックニーズの両方を満たすアセスメントの論理的な枠組みを開発する必要があると述べられています。
「アセスメントとは、学生が学業における様々な段階で何を知り、何ができるかを示す、有効かつ信頼できる証拠を収集するための体系的な手法の集合である」（Ewell, 2006）
このような定義が紹介されるアセスメントですが、個々の学生の成績評価や、教育機関レベルの学習目標がどの程度達成されているかを検証するための認証評価など、教室、コース、プログラム、一般教育、教育機関といった複数のレベルで行われます（Bers 2008）。
このことから、認証評価など外部からの要求と内部のフィードバックニーズの両方を満たすアセスメントの論理的な枠組みを開発する必要があると述べられています。
カークパトリックのモデルは、従来のビジネスや組織文脈での使用に加え、最近では高等教育の理解にも応用されているようですが、そのほとんどがレベル1と2（反応と学習）の基準のみであり、これはすべての研修や教育の場において非常に類似しているとのこと。
他の2つの基準（行動と成果）を高等教育に適用するためには、このモデルを大学特有の文脈や目的に適合させる必要があると述べられています。
他の2つの基準（行動と成果）を高等教育に適用するためには、このモデルを大学特有の文脈や目的に適合させる必要があると述べられています。
反応基準（Reaction criteria）
・反応基準とは、研修に対する研修生の認識である（Kirkpatrick 1959, 1976, 1996）。
・Alligerら(1997)は、反応基準の中で、研修がどの程度楽しかったかという研修生の報告（感情的反応）と、どの程度学んだと思うか（効用判断）を区別することを提案している。
・多くの研究者が反応規準と他の3つの規準レベル（学習、行動、成果）との間に関連性がないことを指摘しており、Alligerら（1997）によるメタ分析研究では、情動反応と他のレベルとの間には関連性がなく、効用判断と他の規準レベルとの間には弱い関係しかないことが判明している
・それにも関わらず、反応レベルの基準は依然として最も頻繁に評価されている（Alliger et al. 1997; Arthur et al. 2003a; Dysvik and Martinsen 2008; Van Buren and Erskine 2002）。
・反応レベルの測定が広く使われている理由の1つは、収集が容易であることである（Arthurら, 2003a)
・多くの研究者が反応規準と他の3つの規準レベル（学習、行動、成果）との間に関連性がないことを指摘しており、Alligerら（1997）によるメタ分析研究では、情動反応と他のレベルとの間には関連性がなく、効用判断と他の規準レベルとの間には弱い関係しかないことが判明している
・それにも関わらず、反応レベルの基準は依然として最も頻繁に評価されている（Alliger et al. 1997; Arthur et al. 2003a; Dysvik and Martinsen 2008; Van Buren and Erskine 2002）。
・反応レベルの測定が広く使われている理由の1つは、収集が容易であることである（Arthurら, 2003a)
学習基準（Learning criteria）
・学習基準とは、学習成果の測定基準であり、一般的には、様々な形式の知識テストを用いて評価されるが、トレーニングの状況におけるパフォーマンスやスキルのデモンストレーションのトレーニング直後の測定によっても評価される(Alliger et al. 1997)
・教室での学習においては、事前・事後のテストが最も直接的な学習成果を測定することができ、高等教育の場ではこのような測定方法が一般的に用いられている（Arthur et al., 2003b）
・ライティングサンプル、パフォーマンス、スピーチ等クラスに適した評価を使用することも可能
・教室での学習においては、事前・事後のテストが最も直接的な学習成果を測定することができ、高等教育の場ではこのような測定方法が一般的に用いられている（Arthur et al., 2003b）
・ライティングサンプル、パフォーマンス、スピーチ等クラスに適した評価を使用することも可能
2.3 行動基準（Behavioral criteria）
・行動基準は、Alligerら(1997)によって提案された用語の変更で、転移基準（Transfer criteria）とも呼ばれる
・研修が職務遂行能力に及ぼす効果を特定するために使用することができる
・研修が職務遂行能力に及ぼす効果を特定するために使用することができる
・一般的に組織では、上司の評価や職務成果などの客観的な業績指標として運用される（Alliger et al., 1997; Arthur et al., 2003a; Landy and Conte, 2007）。
・高等教育の場では、このような基準には、学生が以前に履修した授業で学んだ知識やスキルを、研究プロジェクトや創作活動を含む次の授業で活用したこと、インターンシップで学んだことを活用したこと、最初の学習が行われた状況以外のその他の行動で活用したことを示すエビデンスが含まれることがある
・研修後の行動は、職場行動や市民行動として運用することもできる
・HalpernとHakel（2003）は、大学やそれ以外での学習についての議論の中で、教育における転移の重要性を強調し、教室でのテストだけでなく、教室の文脈の外で、将来、予測不可能な人生のテストに備えるように学生を教える必要性を説いている
・高等教育の場では、このような基準には、学生が以前に履修した授業で学んだ知識やスキルを、研究プロジェクトや創作活動を含む次の授業で活用したこと、インターンシップで学んだことを活用したこと、最初の学習が行われた状況以外のその他の行動で活用したことを示すエビデンスが含まれることがある
・研修後の行動は、職場行動や市民行動として運用することもできる
・HalpernとHakel（2003）は、大学やそれ以外での学習についての議論の中で、教育における転移の重要性を強調し、教室でのテストだけでなく、教室の文脈の外で、将来、予測不可能な人生のテストに備えるように学生を教える必要性を説いている
・学習規準と行動規準は概念的には関連していると予想されるが、研究では両者の関係は比較的緩やかであることが判明している（Alliger et al., 1997; Arthur et al., 2003a）
・これは一般的に、トレーニング後の環境が、学習した内容やスキルを実証する機会を提供する場合もあれば、提供しない場合もあるという事実に起因している（Arthur et al., 2003a）
・この潜在的な制約は、評価手段の設計や行動データの収集と解釈において考慮する必要がある
・これは一般的に、トレーニング後の環境が、学習した内容やスキルを実証する機会を提供する場合もあれば、提供しない場合もあるという事実に起因している（Arthur et al., 2003a）
・この潜在的な制約は、評価手段の設計や行動データの収集と解釈において考慮する必要がある
2.4 成果基準（Results criteria）
・成果基準は、非常に望ましいものであると同時に、評価が最も困難なものでもある
・組織環境では、生産性の向上、顧客満足度の向上、管理職研修後の従業員のモラルの向上、組織の収益性の向上などによって運用される（Arthur et al.2003a; Landy and Conte 2007）
・成果の見積もりは困難であることが多く、カークパトリックのモデルの他のレベルの評価に比べ、成果の基準が使用される頻度はかなり低い
・Alligerら(1997)は、組織的な制約によって結果データを収集する機会が大幅に制限され、研修のスポンサーが結果レベルの成果に関して非現実的な期待を抱いている可能性があることに注意を促している
・組織的、社会的、経済的な制約は、データ収集だけでなく、4段階モデルの成果レベル（そしてある程度は行動レベル）の成果そのものに大きく影響する。
・組織環境では、生産性の向上、顧客満足度の向上、管理職研修後の従業員のモラルの向上、組織の収益性の向上などによって運用される（Arthur et al.2003a; Landy and Conte 2007）
・成果の見積もりは困難であることが多く、カークパトリックのモデルの他のレベルの評価に比べ、成果の基準が使用される頻度はかなり低い
・Alligerら(1997)は、組織的な制約によって結果データを収集する機会が大幅に制限され、研修のスポンサーが結果レベルの成果に関して非現実的な期待を抱いている可能性があることに注意を促している
・組織的、社会的、経済的な制約は、データ収集だけでなく、4段階モデルの成果レベル（そしてある程度は行動レベル）の成果そのものに大きく影響する。
高等教育における成果基準と教育の複数の利害関係者
・高等教育の文脈では、成果レベルの基準を確立する前に、教育から利益を得るのは誰なのかを理解する必要がある。Toutkoushian (2005)によれば、高等教育機関は、社会全体のみならず個人の人的資本を増加させるという重要な役割を担っている。
a）職場や生活全般に役立つスキルを身につけるべき学生
b）有能で責任感を持って地域社会や国際社会に貢献する大卒者に関心を持つ社会
・高等教育の文脈では、成果レベルの基準を確立する前に、教育から利益を得るのは誰なのかを理解する必要がある。Toutkoushian (2005)によれば、高等教育機関は、社会全体のみならず個人の人的資本を増加させるという重要な役割を担っている。
a）職場や生活全般に役立つスキルを身につけるべき学生
b）有能で責任感を持って地域社会や国際社会に貢献する大卒者に関心を持つ社会
・多くの利害関係者の目には、大学は何よりもまず、労働力になるための訓練を学生に提供する役割を果たしているように映る（Ewell 2001; Toutkoushian 2005）
・社会は、研究活動やサービス活動からも、また、全体として高学歴人口が増えることからも利益を得ている（Toutkoushian 2005）
・社会は、研究活動やサービス活動からも、また、全体として高学歴人口が増えることからも利益を得ている（Toutkoushian 2005）
・教育における成果基準には、卒業生の就職や職場での成功、大学院への進学、恵まれない人々への奉仕活動や平和と正義を推進する活動、文学や芸術活動、個人や家庭の安定、責任ある市民活動など、幅広い成果が含まれ、こうした成果のほとんどは、個人と社会の双方に利益をもたらす
・Biesta(2009)による教育の目的に関する最近の研究は、4段階モデルにおける結果基準に分類される成果を主に扱っており、教育の3つの重要な大まかな機能を概説している
①資質・能力（Qualification）（スキルの提供）
②社会化（Socialization）
③主体化（Subjectification）（自立した思考と行動の準備）
・Biesta(2009)による教育の目的に関する最近の研究は、4段階モデルにおける結果基準に分類される成果を主に扱っており、教育の3つの重要な大まかな機能を概説している
①資質・能力（Qualification）（スキルの提供）
②社会化（Socialization）
③主体化（Subjectification）（自立した思考と行動の準備）
・この3つの機能はすべて、個人と社会の両方に影響を与えるものであり、優れた教育の重要性が多面的に示されている
・組織環境における研修評価の4段階の基準は、高等教育においても明確な類似性を持っていると思われる
・Table1は、組織への本来の適用における4つのレベルモデルを要約し、高等教育の場への適応の可能性を概説し、具体的な手段や指標を対応する基準に結びつけるいくつかの例を示している
最後に、ケーススタディとして、カリフォルニア州の私立大学の事例が紹介されています。
より機能的な評価システムを構築することを目的として、コア・カリキュラムの評価タスクフォースが編成され、知識テスト、学生作品のサンプル、学生や卒業生へのアンケート調査といった具体的な評価手段をカークパトリックのモデルにマッピングし、大学の教育成果の評価計画に豊かな文脈を提供したそうです。
・Table1は、組織への本来の適用における4つのレベルモデルを要約し、高等教育の場への適応の可能性を概説し、具体的な手段や指標を対応する基準に結びつけるいくつかの例を示している
最後に、ケーススタディとして、カリフォルニア州の私立大学の事例が紹介されています。
より機能的な評価システムを構築することを目的として、コア・カリキュラムの評価タスクフォースが編成され、知識テスト、学生作品のサンプル、学生や卒業生へのアンケート調査といった具体的な評価手段をカークパトリックのモデルにマッピングし、大学の教育成果の評価計画に豊かな文脈を提供したそうです。
まとめると、
「反応、学習、行動、成果基準を考慮することで、豊かで、きめ細かく、マルチレベルで、目先の結果だけでなく長期的な結果も考慮したフィードバックが得られる」
「このようなフィードバックは、学生、労働力、社会全体を含む複数の利害関係者に効果的に奉仕しようと努力する教育機関にとって、最も有用であると考えられる」
といった考え方から、カークパトリック・モデルを高等教育の文脈で使用することは、評価・査定システムを構築・改良するための汎用的なツールであると同時に、特定の授業に対する即時的な反応や、特定の標準テストのスコアを超えて、短期的・長期的な組織的成果を文脈化する方法の両方を大学に提供することができると述べられています。
「反応、学習、行動、成果基準を考慮することで、豊かで、きめ細かく、マルチレベルで、目先の結果だけでなく長期的な結果も考慮したフィードバックが得られる」
「このようなフィードバックは、学生、労働力、社会全体を含む複数の利害関係者に効果的に奉仕しようと努力する教育機関にとって、最も有用であると考えられる」
といった考え方から、カークパトリック・モデルを高等教育の文脈で使用することは、評価・査定システムを構築・改良するための汎用的なツールであると同時に、特定の授業に対する即時的な反応や、特定の標準テストのスコアを超えて、短期的・長期的な組織的成果を文脈化する方法の両方を大学に提供することができると述べられています。
ここまで。
研修評価のカークパトリックのモデルを、どのように高等教育に応用するかを考えていた自分にとって全体感のイメージをいただけたことは大きな気づきでした。
現在の高等教育機関は、IRなど認証評価の観点から、学習評価の可視化や教学マネジメントの重要性がより叫ばれるようになってきています。1つの授業の中で学習の転移を考えていたところですが、当論文を読むことで、これはより大きな組織的な課題とも接続していることに気づかせていただきました。
カークパトリックの「行動」「成果」のレベルをいかにして計測するか、そしてそのレベルに到達する学びの機会をいかにして提供していくか、この辺りをもっと探究したいと思いました。
研修評価のカークパトリックのモデルを、どのように高等教育に応用するかを考えていた自分にとって全体感のイメージをいただけたことは大きな気づきでした。
現在の高等教育機関は、IRなど認証評価の観点から、学習評価の可視化や教学マネジメントの重要性がより叫ばれるようになってきています。1つの授業の中で学習の転移を考えていたところですが、当論文を読むことで、これはより大きな組織的な課題とも接続していることに気づかせていただきました。
カークパトリックの「行動」「成果」のレベルをいかにして計測するか、そしてそのレベルに到達する学びの機会をいかにして提供していくか、この辺りをもっと探究したいと思いました。
【メモ】
「労働力の生産性向上による地域経済や国家経済への経済的便益も極めて重要であるが、 大学が社会に貢献するもう一つの、そしておそらくさらに重要な方法は、大学卒業生が社会で重要なリーダーシップや市民的役割を果たすための人格形成や倫理的な準備態勢を整えることである」（Boyer and Hechinger 1981; Colby et al.2003; Dalton et al.2004; Russell 2004; Saxs 2004）
「行動基準、特に成果基準に関するデータの入手は困難であり、そのようなデータが完全であることは稀であろうが、入手可能であれば、そのようなデータは、プログラムの成果の評価と理解に唯一有用である」
「複数のレベルの基準を考慮することは、指導や共同カリキュラムの取り組みの最終的な目的を思い起こさせる上で有用である」
・教育の3つの目的（Biesta, 2009）
①資質・能力（Qualification）（スキルの提供）
②社会化（Socialization）
③主体化（Subjectification）（自立した思考と行動の準備）
これより先はプライベートモードに設定されています。閲覧するには許可ユーザーでログインが必要です。
コメント