PBLの学習のパフォーマンス評価に関して、尺度開発からその尺度を用いた調査結果についてまとめられた論文をレビューします。

論文はこちら(被引用数:99件 (2024年6月10日時点))
Ngereja, B., Hussein, B., & Andersen, B. (2020). Does project-based learning (PBL) promote student learning? a performance evaluation. Education Sciences, 10(11), 330.

「知的能力とは正しい答えを出すことだけではない」(Wiggins, 1993)
「雇用主は、適切なコミュニケーション能力、意思決定能力、問題解決能力、リーダーシップ、感情的知性、社会的倫理観の欠如など、採用した卒業生の能力不足を表明している」(Nair et al., 2009)
「いくつかのマネジメント・スキルは、実体験を通じてのみ獲得できる」(Baker, 2010)

これらの発言にあるように、既存の伝統的な授業だけでは、大学卒業後の社会に十分に適応する知識やスキルを伸ばすことが難しいことが示されており、それらを育むためには実体験を伴う学習経験が必要であると言われています。
そこで注目を浴びているのがPBL(Project-based Learning)。
当論文は、高等教育機関のPBLの授業において、学生の学習パフォーマンスを評価するために、尺度を作成し、実証研究も行なった内容となっています。
対象は、ノルウェーの高等教育機関のプロジェクトマネジメント入門コース。

目的は、「高等教育機関におけるプロジェクト学習の効果を測定するために、パフォーマンス測定法をどのように活用できるか?」という問いに答えることでり、2つのリサーチ・クエスチョンが設定されています。
・RQ1:なぜ高等教育機関における教育ツール(すなわちPBL)の効果を測定する必要があるのか?
・RQ2:学生の学習を促進するための努力として、指導者はどのように教育ツール(すなわちPBL)の影響を測定することができるか?

調査方法
本論文では、「学習」「モチベーション」「パフォーマンス」の3つについて尺度を作成し、尺度を使って効果性の測定も行われています。
上記の3つの要素が全体的な学習効果の促進に有意に関連していると思われることから(Table 1)、プロジェクト学習がそれらに与える影響を明らかにするために尺度が作成されました。
table1

全部で10個の測定尺度が作成され、それぞれ同じ5段階リッカート尺度が用いられています( 5=強くそう思う、4=そう思う、3=中立、2=そう思わない、1=強くそう思わない)(Table 2)table2

その後、尺度の信頼性、妥当性、一般化可能性について検証され、2つの学生群に対して調査が行われました。
・1回目:2019年の秋学期に同コースを受講した学生(n=52)
・2回目:2020年の春学期に同コースを受講した学生(n=55)

データ分析の結果、以下の2つの重要な結果が得られました。(Table 3)
1.学生は重要な学習成果を経験した
2.両サンプルの生徒間の学習の度合いに高い一致が見られた
table3

次に、Sample 1と2についてMann-Whitney U検定を行い、3つの変数(Q3、Q4、Q6)については、帰無仮説が棄却され、有意な差があることが示されました。
table4

続いて、両サンプルの学生が以下の%で同意または強く同意した結果となりました。(Figure 1)
(PBLが学習に与える影響の認識)
・69%:プロジェクトベースの課題によってプロジェクトマネジメントの概念を深く理解できた
・71%:課題によってプロジェクトマネジメントの概念により深く関わる機会を得ることができた
・92%:課題によってデジタル化プロジェクトの3つの課題を認識することができた
・64%:課題によって本物の学習経験を得ることができた

(PBLがモチベーションに与える影響の認識)
・88%:課題が最終成績の40%に貢献することを知ることは、モチベーションに高い影響を与える
・60%:課題のアウトプットが将来の学生の学習教材として役立つことを知ることは、モチベーションに良い影響を与える
・78%:チーム内の職場環境が非常に楽しく、それがモチベーションに影響を与えた

(PPBLがパフォーマンスに与える影響の認識)
・66%:得られた経験に基づき、将来、より良いプロジェクト管理ができるようになるだろう
・71%:自分たちのチームは、プロジェクト管理の優れた学習教材を作成した
・69%:コラボレーション、適切なコミュニケーション、知識の共有に関して、自分たちのチームの取り組みを優れていると評価するだろう
fig1

また、コースで使用された指導方法について、学習プロセスの促進にどのように役立ったかという観点での分析です。
結果、5つの指導法すべてが学習を促進する上で重要であると認識されていることが示されました。
提出課題(87%)、Kahootセッション(ゲームベースの教育プラットフォーム)(81%)、プロジェクトベースの課題(68%)。
講義と視覚教材(例えば、YouTubeで授業のアニメーションビデオを見る)については最も低く、筆者らは、知識の習得、考察、概念化、テスト(経験)は、個別ではなく、相互作用を通じて達成するのが最善であることを示唆していると述べています。
相互作用のある学習の方が、学生の授業への参加態度や満足度が上がるということは経験則からも頷けます。

fig2

最後に、RQに対する考察が以下のように述べられています。
RQ1:なぜ高等教育機関における教育ツール(すなわちPBL)の効果を測定する必要があるのか?
結論:
・大学レベルで学生の学習を測定することは、ダイナミックで競争の激しいビジネス市場で成功するための学生の準備態勢を特定することを可能にする
・現実の問題を解決するための従業員のコンピテンシーが不十分であることを表明している雇用主に関して、PBLは卒業後にも学生に長期的なプラスの影響を与える可能性がある。したがって、適切なコミュニケーション、コラボレーション、感情的知性、問題解決などの現実のコンピテンシーを構築するための解決策と考えることができることが明らかになった
・PBLが提供する相互作用のレベルや学習に対する積極的な姿勢から、学生が指導ツールとしてPBLを好んでいることが明らかになった

RQ2:指導者は、学生の学習を促進するための努力として、どのように指導ツール(すなわちPBL)の影響を測定することができるか?
結論:
・コースの成果に関するフィードバックを得ようとするインストラクターには、以下の質問を含む4段階の測定プロセスの活用を推奨する

①意図する学習成果は何か?
・このステップでは、コースが達成しようとする全体的な成果を明らかにする(例:本物の学習経験の創出、優れたコミュニケ ーターの育成、持続可能なビジネススキルの開発)
②この成果をどのように達成するか?
・全体的な成果を達成するための指導方法を決定する
・本研究ではPBLを評価したが、このプロセスはどのような指導方法にも適用できる
・すべての方法が特定の成果を達成できるわけではないため、その方法が妨げになるのではなく、意図した成果の促進要因になることを確認することが重要である
③測定基準は何か?
・どの構成要素/基準を調べるかを決定する
・評価のいくつかを再検討し、修正の基礎として使用することは検討に値する
④学生に評価してもらいたい具体的な質問は何か?
・各構成要素の尺度質問(測定尺度)を作成し、すべての質問が全体的な成果の達成に関連していることを確認する


ここまで。
PBLに関するオリジナル尺度を開発した研究はおそらく初めて目にしたように思います。
PBLの学習効果は非常に多岐に渡るため、評価についても方法は様々です。
「数多くの学生評価ツールが存在するが、異なる基準を精査し測定する必要があるため、すべてのシナリオに適用できるわけではない。このことは、学生の学習成果に関して、授業のフィードバックを得たい教師は、既存の評価ツールに少し修正を加えるか、独自の評価ツールを設計し、実装するかのどちらかを選択することを意味する。」
この記述にあるように、自分自身が本当に確認したいことが既存の尺度等で計測できない場合は、評価ツールを修正したり、独自のものを開発したりする必要がありそうです。
評価の観点からも、PBLについて改めて考えたいと思いました。


【メモ】
「高等教育と他の教育レベルとの最大の違いは、高等教育機関の卒業生には、就職市場で競争する準備が整っていることが求められることである。したがって、高等教育における最も困難な課題は、学生が一般的な属性と、明晰な思考力、自立して働く能力、他者とのコミュニケーション能力や協調性といった能力の両方を身につけるようにすることである」[11]

(PBLの特徴・利点)
「PBLは、学生が学習プロセスをコントロールする教育学的手段であり、教師はむしろファシリテーターとしての役割を果たす 」[12]
「PBLは、学生が効果的に学習する能力を向上させ、学習意欲を刺激し、能力の実行を促進することを可能にする」[13]
「PBLは学生が自律性を獲得し、自らの学習をある程度コントロールすることを可能にする」
「PBLは、知識を実世界の経験と統合する機会を学生に提供する[21]ため、他の伝統的なプログラムとは対照的に、PBLを使用して教えられた場合、学生は異なる種類の知識を習得する傾向がある 」[23]
「学習プロセスにPBLを取り入れることは、より深い学習の発展、より大きな理解、より高い学習意欲、実行能力の向上、学習効果の改善と関連している」 [12,13]
「PBLの肯定的な成果を達成するためには、学生が習得しようとする知識とスキル開発の両方を体験できる適切な環境を確保することが極めて重要である」[13]
「Petrosina[24]は、PBLを通じて達成すべき具体的な目標が学生に与えられた場合、直接的な目標のないアウトプットを出すよう求められた場合よりも、はるかに高い能力を身につけることができることを発見した」=BoyleとTrevitt [21]による先行研究の結果と一致
「学生に焦点化された目標が与えられると、学生は自分の間違いや他の学生の間違いをも指摘できるようになるが、焦点化された目標が与えられなかった学生グループには同じことが見られなかった」Petrosino[24]

(パフォーマンス評価)
【パフォーマンス測定の4つの観点】(Choong, 2013)
(1)改善
(2)基準の設定
(3)差異の検出と是正措置
(4)情報処理の効率化

【パフォーマンス指標の定義】((Hughes and Bartlett, 2002)
「パフォーマンスの一部またはすべての側面を定義することを目的とした行動変数の選択または組み合わせ」

【効果的な授業の5つの要素】(Hildebrand et al., 1971)
1.分析的・総合的アプローチ:学問に関連し、幅の広さ、分析能力、概念的理解に重点を置く
2.オーガナイズ・明瞭さ:プレゼンスキルに関連し、学生ではなく教科に関係するもの
3.インストラクターのグループでのやりとり:クラス全体との信頼関係、クラスの反応に対する敏感さ、クラスへの積極的な参加を確保するスキルに関連
4.インストラクター個人の相互作用:インストラクターと個々の生徒の相互尊重と親密さに関連
5.ダイナミズム・熱意:自信、科目に対する興奮、教える喜びから来るセンスや熱意に関連

「学生の満足度とは、学習環境が学問的成功をいかにうまくサポートしているかについての、学生側の主観的な認識である」「学生の満足度のいくつかの指標は、学生の学習と正の関係がある」(WinbergとHedman, 2008)

【満足度の2つのタイプ】(Fornell, 1992)
・1回だけの経験で得られる「取引満足度(transaction satisfaction)」
・取引を繰り返した後に得られる「累積満足度(cumulative satisfaction)」
ある研究では、コース終了時に測定された満足度は、コース全体を通して、教師による提供の質と学生の受容性の性質が変化するため、累積的なものとして正当化された[35]。このため、私たちの研究でも同じ思考様式を採用し、満足度を取引的な経験ではなく、累積的な経験として測定した。

【学生の学習を測定するための次元】(BedggoodとDonovan, 2012)
1. 知覚された学習: 知識や技能の向上と関連する
2. 知覚された挑戦:刺激や動機づけに関連する
3. 知覚された課題の難易度:概念の複雑さや難しさに関連する
4. 知覚されたパフォーマンス:パフォーマンスの自己評価と関連する

これより先はプライベートモードに設定されています。閲覧するには許可ユーザーでログインが必要です。