先日、職場におけるリーダーシップ開発に関する論文をメタ分析した論文をレビューしたところですが、今回は高等教育における同内容のメタ分析した論文について考察します。

論文はこちら(被引用数：101件 (2024年5月18日時点))
Reyes, D. L., Dinh, J., Lacerenza, C. N., Marlow, S. L., Joseph, D. L., & Salas, E. (2019). The state of higher education leadership development program evaluation: A meta-analysis, critical review, and recommendations. The Leadership Quarterly, 30(5), 101311.

全体的な目的として、「高等教育のけるリーダーシップ開発プログラムが最も効果的な戦略を実施しているかどうかを実証することであり、矛盾があれば、経営科学と高等教育の実践との間にギャップがあることを明らかにすること」と述べられていて、正に自分が知りたいと思っていたものでした。
メタ分析の対象となった論文は、1886年〜2018年の高等教育でのリーダーシップ開発に関する論文73本。内訳は、56本が学部生、12本が大学院生、5つがその両方で、総受講者数は5,654名となっています。
7つの仮説やアウトカム指標としてカーク・パトリックの4段階評価制度を設定しているところなど、先日レビューした職場におけるLDのメタ分析と構造がよく似ています。（実際、引用もされています）
4つのリサーチ・クエスチョン(RQ)、7つの仮説についてメタ分析から考察していますのでひとつずつ見ていきます。

RQ1：高等教育のLDプログラムでは、どのような学習成果を測定することが多いか？

RQ2：高等教育のLDプログラムでは、成果をどのように評価することが多いのか？
・自己評価、観察者による評価、客観的スコア、相互評価などがある
・評価は、反復測定デザインを使って、トレーニングの前後に行うことができる
・訓練を受けたグループから1つの評価を収集し、対照グループの結果と比較もできる（独立群計画）
・測定源によっては、他のものよりも正確性に欠けるものもあり（Wexley & Latham, 2002）、特に、自己報告方式は得点が膨らむ可能性があるのに対し、客観的報告はバイアスや不正の問題が起こりにくい（Blume et al., 2010）
・ トレーニングの文献では、それぞれの方法の長所と短所を補うために、複数の方法を使用することが提案されている（Salas et al., 2015）

RQ3：高等教育のLDプログラムでは、一般的にいつ成果が評価されるのか？
・研修終了後すぐに研修を評価することは容易であるが（Phillips, 2012）、これではプログラムからどれだけのことが学べたかを説明することしかできない
・研修と評価の間に時間を置いたり、縦断的に測定を継続したりすることで、プログラムから実際にどれだけの知識が保持されたかを実証し、転移に関する洞察を得ることができる（Baldwin & Ford, 1988）

RQ4：高等教育のLDプログラムでは、どのような具体的な指導戦略が最も頻繁に使用されているか？
・指導戦略についてTable6でまとめられている
・講義とディスカッションが主な指導戦略であった


続いて7つの仮説とメタ分析から得られた示唆についてです。
仮説の全体像は以下のfig1のように整理されています。



仮説1.リーダーシップ開発プログラムは、研修生の学習（H1a）および転移（H1b） に正の効果をもたらす。
⇨⚪︎ 学生（学部生と大学院生）のLDプログラムは、学習と転移の成果を生み出すのに効果的であることが示唆され、仮説1aおよびbを完全に支持する結果が得られた。
・Tabel2の学習成果のoverall効果量：0.5
・Table3の転移成果のoverall効果量：0.36

仮説2.自発的なリーダーシップ開発プログラムは、非自発的なプログラムに比べて、研修生の学習（H2a）と転移（H2b）の成果をより高める。
⇨△自発的なプログラムは、非自発的なプログラムよりも研修生の学習を大幅に改善したが、非自発的なプログラムよりも転移を確実に増加させることはできなかった。

仮説3.複数の研修セッションにまたがるリーダーシップ開発プログラムは、1回のまとまった研修セッションによる研修プログラムと比較して、学習（H3a）および転移（H3b）の成果に対してより大きな効果をもたらす。
⇨× 時間的提供方法に関する仮説は支持されなかった
・学習は時間的デザインによって異なる影響を受けず、転移の関係を検証するには、間隔を空けないと報告した主要サンプルが少なかった

仮説4.実践ベースの手法のみを取り入れたリーダーシップ開発プログラムは、情報ベースまたは実演ベースの手法のみを取り入れたプログラムと比較して、研修生の学習（H4a）および転移（H4b）の成果に対してより大きな効果をもたらす。
⇨× 学習と転移の両面で、情報のみの方法と比較して、実践に基づいた方法のみの方がより大きな成果を得られることを支持するものではなかった。
※実演法（k = 1）との関係を検証するのに十分な一次サンプルがなかった

仮説5.情報提供、実演、実践の3つの方法を取り入れたリーダーシップ開発プログラムは、情報提供のみ、実演と情報提供の2つの方法のみを取り入れたプログラムと比較して、受講者の成果に対してより大きな学習（H5a）および転移（H5b）を示す。
⇨△　情報のみ、実践のみ、情報と実践に基づく方法で比較した場合、これは当てはまらなかった。
情報、実演、実践を組み合わせたアプローチと、情報のみ、実践のみを比較したサイズの差は、転移の結果を予測する上で統計的に有意ではなかったが、結果は仮説の方向に傾いていた。
※理論や先行研究は、複数の方法を組み合わせて使用するアプローチを支持している（Salas & Cannon-Bowers, 2001）

仮説6：フィードバックの使用を報告しているリーダーシップ開発プログラムは、フィードバックの使用を報告していないプログラムと比較して、研修生の学習（H6a）および転移（H6b）の成果に対してより大きな効果を示す。
⇨△　フィードバックを取り入れたプログラムは、そうでないプログラムよりも効果的であることが示唆された。結果は仮説の方向に傾いたが、学習、転移ともに統計的に有意ではなかった。
※実際にはフィードバックを提供していたにもかかわらず、それを文書化することを怠ったものがあった可能性がある。また、多くの論文では、フィードバックの実施方法について詳しく述べられていなかった

仮説7. 生のファシリテーターを交えた対面式のリーダーシップ開発プログラムは、オンラインの自己管理型プログラムよりも、研修生の学習（H7a）および転移（H7b）をより大きく高める。
⇨×　学習、転移の両成果を考慮した場合、対面式プログラムの効果量は、オンライン・プログラムの効果量と比較して信頼できる差はなかった。


最後に、研究評価における内生性バイアス（endogeneity bias）とその対策について述べられていました。こちらも参考になるので端的にまとめます。
内生性とは、説明変数と誤差項の間に相関がある状態を指します(Wooldridge, 2013)。
※ちょうど先日、博士後期ゼミでも、この話題が上がっていました（経営学の定量分析においても内生性を取り除く努力が昨今求められてきている）
内生性が起こる原因として、以下の3つが紹介されていました。
(1)実験群と統制群との比較の省略：1群でしか実験していない
(2)自発的プログラム内での自己選択：授業は自己選択なので、評価が高くなりがち
(3)単一手法による自己報告：自己評価だけだと評価が偏る
※自己報告は一般的に、利己的・社会的望ましさバイアスに満ちている（Fisher, 1993）

そして、これらの内生性バイアスへの対策として、以下を行うことが推奨されていました。


ここまで。
全体を通して、サンプル数が少なく分析できなかったというような記述が複数目につきました。
先日読んだ職場におけるLDのメタ分析は355本の論文だったのに対し、今回の高等教育におけるメタ分析は73本と約1/5の分量なので仕方がないのかもしれません。
ただ、サンプルがない/少ないということは研究できていない領域である可能性も高いので、今後注目していきたいと思いました。例えば、以下のような点です。
・授業期間の間隔を空けないと報告したサンプルが少なく、Spacing Effectについて検証できていない
・実演方法のサンプルが少なく、関係性を検証できていない
・反応と成果の結果ついてのサンプルが少なく、効果を検証できていない（特に成果）

カーク・パトリックのフレームは大学院でも学びましたが、高等教育のLDでは転移の程度は低く（補正d = 0.36）、成果についてはほぼ検証されていないとのことですので、この辺りは特に課題となりそうだと思いました。

また、LDプログラム（主に指導戦略と評価）は一般的に、科学に根ざしたものではなく、便利で安価なアプローチを用いていることが明らかになったと筆者らは指摘しています。
例えば、指導戦略としては、講義とディスカッションが中心ですが、筆者らはより実践的なアプローチ（ロールプレイ、目標設定、ゲームなど）を模索するよう勧めています。指導戦略においても評価においても、やり易い方法ではなく、効果が高い方法を選択するのが本来あるべき方向性だと思いますが、そのためにはこの分野の効果性の検証がもっと必要なのだと思いました。

また、高等教育におけるLDは、従業員のLDと異なる可能性があることにも言及されていて、こちらも興味深かったです。
従業員向けと学生向けのリーダーシップ開発プログラムの違いについてももう少し解像度高く見てみたいと思いました。

研究のヒントになる気づきも多く、良き論文でした！


【メモ】
「U.S. News and World Report（2018）がランキングした上位50大学を検索してみると、リストに掲載されたすべての学校が、学部生と大学院生の両方に何らかの形でリーダーシップ開発（LD）を提供しているが、そうした実践の効果についてはほとんど知られていない」
「LDプログラムは、リーダーシップの知識、スキル、能力（KSA）を向上させ、その結果、他の肯定的な下流効果を生み出す可能性がある（Arvey, Rotundo, Johnson, Zhang, & McGue, 2006; Day et al., 2009）」
「情報、実演、実践の3つの方法のうち、実践がスキルを育成するのに最も効果的な方法であることを、理論とエビデンスが示唆している（Burke & Day, 1986; Weaver, Rosen, Salas, Baum, & King, 2010）」
「教室での対人交流のロールプレイングなどの実践は、情報や実演のように受動的に情報を受け取るよりも、これらのスキルをより効果的に促進する（Garavaglia, 1993）」
「転移問題(the transfer problem)（Ford & Weissbein, 1997）」