AI活用実技評価の再現性：測定方法・結果・限界

この資料の範囲

再現性とは、同じ提出物をもう一度採点したときに、結果がどの程度一致するかを確かめることです。この日本語版は、2026年9月17日に確認した韓国語資料の測定方法と最新の公表基準測定を説明します。過去の実行記録全体は韓国語版で確認できます。ここで示す結果は記載された採点器の版に対するもので、将来の版すべての性能を示すものではありません。

最新の公表基準測定

2026年9月8日の全工程再実行では、採点器 aif-7.2+aif-v-7.3+aif-s-7.0+r-2586e171+p-5d0dea2f を用い、7セッションを各3回採点しました。試行21回のうち有効な結果は21回です。モデルが受検者を演じたシミュレーション標本であり、人の応募者の分布ではありません。

完全一致率は、セッション内の採点の組み合わせを比較し、一致する割合をセッション間で平均した実測値です。人の採用判断に対する正解率ではありません。

総合点の安定性は受容基準を満たしていません。 最高点と最低点の差が5点を超えたのは7セッション中2セッション、実測28.6%でした。内部目標は5%以下です。最大差は15点でした。採点保留は21回中0回、実測0%で、内部目標の2%以下を満たしました。各軸の一致率を満たしていても、総合点の変動に関する未達を打ち消すものではありません。

発見事項の集合のJaccard類似度は平均0.968でした。上限規則の適用が回ごとに変わったのは7セッション中3セッションです。処理時間は1回平均140秒、最大199秒でした。いずれもこの日付の標本での観察であり、運用時の処理時間を保証する値ではありません。

何を繰り返して測るのか

この測定は点数の再現性を対象とし、説明文の再生成は含みません。発見事項によって上限規則が変わるため、発見事項を固定した層2だけで全工程の安定性を判断できません。9月4日は旧版の採点器の記録です。9月6日は同じ7セッションを使いましたが、発見事項を固定した層2の測定でした。

指標の読み方

完全一致率は上限適用前の0〜4の原点で計算します。各セッションの有効な採点の全組み合わせを比較し、一致した組数を全組数で割ってから、セッション間で平均します。未採点も一つの値として扱い、未採点同士は一致とします。有効な採点が2回未満のセッションは組を作れないため除外します。

標準偏差はセッション内の標本標準偏差を計算して平均します。総合点の変動幅は有効な採点の最大値と最小値の差です。採点保留率の分子には、保留と判定された回と結果を出せなかった回を含めます。Jaccard類似度は、発見事項IDの集合の共通部分を和集合で割り、組とセッションについて平均した値です。

受容基準の割合は事前に設定した内部目標です。人の標準分布、受検者の合格点、将来の性能予測ではありません。採点器の版、標本数、反復回数、採点方式を一緒に確認してください。

課題が異なる場合と設計検証

課題によって含まれる欠陥が違います。項目反応理論などによる統計的な等化は確立していないため、同じ課題IDの結果だけを比較します。課題ごとの分布確認は、各課題に30セッション以上集まった後に行う計画です。空欄は未公表であり、差がないという意味ではありません。

9月3日の既知群の予備確認は、8種類の模擬人格を各1回実行したものです。設計基準をすべて満たしておらず、人の能力分布や採用後の成果を予測する根拠ではありません。この版では、シミュレーションの軸分布と公平性の結果も未掲載です。

公平性、練習商品、未測定の項目

計画上、公平性の集計では30件未満の群を非表示にします。最高群との比が4/5未満かを見る規則は確認の手掛かりであり、法的な判断ではありません。性別や年齢などの属性はこの計算のために収集していないため、その軸の公平性はここでは測定できません。

個人練習と機関・企業の評価では課題群を分けています。確認した9月の資料では、英語と日本語は個人練習向けで、機関・企業向け評価の課題群は韓国語のみです。この資料の翻訳公開によって提供範囲が変わることはありません。

有料練習の経験が非公開課題の成績に与える影響は未測定です。予定されている内部・公開・企業の試行も実績として扱いません。同時負荷の結果表は空欄であり、同時20セッションは設計目標で、実証された処理能力ではありません。

利用上の注意

総合点だけでなく、各軸の根拠と測定上の限界を先に読んでください。シミュレーションの結果で応募者を順位付けしたり、採用成功率を予測したり、すべての受容基準を達成したと説明したりすることはできません。後続の面接や人による確認を支える資料として使い、判断は利用する機関が行います。

測定範囲を読む。韓国語の原資料と過去の全測定表を読む。