AI 활용 실기 평가 재현성 기준 측정
같은 제출물을 다시 채점했을 때 결과가 얼마나 같은지를 채점기 버전별로 재고 공개하는 문서예요.
이 문서는 측정 도구가 결과를 직접 기록하는 원문을 게시한 거예요. 값이 없는 표는 그 측정을 아직 실행하지 않았다는 뜻이에요.
함께 읽기: AI 활용 실기 평가 측정 범위
같은 제출물을 같은 입력으로 다시 채점했을 때 결과가 얼마나 같은지를 재고, 채점기 버전(graderVersion)별로 쌓는 문서다. 측정 도구는 저장소의 재생 스크립트이고, 실행 결과는 이 문서 아래에 표로 쌓인다(§3.11·§9.3).
측정 범위 문서가 참조하는 자기 공개 수치가 여기서 나온다.
지금 상태(대외 문안을 쓰기 전에 먼저 읽는다)
v7.3 채점기(2026-09-06 층 2 · 2026-09-08 층 full): 현행 채점기 버전은 aif-7.2+aif-v-7.3(검증 축 원점수에 발견 비율, 치명 놓침 한 단 감쇄, 보류·발송 대칭 상한, 분류 상한 3방향, 지어냄 상한 발생 턴 귀속, 제약 극성 절 단위)이고 이 접두의 기준 측정 행은 2026-09-06 1차(7세션 x 3회, 층 0·층 2) 와 2026-09-08(같은 7세션 x 3회, 층 0·층 full) 두 행이다. 가장 최근 행인 층 full 행이 현재 사실이다. 축별 정확 일치율은 다섯 축 모두 수용선을 넘었고(검증 100%, 위임·방어 90.5%, 판단·협업 81.0%), 채점 보류 비율은 0%(0 / 21)로 수용선 2.0%에 든다. 09-06 층 2 행의 보류 9.5%(최소 노력 고정답 세션 한 벌)는 그날 넣은 짧은 전사 채점 경로(서면 답이 빈약하면 인용 없는 축을 미채점이 아니라 관측되지 않은 것으로 확정한다)로 사라졌다. 종합 점수 ±5 초과 변동 세션은 7세션 중 2(28.6%)로 수용선 5.0% 밖이다. 두 세션의 변동원은 발견 원장이 아니라 채점 쪽이다. 하나(65/65/50)는 협업 축의 지어냄 이진 확인(fabrication_verified 상한)이 세 회차 중 한 회차에서만 켜지고 판단·협업 원점수가 한 단씩 내려간 것이고, 다른 하나(69/76/69)는 위임 원점수가 한 회차에서만 한 단 올라간 것(3→4)이다. 발견 원장은 7세션 중 6세션에서 회차마다 같았고(Jaccard 평균 0.968) 한 세션만 회차마다 달랐는데 그 세션의 종합 점수 변동은 4점이었다. 층 2 행에서 짚었던 '지어냄 이진 확인이 회차마다 갈린다'가 층 full에서도 그대로 최대 변동원이다. 아래 '기준 측정 기록' 절의 2026-09-04 1차(21세션 x 3회) 행은 옛 채점기 aif-7+aif-v-7.1의 기록으로 남고 현행 채점기의 근거가 아니다. 층 1(추출 재생) 단독 회차는 돌리지 않았다(층 full이 추출 재실행을 포함한다). 코퍼스는 모델이 연기한 세션이라 사람 응시자 분포를 대신하지 않아요.
시험 구조 v2(flow 2, 2026-09-07): 새 세션은 3·7단계 없이 여섯 단계 47분으로 돈다(문항 세트 aif-q-7.3). 채점기 지문(promptVersion·validatorVersion)은 그대로라 위 기준 측정 행은 이 구조에서도 현행 채점기의 근거로 남고, 구조 변경만으로 기준 측정을 다시 돌리지 않는다. 아래 '기준 측정 기록'에 flow 2 행을 새로 만들지 않는다.
채우는 순서는 이렇다.
| 순서 | 무엇 | 실모델 호출 | 비고 |
|---|---|---|---|
| 1 | 축별 정확 일치율, 종합 점수 ±5 초과 변동률 | 필요(층 2, 40세션 x 3회) | 이 두 줄이 대외 문안을 현재형으로 쓰기 위한 최소치다 |
| 2 | 설계 변별(known-groups) | 없음 | 같은 코퍼스로 산출한다. 아래 예비 산출 참조 |
| 3 | 형 간 동등화 | 없음 | 과제당 30세션이 쌓인 뒤 자동 계산 |
| 4 | 편향 점검 | 없음 | P1 종료 시 1회 |
수용선을 채우지 못한 축이 나오면 그 축은 결과지에서 점수 대신 사실 칩만 내는 축소 노출을 먼저 검토한다.
무엇을 재나
| 층 | 대상 | 지표 | 기대 |
|---|---|---|---|
| 0 | 분류 채점(scoreTriage)·서버 사실(computeFacts)·앵커 어휘 경로(anchorHitOf) | 재계산 바이트 동일 | 변동 0(아니면 실패로 끝난다) |
| 1 | 발견 추출(extractFindings + 실모델) | 회차 간 발견 원장 Jaccard, extractor 분포, anchor_lexical 경로 고정, 모델 항목 폐기 수 | Jaccard 높을수록 좋고 anchor_lexical 변동은 0 |
| 2 | 채점(R1 judge + validateScoring, 발견 원장 고정) | 축별 정확 일치율·SD(원점수 기준), 인용 탈락률, 미채점률, 원가·지연 | 축별 정확 일치율 0.8 이상 |
| full | 층 1 + 층 2를 이어 재생(추출 재실행 → 원장 교체 → 사실 재계산 → 채점) | 종합 점수 ±5 초과 변동률, 최대 변동폭, 상한 뒤집힘 비율(cap flip), 치명 결함 크레딧이 이진 조정 경로로만 성립한 회차 비율, 원장 Jaccard | 종합 점수 ±5 초과 변동 세션 5% 이하 |
- 원점수 기준: 상한을 적용하기 전 값(
axes[].rawScore)으로 잰다. 상한 표 자체는 서버 코드의 고정 값이다. - 다만 상한이 켜지는 조건은 발견 원장에서 나온다. 치명 결함 1건의 크레딧이 붙고 떨어지는 것만으로 verify 상한이 걸려 종합 점수가 12.5~15점 움직인다. 그래서 종합 점수 변동은 원장을 다시 뽑는 층 full에서만 잰다.
- 서술(B)은 재현성 대상이 아니라 재생하지 않는다. 점수는 A에서만 나온다.
- 임계:
AIF_AGREEMENT_MIN = 0.8(채점 파이프라인 상수). 축별 정확 일치율이 이 값 미만인 축이 있으면 2샘플 분기(O13)를 검토한다. v7.0은 결과와 무관하게audit.scoringAgreement를 전 축single로 채운다.
수용선(단일 정본)
축별 수치가 적히는 곳은 이 표 하나다. 다른 문서·코드 주석은 이 표를 가리키기만 하고 값을 다시 적지 않는다.
| 지표 | 수용선 | 비고 |
|---|---|---|
| verify 축 정확 일치율 | ≥ 0.80 | 상수 AIF_AGREEMENT_MIN(채점 파이프라인)과 같은 값 |
| judgment 축 정확 일치율 | ≥ 0.80 | 상한 규칙이 가장 많이 걸리는 두 축 |
| delegate 축 정확 일치율 | ≥ 0.70 | 상한 규칙이 덜 걸리는 축이라 낮게 잡았다(O13) |
| defend 축 정확 일치율 | ≥ 0.70 | 좌동 |
| collaborate 축 정확 일치율 | ≥ 0.70 | 좌동 |
| 종합 점수 ±5 초과 변동 세션 비율 | ≤ 5% | 층 full(추출 재실행 포함) 회차로만 잰다 |
| 채점 보류(unscored) 비율 | ≤ 2% | 시스템 사유 |
읽는 규칙
- 이 수용선은 개인 응시와 기업·기관 회차가 같이 쓴다. 회차 쪽 기준이 개인 연습보다 느슨할 수 없다. 축별 값을 낮추려면 두 게이트를 같은 값으로 낮추고 그 근거를 이 표에 함께 적는다.
- 회차가 실제로 쓰는 채점 정책(single 또는 2샘플)의 행이 수용선을 채워야 한다. single 행과 2샘플 행을 한 표에 섞어 읽지 않는다.
- 아래 기록 표의 열은 다음과 같다: 채점기 버전 · 코퍼스 n · 반복 k · 채점 정책 · 축별 정확 일치율 · 축별 ±1 일치율 · 축별 SD(원점수) · 종합 점수 ±5 초과 변동률 · 채점 보류 비율 · 인용 탈락률 · 실행 원가.
- 축별 값이 수용선 밖이면 그 채점기 버전으로는 게이트를 열지 않는다.
형 간 동등화
같은 능력이라도 과제(형)가 다르면 점수가 달라질 수 있다. v7.0은 통계적 동등화(IRT·앵커 문항)를 하지 않는다. 대신 세 겹으로 다룬다.
- 규격 동등화: 모든 sealed 과제가 같은 규격 검사를 통과한다(본문 길이·심은 결함 수·정답지 필수 항목·작업 프로파일 표기).
- 경험 동등화: 과제당 30세션 이상이 쌓이면 과제별 종합 점수 평균·SD와 결함 발견 비율을 풀 전체와 견준다.
- 종합 평균이 풀 평균에서 ±8점 밖이거나
- 과제의 중앙 결함 발견 비율이 0.35~0.75 밖이면 그 과제를 퇴역 후보로 올린다(과제 은행 퇴역 도구).
- 대체 규칙: 그때까지는 같은 draftId끼리만 비교한다. 결과지·콘솔·기관 이용 조건에 같은 문장으로 적는다.
대규모 회차 주의: sealed 과제 한 벌은 퇴역 임계와 정답지 공개로 소모된다. 회차를 열기 전에 '예상 인원 대비 남은 sealed 벌 수'를 확인한다.
| 과제(해시) | 세션 n | 종합 평균 | SD | 중앙 결함 발견 비율 | 풀 평균 대비 | 상태 |
|---|---|---|---|---|---|---|
| 아직 기록된 행이 없어요. | ||||||
(값 미기입: 과제당 30세션이 쌓인 뒤 채운다.)
설계 변별(known-groups)
설계상 잘할 페르소나와 못할 페르소나가 실제로 갈리는지를 본다. 산출은 저장소의 기지집단 분석 스크립트이고 M15 코퍼스와 재생 결과를 다시 쓰므로 추가 실모델 호출이 없다.
지표 넷: ① 설계 밴드 적중률 90% 이상 ② 인접 티어 역전 0 ③ 목표 축 원점수 중앙값 차 2 이상 ④ 사실 칩(정직 페르소나 지어냄 0 · 오탐 페르소나 빗나간 지적 중앙값 2 이상 · 규제 민감 발송 페르소나 유출 발송 100%).
아래 블록은 위 명령이 통째로 갈아 끼운다. 지금 실려 있는 것은 시뮬 산출물(페르소나 8종 x 각 1회)로 낸 예비 산출이고 기준 측정이 아니다. 반복이 1회뿐이라 밴드 적중률과 티어 역전은 크게 흔들리고, 실제로 지표 넷 중 셋이 기준 밖으로 나온다. 스크립트도 그 상태에서 실패로 끝나므로 이 값으로는 게이트가 열리지 않는다. 코퍼스가 차면 같은 명령을 다시 돌려 이 블록을 덮는다. 예비 산출의 수치는 대외 자료에 인용하지 않는다.
모델이 연기한 응답이라 사람 응시자 분포를 대신하지 않아요.
설계 변별 · 예비 산출 · 페르소나 8종 x 1회(코퍼스 미충족) · 2026-09-03
- 런 8건. 설계 밴드·티어·대조 쌍은 실행 전에 고정한 값이에요(기지집단 설계표 KNOWN_GROUPS_DESIGN).
| 페르소나 | 티어 | 설계 밴드 | 런 | 채점 보류 | 종합 중앙값 | 밴드 적중 | delegate | verify | judgment | defend | collaborate | 지어냄 합 | 빗나간 지적 중앙값 | leak_sent 비율 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 검증형(verifier) | 1 | 65~100 | 1 | 0 | 85.0 | 1/1 | 3.0 | 4.0 | 4.0 | 4.0 | 3.0 | 0 | 0.0 | 0% |
| 경계우선형(boundary_first) | 2 | 50~90 | 1 | 0 | 88.0 | 1/1 | 3.0 | 4.0 | 4.0 | 4.0 | 4.0 | 0 | 1.0 | 0% |
| 주입형(injector) | 2 | 40~85 | 1 | 0 | 80.0 | 1/1 | 3.0 | 3.0 | 4.0 | 4.0 | 4.0 | 0 | 1.0 | 0% |
| 반복형(iterator) | 3 | 35~75 | 1 | 0 | 88.0 | 0/1 | 3.0 | 4.0 | 4.0 | 4.0 | 4.0 | 0 | 0.0 | 0% |
| 중계형(ai_relayer) | 4 | 15~60 | 1 | 0 | 43.0 | 1/1 | 2.0 | 1.0 | 2.0 | 2.0 | 2.0 | 0 | 0.0 | 0% |
| 과신형(overconfident) | 4 | 10~55 | 1 | 0 | 32.0 | 1/1 | 2.0 | 1.0 | 1.0 | 1.0 | 2.0 | 0 | 0.0 | 100% |
| 경계무시형(boundary_blind) | 5 | 0~50 | 1 | 0 | 56.0 | 0/1 | 3.0 | 1.0 | 2.0 | 3.0 | 4.0 | 0 | 0.0 | 0% |
| 복붙형(paster) | 5 | 0~45 | 1 | 0 | 36.0 | 1/1 | 2.0 | 1.0 | 1.0 | 2.0 | 2.0 | 0 | 0.0 | 0% |
| 지표 | 값 | 기준 | 결과 |
|---|---|---|---|
| ① 설계 밴드 적중률 | 75.0% (6/8) | ≥ 90% | 기준 밖 |
| ② 인접 티어 역전 | 6건 / 10쌍 (verifier 85 ≤ boundary_first 88, boundary_first 88 ≤ iterator 88, injector 80 ≤ iterator 88, ai_relayer 43 ≤ boundary_blind 56, overconfident 32 ≤ boundary_blind 56, overconfident 32 ≤ paster 36) | 0건 | 기준 밖 |
| ③ verify 변별폭(verifier vs paster) | 3.00 | rawScore 차 ≥ 2 | 통과 |
| ③ judgment 변별폭(boundary_first vs boundary_blind) | 2.00 | rawScore 차 ≥ 2 | 통과 |
| ③ defend 변별폭(verifier vs overconfident) | 3.00 | rawScore 차 ≥ 2 | 통과 |
| ③ delegate 변별폭(verifier vs ai_relayer) | 1.00 | rawScore 차 ≥ 2 | 기준 밖 |
| ④ 정직 페르소나 지어냄(verifier, boundary_first, iterator) | 0 | 0 | 통과 |
| ④ 오탐 페르소나 빗나간 지적 중앙값(overconfident) | 0.0 | ≥ 2 | 기준 밖 |
| ④ 규제 민감 발송 페르소나 leak_sent(boundary_blind) | 0% | 100% | 기준 밖 |
- 종합: 기준 밖 또는 측정 불가 항목 있음. 측정 도구: 기지집단 분석 스크립트(추가 실모델 호출 0).
시뮬 축 분포·상관(축 입력 변별)
축이 서로 베끼고 있지는 않은지, 분량이 점수를 끌고 있지는 않은지, 형판 규칙만 쓰는 응시자가 실제로 갈리는지를 같은 산출물로 산출한다. 산출은 시뮬 회차 분석 스크립트이고 추가 실모델 호출이 없다.
이 절의 두 조건(실행 전에 고정한 값, SIM_GATE)
| 조건 | 기준 | 왜 |
|---|---|---|
| 대비반 페르소나 점수와 정직 세션 최고점의 차 | 15점 이상 | 형판 규칙(문장 난사·무조건 보류·뒤 두 항목 기각·정형 대본)으로 점수가 붙으면 이 시험은 능력이 아니라 요령을 잰다 |
| 길이 트윈 쌍의 종합 점수 차 | 5점 이내 | 같은 내용을 두 배 분량으로 쓴 쌍이다. 차가 크면 분량이 점수를 끄는 것이다 |
읽는 규칙
- 축별 표준편차가 0에 가까운 축은 그 회차에서 변별하지 못한 축이다. 그 축의 값을 변별 근거로 인용하지 않는다.
- 제약 반영률이 전 세션 같은 값이면 위임 축 입력이 실험에서 고정돼 있었다는 뜻이다. 2026-09-03 이전 회차가 그 상태였고(러너가 작업 패널 프롬프트를 만들어 넣었다), 그 회차의 위임 축 점수와 제약 반영률은 변별 근거에서 뺀다.
- 이 절은 시뮬 산출물이라 기준 측정도 편향 점검도 아니다. 대외 자료에 인용하지 않는다.
(값 미기입: 위 명령으로 채운다.)
편향 점검
산출은 공정성 산식과 그 보고 스크립트다. 그룹 축 일곱(AIF 패밀리 · 연차 밴드 · 언어 · 과제 매칭 경로 · 규제 모드 · 과제 해시 · 설정 출처)마다 n · 종합 점수 평균·SD · 60점 이상 비율 · 채점 보류 비율 · 최고 그룹 대비 비율을 낸다.
규칙
- 셀 n이 30 미만이면 집계 보류로 두고 수치를 내지 않는다.
- 최고 그룹 대비 비율이 0.8 미만이면 검토 플래그를 세운다. 4/5 규칙은 선별 휴리스틱이고 법적 판단이 아니다.
- 연차 밴드 사이의 차이는 재는 능력 자체와 관련된 차이일 수 있어 보고만 한다.
- 과제 매칭이 fallback인 그룹의 종합 평균이 tag 그룹보다 5점 이상 낮으면 직군 핏 결함으로 보고 과제 저작 큐로 넘긴다.
- 보호 속성(성별·연령)은 수집하지 않으므로 그 축은 산출할 수 없다. 기관이 자사 보유 속성으로 직접 내는 절차는 파일럿 협약 부록에 있다.
- 주기: P1 종료 시 1회, 이후 연 1회, 채점기 버전이 바뀔 때.
(값 미기입: 위 명령으로 채운다.)
연습 상품과의 관계
같은 코드베이스가 개인 연습(practice 풀)과 기관·기업 회차(sealed 풀)를 함께 돌린다. 단계 구조·다섯 축·상한 규칙은 두 풀에서 같고, 갈리는 것은 과제 은행뿐이다. 시험을 만드는 쪽이 그 시험의 연습 상품도 판다는 뜻이므로, 연습을 산 응시자가 유리한지를 수치로 답할 수 있어야 한다. 지금은 답할 수치가 없다.
풀 분리 현황(실측, 과제 은행 기준)
| 언어 | 과제 총수 | sealed | sealed 중 회차 배정 가능 |
|---|---|---|---|
| ko | 233 | 78 | 78 |
| en | 7 | 0 | 0 |
| ja | 7 | 0 | 0 |
- 한국어 회차는 sealed 풀에서만 과제를 받는다. 개인 연습에는 sealed 과제가 나가지 않는다.
- 영어·일본어는 2026-09-08부터 개인 연습만 열린다. 그날 두 언어 일곱 벌씩에 검토 의견·앵커·제약 키를 저작해 언어별 출제 가능 수가 개방 기준 7벌을 채웠고, 셋업 언어 선택에 두 언어가 뜬다. 저작분은 전부 연습 풀이다.
- 영어·일본어 회차(기관·기업)는 그대로 닫혀 있다. sealed 과제가 0벌이라 비한국어 회차 개방 기준(12벌)에 못 미친다. 이 상태에서 회차를 열면 과제를 연습 풀에서 받게 되고, 그 과제는 개인 연습 상품에도 그대로 있다. 게다가 풀이 sealed가 아니면 창 종료 전 유보가 걸리지 않아 응시자가 그 회차의 정답 위치·수정문·후속 질문을
- 두 언어의 직무 L3 보조 문안(직군·업종·사무 오버레이)은 아직 한국어만 저작돼 있어 그 행은 화면에서 숨는다.
측정해야 하는 것(아직 값 없음)
연습 응시 이력이 있는 응시자와 없는 응시자의 sealed 종합 점수 차. P1 지표로 잡고(파일럿 협약) 결과를 아래 표에 싣는다. 유의한 차가 나오면 sealed 과제 계열을 연습 계열과 구조적으로 갈라야 한다.
| 채점기 버전 | 표본 n | 연습 이력 있음 평균 | 연습 이력 없음 평균 | 차 | 비고 |
|---|---|---|---|---|---|
| 아직 기록된 행이 없어요. | |||||
(값 미기입: P1 표본이 찬 뒤 채운다.)
기관 이용 조건에 풀 분리와 연습 상품이 함께 있다는 사실을 적는다. 계약 상대가 그 사실을 우리 문서에서 먼저 알아야 한다.
파일럿 결과
| 단계 | 표본 | 상태 | 요약 |
|---|---|---|---|
| P0 내부 | 10세션 | 미기입 | 사무직·제조 5직군 포함 |
| P1 공개 | 120세션(직군 6셀 x 20) | 미기입 | 완주율·소요·결함 발견 비율·점수 분포·원가·문의 접수율 |
| P2 기업 | 기업 2곳 x n 30 이상 | 미기입 | 후속 면접 평가와의 순위 상관(점추정과 신뢰구간 병기) |
절차·지표·데이터 협약은 파일럿 협약에 있다. 예측 타당도 수치는 계약 조건에 넣지 않는다.
동시 부하 실측(§9.4-8)
기업 회차는 같은 시각에 응시가 끝난다. 좌석 수만큼의 결과지 생성이 한꺼번에 나가므로, 회차를 열기 전에 동시 부하를 한 번 잰다.
수용선: 동시 20세션에서 p95 지연 240초 미만 · 과부하(429·529) 응답 0건. 못 넘기면 스크립트가 exit 1로 끝난다. 러너는 재시도·백오프를 넣지 않는다. 백오프를 넣고 재면 과부하가 지연으로 숨어 '과부하 0건'이 거짓으로 참이 된다.
담당자 콘솔이 '동시 완료 상한은 실측 20세션 기준'이라고 적는 근거가 이 표다. 표가 비어 있으면 그 문장을 쓸 수 없고, 콘솔은 "20세션을 설계 기준으로 두었고 부하 실측 결과는 재현성 문서에 게시 예정"으로 적는다 (결과지의 측정 범위 블록 loadText가 이 표의 행 수를 읽어 두 문장 중 하나를 고른다). 기관 이용 조건 9.2도 같다.
기준 측정 기록
아래에 replay.ts 실행 결과가 채점기 버전별로 쌓인다. 사람이 손으로 고치지 않는다. 표를 인용할 때는 항상 같은 문장을 함께 쓴다: 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.
2026-09-04 기준 측정 1차(층 0·층 2, n=21)
- 채점기 버전
aif-7+aif-v-7.1+aif-s-7.0+r-4af8348b+p-8c124539. 코퍼스 21세션 x 3회, 유효 회차 63 / 시도 63. - 코퍼스는 시뮬 회차 산출물(전사 파일의 aif_state v3)이고, 완주·채점 완료·전사 지문 중복 제거를 통과한 세션만 담았다. 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.
- 층 0(computeFacts·scoreTriage·anchorHitOf·rulesHashOf 2회 재계산) 883건 검사, 바이트 불일치 0건.
- 층 2는 저장된 발견 원장을 고정한 채 R1 judge(A) + validateScoring만 다시 돌린 값이다. 서술 B는 재현성 대상이 아니라 부르지 않았다.
| 축 | 정확 일치율 | SD(원점수) | 수용선 | 대비 |
|---|---|---|---|---|
| delegate | 93.7% | 0.05 | ≥ 0.70 | 충족 |
| verify | 87.3% | 0.11 | ≥ 0.80 | 충족 |
| judgment | 93.7% | 0.05 | ≥ 0.80 | 충족 |
| defend | 90.5% | 0.08 | ≥ 0.70 | 충족 |
| collaborate | 90.5% | 0.08 | ≥ 0.70 | 충족 |
| 지표 | 값 | 수용선 | 대비 |
|---|---|---|---|
| 채점 보류(unscored) 비율 | 0.0% (0 / 63 회차) | ≤ 2.0% | 충족 |
| 종합 점수 ±5 초과 변동 세션 비율 | 층 full 미측정 | ≤ 5.0% | 미측정 |
| 참고 지표(수용선 대조 아님) | 값 |
|---|---|
| 종합 점수 ±5 초과 변동 세션(원장 고정, 층 2) | 7 / 21 |
| 종합 점수 최대 변동폭(원장 고정, 층 2) | 9점 |
| 상한이 회차마다 갈린 세션 | 2 / 21 |
| 인용 탈락률 | 6.5% (101 / 1547) |
| R1'' 재인용이 돈 회차 | 0 / 63 |
| 평균 지연(회차 1건) | 122초 |
| 최대 지연(회차 1건) | 208초 |
| 실행 소요 | 46.5분 |
산식
- 축별 정확 일치율: 세션마다 그 축의 원점수(
axes[].rawScore, 0~4)를 회차 쌍으로 전부 비교해 값이 정확히 같은 쌍의 비율을 내고(|{(i,j): i<j, v_i = v_j}| / C(k,2), k=유효 회차 수), 세션별 그 비율을 산술평균한다. N/A(null)는 하나의 값으로 세고 null끼리는 일치로 본다. 유효 회차가 2개 미만인 세션은 쌍이 없어 제외한다. - 축별 SD: 세션마다 그 축 원점수의 표본표준편차(n-1)를 내고 세션별로 산술평균한다. 값이 있는 회차가 2개 미만인 세션은 제외한다.
- 채점 보류 비율: (validateScoring이 unscored로 표시한 회차 + 채점 산출을 못 낸 회차) / 시도한 회차. 뒤엣것은 프로덕션이라면 gate_only_verifier로 강등 발행되는 회차다.
- 인용 탈락률: 전 회차의
quoteVerification.dropped합 /checked합. - 종합 점수 변동: 세션의 유효 회차 종합 점수 최댓값에서 최솟값을 뺀 값. 5점 초과면 변동 세션으로 센다.
- 원가: 모든 모델 호출의 usage에 예산 단가표를 곱해 누산한 값(judge·judge_retry·requote·fab_confirm·fp_confirm·plan_confirm).
측정 범위
- 층 1(발견 추출 재생)과 층 full(추출 재실행까지 이어 붙인 회차)은 이번 회차에서 돌리지 않았다. 미측정이다.
- 수용선의 종합 점수 ±5 초과 변동 행은 층 full로만 채운다. 위 참고 지표의 층 2 값은 발견 원장을 고정한 값이라 상한을 켜고 끄는 최대 변동원이 빠져 있다.
- 다만 원장을 고정한 층 2에서도 ±5 초과 변동 세션이 21건 중 7건(33.3%)이고 최대 변동폭은 9점이다. 층 full은 여기에 발견 원장 재추출 변동이 더 얹히는 회차라, 이 값보다 작게 나올 근거가 없다. 수용선 5.0% 행은 층 full 회차를 돌린 뒤에 채운다.
- 코퍼스 상태에 적힌 채점기 라벨은
aif-7+aif-v-7.0+aif-s-7.0+r-4af8348b+p-8c124539·aif-7+aif-v-7.1+aif-s-7.0+r-4af8348b+p-8c124539이고, 이번 회차를 실제로 채점한 코드의 버전은aif-7+aif-v-7.1+aif-s-7.0+r-4af8348b+p-8c124539이다. 표의 행 키는 뒤엣것이다.
측정 도구: 재현성 재생 스크립트(3회 반복, 동시 3). 채점 모델 claude-opus-5 effort high, 이진 확인 claude-sonnet-5.
2026-09-06 기준 측정 1차(층 0·층 2, n=7)
- 채점기 버전
aif-7.2+aif-v-7.3+aif-s-7.0+r-bc082b61+p-4a899d47. 코퍼스 7세션 x 3회, 유효 회차 21 / 시도 21. - 코퍼스는 2026-09-05 수리본 재검증 실주행 7세션(직군 페르소나 6 + 최소 노력 고정답 1, 전사 파일의 aif_state v3)이고, 완주·채점 완료·전사 지문 중복 제거를 통과한 세션만 담았다. 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.
- 층 0(computeFacts·scoreTriage·anchorHitOf·rulesHashOf 2회 재계산) 288건 검사, 바이트 불일치 0건.
- 층 2는 저장된 발견 원장을 고정한 채 R1 judge(A) + validateScoring만 다시 돌린 값이다. 서술 B는 재현성 대상이 아니라 부르지 않았다.
| 축 | 정확 일치율 | SD(원점수) | 수용선 | 대비 |
|---|---|---|---|---|
| delegate | 90.5% | 0.08 | ≥ 0.70 | 충족 |
| verify | 100.0% | 0.00 | ≥ 0.80 | 충족 |
| judgment | 90.5% | 0.08 | ≥ 0.80 | 충족 |
| defend | 81.0% | 0.16 | ≥ 0.70 | 충족 |
| collaborate | 100.0% | 0.00 | ≥ 0.70 | 충족 |
| 지표 | 값 | 수용선 | 대비 |
|---|---|---|---|
| 채점 보류(unscored) 비율 | 9.5% (2 / 21 회차) | ≤ 2.0% | 수용선 밖 |
| 종합 점수 ±5 초과 변동 세션 비율 | 층 full 미측정 | ≤ 5.0% | 미측정 |
| 참고 지표(수용선 대조 아님) | 값 |
|---|---|
| 종합 점수 ±5 초과 변동 세션(원장 고정, 층 2) | 2 / 6 |
| 종합 점수 최대 변동폭(원장 고정, 층 2) | 13점 |
| 상한이 회차마다 갈린 세션 | 1 / 7 |
| 인용 탈락률 | 6.4% (32 / 503) |
| R1'' 재인용이 돈 회차 | 0 / 21 |
| 평균 지연(회차 1건) | 130초 |
| 최대 지연(회차 1건) | 193초 |
| 실행 소요 | 17.3분 |
산식
- 축별 정확 일치율: 세션마다 그 축의 원점수(
axes[].rawScore, 0~4)를 회차 쌍으로 전부 비교해 값이 정확히 같은 쌍의 비율을 내고(|{(i,j): i<j, v_i = v_j}| / C(k,2), k=유효 회차 수), 세션별 그 비율을 산술평균한다. N/A(null)는 하나의 값으로 세고 null끼리는 일치로 본다. 유효 회차가 2개 미만인 세션은 쌍이 없어 제외한다. - 축별 SD: 세션마다 그 축 원점수의 표본표준편차(n-1)를 내고 세션별로 산술평균한다. 값이 있는 회차가 2개 미만인 세션은 제외한다.
- 채점 보류 비율: (validateScoring이 unscored로 표시한 회차 + 채점 산출을 못 낸 회차) / 시도한 회차. 뒤엣것은 프로덕션이라면 gate_only_verifier로 강등 발행되는 회차다.
- 인용 탈락률: 전 회차의
quoteVerification.dropped합 /checked합. - 종합 점수 변동: 세션의 유효 회차 종합 점수 최댓값에서 최솟값을 뺀 값. 5점 초과면 변동 세션으로 센다.
측정 범위
- 층 1(발견 추출 재생)과 층 full(추출 재실행까지 이어 붙인 회차)은 이번 회차에서 돌리지 않았다. 미측정이다.
- 수용선의 종합 점수 ±5 초과 변동 행은 층 full로만 채운다. 위 참고 지표의 층 2 값은 발견 원장을 고정한 값이라 상한을 켜고 끄는 최대 변동원이 빠져 있다.
- 다만 원장을 고정한 층 2에서도 ±5 초과 변동 세션이 6건 중 2건(33.3%)이고 최대 변동폭은 13점이다. 층 full은 여기에 발견 원장 재추출 변동이 더 얹히는 회차라, 이 값보다 작게 나올 근거가 없다. 수용선 5.0% 행은 층 full 회차를 돌린 뒤에 채운다.
- 코퍼스 상태에 적힌 채점기 라벨은
aif-7.2+aif-v-7.3+aif-s-7.0+r-bc082b61+p-4a899d47이고, 이번 회차를 실제로 채점한 코드의 버전은aif-7.2+aif-v-7.3+aif-s-7.0+r-bc082b61+p-4a899d47이다. 표의 행 키는 뒤엣것이다.
측정 도구: 재현성 측정 스크립트(3회 반복, 동시 3). 채점 모델 claude-opus-5 effort high, 이진 확인 claude-sonnet-5.
2026-09-08 기준 측정(층 0·층 full, n=7)
- 채점기 버전
aif-7.2+aif-v-7.3+aif-s-7.0+r-2586e171+p-5d0dea2f. 코퍼스 7세션 x 3회. - 층 0(computeFacts·scoreTriage·anchorHitOf 2회 재계산) 7건 검사, 바이트 불일치 0건.
- 층 full은 추출 재실행 → 발견 원장 교체 → 서버 사실 재계산 → A 채점 → validateScoring을 한 파이프라인으로 이었다. 응시자가 겪는 종합 점수 변동은 이 행이 정본이다. 서술 B는 재현성 대상이 아니라 부르지 않았다.
- 유효 회차 21 / 시도 21. 코퍼스는 2026-09-06 1차와 같은 7세션(시뮬 세션 산출물의 aif_state v3)이다. 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.
| 축 | 정확 일치율 | SD(원점수) | 수용선 | 대비 |
|---|---|---|---|---|
| delegate | 90.5% | 0.08 | ≥ 0.70 | 충족 |
| verify | 100.0% | 0.00 | ≥ 0.80 | 충족 |
| judgment | 81.0% | 0.16 | ≥ 0.80 | 충족 |
| defend | 90.5% | 0.08 | ≥ 0.70 | 충족 |
| collaborate | 81.0% | 0.16 | ≥ 0.70 | 충족 |
| 지표 | 값 | 수용선 | 대비 |
|---|---|---|---|
| 채점 보류(unscored) 비율 | 0.0% (0 / 21 회차) | ≤ 2.0% | 충족 |
| 종합 점수 ±5 초과 변동 세션 비율 | 28.6% (2 / 7 세션) | ≤ 5.0% | 수용선 밖 |
| 참고 지표(수용선 대조 아님) | 값 |
|---|---|
| 종합 점수 최대 변동폭(전체 재생) | 15점 |
| 세션별 종합 점수(회차순) | backend_careful 76/76/76 · data_careful 84/84/81 · hr_careful 65/65/50 · marketer_lazy 52/48/48 · ops_floor 6/6/6 · pm_hasty 69/69/69 · sales_hasty 69/76/69 |
| 상한이 회차마다 갈린 세션(cap flip) | 3 / 7 |
| 치명 결함 크레딧이 이진 조정 경로로만 성립한 회차 | 13 / 21 |
| 발견 원장 Jaccard(회차 간 평균) | 0.968 |
| 평균 지연(회차 1건) | 140초 |
| 최대 지연(회차 1건) | 199초 |
| 실행 소요 | 18.1분 |
산식
- 축별 정확 일치율: 세션마다 그 축의 원점수(
axes[].rawScore, 0~4)를 회차 쌍으로 전부 비교해 값이 정확히 같은 쌍의 비율을 내고(|{(i,j): i<j, v_i = v_j}| / C(k,2), k=유효 회차 수), 세션별 그 비율을 산술평균한다. N/A(null)는 하나의 값으로 세고 null끼리는 일치로 본다. 유효 회차가 2개 미만인 세션은 쌍이 없어 제외한다. - 축별 SD: 세션마다 그 축 원점수의 표본표준편차(n-1)를 내고 세션별로 산술평균한다. 값이 있는 회차가 2개 미만인 세션은 제외한다.
- 채점 보류 비율: (validateScoring이 unscored로 표시한 회차 + 채점 산출을 못 낸 회차) / 시도한 회차.
- 종합 점수 변동: 세션의 유효 회차 종합 점수 최댓값에서 최솟값을 뺀 값. 5점 초과면 변동 세션으로 센다. 이 행은 발견 원장을 회차마다 다시 뽑은 값이라 상한이 켜지고 꺼지는 변동까지 들어 있다.
- 발견 원장 Jaccard: 회차 쌍마다 크레딧된 plant id 집합의 교집합 / 합집합, 세션 평균.
측정 범위
- 이 행이 수용선의 종합 점수 ±5 초과 변동 행을 처음 채운다. 축별 정확 일치율·채점 보류 비율도 같은 전체 재생 회차에서 다시 냈다.
- 코퍼스 상태의 채점기 지문은 promptVersion
aif-7.2, validatorVersionaif-v-7.3이고, 이번 회차를 실제로 채점한 코드의 버전은aif-7.2+aif-v-7.3+aif-s-7.0+r-2586e171+p-5d0dea2f이다. 표의 행 키는 뒤엣것이다.
측정 도구: 재현성 재생 스크립트(full 층, 3회 반복, 동시 3). 채점 모델 claude-opus-5 effort high, 추출·이진 확인 claude-sonnet-5. 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.
문의: jd@jidonglab.com
