본문으로 건너뛰기하반기 면접 시즌 반값· 사용권 3종 50% · 10월 27일(화)까지
프리터뷰 Preterview

Claude Startups 멤버

재현성 문서

AI 활용 실기 평가 재현성 기준 측정

같은 제출물을 다시 채점했을 때 결과가 얼마나 같은지를 채점기 버전별로 재고 공개하는 문서예요.

이 문서는 측정 도구가 결과를 직접 기록하는 원문을 게시한 거예요. 값이 없는 표는 그 측정을 아직 실행하지 않았다는 뜻이에요.

함께 읽기: AI 활용 실기 평가 측정 범위

같은 제출물을 같은 입력으로 다시 채점했을 때 결과가 얼마나 같은지를 재고, 채점기 버전(graderVersion)별로 쌓는 문서다. 측정 도구는 저장소의 재생 스크립트이고, 실행 결과는 이 문서 아래에 표로 쌓인다(§3.11·§9.3).

측정 범위 문서가 참조하는 자기 공개 수치가 여기서 나온다.

지금 상태(대외 문안을 쓰기 전에 먼저 읽는다)

v7.3 채점기(2026-09-06 층 2 · 2026-09-08 층 full): 현행 채점기 버전은 aif-7.2+aif-v-7.3(검증 축 원점수에 발견 비율, 치명 놓침 한 단 감쇄, 보류·발송 대칭 상한, 분류 상한 3방향, 지어냄 상한 발생 턴 귀속, 제약 극성 절 단위)이고 이 접두의 기준 측정 행은 2026-09-06 1차(7세션 x 3회, 층 0·층 2) 와 2026-09-08(같은 7세션 x 3회, 층 0·층 full) 두 행이다. 가장 최근 행인 층 full 행이 현재 사실이다. 축별 정확 일치율은 다섯 축 모두 수용선을 넘었고(검증 100%, 위임·방어 90.5%, 판단·협업 81.0%), 채점 보류 비율은 0%(0 / 21)로 수용선 2.0%에 든다. 09-06 층 2 행의 보류 9.5%(최소 노력 고정답 세션 한 벌)는 그날 넣은 짧은 전사 채점 경로(서면 답이 빈약하면 인용 없는 축을 미채점이 아니라 관측되지 않은 것으로 확정한다)로 사라졌다. 종합 점수 ±5 초과 변동 세션은 7세션 중 2(28.6%)로 수용선 5.0% 밖이다. 두 세션의 변동원은 발견 원장이 아니라 채점 쪽이다. 하나(65/65/50)는 협업 축의 지어냄 이진 확인(fabrication_verified 상한)이 세 회차 중 한 회차에서만 켜지고 판단·협업 원점수가 한 단씩 내려간 것이고, 다른 하나(69/76/69)는 위임 원점수가 한 회차에서만 한 단 올라간 것(3→4)이다. 발견 원장은 7세션 중 6세션에서 회차마다 같았고(Jaccard 평균 0.968) 한 세션만 회차마다 달랐는데 그 세션의 종합 점수 변동은 4점이었다. 층 2 행에서 짚었던 '지어냄 이진 확인이 회차마다 갈린다'가 층 full에서도 그대로 최대 변동원이다. 아래 '기준 측정 기록' 절의 2026-09-04 1차(21세션 x 3회) 행은 옛 채점기 aif-7+aif-v-7.1의 기록으로 남고 현행 채점기의 근거가 아니다. 층 1(추출 재생) 단독 회차는 돌리지 않았다(층 full이 추출 재실행을 포함한다). 코퍼스는 모델이 연기한 세션이라 사람 응시자 분포를 대신하지 않아요.

시험 구조 v2(flow 2, 2026-09-07): 새 세션은 3·7단계 없이 여섯 단계 47분으로 돈다(문항 세트 aif-q-7.3). 채점기 지문(promptVersion·validatorVersion)은 그대로라 위 기준 측정 행은 이 구조에서도 현행 채점기의 근거로 남고, 구조 변경만으로 기준 측정을 다시 돌리지 않는다. 아래 '기준 측정 기록'에 flow 2 행을 새로 만들지 않는다.

채우는 순서는 이렇다.

순서무엇실모델 호출비고
1축별 정확 일치율, 종합 점수 ±5 초과 변동률필요(층 2, 40세션 x 3회)이 두 줄이 대외 문안을 현재형으로 쓰기 위한 최소치다
2설계 변별(known-groups)없음같은 코퍼스로 산출한다. 아래 예비 산출 참조
3형 간 동등화없음과제당 30세션이 쌓인 뒤 자동 계산
4편향 점검없음P1 종료 시 1회

수용선을 채우지 못한 축이 나오면 그 축은 결과지에서 점수 대신 사실 칩만 내는 축소 노출을 먼저 검토한다.

무엇을 재나

층대상지표기대
0분류 채점(scoreTriage)·서버 사실(computeFacts)·앵커 어휘 경로(anchorHitOf)재계산 바이트 동일변동 0(아니면 실패로 끝난다)
1발견 추출(extractFindings + 실모델)회차 간 발견 원장 Jaccard, extractor 분포, anchor_lexical 경로 고정, 모델 항목 폐기 수Jaccard 높을수록 좋고 anchor_lexical 변동은 0
2채점(R1 judge + validateScoring, 발견 원장 고정)축별 정확 일치율·SD(원점수 기준), 인용 탈락률, 미채점률, 원가·지연축별 정확 일치율 0.8 이상
full층 1 + 층 2를 이어 재생(추출 재실행 → 원장 교체 → 사실 재계산 → 채점)종합 점수 ±5 초과 변동률, 최대 변동폭, 상한 뒤집힘 비율(cap flip), 치명 결함 크레딧이 이진 조정 경로로만 성립한 회차 비율, 원장 Jaccard종합 점수 ±5 초과 변동 세션 5% 이하
  • 원점수 기준: 상한을 적용하기 전 값(axes[].rawScore)으로 잰다. 상한 표 자체는 서버 코드의 고정 값이다.
  • 다만 상한이 켜지는 조건은 발견 원장에서 나온다. 치명 결함 1건의 크레딧이 붙고 떨어지는 것만으로 verify 상한이 걸려 종합 점수가 12.5~15점 움직인다. 그래서 종합 점수 변동은 원장을 다시 뽑는 층 full에서만 잰다.
  • 서술(B)은 재현성 대상이 아니라 재생하지 않는다. 점수는 A에서만 나온다.
  • 임계: AIF_AGREEMENT_MIN = 0.8(채점 파이프라인 상수). 축별 정확 일치율이 이 값 미만인 축이 있으면 2샘플 분기(O13)를 검토한다. v7.0은 결과와 무관하게 audit.scoringAgreement를 전 축 single로 채운다.

수용선(단일 정본)

축별 수치가 적히는 곳은 이 표 하나다. 다른 문서·코드 주석은 이 표를 가리키기만 하고 값을 다시 적지 않는다.

지표수용선비고
verify 축 정확 일치율≥ 0.80상수 AIF_AGREEMENT_MIN(채점 파이프라인)과 같은 값
judgment 축 정확 일치율≥ 0.80상한 규칙이 가장 많이 걸리는 두 축
delegate 축 정확 일치율≥ 0.70상한 규칙이 덜 걸리는 축이라 낮게 잡았다(O13)
defend 축 정확 일치율≥ 0.70좌동
collaborate 축 정확 일치율≥ 0.70좌동
종합 점수 ±5 초과 변동 세션 비율≤ 5%층 full(추출 재실행 포함) 회차로만 잰다
채점 보류(unscored) 비율≤ 2%시스템 사유

읽는 규칙

  • 이 수용선은 개인 응시와 기업·기관 회차가 같이 쓴다. 회차 쪽 기준이 개인 연습보다 느슨할 수 없다. 축별 값을 낮추려면 두 게이트를 같은 값으로 낮추고 그 근거를 이 표에 함께 적는다.
  • 회차가 실제로 쓰는 채점 정책(single 또는 2샘플)의 행이 수용선을 채워야 한다. single 행과 2샘플 행을 한 표에 섞어 읽지 않는다.
  • 아래 기록 표의 열은 다음과 같다: 채점기 버전 · 코퍼스 n · 반복 k · 채점 정책 · 축별 정확 일치율 · 축별 ±1 일치율 · 축별 SD(원점수) · 종합 점수 ±5 초과 변동률 · 채점 보류 비율 · 인용 탈락률 · 실행 원가.
  • 축별 값이 수용선 밖이면 그 채점기 버전으로는 게이트를 열지 않는다.

형 간 동등화

같은 능력이라도 과제(형)가 다르면 점수가 달라질 수 있다. v7.0은 통계적 동등화(IRT·앵커 문항)를 하지 않는다. 대신 세 겹으로 다룬다.

  1. 규격 동등화: 모든 sealed 과제가 같은 규격 검사를 통과한다(본문 길이·심은 결함 수·정답지 필수 항목·작업 프로파일 표기).
  2. 경험 동등화: 과제당 30세션 이상이 쌓이면 과제별 종합 점수 평균·SD와 결함 발견 비율을 풀 전체와 견준다.
    • 종합 평균이 풀 평균에서 ±8점 밖이거나
    • 과제의 중앙 결함 발견 비율이 0.35~0.75 밖이면 그 과제를 퇴역 후보로 올린다(과제 은행 퇴역 도구).
  3. 대체 규칙: 그때까지는 같은 draftId끼리만 비교한다. 결과지·콘솔·기관 이용 조건에 같은 문장으로 적는다.

대규모 회차 주의: sealed 과제 한 벌은 퇴역 임계와 정답지 공개로 소모된다. 회차를 열기 전에 '예상 인원 대비 남은 sealed 벌 수'를 확인한다.

과제(해시)세션 n종합 평균SD중앙 결함 발견 비율풀 평균 대비상태
아직 기록된 행이 없어요.

(값 미기입: 과제당 30세션이 쌓인 뒤 채운다.)

설계 변별(known-groups)

설계상 잘할 페르소나와 못할 페르소나가 실제로 갈리는지를 본다. 산출은 저장소의 기지집단 분석 스크립트이고 M15 코퍼스와 재생 결과를 다시 쓰므로 추가 실모델 호출이 없다.

지표 넷: ① 설계 밴드 적중률 90% 이상 ② 인접 티어 역전 0 ③ 목표 축 원점수 중앙값 차 2 이상 ④ 사실 칩(정직 페르소나 지어냄 0 · 오탐 페르소나 빗나간 지적 중앙값 2 이상 · 규제 민감 발송 페르소나 유출 발송 100%).

아래 블록은 위 명령이 통째로 갈아 끼운다. 지금 실려 있는 것은 시뮬 산출물(페르소나 8종 x 각 1회)로 낸 예비 산출이고 기준 측정이 아니다. 반복이 1회뿐이라 밴드 적중률과 티어 역전은 크게 흔들리고, 실제로 지표 넷 중 셋이 기준 밖으로 나온다. 스크립트도 그 상태에서 실패로 끝나므로 이 값으로는 게이트가 열리지 않는다. 코퍼스가 차면 같은 명령을 다시 돌려 이 블록을 덮는다. 예비 산출의 수치는 대외 자료에 인용하지 않는다.

모델이 연기한 응답이라 사람 응시자 분포를 대신하지 않아요.

설계 변별 · 예비 산출 · 페르소나 8종 x 1회(코퍼스 미충족) · 2026-09-03

  • 런 8건. 설계 밴드·티어·대조 쌍은 실행 전에 고정한 값이에요(기지집단 설계표 KNOWN_GROUPS_DESIGN).
페르소나티어설계 밴드런채점 보류종합 중앙값밴드 적중delegateverifyjudgmentdefendcollaborate지어냄 합빗나간 지적 중앙값leak_sent 비율
검증형(verifier)165~1001085.01/13.04.04.04.03.000.00%
경계우선형(boundary_first)250~901088.01/13.04.04.04.04.001.00%
주입형(injector)240~851080.01/13.03.04.04.04.001.00%
반복형(iterator)335~751088.00/13.04.04.04.04.000.00%
중계형(ai_relayer)415~601043.01/12.01.02.02.02.000.00%
과신형(overconfident)410~551032.01/12.01.01.01.02.000.0100%
경계무시형(boundary_blind)50~501056.00/13.01.02.03.04.000.00%
복붙형(paster)50~451036.01/12.01.01.02.02.000.00%
지표값기준결과
① 설계 밴드 적중률75.0% (6/8)≥ 90%기준 밖
② 인접 티어 역전6건 / 10쌍 (verifier 85 ≤ boundary_first 88, boundary_first 88 ≤ iterator 88, injector 80 ≤ iterator 88, ai_relayer 43 ≤ boundary_blind 56, overconfident 32 ≤ boundary_blind 56, overconfident 32 ≤ paster 36)0건기준 밖
③ verify 변별폭(verifier vs paster)3.00rawScore 차 ≥ 2통과
③ judgment 변별폭(boundary_first vs boundary_blind)2.00rawScore 차 ≥ 2통과
③ defend 변별폭(verifier vs overconfident)3.00rawScore 차 ≥ 2통과
③ delegate 변별폭(verifier vs ai_relayer)1.00rawScore 차 ≥ 2기준 밖
④ 정직 페르소나 지어냄(verifier, boundary_first, iterator)00통과
④ 오탐 페르소나 빗나간 지적 중앙값(overconfident)0.0≥ 2기준 밖
④ 규제 민감 발송 페르소나 leak_sent(boundary_blind)0%100%기준 밖
  • 종합: 기준 밖 또는 측정 불가 항목 있음. 측정 도구: 기지집단 분석 스크립트(추가 실모델 호출 0).

시뮬 축 분포·상관(축 입력 변별)

축이 서로 베끼고 있지는 않은지, 분량이 점수를 끌고 있지는 않은지, 형판 규칙만 쓰는 응시자가 실제로 갈리는지를 같은 산출물로 산출한다. 산출은 시뮬 회차 분석 스크립트이고 추가 실모델 호출이 없다.

이 절의 두 조건(실행 전에 고정한 값, SIM_GATE)

조건기준왜
대비반 페르소나 점수와 정직 세션 최고점의 차15점 이상형판 규칙(문장 난사·무조건 보류·뒤 두 항목 기각·정형 대본)으로 점수가 붙으면 이 시험은 능력이 아니라 요령을 잰다
길이 트윈 쌍의 종합 점수 차5점 이내같은 내용을 두 배 분량으로 쓴 쌍이다. 차가 크면 분량이 점수를 끄는 것이다

읽는 규칙

  • 축별 표준편차가 0에 가까운 축은 그 회차에서 변별하지 못한 축이다. 그 축의 값을 변별 근거로 인용하지 않는다.
  • 제약 반영률이 전 세션 같은 값이면 위임 축 입력이 실험에서 고정돼 있었다는 뜻이다. 2026-09-03 이전 회차가 그 상태였고(러너가 작업 패널 프롬프트를 만들어 넣었다), 그 회차의 위임 축 점수와 제약 반영률은 변별 근거에서 뺀다.
  • 이 절은 시뮬 산출물이라 기준 측정도 편향 점검도 아니다. 대외 자료에 인용하지 않는다.

(값 미기입: 위 명령으로 채운다.)

편향 점검

산출은 공정성 산식과 그 보고 스크립트다. 그룹 축 일곱(AIF 패밀리 · 연차 밴드 · 언어 · 과제 매칭 경로 · 규제 모드 · 과제 해시 · 설정 출처)마다 n · 종합 점수 평균·SD · 60점 이상 비율 · 채점 보류 비율 · 최고 그룹 대비 비율을 낸다.

규칙

  • 셀 n이 30 미만이면 집계 보류로 두고 수치를 내지 않는다.
  • 최고 그룹 대비 비율이 0.8 미만이면 검토 플래그를 세운다. 4/5 규칙은 선별 휴리스틱이고 법적 판단이 아니다.
  • 연차 밴드 사이의 차이는 재는 능력 자체와 관련된 차이일 수 있어 보고만 한다.
  • 과제 매칭이 fallback인 그룹의 종합 평균이 tag 그룹보다 5점 이상 낮으면 직군 핏 결함으로 보고 과제 저작 큐로 넘긴다.
  • 보호 속성(성별·연령)은 수집하지 않으므로 그 축은 산출할 수 없다. 기관이 자사 보유 속성으로 직접 내는 절차는 파일럿 협약 부록에 있다.
  • 주기: P1 종료 시 1회, 이후 연 1회, 채점기 버전이 바뀔 때.

(값 미기입: 위 명령으로 채운다.)

연습 상품과의 관계

같은 코드베이스가 개인 연습(practice 풀)과 기관·기업 회차(sealed 풀)를 함께 돌린다. 단계 구조·다섯 축·상한 규칙은 두 풀에서 같고, 갈리는 것은 과제 은행뿐이다. 시험을 만드는 쪽이 그 시험의 연습 상품도 판다는 뜻이므로, 연습을 산 응시자가 유리한지를 수치로 답할 수 있어야 한다. 지금은 답할 수치가 없다.

풀 분리 현황(실측, 과제 은행 기준)

언어과제 총수sealedsealed 중 회차 배정 가능
ko2337878
en700
ja700
  • 한국어 회차는 sealed 풀에서만 과제를 받는다. 개인 연습에는 sealed 과제가 나가지 않는다.
  • 영어·일본어는 2026-09-08부터 개인 연습만 열린다. 그날 두 언어 일곱 벌씩에 검토 의견·앵커·제약 키를 저작해 언어별 출제 가능 수가 개방 기준 7벌을 채웠고, 셋업 언어 선택에 두 언어가 뜬다. 저작분은 전부 연습 풀이다.
  • 영어·일본어 회차(기관·기업)는 그대로 닫혀 있다. sealed 과제가 0벌이라 비한국어 회차 개방 기준(12벌)에 못 미친다. 이 상태에서 회차를 열면 과제를 연습 풀에서 받게 되고, 그 과제는 개인 연습 상품에도 그대로 있다. 게다가 풀이 sealed가 아니면 창 종료 전 유보가 걸리지 않아 응시자가 그 회차의 정답 위치·수정문·후속 질문을
  • 두 언어의 직무 L3 보조 문안(직군·업종·사무 오버레이)은 아직 한국어만 저작돼 있어 그 행은 화면에서 숨는다.

측정해야 하는 것(아직 값 없음)

연습 응시 이력이 있는 응시자와 없는 응시자의 sealed 종합 점수 차. P1 지표로 잡고(파일럿 협약) 결과를 아래 표에 싣는다. 유의한 차가 나오면 sealed 과제 계열을 연습 계열과 구조적으로 갈라야 한다.

채점기 버전표본 n연습 이력 있음 평균연습 이력 없음 평균차비고
아직 기록된 행이 없어요.

(값 미기입: P1 표본이 찬 뒤 채운다.)

기관 이용 조건에 풀 분리와 연습 상품이 함께 있다는 사실을 적는다. 계약 상대가 그 사실을 우리 문서에서 먼저 알아야 한다.

파일럿 결과

단계표본상태요약
P0 내부10세션미기입사무직·제조 5직군 포함
P1 공개120세션(직군 6셀 x 20)미기입완주율·소요·결함 발견 비율·점수 분포·원가·문의 접수율
P2 기업기업 2곳 x n 30 이상미기입후속 면접 평가와의 순위 상관(점추정과 신뢰구간 병기)

절차·지표·데이터 협약은 파일럿 협약에 있다. 예측 타당도 수치는 계약 조건에 넣지 않는다.

동시 부하 실측(§9.4-8)

기업 회차는 같은 시각에 응시가 끝난다. 좌석 수만큼의 결과지 생성이 한꺼번에 나가므로, 회차를 열기 전에 동시 부하를 한 번 잰다.

수용선: 동시 20세션에서 p95 지연 240초 미만 · 과부하(429·529) 응답 0건. 못 넘기면 스크립트가 exit 1로 끝난다. 러너는 재시도·백오프를 넣지 않는다. 백오프를 넣고 재면 과부하가 지연으로 숨어 '과부하 0건'이 거짓으로 참이 된다.

담당자 콘솔이 '동시 완료 상한은 실측 20세션 기준'이라고 적는 근거가 이 표다. 표가 비어 있으면 그 문장을 쓸 수 없고, 콘솔은 "20세션을 설계 기준으로 두었고 부하 실측 결과는 재현성 문서에 게시 예정"으로 적는다 (결과지의 측정 범위 블록 loadText가 이 표의 행 수를 읽어 두 문장 중 하나를 고른다). 기관 이용 조건 9.2도 같다.

기준 측정 기록

아래에 replay.ts 실행 결과가 채점기 버전별로 쌓인다. 사람이 손으로 고치지 않는다. 표를 인용할 때는 항상 같은 문장을 함께 쓴다: 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.

2026-09-04 기준 측정 1차(층 0·층 2, n=21)

  • 채점기 버전 aif-7+aif-v-7.1+aif-s-7.0+r-4af8348b+p-8c124539. 코퍼스 21세션 x 3회, 유효 회차 63 / 시도 63.
  • 코퍼스는 시뮬 회차 산출물(전사 파일의 aif_state v3)이고, 완주·채점 완료·전사 지문 중복 제거를 통과한 세션만 담았다. 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.
  • 층 0(computeFacts·scoreTriage·anchorHitOf·rulesHashOf 2회 재계산) 883건 검사, 바이트 불일치 0건.
  • 층 2는 저장된 발견 원장을 고정한 채 R1 judge(A) + validateScoring만 다시 돌린 값이다. 서술 B는 재현성 대상이 아니라 부르지 않았다.
축정확 일치율SD(원점수)수용선대비
delegate93.7%0.05≥ 0.70충족
verify87.3%0.11≥ 0.80충족
judgment93.7%0.05≥ 0.80충족
defend90.5%0.08≥ 0.70충족
collaborate90.5%0.08≥ 0.70충족
지표값수용선대비
채점 보류(unscored) 비율0.0% (0 / 63 회차)≤ 2.0%충족
종합 점수 ±5 초과 변동 세션 비율층 full 미측정≤ 5.0%미측정
참고 지표(수용선 대조 아님)값
종합 점수 ±5 초과 변동 세션(원장 고정, 층 2)7 / 21
종합 점수 최대 변동폭(원장 고정, 층 2)9점
상한이 회차마다 갈린 세션2 / 21
인용 탈락률6.5% (101 / 1547)
R1'' 재인용이 돈 회차0 / 63
평균 지연(회차 1건)122초
최대 지연(회차 1건)208초
실행 소요46.5분

산식

  • 축별 정확 일치율: 세션마다 그 축의 원점수(axes[].rawScore, 0~4)를 회차 쌍으로 전부 비교해 값이 정확히 같은 쌍의 비율을 내고(|{(i,j): i<j, v_i = v_j}| / C(k,2), k=유효 회차 수), 세션별 그 비율을 산술평균한다. N/A(null)는 하나의 값으로 세고 null끼리는 일치로 본다. 유효 회차가 2개 미만인 세션은 쌍이 없어 제외한다.
  • 축별 SD: 세션마다 그 축 원점수의 표본표준편차(n-1)를 내고 세션별로 산술평균한다. 값이 있는 회차가 2개 미만인 세션은 제외한다.
  • 채점 보류 비율: (validateScoring이 unscored로 표시한 회차 + 채점 산출을 못 낸 회차) / 시도한 회차. 뒤엣것은 프로덕션이라면 gate_only_verifier로 강등 발행되는 회차다.
  • 인용 탈락률: 전 회차의 quoteVerification.dropped 합 / checked 합.
  • 종합 점수 변동: 세션의 유효 회차 종합 점수 최댓값에서 최솟값을 뺀 값. 5점 초과면 변동 세션으로 센다.
  • 원가: 모든 모델 호출의 usage에 예산 단가표를 곱해 누산한 값(judge·judge_retry·requote·fab_confirm·fp_confirm·plan_confirm).

측정 범위

  • 층 1(발견 추출 재생)과 층 full(추출 재실행까지 이어 붙인 회차)은 이번 회차에서 돌리지 않았다. 미측정이다.
  • 수용선의 종합 점수 ±5 초과 변동 행은 층 full로만 채운다. 위 참고 지표의 층 2 값은 발견 원장을 고정한 값이라 상한을 켜고 끄는 최대 변동원이 빠져 있다.
  • 다만 원장을 고정한 층 2에서도 ±5 초과 변동 세션이 21건 중 7건(33.3%)이고 최대 변동폭은 9점이다. 층 full은 여기에 발견 원장 재추출 변동이 더 얹히는 회차라, 이 값보다 작게 나올 근거가 없다. 수용선 5.0% 행은 층 full 회차를 돌린 뒤에 채운다.
  • 코퍼스 상태에 적힌 채점기 라벨은 aif-7+aif-v-7.0+aif-s-7.0+r-4af8348b+p-8c124539 · aif-7+aif-v-7.1+aif-s-7.0+r-4af8348b+p-8c124539이고, 이번 회차를 실제로 채점한 코드의 버전은 aif-7+aif-v-7.1+aif-s-7.0+r-4af8348b+p-8c124539이다. 표의 행 키는 뒤엣것이다.

측정 도구: 재현성 재생 스크립트(3회 반복, 동시 3). 채점 모델 claude-opus-5 effort high, 이진 확인 claude-sonnet-5.

2026-09-06 기준 측정 1차(층 0·층 2, n=7)

  • 채점기 버전 aif-7.2+aif-v-7.3+aif-s-7.0+r-bc082b61+p-4a899d47. 코퍼스 7세션 x 3회, 유효 회차 21 / 시도 21.
  • 코퍼스는 2026-09-05 수리본 재검증 실주행 7세션(직군 페르소나 6 + 최소 노력 고정답 1, 전사 파일의 aif_state v3)이고, 완주·채점 완료·전사 지문 중복 제거를 통과한 세션만 담았다. 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.
  • 층 0(computeFacts·scoreTriage·anchorHitOf·rulesHashOf 2회 재계산) 288건 검사, 바이트 불일치 0건.
  • 층 2는 저장된 발견 원장을 고정한 채 R1 judge(A) + validateScoring만 다시 돌린 값이다. 서술 B는 재현성 대상이 아니라 부르지 않았다.
축정확 일치율SD(원점수)수용선대비
delegate90.5%0.08≥ 0.70충족
verify100.0%0.00≥ 0.80충족
judgment90.5%0.08≥ 0.80충족
defend81.0%0.16≥ 0.70충족
collaborate100.0%0.00≥ 0.70충족
지표값수용선대비
채점 보류(unscored) 비율9.5% (2 / 21 회차)≤ 2.0%수용선 밖
종합 점수 ±5 초과 변동 세션 비율층 full 미측정≤ 5.0%미측정
참고 지표(수용선 대조 아님)값
종합 점수 ±5 초과 변동 세션(원장 고정, 층 2)2 / 6
종합 점수 최대 변동폭(원장 고정, 층 2)13점
상한이 회차마다 갈린 세션1 / 7
인용 탈락률6.4% (32 / 503)
R1'' 재인용이 돈 회차0 / 21
평균 지연(회차 1건)130초
최대 지연(회차 1건)193초
실행 소요17.3분

산식

  • 축별 정확 일치율: 세션마다 그 축의 원점수(axes[].rawScore, 0~4)를 회차 쌍으로 전부 비교해 값이 정확히 같은 쌍의 비율을 내고(|{(i,j): i<j, v_i = v_j}| / C(k,2), k=유효 회차 수), 세션별 그 비율을 산술평균한다. N/A(null)는 하나의 값으로 세고 null끼리는 일치로 본다. 유효 회차가 2개 미만인 세션은 쌍이 없어 제외한다.
  • 축별 SD: 세션마다 그 축 원점수의 표본표준편차(n-1)를 내고 세션별로 산술평균한다. 값이 있는 회차가 2개 미만인 세션은 제외한다.
  • 채점 보류 비율: (validateScoring이 unscored로 표시한 회차 + 채점 산출을 못 낸 회차) / 시도한 회차. 뒤엣것은 프로덕션이라면 gate_only_verifier로 강등 발행되는 회차다.
  • 인용 탈락률: 전 회차의 quoteVerification.dropped 합 / checked 합.
  • 종합 점수 변동: 세션의 유효 회차 종합 점수 최댓값에서 최솟값을 뺀 값. 5점 초과면 변동 세션으로 센다.

측정 범위

  • 층 1(발견 추출 재생)과 층 full(추출 재실행까지 이어 붙인 회차)은 이번 회차에서 돌리지 않았다. 미측정이다.
  • 수용선의 종합 점수 ±5 초과 변동 행은 층 full로만 채운다. 위 참고 지표의 층 2 값은 발견 원장을 고정한 값이라 상한을 켜고 끄는 최대 변동원이 빠져 있다.
  • 다만 원장을 고정한 층 2에서도 ±5 초과 변동 세션이 6건 중 2건(33.3%)이고 최대 변동폭은 13점이다. 층 full은 여기에 발견 원장 재추출 변동이 더 얹히는 회차라, 이 값보다 작게 나올 근거가 없다. 수용선 5.0% 행은 층 full 회차를 돌린 뒤에 채운다.
  • 코퍼스 상태에 적힌 채점기 라벨은 aif-7.2+aif-v-7.3+aif-s-7.0+r-bc082b61+p-4a899d47이고, 이번 회차를 실제로 채점한 코드의 버전은 aif-7.2+aif-v-7.3+aif-s-7.0+r-bc082b61+p-4a899d47이다. 표의 행 키는 뒤엣것이다.

측정 도구: 재현성 측정 스크립트(3회 반복, 동시 3). 채점 모델 claude-opus-5 effort high, 이진 확인 claude-sonnet-5.

2026-09-08 기준 측정(층 0·층 full, n=7)

  • 채점기 버전 aif-7.2+aif-v-7.3+aif-s-7.0+r-2586e171+p-5d0dea2f. 코퍼스 7세션 x 3회.
  • 층 0(computeFacts·scoreTriage·anchorHitOf 2회 재계산) 7건 검사, 바이트 불일치 0건.
  • 층 full은 추출 재실행 → 발견 원장 교체 → 서버 사실 재계산 → A 채점 → validateScoring을 한 파이프라인으로 이었다. 응시자가 겪는 종합 점수 변동은 이 행이 정본이다. 서술 B는 재현성 대상이 아니라 부르지 않았다.
  • 유효 회차 21 / 시도 21. 코퍼스는 2026-09-06 1차와 같은 7세션(시뮬 세션 산출물의 aif_state v3)이다. 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.
축정확 일치율SD(원점수)수용선대비
delegate90.5%0.08≥ 0.70충족
verify100.0%0.00≥ 0.80충족
judgment81.0%0.16≥ 0.80충족
defend90.5%0.08≥ 0.70충족
collaborate81.0%0.16≥ 0.70충족
지표값수용선대비
채점 보류(unscored) 비율0.0% (0 / 21 회차)≤ 2.0%충족
종합 점수 ±5 초과 변동 세션 비율28.6% (2 / 7 세션)≤ 5.0%수용선 밖
참고 지표(수용선 대조 아님)값
종합 점수 최대 변동폭(전체 재생)15점
세션별 종합 점수(회차순)backend_careful 76/76/76 · data_careful 84/84/81 · hr_careful 65/65/50 · marketer_lazy 52/48/48 · ops_floor 6/6/6 · pm_hasty 69/69/69 · sales_hasty 69/76/69
상한이 회차마다 갈린 세션(cap flip)3 / 7
치명 결함 크레딧이 이진 조정 경로로만 성립한 회차13 / 21
발견 원장 Jaccard(회차 간 평균)0.968
평균 지연(회차 1건)140초
최대 지연(회차 1건)199초
실행 소요18.1분

산식

  • 축별 정확 일치율: 세션마다 그 축의 원점수(axes[].rawScore, 0~4)를 회차 쌍으로 전부 비교해 값이 정확히 같은 쌍의 비율을 내고(|{(i,j): i<j, v_i = v_j}| / C(k,2), k=유효 회차 수), 세션별 그 비율을 산술평균한다. N/A(null)는 하나의 값으로 세고 null끼리는 일치로 본다. 유효 회차가 2개 미만인 세션은 쌍이 없어 제외한다.
  • 축별 SD: 세션마다 그 축 원점수의 표본표준편차(n-1)를 내고 세션별로 산술평균한다. 값이 있는 회차가 2개 미만인 세션은 제외한다.
  • 채점 보류 비율: (validateScoring이 unscored로 표시한 회차 + 채점 산출을 못 낸 회차) / 시도한 회차.
  • 종합 점수 변동: 세션의 유효 회차 종합 점수 최댓값에서 최솟값을 뺀 값. 5점 초과면 변동 세션으로 센다. 이 행은 발견 원장을 회차마다 다시 뽑은 값이라 상한이 켜지고 꺼지는 변동까지 들어 있다.
  • 발견 원장 Jaccard: 회차 쌍마다 크레딧된 plant id 집합의 교집합 / 합집합, 세션 평균.

측정 범위

  • 이 행이 수용선의 종합 점수 ±5 초과 변동 행을 처음 채운다. 축별 정확 일치율·채점 보류 비율도 같은 전체 재생 회차에서 다시 냈다.
  • 코퍼스 상태의 채점기 지문은 promptVersion aif-7.2, validatorVersion aif-v-7.3이고, 이번 회차를 실제로 채점한 코드의 버전은 aif-7.2+aif-v-7.3+aif-s-7.0+r-2586e171+p-5d0dea2f이다. 표의 행 키는 뒤엣것이다.

측정 도구: 재현성 재생 스크립트(full 층, 3회 반복, 동시 3). 채점 모델 claude-opus-5 effort high, 추출·이진 확인 claude-sonnet-5. 모델이 연기한 코퍼스라 사람 응시자 분포를 대신하지 않아요.

문의: jd@jidonglab.com