AI 활용 실기 평가 측정 범위

이 문서는 결과지 채용사 뷰의 '측정 범위' 블록과 같은 내용을 한 장으로 펴 놓은 것이다. 제안서·기관 안내에 그대로 붙여도 되도록 문안을 맞췄다(결과지 문안이 정본, 이 문서가 사본).

한 줄 요약

AI에 일을 맡기고, 나온 결과를 검토하고, 보낼지 판단하는 과정을 실기로 재는 측정 도구예요. 판정을 내리지 않아요.

구성개념 정의와 준거 프레임워크

재는 것은 업무 맥락에서 AI에 일을 맡기고, 나온 결과를 확인하고, 내보낼지 정하고, 그 판단을 자기 말로 설명하고, 남에게 넘기는 일련의 행동이다. 지식의 양이나 도구 사용 횟수가 아니라 행동의 유무와 근거의 질을 본다.

준거는 Anthropic AI Fluency Framework의 4D다. 우리 5축은 4D를 실기 관찰이 가능한 단위로 쪼갠 것이며, 4D 자체를 바꾸거나 우리 축을 4D의 공식 구현이라고 말하지 않는다.

• 출처: AI Fluency Framework(Rick Dakan, Joseph Feller와 Anthropic 공동 개발), https://aifluencyframework.org/
• 라이선스: CC BY-NC-SA. 프레임워크 자체에는 하위 기능·채점 루브릭이 공개돼 있지 않아 축 정의와 루브릭은 우리가 썼다.
• 확인: 2026-09-02 수집(research [1.0], confirmed)

측정하는 것

2026-09-07 이전 회차에는 정거장 3(확인 방법 정하기)과 정거장 7(압박 상황 판단)이 따로 있었다. 그 회차의 결과지는 그 구성대로 채점된 것이고 다시 채점하지 않는다.

측정 대상은 전부 타이핑으로 제출한 텍스트와 이 화면 안의 AI 작업 기록이다.

측정하지 않는 것

• 직무 지식 시험. 초안에 심긴 지식 항목은 '확인 필요'라고 지목만 해도 인정한다.
• 성격·태도·표정·목소리. 영상·음성을 받지 않는다.
• 다른 응시자와 견준 상대 위치(등수·순위·상위 비율).
• AI가 낸 출력의 좋고 나쁨. 재는 것은 응시자의 행동이다.

어떻게 재나

1. 초안은 사람이 검수한 고정 은행에서 나온다. 결함과 정답지는 미리 정해져 있고 즉석에서 만들지 않는다.
2. 응시자가 찾은 결함은 서버가 앵커 대조로 먼저 잡고, 애매한 것만 모델 한 번으로 갈라 정한다. 정거장 2가 끝나면 본인 발견 원장을 봉인하고, 그 뒤에는 원장이 늘지 않는다.
3. 채점은 두 단계다. 먼저 상한 규칙을 숨긴 채 축별 점수를 매기고(채점 모델), 그다음 확정된 점수 위에 서술을 붙인다. 상한 규칙(예: 치명 결함을 놓치면 검증 축 상한)은 서버 코드의 고정 표이고, 모델이 바꾸지 못한다.
4. 결과지의 모든 인용은 응시자가 실제로 쓴 문장의 연속 구간이어야 한다. 대조에 실패한 인용은 버리고, 인용이 하나도 남지 않은 축은 채점하지 않는다(미채점 표기).
5. 종합 점수는 축 점수의 가중 평균(0~100)이고, 다섯 축 전부가 채점되지 않으면 종합 점수를 내지 않는다 (채점 규칙 상수 WEIGHTED_MIN_AXES = 5). 축이 빠진 세션과 다섯 축 세션을 같은 눈금에 나란히 놓지 않는다.

축별 행동 기준(0~4)

축 점수를 매길 때 채점 모델이 받는 기준문 전문이다. 세션마다 새로 쓰지 않는 고정 문안이고, 이 문안이 바뀌면 채점기 버전이 올라간다. 아래 표는 채점기 코드의 축 기준문(AXIS_RUBRIC_72)에서 생성한 것이라 코드와 같은 문장이고, 배포 게이트가 둘을 대조한다.

검증 축의 점수는 모델이 아니라 서버 산식이 낸다(serverVerifyScoreOf). 모델은 그 축의 수준 설명과 근거 인용만 쓴다. 응시자가 찾은 결함 수는 검증 축에서만 보고 다른 축의 근거로 쓰지 않는다.

아래 표에는 각 축의 0~4 기준 줄만 싣는다. 채점기 지문에는 모델에게 거는 지시문이 함께 들어 있는데, 그 문장은 읽는 사람을 향한 말이 아니라서 뺐다.

응시자·담당자가 '왜 이 점수인가'를 물을 때 답의 출처는 여기다. 결과지의 축 점수 옆에는 모델이 그 세션을 보고 쓴 수준 한 줄이 실리고, 세션마다 문장이 다르다. 세션과 무관한 고정 기준문은 이 문서에서 본다.

위임(delegate)

• 4: 실제 보낸 요청(1단계 최종 요청·5단계 수정 지시)에 목적·맥락·브리프 제약·출력 형태가 있고, 수정 지시는 자기가 아는 항목과 고칠 범위를 지목하며, 응답을 보고 재지시한 이유가 지시의 변화로 드러난다.
• 3: 요청에 맥락·형식은 있으나 항목·범위 지목이 부분적이고, 재지시 이유가 지시 변화로 절반만 드러난다.
• 2: 한 줄 지시로 무엇을 어떻게 고칠지 모델이 추측하게 둔다.
• 1: 지시가 모호하고 같은 요청을 그대로 다시 보낸다.
• 0: 지시 행위를 보여주지도 설명하지도 못함.

검증(verify)

• 4: 확인 방법 진술이 2종 이상이고 대조 대상을 적은 진술이 2건 이상이며, AI 수정안에 새로 들어간 오류를 잡았다(지목 또는 되돌림).
• 3: 확인 방법 진술이 2종 이상이고, AI 수정안의 오류를 잡았거나 수정안이 바꾼 문장을 되돌리거나 고쳤다.
• 2: 확인 방법 진술이 2종 이상이거나, 진술이 1건 이상이면서 AI 수정안을 검토한 흔적(오류 지목·되돌림·재지시에서 응답 인용)이 있다.
• 1: 확인 방법 진술이 1건 이상이거나 AI 수정안을 검토한 흔적이 있다.
• 0: 확인 방법 진술도 AI 수정안 검토 흔적도 없다.

판단(judgment)

• 4: 발송 판단을 근거와 함께 내리고, 잔존 항목 수·되돌릴 수 있음·검증 가능성의 자기 기준과 민감정보 취급 규칙·본인 책임을 명시하며, AI 의견 분류(수용·기각·확인 필요)가 그 근거와 일치한다.
• 3: 기준은 대나 근거가 관행적이거나, AI 의견 분류의 근거가 얕다.
• 2: 물으면 즉석에서 경계를 구성하는 수준. 또는 발견은 했는데 발송 판단을 내리지 않는다.
• 1: 결함이 남은 초안을 그대로 승인하고 민감정보 규칙이 없다.
• 0: 기밀·책임·발송 질문에 답하지 못함.

방어(defend)

• 4: 직접 바꾼 대목 또는 AI 수정안 중 되돌리거나 고친 대목을 골라 구조·약점·깨지는 조건을 설명하고 앞선 선택을 일관되게 방어한다.
• 3: 구조는 설명하나 약점 지목이 피상적이다.
• 2: 정직한 유보("모르겠다·지금 확인 못 한다")에 확인 방법·다음 행동이 붙는다(근거 없는 단정보다 위다. 단 모든 질문을 "확인해 보겠다"로만 일관하면 1).
• 1: 자기가 말한 것을 설명하지 못한다(앞뒤 불일치 포함).
• 0: 서면 확인 질문에 답하지 못함.

협업(collaborate)

• 4: AI 기여(초안 생성·AI 수정안 채택 사실)를 먼저 공개하고 본인 몫을 특정하며, 동료 검증·리뷰를 절차에 넣는다.
• 3: 기여 분리는 하나 팀 절차 연결이 약하거나 수정안 채택 사실을 말하지 않는다.
• 2: 물으면 나누지만 공개·리뷰 관행이 없다.
• 1: AI 몫을 전부 본인 것으로 말하거나 책임을 이전한다.
• 0: 기여 분리 질문에 답하지 못함.

상한 규칙은 이 기준문에 들어 있지 않다. 채점 모델은 상한을 모르는 상태로 위 기준만 보고 점수를 내고, 서버가 그 위에 고정 상한 표를 적용한다. 그래서 결과지의 축 점수가 위 기준문보다 낮게 보일 수 있고, 그 경우 상한이 걸린 사실과 사유가 결과지에 함께 표시된다.

재현성 수치를 함께 공개한다

같은 제출물을 여러 번 다시 채점해 얼마나 같은 점수가 나오는지를 재고, 그 수치를 재현성 문서 (https://preterview.com/docs/aif-reliability)에 채점기 버전별로 쌓는다. 측정 도구를 파는 쪽이 오차를 감추지 않는 것이 이 상품의 조건이다. 공개 항목은 다음과 같다.

• 축별 정확 일치율과 표준편차(상한 적용 전 원점수 기준)
• 종합 점수가 5점을 넘게 흔들린 세션 비율
• 발견 원장 재현율(회차 간 Jaccard), 결정적 층(분류·서버 사실·앵커 경로)의 변동 0 확인
• 인용 탈락률, 미채점 비율, 세션당 원가

결과를 읽는 법

• 같은 과제(draftId)끼리만 비교한다. 과제가 다르면 결함 구성이 달라 점수의 뜻이 달라진다.
• 점수는 판정이 아니라 측정 결과다. 뽑을지 말지는 담당자가 결과를 보고 정한다.
• 결과지의 '확인할 질문'은 후속 대화 소재로 쓰라고 만든 것이다. 그 질문에 답하는 과정이 곧 두 번째 관찰 기회다.
• AI가 자동 채점했고 사람이 개별 검토하지 않는다. 이의가 있으면 문의 경로로 재채점을 요청할 수 있다.

축 점수 10점 표시와 참고 눈금 7.5

결과지의 축 점수는 0~4로 매긴 값을 10점 자리로 늘려 보여 준 것이다(0 → 0, 1 → 2.5, 2 → 5, 3 → 7.5, 4 → 10). 같이 찍히는 '참고 눈금 7.5'는 그 눈금이 0~4 기준의 3, 곧 위 축별 행동 기준의 3번 줄에 해당한다는 표시다. 그 줄에 적힌 행동이 그 눈금의 뜻이고, 그보다 아래는 3번 줄의 행동이 관찰되지 않았다는 뜻이다.

• 눈금 값은 다섯 축·전 직무·전 연차가 같다. 축마다 다른 눈금을 두지 않는다.
• 이 눈금으로 합격선을 정하지 않는다. 눈금 아래라고 해서 제품 안에서 자동으로 일어나는 처리는 없다.
• 눈금을 지우고 축별 행동 기준의 3번 줄을 그대로 읽어도 정보량은 같다. 눈금은 그 줄을 가리키는 표시일 뿐이다.

종합 점수 0~100

종합 점수는 다섯 축 점수의 가중 평균이다. 가중치는 규제 모드에 따라 두 벌이 있고 서버 코드에 고정돼 있으며, 다섯 축 가운데 하나라도 채점되지 않으면 종합 점수를 내지 않는다(채점 규칙 상수 WEIGHTED_MIN_AXES = 5).

지금 이 문서가 줄 수 있는 해석은 축 단위까지다. 점수대별로 어떤 행동 묶음이 나타나는지를 적은 표는 아직 없다. 사람 응시자 표본이 없기 때문이고, 파일럿 P1 표본이 차면 점수대별 행동 분포를 재서 이 문서와 재현성 문서에 싣는다(파일럿 협약 P1 지표).

그때까지 종합 점수를 읽는 방법은 하나다. 종합 점수를 먼저 보지 말고 다섯 축 점수와 그 옆의 행동 기준 줄, 그리고 사실 칩(치명 결함 놓침·근거와 어긋난 설명·민감정보 잔존)을 먼저 읽는다. 종합 점수는 그 다섯을 한 수로 접은 값이라 접기 전 정보를 대신하지 못한다.

• 표본 없이 특정 점수에 선을 긋는 것은 이 문서가 뒷받침하지 않는 사용이다. 기관이 그 선을 그으면 그 선의 주체는 기관이다.
• 시뮬레이션으로 만든 점수 분포는 사람 응시자 분포를 대신하지 않는다. 그 수치를 점수 해석의 근거로 인용하지 않는다.

외부 규준(참고)

판별 행동(중요한 사실·주장을 실제로 확인하는 행동)이 실측상 드물다는 근거는 다음 조사에서 왔다.

• 출처: Anthropic Education Report, "The AI Fluency Index"(2026-02-23), https://academy.claude.com/tutorials/the-ai-fluency-index
• 정의: 2026년 1월 20~26일 Claude.ai 멀티턴 대화 9,830건에서 관찰된 11개 행동의 출현율 중 '중요한 사실·주장 검증'은 8.7%
• 확인: 2026-09-03 원문 재확인(발행일·표본 수·수치 일치)

이 수치는 우리 응시자 분포가 아니라 외부 조사의 관찰값이다. 결과지에는 싣지 않고, 이 문서와 랜딩 FAQ에서만 출처와 조사 시점을 함께 밝혀 쓴다. 개별 응시자의 점수를 이 비율로 해석하지 않는다.

한계

• 모델이 채점하므로 같은 제출물에도 회차 간 변동이 있다. 그 크기를 위 재현성 문서로 공개한다.
• 응시 화면이 보고하는 붙여넣기·화면 이탈 수치는 참고 신호이고 점수에 반영하지 않는다. 클라이언트가 보고한 값이라 그대로 믿을 수 없다는 뜻이기도 하다.
• 한 세션은 한 과제다. 한 번의 결과로 사람의 능력을 단정하지 않는다.

권장 용도와 비권장 용도

권장

• 후속 면접에서 물어볼 질문의 소재. 결과지의 '확인할 질문'이 그 목적으로 만들어졌다.
• 같은 과제(draftId)를 본 응시자 사이의 참고.
• 교육·배치 상담. 어느 축의 어떤 행동이 비었는지를 근거 인용과 함께 본다.

비권장

• 이 문서만으로 채용을 확정하거나 배제하는 것.
• 응시자를 한 줄로 세우는 것.
• 다른 과제·다른 회차의 결과와 점수를 견주는 것.
• 연차가 다른 응시자의 점수를 같은 자리에 놓고 견주는 것. 연차별 보정을 하지 않는다.

역할 배분: 이 도구가 하는 일과 하지 않는 일

프리터뷰는 채점 도구 제공자이고, 채용·인사 결정의 주체는 도구를 쓰는 기관·기업이다.

• 결과지는 점수·다섯 축 점수·게이트 사실 칩·근거 인용·피드백·후속 질문만 담는다. 종합 점수를 단독으로 자동 선별에 쓰는 순간 그 선별의 주체는 도구가 아니라 기관·기업이다. 이 문장은 기관 이용 조건에도 있다.
• '사람이 결과를 보고 판단한다'는 사실은 제품 밖 절차다. 제품 안에는 담당자 결정 입력·검토 상태 표시가 없다.

재채점 정책

• 접수: 결과지 하단 문의 링크 하나. 운영팀이 접수해 재채점 여부를 정한다. 접수 기한은 결과지 발급일로부터 기본 30일이고 결과지 하단 고지와 초대 수락 화면에 같은 값을 표시한다. 접수 기한은 회차 보유기간보다 짧아야 하며, 보유기간이 지나 원문을 파기한 뒤에는 재채점이 불가능하다(기관 이용 조건 8.4·8.5).
• 원장 불변: 정거장 2 제출로 봉인한 본인 발견 원장은 재채점에서도 바뀌지 않는다. 사람이 원장을 손으로 고치지 않는다. 원장 누락이 확인되면 봉인 전 턴 텍스트만으로 추출을 다시 돌리는 옵션을 쓴다(모델 경로).
• 샘플 해소: 재채점도 원 채점과 같은 함수를 쓴다. 축별로 같으면 채택, 1칸 차이면 낮은 쪽, 2칸 이상이면 세 번째 값의 중앙값. 재채점만 다른 규칙을 쓰면 재채점이 점수를 올리는 경로가 된다.
• 결과: 새 버전으로 저장하고 이전 버전을 보관한다. 문서 번호는 그대로, 문서 지문은 새로 계산한다. 재채점하면 최신 버전이 정본이고 점수는 오를 수도 내릴 수도 있다.
• 예산: 재채점 원가는 응시 세션 원가에 합산하지 않고 별도 원장으로 계상하며 회당·월 상한을 둔다. 월 상한에 닿으면 보류 큐에 넣고 운영팀이 순서대로 처리한다(순서: 시스템 사유 채점 보류 → 응시자 문의 → 운영 요청).
• 시스템 사유로 축이 채점되지 않은 회차(채점 보류)는 응시자 사유가 아니며 재채점으로 푼다.

프로파일별 고지·동의·보관

• 기업 회차에서 응시를 수락하지 않은 사람의 이메일·이름은 응시 창이 끝나는 즉시 지운다.
• 기업 회차의 사전 통지에는 담당자가 결과를 파일로 내려받아 기관 안에서 보관할 수 있다는 사실과, 과제 문서에 세션별 문서 번호가 들어 있어 답변에 그대로 나타나면 담당자에게 참고 사실로 표시된다는 사실이 들어 있다(고지 버전은 코드 상수 하나로 관리한다).
• 보유기간이 지나면 상세 근거와 피드백을 파기하고 요약 카드만 남는다. 그 시점부터 담당자 열람도 끝난다.

버전 정책

결과지에 박히는 버전은 넷이다. 하나라도 바뀌면 결과지 하단 감사 영역의 값이 달라진다.

문서 지문(contentHash)은 문서 번호·종합 점수·다섯 축 점수·직무 맥락·과제 id·채점기 버전·발행 시각·결과 버전으로 계산한다. 인쇄본과 공유 카드의 지문은 그 버전에서만 확인된다.

외부 규준 인용 규칙

이 문서와 대외 자료에서 외부 수치를 쓸 때 지키는 규칙이다.

1. 출처 URL·발행일·확인일을 함께 적는다. 확인은 원문을 직접 열어서 한다.
2. 2차 보도·검색 요약만 있는 사실은 그렇게 표시하고 단정형으로 쓰지 않는다. 벤더 마케팅 수치는 인용하지 않는다.
3. 외부 조사의 관찰값을 우리 응시자 분포로 옮겨 읽지 않는다.
4. 결과지에는 외부 수치를 싣지 않는다. 이 문서와 랜딩에서만 쓴다.
5. 특정 기업의 검사 이름을 우리 결과에 붙이지 않는다.

참조하는 규범과 그 대응은 기관 이용 조건과 이 문서의 역할 배분 표에 있다. 조문 해석은 법무 확인 사항이다.