AI 활용능력 평가 연습 과제 2종: 분류와 수치 검증

두 과제에서는 AI에게 초안을 맡긴 뒤 결과가 맞는지 확인하고, 틀리거나 근거 없는 부분을 수정합니다. 최종 답과 확인 과정을 함께 남기는 연습이에요.

교육 개념으로 참고할 만한 틀로 Anthropic의 AI Fluency Framework가 있습니다. 이 프레임워크는 무엇을 맡길지 정하는 Delegation, 요구를 전달하는 Description, 결과를 판단하는 Discernment, 책임 있게 활용하는 Diligence를 구분합니다 공식 안내. 아래 과제는 이 개념을 참고해 프리터뷰가 자체 구성한 연습이며, 특정 기업의 평가표나 공인된 채점 기준이 아닙니다.

실제 평가에서는 허용 도구, 제한 시간, 제출 형식이 공고마다 다릅니다. 지원하는 곳의 안내문을 먼저 확인하고, 이 글의 과제는 그 형식에 맞춰 바꿔 쓰는 연습 재료로 활용하시기 바랍니다. 평가 유형별 준비 방향은 AI 활용 역량평가, 무엇을 준비하나에 정리해 두었습니다.

다음은 설명을 위한 가상 예시로 만든 주방용품 쇼핑몰의 고객 문의 6건입니다. 분류 기준은 네 가지 유형(배송, 환불/교환, 계정/로그인, 상품 문의)과 긴급 여부이며, 긴급은 '중복 결제가 발생했거나 고객이 서비스를 이용할 수 없는 상태'로 정의합니다.

산출물은 문의별로 유형, 긴급 여부, 한 줄 근거를 적은 표 한 장입니다. 기준으로 판단하기 어려운 문의는 임의로 확정하지 말고 '판단 필요'로 표시한 뒤 이유를 적습니다. AI에게 초안 분류를 맡긴 다음 그 결과를 검증하는 것까지가 과제 범위입니다.

AI에게 맡길 때는 기준 정의와 여섯 문의를 그대로 전달하고, 출력 형식(표, 근거 한 줄, 판단 필요 표시 허용)을 명시합니다. 원문에 없는 정보를 근거에 추가하지 말라는 조건도 함께 적어 두면 검증할 때 위반 여부를 확인하기 쉬워집니다.

검증은 한 건씩 기준 문장과 대조하는 방식으로 합니다. 설명을 위한 가상 예시로, AI가 다음과 같은 초안을 냈다고 가정해 보겠습니다.

원문에 없는 사실을 덧붙인 오류(1번)와 주어진 분류·긴급 기준을 잘못 적용한 오류(2번, 4번, 6번)를 구분해 보세요. 수정할 때는 AI 초안, 수정 값, 이유를 나란히 남깁니다. 주어진 기준이 업무에 충분한지 검토하는 일은 그 기준을 그대로 적용하는 일과 별도로 기록해요.

6번은 중복 결제나 서비스 이용 불가에 해당하지 않으므로, 이 과제의 규칙으로는 비긴급입니다. 다만 주소를 바꾸기 전에 출고되면 문제가 생길 수 있어 “출고 전 주소 변경은 별도로 우선 처리해야 하나요?”를 기준 담당자에게 물어볼 수 있어요. 현재 분류와 기준 보완 제안을 섞지 않는 것이 연습할 부분입니다.

두 번째 과제는 표의 숫자와 AI가 쓴 요약문이 일치하는지 확인하는 것입니다. 다음은 설명을 위한 가상 예시로 만든 3개월치 문의 건수 표입니다.

AI가 이 표로 작성했다고 가정한 가상 요약문은 다음과 같습니다. '3개월간 총 문의는 720건이다. 배송 문의는 6월 대비 8월에 50% 증가했다. 환불/교환 문의는 매달 증가했다. 계정 문의가 8월에 줄어든 것은 7월 로그인 화면 개편의 효과다.'

산출물은 요약문의 주장 하나하나를 표와 대조한 목록과, 표에서 확인되는 내용만으로 다시 쓴 요약문입니다. 대조 목록에는 주장, 표에서 계산한 값, 판정(일치/불일치/근거 없음)을 적습니다.

1. 총 문의 720건: 월별 합계 195, 225, 272를 더하면 692건이므로 불일치.
2. 배송 문의 50% 증가: 가상 표에서 6월 120건 대비 8월 180건이므로 (180−120)÷120×100=50%로 일치.
3. 환불/교환 매달 증가: 45, 40, 60으로 7월에 감소했으므로 불일치.
4. 계정 문의 감소가 개편 효과: 35건에서 32건으로 줄어든 것은 맞지만 원인은 표에 없으므로 근거 없음.

다시 쓴 요약문에는 원인 해석을 넣지 않고 '계정 문의는 7월 35건에서 8월 32건으로 줄었다'처럼 표에서 확인되는 범위까지만 적습니다. 원인을 밝히고 싶다면 어떤 추가 자료가 필요한지 별도로 적어 둡니다.

작업 기록이 있으면 결과를 어떻게 만들고 확인했는지 설명하기 편합니다. 아래는 과제 하나에 써 볼 수 있는 프리터뷰의 연습용 템플릿입니다. 실제 평가에서는 요구하는 제출 항목을 우선하세요.

• 과제와 목표: (무엇을 만들어야 했는지 한 문장)
• 사용한 도구와 이유: (도구 이름, 이 과제에 맞다고 본 이유)
• AI에게 전달한 요구: (기준, 입력 데이터, 출력 형식, 금지 조건의 요지)
• AI 결과 중 채택한 것: (그대로 쓴 부분과 확인 방법)
• 수정한 것: (원래 값, 수정 값, 이유)
• 폐기한 것: (버린 내용과 이유)
• 확인하지 못한 것: (시간이나 자료 부족으로 남은 불확실성)
• 기준에 대한 질문: (기준이 비어 있거나 모호했던 지점)

설명을 위한 가상 예시로 과제 2의 '수정한 것' 칸을 채우면 '총 문의 720건을 692건으로 수정. 월별 합계를 직접 더해 확인'이 됩니다. 값과 확인 방법이 함께 적혀 있으면 구두 설명 때 그대로 읽으면서 답할 수 있습니다.

과제 후 설명 시간이 있다면 결과보다 판단 과정을 묻는 질문이 이어질 수 있습니다. 미리 준비해 둘 만한 질문은 다음과 같습니다.

• 이 과제에서 AI에게 맡긴 부분과 직접 한 부분을 어떻게 나눴나요?
• AI 결과 중 버린 것이 있다면 무엇이고, 왜 버렸나요?
• 검증하지 못한 부분이 있다면 무엇이고, 시간이 더 있었다면 어떻게 확인했을까요?
• 기준이 모호했던 지점을 어떻게 처리했나요?

설명을 위한 가상 예시로 두 번째 질문에 답하면 이렇습니다. '1번 문의 근거에 재고 부족이라는 설명이 붙어 있었는데, 원문에는 출고 전이라는 말만 있어서 삭제했습니다. 원문에 없는 내용은 근거로 쓰지 말라는 조건을 처음에 적어 두었는데도 나온 결과라, 나머지 다섯 건도 같은 기준으로 다시 봤습니다.'

여기서 이어질 수 있는 꼬리질문은 '다른 건에서도 같은 문제가 있었나요?'나 '그 조건을 지키게 하려면 요구를 어떻게 바꾸겠어요?' 같은 것입니다. 작업 기록의 '폐기한 것'과 'AI에게 전달한 요구' 칸이 채워져 있으면 기억에 의존하지 않고 답할 수 있습니다.

연습을 마친 뒤 아래 항목으로 산출물과 기록을 점검해 봅니다. 이 목록은 프리터뷰가 연습용으로 제안하는 것이며, 실제 평가의 채점 기준과 다를 수 있습니다.

• 산출물이 요구된 형식(표, 목록, 요약문)을 갖추었는가
• AI 결과의 오류를 종류별로 찾아 수정 이유를 남겼는가
• 원문이나 표에 없는 내용이 산출물에 남아 있지 않은가
• 기준이 비어 있는 지점을 임의로 확정하지 않고 질문으로 남겼는가
• 확인하지 못한 것을 숨기지 않고 기록했는가

채용 담당자로서 이런 과제를 실제 평가에 넣으려면 공통 질문과 평정 근거 기록 방식을 먼저 설계해야 합니다. 그 부분은 면접 평가표 양식과 구조화 질문에서 따로 다룹니다.

지원자라면 과제 연습 뒤 자신의 판단 과정을 말로 설명해 보는 단계가 남습니다. 프리터뷰의 서류 기반 모의면접과 면접 후 피드백은 이 설명 연습에 쓸 수 있으며, 이용 조건은 요금·이용 조건과 예시 리포트에서 확인하시기 바랍니다.