AI 활용능력 평가 연습 과제 2종: 분류와 수치 검증

두 과제는 AI에게 초안을 맡긴 뒤 결과가 맞는지 확인하고, 틀리거나 근거 없는 부분을 고치는 연습이에요. 목적은 최종 답과 확인 과정을 함께 남기는 데 있어요.

교육 개념으로 참고할 만한 틀로 Anthropic의 AI Fluency Framework가 있어요. 이 프레임워크는 무엇을 맡길지 정하는 Delegation, 요구를 전달하는 Description, 결과를 판단하는 Discernment, 책임 있게 활용하는 Diligence를 구분해요 공식 안내. 아래 과제는 이 개념을 참고해 프리터뷰가 자체 구성한 연습이고, 특정 기업의 평가표나 공인된 채점 기준은 아니에요.

실제 평가에서는 허용 도구, 제한 시간, 제출 형식이 공고마다 달라요. 지원하는 곳의 안내문을 먼저 확인한 뒤 이 글의 과제를 그 형식에 맞춰 바꿔 쓰세요. 평가 유형별 준비 방향은 AI 활용 역량평가, 무엇을 준비하나에 정리해 두었어요.

과제 1은 주방용품 쇼핑몰의 고객 문의 6건을 유형과 긴급 여부로 분류하는 일이에요. 분류 기준은 유형(배송, 환불/교환, 계정/로그인, 상품 문의)과 긴급 여부이고, 긴급은 '중복 결제가 발생했거나 고객이 서비스를 이용할 수 없는 상태'로 정의해요. 입력 데이터는 설명을 위한 가상 예시로 만든 아래 문의예요.

산출물 형식

산출물은 문의별로 유형, 긴급 여부, 한 줄 근거를 적은 표 한 장이에요. 기준으로 판단하기 어려운 문의는 임의로 확정하지 말고 '판단 필요'로 표시한 뒤 이유를 적어요. AI에게 초안 분류를 맡기고 그 결과를 검증하는 데까지가 과제 범위예요.

AI에게 전달할 내용

AI에게 맡길 때는 기준 정의와 여섯 문의를 그대로 전달하고, 출력 형식(표, 근거 한 줄, 판단 필요 표시 허용)을 명시해요. 원문에 없는 정보를 근거에 추가하지 말라는 조건도 함께 적어 두면 검증할 때 위반 여부를 확인하기 쉬워져요.

검증은 문의를 한 건씩 기준 문장과 대조하는 방식으로 해요. 설명을 위한 가상 예시로, AI가 아래 표의 초안을 냈다고 가정하고 검토 결과를 오른쪽에 적었어요.

오류의 두 종류

원문에 없는 사실을 덧붙인 오류(1번)와 주어진 분류·긴급 기준을 잘못 적용한 오류(2번, 4번, 6번)는 성격이 달라서 나눠 봐요. 수정할 때는 AI 초안, 수정 값, 이유를 나란히 남겨요. 주어진 기준이 업무에 충분한지 따지는 일은 그 기준을 그대로 적용하는 일과 별도로 기록하세요.

주소 변경 문의

6번은 중복 결제나 서비스 이용 불가에 해당하지 않아서 이 과제의 규칙으로는 비긴급이에요. 다만 주소를 바꾸기 전에 출고되면 문제가 생길 수 있으니 “출고 전 주소 변경은 별도로 우선 처리해야 하나요?”를 기준 담당자에게 물어볼 수 있죠.

현재 분류와 기준 보완 제안을 섞지 않는 것이 연습할 부분이에요.

과제 2는 표의 숫자와 AI가 쓴 요약문이 일치하는지 확인하는 일이에요. 입력은 설명을 위한 가상 예시로 만든 3개월치 문의 건수 표예요.

AI가 이 표로 작성했다고 가정한 가상 요약문은 다음과 같아요. '3개월간 총 문의는 720건이다. 배송 문의는 6월 대비 8월에 50% 증가했다. 환불/교환 문의는 매달 증가했다. 계정 문의가 8월에 줄어든 것은 7월 로그인 화면 개편의 효과다.'

주장별 대조 목록

산출물은 요약문의 주장 하나하나를 표와 대조한 목록, 그리고 표에서 확인되는 내용만으로 다시 쓴 요약문이에요. 대조 목록에는 주장, 표에서 계산한 값, 판정(일치/불일치/근거 없음)을 적어요. 위 요약문을 대조하면 이렇게 돼요.

• 총 문의 720건: 월별 합계 195, 225, 272를 더하면 692건이므로 불일치
• 배송 문의 50% 증가: 가상 표에서 6월 120건 대비 8월 180건이므로 (180−120)÷120×100=50%로 일치
• 환불/교환 매달 증가: 45, 40, 60으로 7월에 감소했으므로 불일치
• 계정 문의 감소가 개편 효과: 35건에서 32건으로 줄어든 것은 맞지만 원인은 표에 없으므로 근거 없음

다시 쓴 요약문

다시 쓴 요약문에는 원인 해석을 넣지 않고 '계정 문의는 7월 35건에서 8월 32건으로 줄었다'처럼 표에서 확인되는 범위까지만 적어요. 원인을 밝히고 싶다면 어떤 추가 자료가 필요한지 따로 적어 두세요.

작업 기록이 있으면 결과를 어떻게 만들고 확인했는지 설명하기 편해요. 아래는 과제 하나에 쓰는 프리터뷰의 연습용 템플릿이고, 실제 평가에서는 요구하는 제출 항목이 먼저예요.

• 과제와 목표: (무엇을 만들어야 했는지 한 문장)
• 사용한 도구와 이유: (도구 이름, 이 과제에 맞다고 본 이유)
• AI에게 전달한 요구: (기준, 입력 데이터, 출력 형식, 금지 조건의 요지)
• AI 결과 중 채택한 것: (그대로 쓴 부분과 확인 방법)
• 수정한 것: (원래 값, 수정 값, 이유)
• 폐기한 것: (버린 내용과 이유)
• 확인하지 못한 것: (시간이나 자료 부족으로 남은 불확실성)
• 기준에 대한 질문: (기준이 비어 있거나 모호했던 지점)

설명을 위한 가상 예시로 과제 2의 '수정한 것' 칸을 채우면 '총 문의 720건을 692건으로 수정. 월별 합계를 직접 더해 확인'이 돼요. 원래 값, 수정 값, 확인 방법이 한 줄에 다 들어가요.

값과 확인 방법이 함께 적혀 있으면 구두 설명 때 그대로 읽으며 답할 수 있어요.

과제 후 설명 시간이 있다면 결과보다 판단 과정을 묻는 질문이 이어질 수 있어요. 미리 준비해 둘 만한 질문은 다음과 같아요.

• 이 과제에서 AI에게 맡긴 부분과 직접 한 부분을 어떻게 나눴나요?
• AI 결과 중 버린 것이 있다면 무엇이고, 왜 버렸나요?
• 검증하지 못한 부분이 있다면 무엇이고, 시간이 더 있었다면 어떻게 확인했을까요?
• 기준이 모호했던 지점을 어떻게 처리했나요?

답변 예시

설명을 위한 가상 예시로 두 번째 질문에 답하면 이래요. '1번 문의 근거에 재고 부족이라는 설명이 붙어 있었는데, 원문에는 출고 전이라는 말만 있어서 삭제했습니다. 원문에 없는 내용은 근거로 쓰지 말라는 조건을 처음에 적어 두었는데도 나온 결과라, 나머지 다섯 건도 같은 기준으로 다시 봤습니다.'

이어지는 꼬리질문

이 답변 뒤에는 '다른 건에서도 같은 문제가 있었나요?'나 '그 조건을 지키게 하려면 요구를 어떻게 바꾸겠어요?' 같은 꼬리질문이 올 수 있어요. 작업 기록의 '폐기한 것'과 'AI에게 전달한 요구' 칸이 채워져 있으면 기억에 기대지 않고 답할 수 있죠.

연습을 마친 뒤에는 아래 항목으로 산출물과 기록을 점검해요. 이 목록은 프리터뷰가 연습용으로 제안하는 것이고, 실제 평가의 채점 기준과 다를 수 있어요.

• 산출물이 요구된 형식(표, 목록, 요약문)을 갖추었는가
• AI 결과의 오류를 종류별로 찾아 수정 이유를 남겼는가
• 원문이나 표에 없는 내용이 산출물에 남아 있지 않은가
• 기준이 비어 있는 지점을 임의로 확정하지 않고 질문으로 남겼는가
• 확인하지 못한 것을 숨기지 않고 기록했는가

채용 담당자로서 이런 과제를 실제 평가에 넣으려면 공통 질문과 평정 근거 기록 방식부터 설계해야 해요. 그 부분은 면접 평가표 양식과 구조화 질문에서 따로 다루고, 평가 방식과 도구 비교는 채용에서 지원자의 AI 활용능력을 평가하는 방법과 도구 비교에 정리했어요. 프로그래머스 AI 활용 역량평가의 공식 구성은 프로그래머스 AI 활용 역량평가에 있어요.

지원자라면 과제 연습 뒤에 자신의 판단 과정을 말로 설명해 보는 단계가 남아요. 프리터뷰의 서류 기반 모의면접과 면접 후 피드백을 이 설명 연습에 쓸 수 있고, 이용 조건은 요금·이용 조건과 예시 리포트에서 확인하세요.