새 AI 모델이 나올 때마다 바꿔야 할지 고민된다면, 먼저 자신이 자주 하는 업무 세 가지를 적어 보세요. 긴 글 요약, 문장 다듬기, 자료 분류는 서로 다른 작업입니다. 모델 이름이나 공개 점수만으로 내 업무에 얼마나 도움이 되는지 결정하기는 어렵습니다.
이 글에서는 개인이나 작은 팀이 스프레드시트로 시작할 수 있는 AI 모델 비교 평가표를 제안합니다. 실제 모델 간 성능 순위나 직접 실험한 결과가 아닙니다. 방법론의 참고 자료는 2026년 10월 10일 확인한 OpenAI 공식 평가 안내입니다.
평가를 시작하기 전에 완료 조건부터 쓰기
OpenAI는 생성형 AI가 같은 입력에도 다른 결과를 낼 수 있어, 실제 작업에 맞춘 평가와 사람의 판단을 함께 사용해야 한다고 설명합니다. 평가 목표, 자료, 지표를 정하고 변경 때마다 비교하는 접근을 권합니다. OpenAI 평가 설계 안내
이를 일상 업무에 적용하려면 “좋은 답변”을 눈으로 확인할 수 있는 조건으로 바꿔야 합니다. 예를 들어 회의록 정리에서는 ‘읽기 편함’과 함께 담당자 보존, 결정 사항 구분, 미정인 기한 표시가 필요할 수 있습니다. 문장 다듬기에서는 원문의 의미를 유지하면서 길이를 줄였는지가 중요할 수 있습니다.
완료 조건은 모델 결과를 보기 전에 적어 두세요. 결과를 본 뒤 기준을 바꾸면 마음에 드는 문체에 점수를 몰아주기 쉽습니다.
대표 문제를 작게 만들되, 쉬운 것만 고르지 않기
다음 열두 건은 처음 비교를 시작할 때 사용할 수 있는 예시 구성입니다. 통계적으로 충분한 표본 수라는 뜻은 아닙니다. 업무가 다양하거나 실패 비용이 크다면 더 넓은 평가가 필요합니다.
- 평소 가장 자주 하는 작업 6건
- 예외나 빠진 정보가 있는 작업 3건
- 과거에 수정이 많이 필요했던 작업 3건
회사 문서나 개인 정보가 포함된 자료를 아무 서비스에나 복사하지는 마세요. 사용 허용 범위를 확인하고, 가능하면 공개 자료 또는 민감한 내용을 제거한 예시로 시작하세요. 삭제한 정보 때문에 문제의 난도가 달라졌다면 그 사실도 기록합니다.
바로 복사해 쓸 수 있는 평가 항목
| 기록 항목 | 작성 방법 |
|---|---|
| 작업 번호와 종류 | 예: 01, 회의록에서 결정 사항 정리 |
| 완료 조건 | 예: 담당자·기한·미정 상태를 빠짐없이 보존 |
| 모델과 실행 조건 | 표시된 모델명, 실행일, 검색 사용 여부, 입력 자료 기록 |
| 필수 조건 통과 | 통과 또는 실패, 실패한 조건을 구체적으로 기재 |
| 수정 부담 | 사용 가능 상태까지 직접 수정한 시간과 내용 |
| 대기와 비용 | 완료까지 걸린 시간, 확인 가능한 비용 또는 사용량 |
| 최종 판단 | 그대로 사용, 수정 후 사용, 다시 작업 중 하나 |
구독 요금으로 쓰는 서비스에서는 건당 정확한 비용을 알기 어려울 수 있습니다. 이 경우 임의의 단가를 만들지 말고 “건당 비용 미확인”으로 남기고 사용 제한이나 실제 대기 시간을 기록하세요. API를 사용한다면 청구·사용량 기록에 근거한 비용을 적습니다.
공정하게 비교하는 실행 순서
- 같은 자료와 동일한 요청문을 각 모델에 제공합니다.
- 검색, 파일 접근, 출력 길이 등 결과에 영향을 줄 조건을 맞춥니다. 맞출 수 없다면 차이를 적습니다.
- 가능하면 결과를 A·B로 표시하고 모델 이름을 가린 상태에서 검토합니다.
- 필수 조건 실패 여부를 먼저 확인한 다음, 읽기 편함과 수정 부담을 비교합니다.
- 판단이 엇갈리거나 중요한 작업은 반복 실행해 결과의 변동도 봅니다.
실행 조건이 다른 두 제품을 비교할 수도 있습니다. 다만 이 경우 모델 자체의 능력 비교보다는 ‘그 서비스 구성으로 내 일이 얼마나 잘 끝나는가’를 본 결과라고 적는 것이 정확합니다. 검색 도구나 파일 처리 기능의 차이가 최종 결과에 영향을 줄 수 있기 때문입니다.
한 개의 총점에 모든 판단을 맡기지 않기
문체가 아주 좋지만 날짜를 빠뜨린 회의록은 그대로 사용할 수 없습니다. 필수 조건에 실패한 결과를 다른 항목의 높은 점수로 상쇄하지 않도록 먼저 통과 기준을 두세요. 그 기준을 넘은 후보끼리 수정 시간, 응답 속도, 비용을 비교하면 선택 이유가 분명해집니다.
모든 작업에서 한 모델을 고를 필요도 없습니다. 간단한 분류에는 한 도구를, 긴 문서 검토에는 다른 도구를 쓰는 결론이 나올 수 있습니다. 반대로 도구를 여러 개 관리하는 번거로움이 크면, 조금 느리더라도 한 서비스로 통일하는 판단이 합리적일 수 있습니다. 관리 부담도 실제 업무 비용에 포함하세요.
새 모델이 나오면 무엇을 다시 볼까?
비교에 썼던 자료와 완료 조건을 보관했다가 새 후보에 동일하게 적용해 보세요. 기존 모델이 잘했던 문제만 반복하지 말고 최근 발생한 실패 사례를 추가하는 편이 좋습니다. 이 글의 방식은 수동 평가용이며 특정 평가 플랫폼 가입을 전제로 하지 않습니다.
좋은 선택의 기준은 간단합니다. 자신의 완료 조건을 통과하면서, 검토와 수정까지 포함한 일이 더 수월해지는지 확인하세요. 공개 순위보다 내 기록이 필요한 순간이 바로 여기입니다.