자주 바뀌는 사내 문서를 근거로 답해야 한다면 RAG를 먼저 검토하고, 일정한 분류 방식이나 답변 형식을 반복해서 학습시켜야 한다면 미세조정을 검토할 수 있습니다. 둘은 함께 사용할 수도 있습니다. 도구를 고르기 전에 실제 오류가 “자료를 못 찾는 문제”인지 “자료를 보고도 원하는 방식으로 답하지 못하는 문제”인지 나누는 것이 좋습니다.
RAG와 미세조정은 무엇을 바꿀까?
RAG는 질문과 관련된 정보를 검색한 뒤 그 내용을 모델의 입력에 넣어 답하도록 하는 방식입니다. 모델이 참고할 자료를 바꿉니다. Anthropic의 Contextual Retrieval 설명은 문서를 잘게 나누는 과정에서 문맥이 사라지면 필요한 내용을 찾기 어려워질 수 있다는 점을 다룹니다. 따라서 RAG의 품질은 모델뿐 아니라 검색 과정에도 영향을 받습니다. Anthropic의 RAG 검색 설명
미세조정은 이미 학습된 모델을 특정 작업이나 분야의 데이터로 추가 학습하는 과정입니다. 전체 또는 일부 학습 가능한 파라미터를 조정하는 방식이 사용됩니다. 좋은 입력과 기대 출력의 예시를 통해 작업 수행 방식을 맞출 수 있습니다. Hugging Face 미세조정 문서
업무 상황별 비교
- 상품 설명이 매주 바뀐다: 변경된 문서를 검색에 반영하는 RAG부터 검토합니다. 문서 버전과 검색 색인의 갱신 시점도 관리해야 합니다.
- 문의 내용을 정해진 유형으로 분류한다: 먼저 프롬프트와 예시를 개선하고, 일관성이 부족하면 미세조정을 비교합니다.
- 최신 규정을 인용하면서 정해진 양식으로 답한다: RAG로 자료를 제공하고, 프롬프트나 미세조정으로 형식을 맞추는 조합을 평가합니다.
Google Cloud는 프롬프트 최적화부터 시작하고, 반복 오류를 살펴본 뒤 필요할 때 미세조정으로 진행할 것을 권합니다. 학습 예시의 품질과 실제 사용 환경과의 일치도 중요합니다. Google Cloud 모델 튜닝 안내
도입 전 작은 비교 실험
- 대표 질문과 정답 근거를 준비합니다. 답이 있는 질문뿐 아니라 문서에 답이 없는 질문, 오래된 규정을 묻는 질문도 넣습니다.
- 현재 프롬프트의 결과를 저장합니다. 맞힌 비율만 보지 말고 근거 일치, 형식 준수, 응답 시간, 비용을 따로 기록합니다.
- RAG가 실패했다면 모델에 전달된 검색 결과부터 확인합니다. 정답 문서가 없었다면 검색 개선이 우선입니다.
- 정답 자료를 직접 넣어 다시 비교합니다. 그래도 분류나 형식 오류가 반복되는지 살펴봅니다.
- 미세조정을 시험한다면 학습에 사용하지 않은 질문을 평가용으로 남깁니다. 수정할 때마다 같은 기준으로 비교합니다.
평균 정답률만 보면 놓치는 부분
가령 배송 안내는 잘하지만 환불 규정의 예외 조항을 놓치는 시스템이라면 전체 평균이 좋아도 운영에 부담이 됩니다. 업무 유형별로 실패를 나누고, 틀린 답을 내기보다 담당자에게 넘겨야 할 조건을 정하세요. RAG와 미세조정 중 어느 쪽을 선택하더라도 문서 접근 권한과 개인정보 처리 범위는 별도로 검토해야 합니다.
기준일 및 공식 자료 확인일: 2026년 10월 10일 KST. 비교 절차는 도입 판단을 위한 제안이며 직접 측정한 성능·비용 수치를 의미하지 않습니다.