정제영JEYOUNG JEONG
작업 목록

Retrieval.

답변 전에, 검색부터.

포켓몬 도감 RAG 챗봇
2026 · SSAFY 예제 확장

PROJECT
포켓몬 도감 RAG 챗봇
CONTEXT
2026 · SSAFY 예제 확장
TOOLS
Python · FastAPI · LangGraph · ChromaDB
SOURCE
GitHub 저장소
01 / CONTEXT

질문에는 둘이 있는데,
검색 결과에는 하나만.

SSAFY의 RAG 예제를 포켓몬 도감으로 확장했습니다. 사실 확인이 쉬운 도메인에서 검색 로직과 답변을 실험하고 평가했습니다. 전체 시스템을 처음부터 독자 개발한 프로젝트가 아니라, 제공 예제를 바탕으로 검색과 평가를 개선한 작업입니다.

파이리와 꼬부기를 비교하는 질문에서 벡터 검색 상위 5개만 사용하면 한쪽의 문서가 빠졌습니다. 답변 모델을 바꾸기 전에 필요한 문서가 문맥에 들어오는지부터 확인했습니다.

02 / RETRIEVAL

명시된 대상을 놓치지 않는 검색.

질문에 포함된 한글 제목을 정확히 매칭하고, 벡터 검색 결과와 합쳐 중복을 제거했습니다. 문서는 제목 단위로 나누고 700자, 80자 중첩으로 청킹했습니다.

직전 진화 단계만 기록된 문서로는 전체 진화 계열을 설명하기 어려웠습니다. 각 문서에 전체 진화 체인을 포함하도록 원천 자료를 보완했습니다. 검색 알고리즘과 함께 문서에 담는 정보도 바꾼 것입니다.

03 / EVALUATION

완벽한 점수를 먼저 의심했습니다.

Context Precision이 모든 질문에서 1.0으로 나왔습니다. 확인해 보니 검색 청크 5개를 하나로 합쳐 평가기에 전달하고 있어 문서별 관련성을 제대로 평가하지 못했습니다. 검색 문서를 각각 전달하도록 수정했습니다.

2026년 9월 4일, 직접 작성한 질문 10개에서 Context Precision 0.92, Context Recall 1.00, Faithfulness 0.90을 기록했습니다. 소규모 자체 평가이므로 일반적인 정확도 100%를 의미하지 않습니다. Answer Relevancy는 0.5236으로 추가 분석이 필요합니다.

04 / LIMITS

검증한 범위와 남은 과제.

일반 채팅과 RAG 모드, 문서 업로드, 답변 출처 표시를 구현했습니다. 문서에 없는 내용은 모른다고 답하도록 프롬프트를 구성했습니다.

서버 메모리는 사용자별로 분리되지 않고 재시작하면 사라집니다. 다중 사용자 운영 서비스로 검증하지 않았으며, 오타와 별명 처리, 불필요한 검색 결과의 제거도 남은 과제입니다.

작업 목록으로구현과 기록