AI 챗봇 POC — 도입 검증부터 프로덕션 진입까지
RAG와 LangChain을 활용한 AI 챗봇의 기술 검증부터 아키텍처 설계, 서버 개발, 성능 테스트까지 3단계 POC 전 과정을 주도했다.
역할
백엔드 TechLead
기간
2023.09 — 2023.12
Spring Boot Python LangChain RAG AWS Docker
주요 성과
- 3단계 POC를 통한 AI 챗봇 도입 타당성 및 기술적 실현 가능성 검증
- RAG 기반 사내 문서 검색·응답 파이프라인 구현
- 성능 테스트를 통한 프로덕션 진입 기준 충족 확인
배경
RAG(Retrieval-Augmented Generation)와 LangChain을 공부하면서 실무 적용 가능성에 관심이 생겼다. 팀원들도 같은 관심을 갖고 있어서 자연스럽게 사내 챗봇 POC를 진행하게 됐다. 음악 저작권 플랫폼(MusicSharesJP)의 운영 문서와 FAQ를 학습 데이터로 활용해 고객 문의 자동 응답 시스템의 가능성을 검증하려 했다.
1단계: 도입 가능성 검증
- LLM 기반 챗봇의 기술적 실현 가능성 평가
- 플랫폼 운영 과정에서 반복되는 고객 문의 패턴 분석
- RAG vs Fine-tuning 접근법 비교 — 사내 문서 규모와 업데이트 빈도를 고려해 RAG 선택
- LangChain · 벡터 DB · 임베딩 모델 등 기술 스택 비교 분석 및 선정
2단계: 아키텍처 설계
- Spring Boot 기반 챗봇 애플리케이션 서버 아키텍처 설계
- RAG 파이프라인 설계 — 문서 청킹 → 임베딩 → 벡터 저장 → 유사도 검색 → LLM 응답 생성
- API 인터페이스 정의 및 외부 시스템 연동 방안 설계
3단계: 개발 및 성능 테스트
- Python + LangChain으로 RAG 파이프라인 구현
- MusicSharesJP 운영 문서를 벡터 DB에 색인하고 검색·응답 흐름 검증
- 동시 사용자 부하 테스트 및 응답 시간·처리량 측정
- 프로덕션 진입 기준 충족 여부 판단
성과
POC를 통해 RAG 기반 챗봇의 기술적 실현 가능성을 확인했다. 사내 문서만으로도 고객 문의의 상당 부분을 자동 응답할 수 있다는 점을 검증했으나 회사 사정으로 프로덕션 전환까지는 이어지지 못했다. 이 경험은 이후 생활 비서 챗봇과 이력서 자동화 프로젝트에서 에이전트 아키텍처를 설계하는 데 기반이 됐다.