한국지방행정연구원

배경 및 필요성

생성형 AI 확산과 함께 LLM의 환각(Hallucination) 문제와 데이터 최신성 확보, 보안 위험이 주요 과제로 대두됨. 이에 내부망에서도 안전하게 활용 가능한 Private LLM과 근거 기반 응답을 제공하는 RAG(Retrieval-Augmented Generation) 구조 도입 필요성이 증가함.

추진내용

최적화된 RAG 파이프라인 기반 규정 AI 챗봇을 구축하고, Private LLM을 적용하여 내부 데이터를 안전하게 활용할 수 있는 환경을 마련함. 또한 RAGAS 기반 정량평가를 통해 검색 정확도와 답변 품질을 검증하고 최적의 RAG 파이프라인을 구현함.

정책효과

규정 검색 속도와 정확도를 향상시키고, Private LLM 기반으로 내부 데이터의 외부 유출을 차단하여 보안성을 강화함. 또한 모듈형 프레임워크를 구축해 다양한 기관과 부서로 손쉽게 확산 가능한 AI 행정서비스 기반을 마련함.