이름을 입력해주세요.
-
RAG(Retrieval-Augmented Generation) 기법을 활용하여 도메인별 최신 데이터가 반영된 도메인 의존적 LLM 답변을 제공받을 수 있으므로 사용자 목적 더욱 부합한 답변을 제공받을 수 있음
-
여러 단계의 프롬프트 엔지니어링 적용을 통한 대화 성능 개선
R&D PORTFOLIO
R&D 포트폴리오
대화 성능 향상을 위한 프롬프트 엔지니어링 및 RAG를 활용한 AI 대화 시스템
대화 성능 향상을 위한 프롬프트 엔지니어링 및 RAG를 활용한 AI 대화 시스템
챗봇 서비스 운영 시 고비용이 소요되는 문제점을 해결하기 위해 ㈜이튜에서는 데이터베이스 및 캐시 우선 접근을 통해 LLM(Large Language Model) 사용 빈도를 낮추고 결과적으로 GPU의 사용량을 저하함으로써 챗봇 서비스 운영 비용을 절감하는 솔루션을 개발
핵심기능
사용자 입력 프롬프트, 사용자 입력 문장, 사용자 입력 문장에 대한 데이터베이스 검색 결과를 기반으로 LLM에 질의를 수행하는 RAG(Retrieval-Augmented Generation) 기법을 활용하여 사용자 맞춤형 대화를 제공
사용자 맞춤형 단계별 프롬프트 엔지니어링 제공
Rest API 기반의 외부 연동 지원
다양한 LLM 모델 (GPT-3.5, GPT-4, GPT-4o, Llama, Alpaca 등) 연동 가능
장점
시스템 개요
