• 사업분야

R&D (연구개발)

R&D PORTFOLIO

R&D 포트폴리오

서버 비용 절감을 위한 데이터베이스 및 캐시를 활용한 AI 대화 시스템

서버 비용 절감을 위한 데이터베이스 및 캐시를 활용한 AI 대화 시스템

챗봇 서비스 운영 시 고비용이 소요되는 문제점을 해결하기 위해 ㈜이튜에서는 데이터베이스 및 캐시 우선 접근을 통해 LLM(Large Language Model) 사용 빈도를 낮추고 결과적으로 GPU의 사용량을 저하함으로써 챗봇 서비스 운영 비용을 절감하는 솔루션을 개발

핵심기능

Polyglot 12.8b 기반 Fine Tuning을 통한 자체 LLM 모델 생성 및 이를 활용한 답변 제공

사용자 입력 문장에 대해 데이터베이스 및 캐시 데이터베이스 우선 접근을 통한 답변 획득

Rest API 기반의 외부 연동 지원

다양한 LLM 모델 (GPT-3.5, GPT-4, GPT-4o, Llama, Alpaca 등) 연동 가능

장점

LLM모델 장점
  • 데이터 베이스 및 캐시 데이터 베이스 우선 접근을 통한 서비스 운영 비용의 획기적 절감

  • 캐시 기능을 통한 답변 응답속도 개선

  • 데이터 축적이 증가할수록 데이터베이스 및 캐시 데이터베이스 사용률 증가와 LLM 사용률 저하가 수반되어 캐시형 챗봇 시스템을 이용하는 기간에 비례해 서비스 운영 비용이 절감

  • 캐시 데이터베이스에 쌓인 데이터들의 활용 빈도 및 신뢰도를 기반으로 캐시 데이터베이스의 데이터를 데이터베이스로 이동(자동 및 수동)시켜 신뢰도 높은 데이터베이스의 구축이 가능

  • 데이터베이스 및 캐시를 우선 활용하여 챗봇 시스템의 문제점인 환각(Hallucination) 현상 감소 효과

시스템 개요

시스템개요

문의하기

성함
연락처
이메일
문의분야
문의내용

(0 / 500)

개인정보 수집 및 이용에 동의합니다.