AI3 LangSmith - RAG 서비스 테스트 오늘은 RAG(Retrieval-Augmented Generation) 서비스 테스트에 대해 이야기해보려고 합니다. 특히 LangSmith를 활용한 효과적인 테스트 방법에 대해 알아보겠습니다.RAG 서비스 테스트의 특별한 접근법: LLM-as-a-JudgeRAG(Retrieval-Augmented Generation) 서비스를 테스트할 때, 우리는 일반적인 소프트웨어 테스트와는 다른 접근이 필요합니다. 단순히 '맞다/틀리다'의 이분법적 판단으로는 RAG 시스템의 성능을 제대로 평가하기 어렵습니다. 대신, 우리는 '평가(evaluation)'의 개념으로 접근해야 하며, 이를 위해 'LLM-as-a-Judge' 방식을 활용할 수 있습니다.LLM-as-a-Judge 개념LLM-as-a-Judge는 대규모 언어.. 2024. 11. 21. LangChain을 이용한 RAG 서비스 개발 LLM을 이용해 어플리케이션을 만들때 주로 사용되는 라이브러리로 LangChain이 있습니다. 오늘은 LangChain이라는게 무엇인지 어떻게 서비스를 개발하는지에 대해 알아보겠습니다.LangChain이란?LangChain은 대규모 언어 모델(LLM)을 사용하여 애플리케이션을 개발하기 위한 프레임워크입니다. 이 프레임워크는 LLM을 다른 데이터 소스 및 컴퓨팅 환경과 쉽게 통합할 수 있도록 도와줍니다. 특히 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 데 매우 유용합니다.LangChain의 주요 개념Chains: 여러 컴포넌트를 연결하여 복잡한 작업을 수행합니다.Agents: 주어진 목표를 달성하기 위해 자율적으로 행동하는 엔티티입니다.Memory: 대화 히스토리나 .. 2024. 11. 4. LLM과 성능향상 방법 ChatGPT가 발표된 이후 많은 기업들에서 LLM을 자체개발하거나 LLM을 이용한 서비스들을 출시하기 시작했는데요. 저도 LLM을 이용한여러 서비스들을 아주 잘 이용하고 있습니다. ChatGPT, 퍼플랙시티, 커서AI, 코파일럿 등 여러 서비스들 사용하고 있고 계속해서 출시되고 있는 새로운 서비스들을 눈여겨 보고있는데요. 이런 LLM을 이용한 서비스를 개발하는 과정과 이를 테스트하는 방법들을 한번 살펴보겠습니다. LLM이란?Large Language Model(LLM)은 AI 기술의 최전선에 있는 혁신적인 모델입니다. LLM은 대규모 언어 모델의 약자로, 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 인공지능 모델입니다. 이 모델들은 수십억 개의 매개변수를 가지고 있으며,.. 2024. 10. 28. 이전 1 다음
