Q. 잠깐, LLM이 뭔가요?

LLM이란, ‘Large Language Model’의 약자로 방대한 양의 텍스트 데이터에서 패턴을 분석하고 학습하여 인간과 유사한 텍스트를 처리하고 생성하도록 설계된 고급 인공 지능 모델입니다. LLM은 상황에 맞는 방식으로 언어를 이해하고, 생성하고, 조작하는 능력이 주요 특징이라고 할 수 있습니다.

[LLM의 주요 기능] 

✔ 텍스트 생성 : 주어진 프롬프트를 기반으로 일관되고 상황에 맞는 적절한 텍스트를 생성할 수 있습니다.

✔  언어 번역 : LLM은 한 언어에서 다른 언어로 텍스트를 번역할 수 있습니다.

✔  텍스트 요약 : 긴 텍스트 구절을 간결한 요약으로 압축할 수 있습니다.

✔  질문 답변 : LLM은 교육 데이터를 기반으로 질문을 이해하고 관련 답변을 제공할 수 있습니다.

✔  텍스트 완성 : 문장에서 다음 단어나 문구를 예측하고 제안할 수 있습니다.

✔  언어 이해 : LLM은 복잡한 문장을 다룰 때에도 텍스트의 의미와 맥락을 이해할 수 있습니다.

[인기있는 LLM TOP 3] 

👑 GPT-3 : OpenAI에서 개발한 GPT-3은 가장 잘 알려져 있고 강력한 LLM 중 하나입니다. 1,750억 개의 매개변수를 갖고 있어 광범위한 자연어 처리 작업에 매우 다용도로 사용할 수 있습니다. GPT-3는 일관되고 상황에 맞는 텍스트를 생성하고, 질문에 답변하고, 언어를 번역하고, 대화를 시뮬레이션하는 등의 작업을 수행하는 AI 서비스에 활용될 수 있습니다.

👑  Falcon LLM : 아부다비 기술 혁신 연구소의 오픈 소스 모델은 오픈 소스 AI 모델 부문에서 전 세계 1위를 차지했습니다. 400억 개의 매개변수를 갖춘 1조 개의 토큰으로 훈련된 Falcon은 고유한 파이프라인을 사용한 고품질 데이터 추출을 통해 성능을 높일 수 있었는데요. 결과 데이터 세트인 RefinedWeb은 세련된 콘텐츠를 제공하며, Falcon의 미세 조정된 아키텍처는 컴퓨팅 리소스를 줄인 상태에서는 교육 및 추론 모두에서 GPT-3보다 뛰어난 효율성을 달성하여 인상적인 효율성을 보여주었습니다.

👑  LLaMA : 7B에서 65B 매개변수 범위의 최첨단 기반 언어 모델 모음입니다. 이러한 모델은 크기가 더 작지만 뛰어난 성능을 제공하므로, 새로운 방법론을 실험하고 다른 사람의 작업을 검증하며 혁신적인 사용 사례를 탐색하는 데 필요한 컴퓨팅 성능과 리소스를 크게 줄여줍니다.

Q. 그렇다면, 랭체인(LangChain)은 뭔가요?

LLM 작업에 사용할 수 있는 강력한 도구입니다. LLM을 원동력으로 하는 AI 서비스를을구축하기 위해서는 단순 언어 모델 개발 이상의 작업이 요구되는데, 특히 언어 모델을 활용한 AI 서비스 개발 시 가장 까다로운 부분은 언어 모델과 여러 기능 간의 연결입니다. 랭체인(LangChain)은 이러한 통합을 간소화하도록 설계된 일종의 SDK(Software Development Kit)이자 다양한 언어 모델을 기반으로 하는 애플리케이션 개발을 위한 프레임워크입니다. 

왜 LLM 기반 AI 서비스를 만들기 위해 랭체인(LangChain)을 활용하는 방법이 인기있을까요?

바로, 랭체인(LangChain)으로 LLM의 논리적 결합(Chain)을 만들 수 있기 때문입니다.

단순 언어 모델인 LLM 자체에는 기능에 한계가 있기 때문에, 이를 극복하기 위해 랭체인(LangChain)은 텍스트를 작은 조각으로 분해하여 벡터 공간에 포함시키고 질문이 주어지면 유사한 조각을 검색하여 전처리하는 유용한 방법을 제공합니다. 따라서 랭체인(LangChain)은 개발자가 문제에 대해 추론할 수 있는 에이전트를 구축하고 더 작은 하위 작업으로 나눌 수 있도록 해주기에,  랭체인(LangChain)을 사용하면 중간 단계를 만들고 명령을 함께 체인화하여 컨텍스트와 메모리를 효과적으로 도입할 수 있습니다.