LLM vs sLM : 빅테크 기업이 sLM 모델에 사활을 거는 이유는? 8개 대표 sLM 소개까지!
#sLM 모델
#LLM
#온디바이스 AI
sLM: 소형 언어 모델의 부상. 가볍고 저렴한 언어 모델이 뜬다.
최근 LLM 시장의 흐름이 개발이나 상용화가 어려운 LLM보다 더 저렴하면서 특정 분야에서 효과적인 성능을 낼 수 있는 sLM(Small Language Model)으로 빠르게 옮겨가고 있습니다.
최근 오픈AI CEO 샘 알트먼은 MIT의 한 행사에서 “거대한 AI 모델을 만드는 시대는 이제 끝이 났다”고 전했는데요. 물론 이 말의 의미가 LLM(초거대 언어 모델)을 부정하거나 완전히 끝이 났다는 뜻은 아닐 것입니다. 하지만 더 이상 언어 모델의 크기를 늘리는 것만으로는 AI 성능을 향상시키는 데는 한계가 있으며, 더 안전하며 유능한 모델을 만들기 위해 오픈AI는 앞으로 다른 방향으로 나아갈 것임을 시사하는데요.
샘 알트먼은 AI의 성능은 크기 외에도 다른 다양한 요소들에 의해 좌우되며, 이제 사이즈를 키우는 것 이외의 요소에 주안점을 두겠다고 말했습니다. 더불어 현재 LLaMA 같은 소형 언어 모델의 성능이 계속해서 올라오며, 특정 부분에선 sLM 모델이 LLM의 성능을 뛰어넘는 현 상황에 더이상 LLM의 크기에만 집중하는 것은 의미가 없을 것입니다. 또한 언어 모델의 상용화(온디바이스 AI)와 효율성(비용대비 성능)을 위해 앞으로 AI시장의 흐름이 LLM에서 sLM으로 흘러가는 것은 어찌 보면 당연한 일이죠.
sLM 모델이 LLM보다 나은 4가지 이유
이러한 샘 알트먼의 발언처럼 현 LLM 시장의 빅테크 기업들은 sLM시장에서 더 치열한 격투를 벌이고 있는데요. MS(마이크로소프트)는 Phi-3를, 구글은 LLM모델인 Gemini를 경량화한 Gemma를, 메타에선 LLaMa3를 선보이며 sLM 기반의 AI 개발에 집중하고 있으며, Galaxy S24의 인공지능 실시간 통번역 기능에 LLaMA-2가 적용된 사례처럼 벌써 상용화도 이루어지고 있습니다. 이처럼 글로벌 빅테크 기업들이 너도나도 앞다투어 sLM에 뛰어들고 있는데, 그 이유를 크게 4가지만 뽑아보자면
1. 온디바이스 AI가 가능하다.
sLM은 데이터를 클라우드로 보내는 대신 장치에서 로컬로 처리할 수 있다는 장점을 가집니다. 작은 모델 크기로 디바이스 내에서의 AI 실행이 가능하여 핸드폰, 스마트 스피커, IoT 디바이스 등 다양한 기기에서 활용 가능한데요. 사실 이러나저러나 결국 AI가 활용될 기기는 컴퓨터를 넘어 핸드폰이 될 것이기에 벌써 수많은 기업들이 sLM의 상용화, 온디바이스 접목에 힘쓰고 있습니다.
실제로 애플, 삼성, 구글 등은 벌써 온디바이스 AI를 도입하였는데요. 앞서 설명했던 것처럼 삼성의 Galaxy S24에는 메타의 sLM 모델인 LLaMA-2가 적용되었으며, 애플은 iOS 17.2부터 아이폰용 AI앱인 Journal(일기)를 도입하였다. 이 외에도 구글은 온디바이스용 Gemini Nano를 픽셀 8프로에 삽입하였으며, 스테이블 디퓨전으로 유명한 스태빌리티 AI는 온디바이스에 최적화하여 텍스트 생성, 요약, 콘텐츠 개인화를 지원하는 StableLM Zephyr 3B를 출시, 네이버는 하이퍼클로바X를 전면에 내세운 다양한 버전의 sLM 모델 출시를 준비중입니다.
2. 투자 비용 대비 뛰어난 성능을 보인다.
AI 기술이 개발 단계에서 서비스에 적용하는 단계로 넘어오면서 비용 절감의 중요성이 커지자, 기업들은 컴퓨팅 비용이 낮으면서 도메인(산업) 별로 특화할 수 있는 sLM 모델을 선호하고 있습니다. sLM은 일반적으로 LLM보다 5~10배 정도 작은데, 크기가 작을수록 에너지 소비가 훨씬 적을 수밖에 없습니다. 단일 GPU에서 호스팅하는 것도 가능하기에 요즘같이 칩셋이 부족한 시점을 고려한다면 이는 큰 이점으로 작용하는데요. 더불어 훈련 및 추론 시간은 더 빨라지고 대기 시간은 훨씬 짧아져 모델 학습이 더욱 용이해졌죠.
최근 MS가 출시한 sLM 모델 ‘Phi-3 mini’의 경우 매개변수가 38억 개로 오픈AI GPT-3.5(1750억 개)의 약 50분의 1 수준이라고 합니다. 그렇지만 MMLU-5 shot(학부생 수준의 지식 측정)기준에서 GPT-3.5에 준하는 성능을 보이며, sLM이 LLM과 비교했을 때 훨씬 저렴한 운용 비용으로 비슷한 성능을 낼 수 있음을 다시 한번 입증하였는데요. 이러한 투자 비용 대비 높은 성능은 리소스가 제한된 환경에서 이상적인 모델이라는 뜻이기도 한데, 이제 더 이상 언어 모델이 공룡 빅테크 기업만의 전유물이 아니라 스타트업에서도 개발이 가능해졌다는 뜻이기도 합니다.
3. 산업 도메인 특화로 전문성은 UP, 할루시네이션은 DOWN
더불어 sLM은 크기가 줄었음에도 의료나 코딩, 금융 등 도메인 별로 파인튜닝 되었기에 LLM보다 더 정확한 결과물 도출이 가능해졌습니다. 모델이 특정 도메인이나 산업에 맞게 학습되었기 때문에 보다 정확하고 문맥에 맞는 응답을 제공하며, 해당 분야에서 발생할 수 있는 할루시네이션(환각 현상)을 방지할 수 있는데요.
예를들어 ChatGPT에게 ‘LTV’의 의미에 대해 질문했을 때, ChatGPT는 통상적으로 쓰이는 마케팅 용어와 관련하여 답변을 내놓습니다. 하지만 생성AI 스타트업 올거나이즈가 개발한 금융 서비스 특화 sLM 모델인 알리 파이낸스에선 LTV의 의미를 금융 계약에 활용되는 담보 안정 비율이라고 도메인에 맞는 명확한 답변을 내놓습니다. 이처럼 sLM은 도메인 맞춤형으로 학습되기에 전문 용어와 언어적 뉘앙스를 심층적으로 이해하고 각 도메인에 맞는 알맞은 답변 제공이 가능해지는 것인데요. 현재 파인튜닝된 sLM은 금융산업 이외에도 의료, 코딩, 건축, 법률, 세무, 수학, 헬스케어, 이커머스 등 다양한 산업에서 활용되고 있습니다.
4. 보안 문제 해결이 가능하다.
LLM은 API를 통해 민감한 데이터가 노출될 위험이 있지만, sLM은 기업 및 기관 내부에 설치하는 구축형 On-premise 방식으로 데이터 유출 위험이 낮습니다. 더불어 온디바이스에 적용한다면 데이터를 장치에서 로컬로 처리하기에 개인정보 보호에도 탁월하죠.
이처럼 sLM은 온디바이스 AI가 가능하고, 투자 비용 대비 높은 성능 효율성을 보이며, 도메인 특화 강점을 가지면서 보안 유지까지 되니, LLM의 고질적인 단점들을 sLM은 단번에 해결 가능합니다. 때문에 기업들이 sLM 모델 경쟁에 사활을 거는 것은 어찌 보면 당연한 현상이라고 볼 수 있죠.
현시점 가장 핫한 오픈소스 sLM 모델 8개 소개
sLM이 대두되는 이유를 알았다면 이제 2024년 가장 핫한 8개 sLM 모델들을 간단히 살펴보겠습니다.
1. LLaMA-3
라마3는 메타AI에서 개발한 오픈소스 모델로 현시점 가장 뛰어난 성능 & 범용성을 보이는 모델입니다. LLaMA3는 수많은 화제를 모았던 LLaMA2에 비해 모든 벤치마크에서 대폭적인 도약을 이루었는데요. 15T 개 이상의 토큰을 사용하여 pre-training하였으며, LLaMA2 대비 7배 더 크고 4배 더 많은 코드를 포함하였다. 향상된 추론, 미세조정된 언어 이해, 새로운 기능 등을 통해 다양한 분야에서 좋은 성능을 제공하는 언어 모델로 온디바이스 AI 환경에 적합한 모델이기도 합니다.
2. Gemini-Nano
구글에서 개발한 sLM으로 인터넷 연결이 없이도 실시간 통/번역이 가능하며 맞춤형 온디바이스 어시스턴트 기능 수행이 가능합니다. 상황별 맥락 이해를 통한 최적화된 답변 생성이 장점입니다.
3. Gemma
구글의 젬마는 텍스트 기반의 작업에서 장점을 보여주는 모델입니다. 복잡한 문맥을 이해하고 콘텐츠 생성에 우수한 성능을 보인다. 다중 프레임워크, AI 도구와의 유연한 연결이 돋보입니다.
4. Mistral AI
미스트랄은 다국어 처리와 코드 작업에 우수한 성능을 보이는 모델로, 대규모 다중 작업 언어 처리가 가능하여 문서 처리에 강점을 보여주고 있습니다. 메모리 요구 사항 대비 높은 추론 성능을 보이며, 개인화에 특화된 sLM 모델입니다.
5. Phi-2
파이2는 마이크로소프트에서 개발한 모델로, 언어 이해와 추론에 높은 성능을 보여주고 있습니다. 메타의 LLaMA-2-70B 모델에 비해 코딩 및 수학과 같은 다단계 추론 작업에서 더 뛰어난 성능을 보이는 것으로 평가받으며 특정 도메인(QA, 채팅, 코드)에서 높은 추론 성능을 보입니다. 더불어 데이터 편향성이나 독성 측면에서도 완화된 sLM 모델이며, 멀티 모달 기능을 제공합니다.
6. Falcon
팔콘은 아랍에미리트(UAE)의 기속 혁신연구소에서 출시한 sLM 모델로, 영어와 아랍어, 추론에 특화된 sLM입니다. 캐시량 삭감으로 메모리 양 억제가 가능하며, 맞춤형 데이터 파이프라인 기반 모델입니다.
7. Stable LM 2
Stable Diffusion을 개발한 스태빌리티 AI에서 만든 모델로 다국어 작업과 이미지 생성에 특화된 모델입니다. 할루시네이션과 독성 언어 문제에 높은 성능을 보이며, 빠른 실험과 배포가 가능하다는 장점이 있습니다.
8. YI
YI는 중국의 스타트업 01.AI가 개발한 모델로, 고품질 3T 다국어 말뭉치로 학습된 이중 언어 모델을 목표로 하며, 언어 이해력, 상식 추론, 독해력 등에서 높은 성능을 보이고 있습니다. 영어와 중국어 언어 지원이 가능합니다.
앞으로의 AI 시장의 방향성은…
앞서 살펴본 점들로 미루어보아, sLM은 온디바이스 AI의 보급을 가속화하고 AI 서비스의 핵심 기술력으로 앞으로도 계속해서 성장할 것으로 보입니다. 이제 AI서비스를 하고자 한다면 sLM은 선택이 아닌 필수라고 말할 수 있을 텐데요. 그리하여 소개하는 강의!
LLaMA3, Phi-2, Gemma 등 LLM Task마다 각각의 강점을 보이는 8개의 sLM을 활용한 5개 프로젝트 실습 강의로,
실제 산업현장에서 자주 수주받는 sLM 모델들을 구축해 보며 기업에서 필요한 Custom sLM 모델을 개발하기
위한 파인튜닝 방법, 멀티모달 데이터 처리, 멀티모달 RAG까지 학습할 수 있도록 준비한 강의입니다.
✅ LLaMA3, Phi-2 등 8개 대표 sLM 비교/분석/활용
✅ 원하는 서비스 개발에 따른 모델 결합 방법 학습
✅ 비속어/불용어 처리와 보안 솔루션 구축 프로젝트 실습
✅ sLM의 성능을 올리는 DPO & Merge 학습까지!
sLM은 결국 기업 전용 LLM으로 변할 것이라는 예측처럼 앞으로 수많은 기업에서 sLM을 필요로 하게 될 것인데요. 강사님께서 여러 모델이 융합되면서 우리 기업만의 ChatGPT를 만드는 방법론을 전하고자 준비하셨다고 하니, 어떻게 하면 우리 기업에서 필요로 하는 sLM 서비스를 만들 수 있을지 궁금하신 분들은 한번 들어보시면 좋을 것 같습니다.
Reference:
Sam Altman: Size of LLMs won’t matter as much moving forward
What are Small Language Models (SLMs)?
“가볍고 저렴한 언어모델이 뜬다”… MS·구글·메타, 온디바이스 AI 시장서 격돌
Small Language Models Gaining Ground at Enterprises
AI도 가성비 시대…LLM가고 SLM 뜬다
‘도메인별 LLM’의 실제 사례: 비즈니스에 맞춤형 AI 도입
2024년에 주목해야 할 오픈 소스 LLM 상위 5가지
AI 트렌드에 개념더하기 + 소형언어모델 (SLM)