Llama3의 등장! Llama2와의 차이점부터 액세스하는 방법까지
#Llama3
#Llama2
#파인튜닝
작년 한 해 뜨거운 관심을 받았던 Llama2에 이어 24년 봄, 메타의 차기작 Llama3가 공개되었습니다. 라마는 등장과 동시에 LLM시장에 새로운 지각변동을 일으키며 오픈소스 LLM의 차세대 아이콘으로 급부상하였는데요. 이번에 새롭게 출시된 Llama3의 주요 특징들을 살펴보며 이전 모델과 어떤 점이 달라졌는지 살펴보고, 액세스하는 방법까지 알아보겠습니다.
라마3 vs 라마2: Llama3는 Llama2보다 얼마나 더 좋아졌을까?
Llama3는 8B, 70B 2가지 버전으로 출시되었으며 일상적인 대화부터 복잡한 추론 작업까지 다양한 응용 분야에서 탁월한 성능을 발휘하도록 설계되었는데요. 이전 모델과의 차이점 및 주요 특징들을 살펴보면,
15T 토큰
8B, 70B 두 가지 매개변수 모델로 출시된 Llama3는 15조 개의 토큰으로 구성된 광범위한 데이터 세트에서 훈련되었습니다. 전작인 Llama2에서 2조 개의 토큰이 사용된 것보다 7배 이상 많은 토큰으로 학습되었으며, 4배 더 많은 코드를 포함했다고 합니다.8K
콘텍스트 길이도 4,096개 토큰에서 8,192개 토큰으로 두 배가량 늘어나 한 번에 처리할 수 있는 토큰 수 또한 훨씬 늘어났습니다. (RoPE를 사용하면 최대 32,000개까지 확장 가능)128K 토큰을 보유한 토크나이저
Llama 3는 더 나은 언어 인코딩 효율성을 위해 128,000개의 토큰을 지원하는 토크나이저를 포함하여 크게 개선된 디코더 전용 변환기 아키텍처를 유지한다고 합니다.30개 이상의 비영어 데이터
Llama3의 데이터셋 중 5%가 30개 이상의 비영어 데이터로 구성되어, 다양한 언어 표현과 영어 이외의 데이터가 통합되어 있습니다.
효율성 개선
상세한 확장 법칙은 데이터 혼합 및 계산 리소스를 최적화하여 다양한 애플리케이션에서 강력한 성능을 보장하는 동시에 Llama 2에 비해 교육 프로세스 효율성을 3배 높입니다.
이 밖에도 오류 감지 및 처리, 유지/보수 등을 자동화하는 고급 시스템을 사용하여 Llama 2보다 훈련시간을 95% 단축시켰으며, 사용자의 의도와 문맥을 더 정확하게 파악하여 맥락에 맞는 대화가 가능하다는 점 등 여러 방면에서 성능 개선이 이루어졌습니다.
Llama3와 다른 모델 간의 비교출처: Meta
Llama3는 다양한 벤치마크에서 이전 Llama2나 경쟁사보다 뛰어난 성능을 보여주었는데요. 특히 다양한 분야의 지식을 평가하는 MMLU, 코딩 능력에 초점을 맞춘 HumanEval과 같은 작업에서 탁월함을 보였습니다.
Llama3 8B의 경우 Gemma 7B, Mistral 7B와 비교하였을 때, 조언 요청, 브레인스토밍, 분류, 폐쇄형 질문 답변, 코딩 등등 12가지 주요 평가항목에서 더 뛰어난 평가를 받았는데요. 특히 상단의 자료를 확인해보면 코딩 능력을 테스트하는 HunanEval 테스트에선 타 모델대비 두배에 가까운 처리 성능을 보여주었습니다.
출처: orange-mansion.com
더불어 70B 모델은 오픈소스임에도 Claude3의 Sonnet와 비슷한 성능을 발휘하는데요. 70B는 공개 직후 LLM 평가를 위한 크라우드소싱 개방형 플랫폼인 LMSYS 챗봇 아레나 리더보드에서 GPT-4 터보, 클로드3 오퍼스 등에 이어 5위로 순위가 매겨졌습니다. 하지만 이러한 비교는 모델의 특정 버전을 기반으로 하며, 성능은 사용된 평가 방법에 따라 달라질 수 있기에 유의해야 합니다.
메타는 앞으로 8B, 70B 모델에 이어 4000억 개 매개변수로 구성된 400B 모델도 출시할 예정인데요. 현재 400B+(405B)모델은 중간 성능만 공개했음에도 GPT-4와 Claude3 Opus와 경쟁상대가 될 것으로 예측된다고 전해집니다. 메타는 이 또한 훈련이 완료되면 자세한 연구 논문과 함께 시장에 공개하겠다고 밝혔는데요. 앞으로 몇 달에 걸쳐 다중 모드, 다국어 기능, 콘텍스트 창 확장 등 새로운 기능들을 추가해 나갈 예정이라 하니, 앞으로도 계속해서 성능이 업데이트 될 예정입니다.
LLM 시장 장악력을 높여가는 메타,
Llama2에 이어 Llama3도 오픈소스로 공개
메타의 Llama 모델이 더욱 주목받는 이유는, 오픈 AI의 GPT-4, 엔트로픽의 Claued3의 폐쇄형 모델과는 다르게 오픈소스로 공개되어 누구나 모델의 코드, 아키텍처 등 관련 정보를 무료로 사용할 수 있으며, 심지어는 상업적 이용까지 가능하기 때문인데요.
이 덕분에, 라마를 기반으로 알파카(Alpaca), 비큐냐(Vicuna), 차이니즈 라마 같은 다양한 파생모델이 탄생하였으며, 또한 현재 Llama3는 마이크로소프트의 애저, 구글 클라우드, AWS는 물론 IBM 왓슨X, 허깅페이스, 캐글, 데이터브릭스, 스노플레이크 등의 플랫폼에서 활용 가능하기에 시장 장악력 또한 높습니다.
최근에는 엔디비아나 퀄컴과 손잡으며 시장을 더욱 확장하고 있는데요. 엔디비아는 최근 4월 24일 모든 플랫폼에서 라마3를 가속화하기 위한 최적화를 지원하겠다고 발표했으며, 퀄컴은 스마트폰, PC, VR/AR 헤드셋, 차량 등에서 라마3 실행을 최적화하기 위한 협업을 한다고 밝혔습니다.
이처럼 메타의 라마 모델은 다양한 플랫폼을 통해 빠르게 확산되고 있기에 라마3의 시장 장악력은 앞으로도 계속 넓어질 예정입니다.
그렇다면 Llama3에 액세스하는 방법은? 더 개선된 성능으로 시장 장악력을 점점 넓혀가는 라마3! 어떻게 액세스할 수 있을까요? 라마3에 액세스하는 몇 가지 방법을 간략하게 알아보겠습니다.
1. Hugging Face 이용하기
Hugging Face는 넉넉한 무료 등급을 제공하여 비용을 들이지 않고도 Llama 3의 기능을 탐색할 수 있습니다. (API 제한 및 추가 기능을 늘리기 위해 유료 플랜으로 업그레이드가 필요할 수 있습니다.)
Llama 3는 사용자가 액세스를 요청해야 하는 게이트형 모델인데요. 우선 모델 액세스를 활성화하는 단계가 필요합니다.
1) Llama 3 액세스 활성화
∘ Hugging Face 계정에 로그인하거나, 새 계정을 등록해주세요.
∘ https://huggingface.co/meta-llama/Meta-Llama-3-8B를 방문하여 액세스를 요청할 수 있습니다.
∘ 라이선스 계약에 동의 후, Llama 3 모델에 액세스하세요.
∘ 이 링크에서 액세스 권한 확인이 가능합니다.
2) 허깅 페이스 액세스 토큰 생성
모델에 액세스하려면 HuggingFace 액세스 토큰도 필요합니다. 설정으로 이동한 후 왼쪽 사이드바에 있는 액세스 토큰으로 이동, ‘새 토큰’ 버튼을 클릭하여 새 액세스 토큰을 생성해주세요.
3) 모델 사용 승인 제출
토큰 생성이 완료되었다면, 여기로 접속하여 허깅페이스 Llama3 8B 모델로 접속해 주세요. 다른 모델들도 확인 가능합니다. 이후, 페이지 하단에서 모델 사용 승인을 위해 제출해야 할 사항들을 기입 후 제출해 주세요. (메일로 승인 메일을 받을 수 있습니다.)
4) Inference API 키 발급
우측 상단에서 Inference API를 클릭하여 코드를 확인하고 발급받은 API 키를 넣어서 사용해 주세요.
2. Ollama로 라마3 설치하기
Ollama는 LLM을 로컬에서 실행하고 직접 제어할 수 있도록 설계된 오픈 소스 소프트웨어로, 클라우드 서비스에 의존하지 않고 로컬에서 LLM을 실행할 수 있습니다.
1) Ollama 공식 페이지에 접속하여 사용 중인 운영 체제(macOS/ Linux/ Windows)에 맞는 설치 파일을 다운로드해 주세요.
2) Ollama 실행 후, 터미널 또는 명령 프롬프트에서 [Ollama run llama3:8B] 입력후 모델 다운로드 해주세요.
3. OpenAI API 활용하기
OpenAI는 GPT 시리즈 언어 모델로 가장 잘 알려져 있지만 최근 API를 통해 Llama 3 모델에 대한 지원을 추가했습니다. OpenAI의 API는 안정성과 확장성으로 잘 알려져 있어 프로덕션급 애플리케이션에 좋은 선택입니다. 그러나 API 가격은 사용량에 따라 책정되므로 사용량을 모니터링하고 필요에 맞는 적절한 가격 책정 계층을 선택하는 것이 중요합니다.
OpenAI API 키를 등록해 주세요.
OpenAI Python 라이브러리 설치해 주세요.
제공된 코드 조각을 사용하여 Llama 3 모델에 대한 API 호출을 수행하세요.
생성된 출력을 애플리케이션에 통합해 주세요.
3. Anthropic API 활용하기
Claude AI 모델을 개발한 회사인 Anthropic도 Llama 3를 API 제품에 통합했습니다. 이러한 통합을 통해 사용자는 다른 강력한 AI 모델과 함께 Llama 3에 액세스하여 다양한 자연어 처리 작업을 위한 다목적 툴킷을 제공할 수 있습니다. Anthropic의 API는 안전과 윤리적 고려에 초점을 맞춘 것으로 알려져 있어 높은 수준의 신뢰와 투명성이 필요한 애플리케이션에 적합합니다. OpenAI와 마찬가지로 Anthropic의 API는 사용량에 따라 가격이 책정되므로 적절한 가격 책정 계층을 선택하고 소비를 모니터링하는 것이 중요합니다.
Anthropic API 키에 가입해 주세요.
사용 가능한 엔드포인트와 매개변수를 이해하려면 API 문서를 확인해 주세요.
제공된 코드 조각을 사용하여 Llama 3 모델에 대한 API 호출을 수행해 주세요.
생성된 출력을 애플리케이션에 통합해 주세요.
오늘은 Llama3에 대한 주요 특징부터 모델에 액세스할 수 있는 몇몇 채널들을 살펴보았습니다. 현재 Llama는 공격적으로 모델을 개발하고 시장 장악력을 높여가고 있는데요. Llama의 등장 이후 비공개 소스 모델과 오픈 소스 모델 간의 격차가 점점 줄어들고 있는만큼 Llama 모델을 파인튜닝 할 수 있는 능력과 경험도 점점 중요해지고 있습니다.
이에 Llama 모델을 학습하고자 하는 개발자/엔지니어 분들도 점차 많아지고 있는데요. 혹시..
✔️ LLM과 Llama3를 제대로 이해하고 실제 업무에 활용하고 싶다거나
✔️ 오픈소스 LLM을 활용하여 실제 상용화 가능한 수준의 LLM 서비스를 개발하고 싶다거나
✔️ LLM과 파인튜닝을 깊게 이해하고 싶으신 분들 계신가요?
그렇다면 이 강의를 주목해주세요!
“AI의 최전선 실리콘밸리에선 Llama를 어떻게 파인튜닝 할까?”
데이터브릭스 김형진이 알려주는 실전 Llama3!
✅ Llama3에 대한 깊은 이해, Llama3 모델 파헤쳐 보기
✅ Llama를 활용한 고급 파인튜닝 & 프롬프트 엔지니어링
✅ Open Source LLM 과 Closed Source LLM 비교와 활용
✅ LLaMa3 활용한 모델 서빙부터 맞춤형 AI 서비스 구현까지!
LLM 모델에 대한 깊은 이해부터 실제 프로젝트에서 마주칠 수 있는 도전적인 상황들과 이를 극복하기 위한 실질적인 솔루션을 가득 담았습니다.
최적화된 AI 서비스 구현을 위한 Fine-tuning 마스터 클래스🔥
📌김형진의 LLaMa3 & 오픈소스 LLM을 활용한 Fine-tuning & AI 서비스 구현!
지금 시작해보세요!