#Llama3.1
#라마3
#오픈소스 LLM
| 메타의 Llama 3.1 공개
지난 7월 23일, 메타에서 Llama 3.1 모델을 발표했습니다. 기대감을 일으켰던 언어 모델인 만큼 Llama3.1 405b가 정식 출시된 지 얼마 지나지 않아 벤치마크 성능이 속속 등장하였는데요. 대부분의 상업 SOTA 모델을 제치는 성능을 보여주며 오픈소스 LLM 선두주자의 위력을 다시 한번 보여주었습니다.
하여 이번 글에서는 Llama 3.1의 설치 방법부터, 라마3.1이 얼마나 뛰어난 모델 성능을 보여주는지 확인해보는 시간을 가져보려합니다.
| Ollama를 이용한 메타의 Llama 3.1(라마3.1) 설치 방법
* 잠깐, 왜 Ollama로 Llama3.1을 설치하나요?
Ollam는 언어 모델(LLM)들을 쉽게 설치하고 실행할 수 있도록 도와주는 플랫폼인데요. Llama3.1을 메타 다운로드 사이트에서 직접 설치할 경우, 여러 정보를 입력하고 설정을 변경하는 등 기술적 이해가 필요하지만 Ollama의 경우 복잡한 설정 없이도 쉽게 설치가 가능합니다. 또한 LLM을 로컬에서 실행하고 직접 제어할 수 있어, 클라우드 서비스에 의존하지 않고 로컬에서 LLM을 실행할 수 있습니다.
더불어 Ollama는 언어 모델이 최신 버전으로 유지될 수 있도록 자동으로 관리하고 업데이트되기에 사용에 훨씬 편리하다는 장점이 있습니다.
| Step1. Ollama 설치하기
① 먼저 Ollama 홈페이지에서 Ollama를 다운로드 받아 설치해 주세요.
② 자신의 OS를 선택하고 다운로드 버튼을 클릭합니다.
③ 파일을 다운로드했다면 Install을 눌러 설치를 진행합니다. 설치가 완료되면 설치 완료되었다는 팝업창이 떴다 사라집니다.
| Step2. Llama 3.1 설치하기
① Ollama를 설치했다면 다시 홈페이지로 돌아와 우측 상단의 [Models]를 클릭해 주세요.
② llama부터 gemma, mistral까지 다양한 오픈소스 LLM 모델들이 있는데요.
이 중 llama3.1을 클릭합니다.
③ 다음으로 모델의 크기를 선택합니다. 개인 PC에서 설치한다면 가장 용량이 작은 8B를 선택해 주세요.
(cf. 405B는 231GB, 70B는 40GB, 8B는 4.7GB 입니다.)
④ 이후 우측에 나타나는 [ollama run llama3.1:8b] cmd 명령어를 확인 후 미리 복사해둡니다.
⑤ 윈도우키 + R을 눌러 cmd를 연 후, 복사해둔 명령어를 입력합니다.
설치가 완료되면 success 문구와 함께 메시지를 입력하라는 문구가 뜹니다. 8B는 용량이 작아 설치에 몇 분 걸리지 않았는데요.
간단하게 Hi 라고 말을 걸어보니 Llama가 반갑다는 답변을 해주었습니다.
이렇게 약 10분도 안되는 시간 안에 화제의 오픈소스 LLM Llama3.1을 설치하고 대화까지 나눠볼 수 있었는데요. 간단히 몇 마디 더 나눠보니 8B의 소형 버전임에도 꽤 좋은 답변을 내놓는 것을 볼 수 있었습니다.
| Llama3.1 한국어 실력은?
지난봄에 출시된 Llama3 모델의 경우, 한글을 지원하지 않았었는데요. 아쉽게도 Llama 3.1역시 한국어를 공식적으로 지원하지는 않습니다. 하지만 이전 모델들도 어느 정도 한국어를 이해하였기에 한국어로 질문을 던져보았는데요.
살짝 어색한 어투를 내비치지만 어떠한 Llama3 파인튜닝, 프롬프트 엔지니어링 없도 의사소통이 가능할 정도의 실력을 갖추고는 있습니다. 간단한 일상 대화 외에도 한국어로 정보를 요청하거나 요약 업무를 요청해도 수월하게 해내는 모습을 보이는데요.
어떠한 LLM이 그렇듯 종종 잘못된 정보를 제공하거나 비문 등의 오류가 있기는 하지만, 예상보다는 뛰어나다는 사용자 반응을 보이고 있습니다.
| Llama 3.1 성능 파헤쳐 보기 : 메타의 오픈소스 LLM vs 폐쇄형 LLM
Llama 3.1은 오픈 AI의 GPT-4o와 엔트로픽의 Claude 3.5 Sonnet과 대등한 성능을 낸다고 알려졌는데요. 아래 메타에서 공개한 llama3.1 405B의 벤치마크 결과를 보면, Llama는 오픈소스 LLM임에도 폐쇄형 LLM에 밀리지 않는 모습을 보여주었습니다.
특히 MMLU(지식) 부분은 GPT-4o, Claude 3.5 Sonnet과 큰 차이가 나지 않으며, 특히 추론을 담당하는 ARC Challenge에서는 가장 높은 점수를 기록하였는데요.
이미지 출처: artificialanalysis.ai/models
이번 Llama3.1 모델의 세부 정보를 확인해보면
✔️ 15조 개 이상의 토큰으로 구성된 광범위한 데이터 세트에서 훈련
✔️ 16,000개 이상의 H100 GPU
✔️ 표준 디코더 전용 트랜스포머 모델을 사용하여 아키텍처를 구성하였는데요.
이로써 안정성, 확장성 측면의 최적화를 진행하였습니다.
✔️또한 128K의 토큰을 보유하였는데요.
이는 GPT-4 Turbo 수준의 토큰으로, 더 좋은 언어 인코딩 효율성을 위해 128,000개의 토큰을 지원하는 토크나이저를 포함하였다고 합니다. 이로써 더 긴 문서나 대화를 한번에 처리할 수 있게 되었습니다.
이번 발표는 405b 모델뿐만 아니라 70b, 8b에 대한 업데이트도 담고 있는데요. 70b, 8b의 성능 또한 굉장히 많은 개선이 이루어졌다는 평을 받고 있습니다. 메타에 따르면 사전/사후 훈련에 사용하는 데이터의 양과 질을 모두 개선했다고 하는데요. 개인 이용자나 소규모 기업들의 모델 활용 측면에서도 향상된 성과를 보일 것으로 기대되고 있습니다.
사실 라마3의 최대 장점은 오픈소스로 공개되었기에 얼마든지 개인이 파인튜닝을 통해 조정할 수 있다는 점입니다. 사용자들이 모델을 자유롭게 사용할 수 있기에 다양한 응용 분야에서 혁신과 발전이 기대되며, 3rd Party가 붙은 Llama 생태계가 성장한다면 다양한 LLM 어플리케이션, 서비스들이 Llama를 기반으로 확장될 것으로 예상됩니다.
| Llama 3.1, AI 언어 모델 업계의 표준이 될 수 있을까?
이번 메타의 Llama3.1 405B 공개는 오픈소스 LLM 모델이 폐쇄형 모델에 대등한 성능을 보여준 중요한 전환점으로 여겨집니다.
이번 발표에서 메타의 CEO 마크 저커버그는 “오픈 소스 OS인 리눅스가 현재 클라우드 컴퓨팅 및 수많은 모바일 디바이스의 업계 표준이 된 것처럼 AI 모델 역시 비슷한 방식으로 발전할 것이다”라며 Llama 3.1이 AI 모델의 업계 표준이 될 것이라 전했습니다. 또한 “내년부터는 Llama가 업계에서 가장 뛰어난 모델이 될 것이다”라며 강한 자신감도 내비쳤는데요.
현재 메타는 공격적으로 시장 장악력을 높여가고 있습니다. Llama가 오픈소스로 공개된 덕분에 알파카, 비큐냐, 차이니즈 라마 같은 여러 파생 모델이 탄생하기도 하였으며, 마이크로소프트의 애저, 구글 클라우드, AWS는 물론 IBM 왓슨X, 허깅페이스, 캐글, 데이터브릭스 등 다양한 플랫폼에서 활용 가능하도록 협력 및 지원을 넓혀가고 있는데요.
최근에는 엔비디아, 인텔과 협력하여 모든 플랫폼에서 라마3를 가속화하기 위한 최적화를 발표하기도 했습니다. 메타가 플래그쉽 수준의 대형 언어 모델을 오픈소스로 공개한 만큼, 앞으로 Llama의 시장 장악력은 더욱 넓어질 것이며, Llama를 활용한 시장도 더욱 다양해질 것으로 기대되는데요. 과연 Llama가 AI 모델 업계의 표준이 될 수 있을지 귀추가 주목됩니다.
이러한 Llama의 뛰어난 성능과 확장성에 Llama3 모델을 학습하고자 하는 개발자/엔지니어 분들이 점차 많아지고 있는데요. 마지막으로 AI의 최전선 실리콘밸리에선 Llama3를 어떻게 파인튜닝하는지, 실제 상용화 가능한 LLM 서비스를 개발하는 방법이 궁금한 분들을 위한 강의 하나 추천하면서 오늘의 글 마무리하겠습니다.
▼ 지금 Llama3.1을 가장 빠르게 만나보세요 ▼
“AI의 최전선 실리콘밸리에선 Llama를 어떻게 파인튜닝 할까?”
데이터브릭스 김형진의 실전 Llama3
✅Llama3.1 코드 리뷰 및 기술적 변화 탐구
✅ Llama를 활용한 고급 파인튜닝 & 프롬프트 엔지니어링
✅ Open Source LLM 과 Closed Source LLM 비교와 활용
✅ LLaMa3 활용한 모델 서빙부터 맞춤형 AI 서비스 구현까지!