'AI 발전의 주역' 딥러닝 발전의 10대 이정표 (2)
#AI
#딥러닝
이전 글에 이어 ‘딥러닝 발전의 10대 이정표’를 여섯 번째부터 이어가겠습니다
7. 트랜스포머 모델(Transformer) 개념 등장(2017)
” Attention Is All You Need “
해당 문장을 보면 비틀즈의 “All You Need Is Love”가 떠오르지 않으신가요? 그렇다면 잘 생각하신 겁니다. 2017년, 구글 딥브레인(후에 딥마인드로 통합) 팀은 “Attention Is All You Need(어텐션만 있으면 된다)”라는 논문을 발표했는데요. 이 논문에서 소개한 인공 신경망 트랜스포머 모델은 향후 자연어 처리(NLP)에 엄청난 혁신을 가져오게 됩니다.
트랜스포머 모델은 텍스트나 시계열과 같은 데이터 시퀀스를 처리하기 위한 아키텍처입니다. 데이터를 순서대로 처리하던 이전 모델과 달리, 트랜스포머는 ‘어텐션’이라는 메커니즘을 사용하여 입력 데이터의 여러 부분의 중요도를 평가하고 속도와 정확성을 획기적으로 개선합니다. 이를 통해 데이터 내의 맥락과 관계를 보다 효과적으로 학습할 수 있습니다.
한국어를 영어로 번역할 때, 기존 모델에서는 각 단어를 하나씩 살펴봐야 했지만, 트랜스포머 모델을 통하면 문장 전체를 한 번에 살펴볼 수 있습니다. 이름이나 키워드처럼 문맥을 이해하는 데 중요한 고유명사 등의 단어에 더욱 집중하기 때문에 정확도 높은 번역이 가능해집니다. 트랜스포머는 BERT, GPT-3 등의 언어 모델에 크게 영향을 미쳤으며, 오늘날 언어 번역, 텍스트 요약, 챗봇의 응답 생성, 창의적인 콘텐츠 작성 등 대부분의 최신 자연어 처리 애플리케이션의 기반이 되고 있습니다.
7. 언어 모델 버트(BERT) 발표 (2018)
구글은 2018년, 버트(BERT, Bidirectional Encoder Representations from Transformers)라는 고도화된 언어 모델을 발표하여 또 다시 자연어처리 분야에 큰 바람을 불러일으켰습니다. 기존의 모델들이 텍스트를 한 방향(왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽으로)으로만 처리했던 것과 달리, 버트는 텍스트를 양방향으로 분석합니다. 따라서 주변 단어를 바탕으로 뉘앙스와 맥락을 파악하는 것이 쉬워집니다.
“The bank of the river is steep”라는 문장에서 “bank”라는 단어는 강의 둑을 의미할 수도 있고, 은행을 의미할 수도 있습니다. 버트는 “river”와 “steep” 같은 단어에서 주어진 맥락을 바탕으로 “bank”의 의미가 은행이 아닌 둑이라는 것을 파악합니다. 텍스트 처리를 단방향이 아닌 양방향으로 분석하기에 명확한 맥락 파악이 가능해지는 것입니다.
버트는 이러한 양방향 분석 능력을 기반으로 질문 응답, 감정 분석, 언어 추론과 같은 분야에서 NLP의 성능을 크게 향상시켰으며, 검색 엔진의 검색 결과 개선, 언어 번역 서비스의 수준을 한층 끌어올렸습니다.
8. 생성형 AI의 시대를 연 GPT-3(2020)
미국의 인공지능 기업인 OpenAI가 2020년에 개발한 GPT-3은 1,750억 개의 파라미터로 구성된 언어모델입니다. 오픈소스로 공개된 이전 GPT-2와 달리, 코드와 모델을 비공개로 발표하여 당시 비영리 연구소였던 OpenAI가 비난을 받기도 했습니다. 전작 대비 엄청난 성능의 발전을 보여줘서 화제가 되기도 했습니다.
GPT-3은 기존의 분석 및 해석을 넘어 대규모 언어 모델을 기반으로 한 ‘생성형’ AI를 본격적으로 수면 위로 끌어올린 프로젝트입니다. 이메일을 작성할 때, 받는 사람, 주제, 핵심 내용 등을 입력하면 GPT-3는 그 요소들을 자세히 반영하여 일관되게 맥락에 맞는 문장을 씁니다. 이를 통해 마치 사람이 쓴 것처럼 격식을 갖추고 정중한 업무 메일을 쓸 수 있습니다.
텍스트 생성을 넘어, GPT-3는 언어에 대한 이해가 필요한 다양한 분야에 영향을 끼쳤습니다. 긴 글을 요약하거나 시와 같은 창의적 콘텐츠를 생성하고, 언어를 번역하기도 하고, 코딩도 가능합니다. 이러한 능력은 인간과 컴퓨터 간의 상호작용 인터페이스를 더 직관적으로 개발하는 데에도 유용합니다. 광범위한 언어 훈련 데이터를 활용함으로써 GPT-3는 ‘정말 인간이 할 법한’ 작업들을 수행할 수 있습니다. GPT-3의 출시는 AI가 말 그대로 ‘인공지능’의 의미에 한층 더 가까워졌음을 증명했습니다.
9. 파운데이션 모델(Foundation)의 등장(2021)
파운데이션 모델(Foundation)은 2021년 스탠포드 대학의 연구소에서 처음 만든 개념입니다. ‘광범위한 사례에 적용할 수 있도록 대규모 데이터를 기반으로 학습된 모델’을 뜻하며, AI 모델 개발 및 활용 방식에 큰 변화를 가져왔습니다. 파운데이션 모델을 기반으로 미세 조정(fine-tuning, 파인튜닝)만 하면 바로 사용할 수 있게 해 주는 모델로, 이 모델들을 활용함으로써, 각 산업 도메인에 맞춰 특화된 새로운 AI 모델을 개발하는 데 필요한 리소스를 획기적으로 줄일 수 있습니다.
특히 의료 분야에서는 파운데이션 모델의 영향이 매우 큰 편입니다. 이 모델들은 맞춤형 진단 도구 및 개인화된 치료법의 신속한 개발을 가능하게 하며, 의료 분야에서의 ‘개인화’ 영역을 크게 발전시켰습니다. 건강 관련 데이터를 대규모로 학습한 파운데이션 모델을 활용함으로써 의료 전문가들은 각각 환자의 필요에 정확하게 맞춰진 치료법을 제시할 수 있습니다.
이러한 범용성과 효율성 덕분에 파운데이션 모델은 AI 생태계에서 핵심적인 역할을 하며, 금융부터 교육에 이르기까지 다양한 분야에서 AI가 지원할 수 있는 능력을 확장하는데 기여하고 있습니다.
10. 이미지 제작의 패러다임을 바꾼 스테이블 디퓨전(Stable Diffusion)(2022)
스테이블 디퓨전(Stable Diffusion)은 영국의 AI 기업 Stability AI가 오픈소스로 배포한 이미지 생성형 모델로, 텍스트 프롬프트만으로 고품질의 이미지를 생성할 수 있습니다. 스테이블 디퓨전은 앞서 설명한 생성적 적대 신경망(GANs)의 한 분야에서 발전해온 모델입니다. 독특하면서도 예술적인 이미지를 만들 수 있어 디자이너, 일러스트레이터, 예술가들에게 새로운 형태의 시각 미디어를 실험하고 빠르게 작품을 제작할 수 있는 혁신적인 변화를 가져왔습니다.
예를 들어, 디지털 아티스트가 ‘석양이 깔린 초저녁의 미래 도시 풍경’이라는 설명을 입력하면, 스테이블 디퓨전은 요청 사항에 ‘훈련된 예술적 감각’을 더해 이미지를 생성합니다. 이는 이미지를 만드는 데 드는 시간을 줄여 줄 뿐만 아니라, 수작업으로 구현하기 어렵거나 시간이 많이 걸리는 작업을 AI로 실험할 수 있게 해 줍니다.
스테이블 디퓨전의 영향은 단순히 이미지를 만드는 데 그치지 않고, 고품질의 예술적 콘텐츠 생산을 대중화했다는 데 의미가 있습니다. 이는 예술 교육을 받지 않은 사람들이나 자본이 부족한 예술가도 쉽게 작품을 만들 수 있게 하여, 다양한 산업에서 시각 콘텐츠의 제작 방식에 변화를 가져올 수 있음을 보여주는 중요한 사례입니다.
이외에도 GPU와 TPU의 발전을 통한 AI 하드웨어 최적화, 2020년대 초 생성형 AI, LLM 모델의 춘추전국시대 등을 추가적으로 꼽을 수 있을텐데요. 이러한 이정표를 되돌아보면 딥러닝은 우리의 삶을 혁신했을 뿐만 아니라 미래 기술 발전을 위한 궤도를 구축했음을 알 수 있습니다.
미래 AI는 최소한의 데이터로 학습하고, 다양한 작업을 보다 효과적으로 일반화하며, 아마도 인간의 논리와 유사한 추론을 하는 방향으로 개발될 것입니다. 또한, AI 윤리와 거버넌스의 진화는 이 기술이 사회에 통합되는 방식을 형성하는 데 중추적인 역할을 할 것으로 보입니다. 과거의 흐름을 보면서 앞으로 AI가 어떻게 발전할지 예상해 보는 것도 좋을 것 같습니다.