딥러닝의 역사적인 순간 10개 

1. 알렉스넷(AlexNet)의 등장(2012)

딥러닝 시대의 서막을 연 가장 중요한 사건이 바로 알렉스넷(AlexNet)의 등장입니다. 알렉스넷은 딥러닝 기반의 이미지 처리 아키텍처로, 이미지를 분석하고 분류하는 여러 계층과 데이터를 요약하고 추출하는 풀링 계층으로 구성되어 있습니다. 그래픽 처리 장치(GPU)를 계산과 훈련에 활용한 것이 특징입니다.

알렉스넷은 대규모 이미지 데이터베이스인 이미지넷 주최의 ‘ILSVRC’ 인식 대회에서 역대급 기록으로 우승했습니다. 이 대회에서 알렉스넷은 15.3%의 낮은 오류율로 우승하며, 이전 최고 기록과 10% 이상 격차를 보이며 압도적인 결과를 달성했습니다. 이때 알렉스넷의 등장을 두고 누군가는 이미지 인식, 컴퓨터 비전계의 ‘우사인 볼트’가 등장했다고 할 정도였는데요. 이 사건은 이미지 인식과 컴퓨터 비전 분야에서 딥러닝을 주요 기술로 자리매김하게 했습니다.

2. 생성적 적대 신경망(GANs) 발표(2014)

생성적 적대 신경망, 즉 GANs은 2014년에 미국의 엔지니어인 이언 굿펠로우(Ian Goodfellow)와 그의 동료들이 발표한 AI 알고리즘입니다. 데이터 분포를 파악하는 생성 모델과 훈련 데이터에서 샘플이 나올 확률을 추정하는 판별 모델로 구성돼 있습니다. 판별 모델이 진짜와 가짜를 더 이상 구분하지 못할 때까지 생성 모델이 학습을 거듭하면서 사실적인 이미지를 생성합니다.쉽게 말하면, 생성 모델과 판별 모델이 끊임없이 술래를 바꿔가며 ‘꼬리잡기’게임을 하면서 정확도를 높여간다고 생각하면 되는데요. 과거 엄청나게 인기를 끌었던 MBC의 ‘무한도전’의 ‘꼬리잡기’게임을 기억하면 쉬울 것 같습니다. 

GANs는 비지도 학습, 적대적 학습 분야에서 혁신을 이루었으며, 오늘날 게임, 영화, 그래픽 디자인, 패션, 의학 분야의 연구용 합성 데이터 생성에까지 널리 적용되고 있습니다.

3. 신경망 아키텍처 레즈넷(ResNet) 발표 (2015)

딥러닝 연구가 가속화되면서, 더 가벼운 알고리즘을 구현하는 방법이 학계의 주요 고민 중 하나로 자리 잡았습니다. 2015년, Microsoft에서 근무하던 연구원 Kaiming He는 레즈넷(ResNet)이라는 신경망 아키텍처를 발표하여 경량화 알고리즘의 발전에 큰 기여를 했습니다.

카드로 탑을 쌓는 것을 상상해 보세요. 지지대 없이 높이 쌓아 올릴수록 피라미드가 카드의 무게로 인해 무너질 가능성이 높아집니다. 이는 심층 신경망을 구축할 때 마주하는 가장 큰 문제와 유사합니다. 이럴 때 카드와 카드 사이에 지지대 역할을 하는 카드를 깔아 주면 무게가 분산되어 탑이 무너질 확률도 낮아집니다.

레즈넷은 심층 신경망에서 지지대 역할을 하며, 훈련 오류와 성능 저하 문제를 해결합니다. 심층 신경망에 레이어를 추가할수록 데이터에 오류가 발생하고, 이를 극복하기 위해 무게를 분산하고 일부 레이어를 건너뛰는 ‘지름길’을 마련하는 것입니다. 이러한 지름길은 성능 저하 없이 수백, 수천 개의 레이어를 포함하는 심층 신경망을 구축하는 데 도움이 됩니다. 데이터의 깊이가 깊어질수록 더 정확한 결과를 얻게 되므로, 레즈넷의 등장은 AI가 복잡한 작업을 더 정확하게 처리할 수 있는 방향으로 발전하는 데 중요한 계기가 되었습니다.