주요 기업들이 주목하고 있는 멀티모달! 멀티모달은 텍스트, 이미지, 영상 등 다양한 형태의 데이터를 동시에 처리하고 이해할 수 있는 기술인데요. 대표적으로는 애플 인텔리전스, Meta AI, GPT-4o가 있습니다. 이런 멀티모달은 텍스트, 이미지, 영상 등을 처리하는게 포인트이기에, 벡터임베딩이 더욱 중요해졌는데요. 왜 멀티모달은 벡터임베딩 중심으로 구축해야할까요?

1. 임베딩 데이터베이스 vs 기존 데이터베이스

임베딩 데이터베이스와 기존 데이터베이스는 주로 데이터를 저장하고 검색하는 방식이 다른데요. 우선 기존 데이터베이스는 행과 열이 있는 표와 같이 구조화된 형식으로 데이터를 저장합니다. 그래서 데이터 구조에서 정확한 일치 항목을 찾거나 특정 조건을 충족하는 검색에 가장 적합합니다. 이러한 구조화된 데이터베이스는 전통적인 인프라에서 쉽게 관리되고 운영될 수 있습니다.

반면 임베딩 데이터베이스는 데이터를 벡터로 저장합니다. 벡터란 다차원 공간에서 데이터를 나타내는 일련의 숫자인데요. 이 방법은 텍스트, 이미지 또는 사운드와 같은 복잡하고 구조화되지 않은 데이터를 처리하는 데 특히 유용합니다. 그래서  임베딩 데이터베이스가 제품이나 콘텐츠를 추천하는 것과 같이 데이터의 뉘앙스를 이해해야 하는 작업에 더 적합한거죠. 이를 이용한다면 고급 AI 애플리케이션을 지원하고 다양한 데이터 세트에서 검색 기능을 향상시킬 수 있습니다.

2. 벡터DB 임베딩 도입할때 흔히 생기는 문제들

이렇게 좋은 벡터임베딩! 그러나 그만큼 까다롭고 신경써야할 부분이 많은데요. 

① 데이터 전처리 : 어떤 방식으로 데이터를 전처리할지 결정해야 합니다. 텍스트 데이터의 경우 토큰화, 정제, 불용어 제거 등의 과정이 필요하며, 이미지 데이터는 크기 조정, 정규화 등이 필요합니다.

② 모델 선택 : 어떤 임베딩 모델을 사용할지 선택하는 것이 중요합니다. Word2Vec, GloVe, FastText, BERT, CLIP 등 다양한 모델이 있으며, 각 모델의 특성과 장단점을 고려해야 합니다.

③ 계산 비용 :벡터 임베딩을 생성하고 활용하는 데 필요한 계산 비용을 고려해야 합니다. 대규모 데이터셋을 다룰 경우, 효율적인 계산 방법과 인프라가 필요합니다. 특히, 클라우드 기반 인프라나 분산 처리 시스템을 활용하면 성능을 극대화할 수 있습니다.

④ 성능 평가 : 임베딩의 성능을 어떻게 평가할지 고민해야 합니다. 적절한 평가 지표를 설정하고, 모델의 성능을 지속적으로 모니터링해야 합니다. 이 과정에서도 인프라의 안정성과 성능이 중요한 역할을 합니다.

이외에도 많은 요소들을 신경써야하며, 더불어 보통 한명의 ai 엔지니어가 모든 것을 진행해야하는 것이 가장 큰 고민이라고 할 수 있습니다. 

3. 글로벌 IT 기업 A사는 어떻게 해결하고 있을까?

미국 실리콘밸리에서도 이러한 문제는 당연히 일어나고 있습니다. 그들은 어떻게 해결하고 있는지 살펴볼까요?

1)  글로벌 IT 기업 A사의 멀티모달 검색 엔진 시스템 개발부터 운영까지 과정

임베딩한 데이터를 실제 서비스 연결까지 과정을 설명드리겠습니다. 

① 구축 : 임베딩 서빙 및 인프라 최적화

구축을 할때는 데이터 프로세싱 > 임베딩 모델 파인튜닝 > 랭킹 모델 제작 > 검색결과 평가 순으로 진행합니다.  이때 스택은 AWS S3, CatBoost, Hugging Face, Pytorch을 이용한다고 합니다. 

② 운영 : 임베딩 서빙 및 인프라 최적화

운영할때에는 임베딩 서빙 > 임베딩 모델 파인튜닝 > 랭킹 모델 제작 > 검색결과 평가 순으로 진행된다고 합니다. 이때 사용되는 스택은 vLLM, Milvus, Qdrant, Apche Spark, Airflow, Apache Kafka, AWS Lambda, AWS S3입니다.

2) 텍스트와 이미지 데이터를 벡터 모델 1개로 병합하니 정확한 답변 도출이 안 된다면?

답변이 정확한 멀티모달 AI를 만들기 위한 3가지 임베딩 모델 파인튜닝 기법으로 해결 가능합니다. 

① Supervised Fine-Tuning

모델이 주어진 입력에 대해 원하는 출력을 학습하도록, 라벨이 포함된 데이터셋으로 모델을 미세하게 조정하는 방식입니다.

② Reinforcement Learning from Human Feedback 

사람의 피드백을 기반으로 보상을 설정해, 모델이 특정한 행동을 강화하도록 학습하는 강화 학습 기반의 미세 조정 방식입니다. 

③ Direct Preference Optimization

사용자의 선호도를 반영하는 목적 함수를 모델이 직접 최적화하도록 학습해, 원하는 결과를 생성하는 미세 조정 방식입니다. 

3) 성능 병목 현상 때문에 추론지연 시간이 길어진다면?

먼저 병목현상이 발생하는 지점을 파악하고, 병목 해결을 위한 설계, 그리고 실제 분산 시스템 구현하면 되는데요!

이런 문제 해결 방법들, 글보단 직접 실습하며 배우면 좋겠죠?

4. 글로벌 IT 기업 A사 온디바이스 AI 엔지니어로 일하고 있는 현직자에게 배울 기회!

현직자가 글로벌 IT기업 A사에서 구축부터 운영했던 노하우 그대로, 여러분들의 고민을 모조리 해결시켜드립니다! 더불어 실리콘밸리의 테크회사 인터뷰 트렌드까지 공개하니, 해외취업에 관심 있었던 분이라면 놓치지말고 들어보세요! 

▼ 자세한 강의 내용 살펴보기▼