#프롬프트 엔지니어링
#프롬프트 엔지니어
#LLM
현재 세상의 모든 서비스는 예외 없이 생성형 AI를 도입하고 있습니다. 금융, 이커머스, 디자인, 헬스케어 등 산업을 가리지 않고 있는데요. 모든 기업들은 너도나도 LLM(대형 언어 모델) 서비스를 도입하고자 하며, 이는 회사의 경쟁력을 높이는 중요한 요소로 자리 잡고 있습니다.
하지만 이렇게 LLM 서비스를 만드는 과정에서 개발자, PM, 기획자, 엔지니어 등 많은 직무의 현직자들은 고민을 가지게 됩니다.
“언어 모델별 프롬프트 평가는 어떻게 할까?”
“초개인화된 사용자 경험을 AI로 어떻게 설계하지..?”
“토큰 비용을 최소화하면서 LLM 모델을 사용하는 방법은 무엇일까?”
“자연어로 이루어진 프롬프트의 평가, 테스트 기준은 뭘로 잡아야 할까?”
“사용자 프롬프트를 보고 어떻게 다양한 사용자 요구에 대응할 수 있을까?”
이렇듯 각 직무별로 고객을 사로잡고, 만족감을 주는 답변을 하는 LLM 서비스를 만들기 위해 필수적으로 [답변]에 대한 고민을 하게 되고, 그 과정에서 LLM의 답변과 성능을 향상시킬 수 있는 ‘프롬프팅’과 ‘프롬프트 엔지니어링’의 필요성을 깨닫게 되는데요. 이에 현직에서 프롬프트 엔지니어링의 중요성은 나날이 커지고 있습니다.
프롬프트 엔지니어링.. 앞으로는 필요 없어진다고?
하지만 이렇게 프롬프트 엔지니어링의 중요성이 날로 커져가는 것과 반대로 프롬프트 엔지니어링은 개인의 역량일 뿐, 앞으로 LLM의 성능이 더욱 좋아지면 더 이상 필요 없어질 것이란 의견이 존재하는데요. 이 의견은 두 가지로 나눠 바라볼 수 있습니다
1. ‘프롬프팅’의 관점에서
2. LLM의 답변 성능을 향상시키는 ‘프롬프트 엔지니어링’의 관점에서
우선 첫 번째 ‘프롬프팅’의 관점에서 바라본다면,
사용자가 생성형 AI에게 어떤 행동을 해야 하는지 자연어로 설명하고 작성하는 창을 ‘프롬프트’라고 하는데요. 이 프롬프트에 내가 원하는 질문을 작성하는 것을 ‘프롬프팅’이라고 합니다.
혹자는 프롬프팅 능력은 개인의 역량으로 치부될 것이며, 많은 시간이 흘러 LLM의 성능이 발전하면 아무렇게나 질문을 입력하여도 LLM이 내가 원하는 의도를 파악하고 답변을 내려줄 것이라 말합니다. 아마도 그러한 날이 언젠가는 올 수 도 있을 것입니다.
하지만 현재는 프롬프트의 입력 수준에 따라 결과물의 수준도 천차만별로 달라지는데요. 질문 한 줄 달리하였을 때, LLM이 뱉어내는 답변의 퀄리티가 너무나도 달라지기에 현 시점에서는 프롬프팅 능력이 매우 중요한 상황입니다.
또한 모든 사람이 동일한 기술에 접근할 수 있다면 더더욱 기술을 얼마나 잘 활용하고 개성과 창의성을 표현하는지가 중요해지는데요. 프롬프팅은 어떻게 질문하고 새로운 방식으로 접근하는지에 따라 답변과 비용이 달라지는 만큼 개인의 개성과 창의성이 돋보이는 영역입니다. 이에 내가 다른 사람보다 더 돋보이고, 비즈니스 경쟁 우위를 차지하기 위해선 프롬프팅 능력은 앞으로 더더욱 중요해질 것으로 전망됩니다.
다음으로 두 번째, ‘프롬프트 엔지니어링’의 관점에서 바라본다면
혹자가 말하는 아무렇게나 질문해도 LLM이 찰떡같이 알아듣는 시대가 오기 위해선, 프롬프트 엔지니어링이 필수적으로 필요합니다. 여러 번 질문하여도 동일한 답변을 내놓고, 할루시네이션을 줄이며, 사용자가 원하는 답변을 내놓을 수 있도록 조정하는 일. 즉 LLM을 고도화하는 작업은 사람만이 할 수 있는 일입니다.
실제 엔트로픽에서 발표한 자료와 여러 논문에 따르면 프롬프트 엔지니어링 만으로 LLM의 성능이 향상되며, RAG나 PEFT, Fine tuning 등 타 기술에 비해 낮은 비용 대비 좋은 효율을 낼 수 있음이 증명되었는데요.
주요 빅테크 기업들의 자료를 찾아보면,
Open AI의 연구(2022)나 Google Research(2022)에서 대규모 언어 모델의 능력 최대화를 위한 프롬프트 엔지니어링 기법 연구나 중요성이 강조되기도 하였습니다. 또한 최근 23년도에는 Microsoft Research, Nature 등에서도 GPT-4를 활용한 연구에서 복잡한 작업 수행을 위한 프롬프트 엔지니어링의 중요성이 언급된다든지, LLM을 과학 연구에 활용하는 과정에서 프롬프트 엔지니어링의 중요성이 강조되는 등, 꾸준히 그 중요성과 성능이 언급되고 있습니다.
더불어 LLM에서 윤리적인 이슈나 편향성을 보완하기 어렵다는 점이 꾸준한 이슈로 남아있는데요. LLM 서비스 개발의 끝단에서 프롬프트 엔지니어링을 해주면 이러한 문제들을 어느 정도 해결할 수 있기에 LLM 개발 시 필수적인 영역이기도 합니다.
정리하자면 ‘프롬프팅’과 ‘프롬프트 엔지니어링’을 배워야 하는 세 가지 이유는
1. 프롬프팅은 AI 시대 더 고품질의 답변을 얻기 위한 LLM과의 소통 도구이며
2. 프롬프트 엔지니어링으로 LLM이 잘 못하는 영역을 고도화할 수 있고
3. 개인의 경쟁력 향상과 가치 창출, 생산성 향상을 위해
프롬프트 엔지니어링에 대한 학습이 필요하며, AI 시대에 꼭 필요한 능력이라고 할 수 있습니다.
그렇다면, 프롬프트 엔지니어의 채용 시장은?
앞에서 프롬프팅과 프롬프트 엔지니어링 능력이 앞으로도 계속 중요해질 것이라고 말씀드렸는데요. 그렇다면 프롬프트 엔지니어의 채용 시장은 어떠할까요?
2023년 글로벌 프롬프트 엔지니어링의 시장 규모는 약 2억 2210만 달러이며, 2030년까지 연평균 성장률 32.8%로 예상되는데요. 한국의 경우 네이버의 하이퍼클로바X 출시 등 미국과 중국에 이어 세 번째 거대 언어모델 부유 국가이지만, 아직 프롬프트 엔지니어의 시장이 크게 활성화되지 않은 상황입니다. 아직 일반인의 AI 활용도가 낮은 상태라고 평가되기에 시장의 활성도가 올라오지 않은 상태인데요.
이경전 경희대 교수는 “AI의 활용도가 떨어지고 있으나, AI를 쓰지 않으면 경쟁에서 도태되는 사교육, 제조 분야에서는 AI 사용이 활성화되고 있어 다른 분야도 시간이 지나면 이용도가 늘어날 수 있다”고 분석했습니다.
AI를 더 활발히 선도적으로 도입하고 있는 미국의 엔트로픽(Anthropic)사를 예로 들자면, 현재 프롬프트 엔지니어의 영역을 더 세분화하여 채용 중인데요. 그냥 프롬프트 엔지니어를 채용하는 것이 아니라 제작, 리서치, 교육 등 한 분야에 특화된 전문 인력을 선발하고 있습니다. 이를 통해 앞으로 프롬프트 엔지니어의 채용은 더 전문화되고 세분화되지 않을까 예상되기도 합니다.
프롬프트 엔지니어링의 전망
프롬프트는 현시대의 새로운 대화 도구이며, 프롬프팅 및 프롬프트 엔지니어링은 자연어로 컴퓨터와 상호작용하는 이 시대의 새로운 언어인데요. 앞으로는 이 능력을 갖추느냐 못 갖추느냐에 따른 디지털 격차가 더욱 커질 것이며, LLM 서비스의 완성도 측면에서도 큰 차이를 보일 것으로 여겨집니다.
지난 1월 테슬라의 전 AI 책임자인 안드레이 카파시는 “가장 인기 있는 새로운 프로그래밍 언어는 영어”라며 프롬프트 엔지니어링의 부상을 증명하시도 했는데요. 생성형 AI 시장이 전 세계에서 지속적으로 폭발적인 관심과 수요를 보이는 만큼 앞으로의 수요는 계속해서 증가할 것으로 보이며, 고로 앞으로는 프롬프팅과 프롬프트 엔지니어링이 더욱 중요해질 전망입니다.
끝으로 실무적인 차원에서 프롬프트를 어떻게 제작/테스트/평가해야 하는지,
LLM 서비스를 만드는 개발자, 엔지니어, PM, 기획자까지 모두가 들으면 좋을만한 프롬프트 엔지니어링 강의를 소개하며 이만 글 줄이겠습니다.
✅ 프롬프팅부터 프롬프트 엔지니어링까지!
✅ 언어학 박사출신 엔지니어의 ‘언어학적 프롬프트 엔지니어링 비법’ 대공개
✅ 실무에서 바로 적용 가능한 프롬프트 50종 정리본 제공!
모든 LLM 서비스의 근간은 ‘좋은 답변’입니다. 프롬프트 엔지니어링과 관련된 모든 고민, 언어학 박사출신 엔지니어이자 국내에서 가장 많은 발화 수를 다뤄본 엔지니어 강수진 박사에게 배워보세요!
강의 보러가기▶ https://bit.ly/3Wv8Bx1
[참고문헌, 출처]