쉽고 빠르게 익히는 실전 LLM - 한빛미디어

대중에게 Chat GPT가 사용되기 시작하며, 어떤 기술을 기반으로 구현되었는가가 매우 궁금했다. 그 기반에 LLM 대규모 언어 모델이라는 딥러닝 알고리즘이 있다는 것을 막연하게 알고는 있었는데, 이번에 책을 리뷰하는 기회에 더 자세히 알아본다.

 

이제 업계 사람이 아닌 일반인도 LLM을 알게 되었다 == 스카이넷이 멀지 않았다 ㅎㅎ

 

Chat GPT 가 응답하는 것을 매우 쉽게 기술적으로 쉽게 설명할 때,  << 다음 중 괄호 ( ) 안에 알맞은 단어를 찾으시오. >> 라는 문제의 연속이라는 표현을 하는데, LLM을 극단적으로 추상화하여 표현한 아주 적젏한 표현이라고 생각한다. 그렇다면 이를 구현하기 위해서는 상식적으로도 매우 많은 예시, 샘플, 구문, 자료 즉 탄탄하게 지지해주는 데이터가 필요하다.

 

그렇다면 대량의 언어 모델링을 이용한 무언가를 만들어야 할 때, 미리 알아야 하고, 적용할 수 있으며, 구현해야 할 때 무엇이 필요하고 어떤 준비를 해야 하는가에 대한 내용이 이 책의 내용이다.

 

개발자 혹은 개발 입문자가 LLM 을 통해 할 수 있는 일에 대해서 소개하고 가장 많이 사용되고 있는 예로 BERT 와 Chat GPT를 소개한다. 생각해보니 LLM을 Chat GPT만 사용하는 것은 아니니 잠시 망각했엇다. 그렇다면 전통적인 기술(벌써?)이 되버린 챗봇과는 무엇이 다르고 어던 기대를 할 수 있는가는 2장부터 상세히 설명되기 시작한다.

 

흔히들, 질문이 훌륭해야 원하는 답을 얻을 수 있다는 말이 있는데, 질문을 처리하는 관점에서의 엔지니어링 입장에서 질문은 그 전에 고정된 리스트 형태 혹은 나열된 명령어 목록에서 선택 처리하는 방식에서 벗어나야 했다. 또한, 맥락으로 이어지는 자연어로 입력 되기에 지시에 대한 응답을 예측하는 수준을 넘어 대화를 이어가는 수준을 유지해야 하는데, 단순히 입력된 맥락을 분석하여 생성하는 AI를 넘어야 하는 숙제는 자기 자신을 극복 ( LLM이 결국 생성이므로 ) 해야 하는 숙제를 가진다.

 

이 책은 LLM을 이용하여 자신의 어플리케이션 혹은 목적 달성을 위해 데이터셋을 통한 학습을 통한 파인튜닝에 대한 소개, 어디에 집중시킬 것인가에 대한 어텐션, 의미를 파악하기 위한 관계를 살펴보는 임베딩 등 LLM 관련 용어/기술을 설명하면서 동시에 구글과 OpenAI가 어떤 기술셋을 활용하는지를 간단히 소개한다.

 

책에서는 딥러닝을 배우지 않아도 충분히 혹은 오히려 쉽게 접근할 수 있다고는 하지만 상세 도표나 용어가 낯설 수 있으므로 책 부록에 있는 용어 사전을 미리 살펴보거나 딥러닝에 대한 사전 학습을 하고 살펴보기를 바란다. 그렇다면 후반부에서 설명되는 맞춤형 아키텍처에 대한 설명에 대한 이해와 응용에 큰 힘이 될 것으로 믿는다.

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."