본문 바로가기

LLM을 활용한 실전 AI 애플리케이션 개발

 (5)
[LLM을 활용한 실전 AI 애플리케이션 개발] 쿼리, 키, 값 이해하기(2) - 앞서 살펴본 두 가지 방식은 모두 쿼리와 키의 관련도를 계산하지 않고, 모두 동등하게 반영한다거나 거리에 따라 차등을 둔다는 적당한 가정을 세워 맥락을 반영했다. 그 결과 원하던 형태의 결과를 얻지 못했고, 이렇게 규칙에 기반한 방법은 입력 데이터가 "나는 최근 파리 여행을 다녀왔다"가 아니라, "나는 최근 파리 박물관을 다녀왔다"로 바뀌더라도 동일한 계산을 하기 때문에 유연성이 떨어진다. 입력 데이터에 따라 다른 결과를 얻기 위해서는 관련도를 규칙이 아니라 데이터 자체에서 계산할 수 있어야 한다. - 그렇다면 이제 '파리'와 ['나는', '최근', '파리', '여행을', '다녀왔다']라는 키 집합의 관계를 계산해보자. 한 가지 문제는 문자열은 그 자체로 계산할 수 없다는 점이다. 하..
[LLM을 활용한 실전 AI 애플리케이션 개발] 쿼리, 키, 값 이해하기 - 앞서 우리는 사람이 글을 이해하는 것처럼 딥러닝 모델이 작동하도록 하려면 단어 사이의 관계를 계산해 관련이 있는지 찾고, 관련이 있는 단어의 맥락을 포함시켜 단어를 재해석해야 한다고 정리했다. - 트랜스포머 아키텍처를 개발한 연구진은 이 과정을 처리하기 위해 쿼리,키,값이라는 개념을 도입했다. 쿼리, 키, 값은 정보 검색 분야에서 가져온 용어다. 흔히 검색창에서 검색을 할 때, 우리가 입력하는 검색어를 쿼리(query)라고 한다. 쿼리를 입력하고 엔터 키를 치면, 검색 엔진은 수많은 자료 중에 쿼리와 관련이 있는 문서를 찾는다. - 이 때, 쿼리와 관련이 있는지 계산하기 위해 문서가 가진 특징을 키(key)라고 한다. 키로는 문서의 제목, 문서의 본문, 저자 이름 등이 사용될 수 있다. ..
[LLM을 활용한 실전 어플리케이션 개발] 어텐션 이해하기 - 트랜스포머 아키텍처의 핵심은 논문의 제목 'Attention is All you need'에서도 알 수 있듯이 '어텐션'이다. 어텐션의 사전적 의미는 '주의'라고 번역할 수 있는데, 텍스트를 처리하는 관점에서는 입력한 텍스트에서 어떤 단어가 서로 관련되는지 '주의를 기울여'파악한다는 의미로 이해할 수 있다 - 어떻게 하면 딥러닝 모델이 관련 있는 단어를 찾도록 만들 수 있을까? 이번 절에서는 사람이 글을 읽는 방법을 들여다보며 어텐션을 직관적으로 이해할 수 있는 방법을 알아보고 어텐션의 핵심 개념인 쿼리(query), 키(key), 값(value)에 대해 살펴본 후, 코드 레벨에서 어텐션을 구현해 본다. 1) 사람이 글을 읽는 방법과 어텐션- 사람이 글을 읽을 때를 생각해 보면, 쉬운 글을 ..
[LLM을 활용한 실전 AI 애플리케이션 개발] 텍스트를 임베딩으로 변환하기 - 컴퓨터는 텍스트를 그대로 계산에 사용할 수 없다. 따라서 텍스트를 숫자 형식의 데이터로 변경해야 한다. 텍스트를 모델에 입력할 수 있는 숫자형 데이터인 임베딩으로 변환하기 위해서는 크게 세 가지 과정을 거쳐야 한다. - 먼저, 텍스트를 적절한 단위로 잘라 숫자형 아이디(ID)를 부여하는 토큰화(tokenization)를 수행한다. 다음으로 토큰 아이디를 토큰 임베딩 층을 통해 여러 숫자의 집합인 토큰 임베딩으로 변환한다. 마지막으로 위치 인코딩 층을 통해 토큰의 위치 정보를 담고 있는 위치 임베딩을 추가해 최종적으로 모델에 입력할 임베딩을 만든다. 이번 절에서는 세 가지 단계에서 어떤 일이 일어나는지 살펴봄으로써, 입력 텍스트를 숫자형 데이터로 변환하는 방법을 알아본다. 1) 토큰화-..
[LLM을 활용한 실전 AI 애플리케이션 개발] 트랜스포머 아키텍처란 1) 트랜스포머 아키텍처란?- 트랜스포머 아키텍처는 2017년 구글의 아쉬쉬 바스와니 외 7인이 발표한 'Attention is All you need' 논문에서 처음 등장했다. 이 논문에서는 머신러닝을 통해 언어를 번역하는 기계 번역 성능을 높이기 위한 방법을 연구했는데, 이 방법은 당시 널리 사용되던 RNN에 비해 성능 면에서 큰 폭으로 앞섰다. - 또한 트랜스포머는 RNN에 비해 성능만 높은 것이 아니라 모델 학습 속도도 빨랐다. 완전히 새로운 형태의 모델이 성능과 속도 면에서 뛰어난 모습을 보이자 많은 인공지능 연구자들이 각자의 연구에 트랜스포머를 적용하기 시작했다. - 현재 트랜스포머는 자연어 처리는 물론 컴퓨터 비전, 추천 시스템 등 모든 AI 분야에서 핵심 아키텍처로 사용되..

티스토리툴바