본문 바로가기

전체 글

 (784)
[LLM을 활용한 실전 AI 애플리케이션 개발] 쿼리, 키, 값 이해하기(2) - 앞서 살펴본 두 가지 방식은 모두 쿼리와 키의 관련도를 계산하지 않고, 모두 동등하게 반영한다거나 거리에 따라 차등을 둔다는 적당한 가정을 세워 맥락을 반영했다. 그 결과 원하던 형태의 결과를 얻지 못했고, 이렇게 규칙에 기반한 방법은 입력 데이터가 "나는 최근 파리 여행을 다녀왔다"가 아니라, "나는 최근 파리 박물관을 다녀왔다"로 바뀌더라도 동일한 계산을 하기 때문에 유연성이 떨어진다. 입력 데이터에 따라 다른 결과를 얻기 위해서는 관련도를 규칙이 아니라 데이터 자체에서 계산할 수 있어야 한다. - 그렇다면 이제 '파리'와 ['나는', '최근', '파리', '여행을', '다녀왔다']라는 키 집합의 관계를 계산해보자. 한 가지 문제는 문자열은 그 자체로 계산할 수 없다는 점이다. 하..
[LLM을 활용한 실전 AI 애플리케이션 개발] 쿼리, 키, 값 이해하기 - 앞서 우리는 사람이 글을 이해하는 것처럼 딥러닝 모델이 작동하도록 하려면 단어 사이의 관계를 계산해 관련이 있는지 찾고, 관련이 있는 단어의 맥락을 포함시켜 단어를 재해석해야 한다고 정리했다. - 트랜스포머 아키텍처를 개발한 연구진은 이 과정을 처리하기 위해 쿼리,키,값이라는 개념을 도입했다. 쿼리, 키, 값은 정보 검색 분야에서 가져온 용어다. 흔히 검색창에서 검색을 할 때, 우리가 입력하는 검색어를 쿼리(query)라고 한다. 쿼리를 입력하고 엔터 키를 치면, 검색 엔진은 수많은 자료 중에 쿼리와 관련이 있는 문서를 찾는다. - 이 때, 쿼리와 관련이 있는지 계산하기 위해 문서가 가진 특징을 키(key)라고 한다. 키로는 문서의 제목, 문서의 본문, 저자 이름 등이 사용될 수 있다. ..
[LLM을 활용한 실전 어플리케이션 개발] 어텐션 이해하기 - 트랜스포머 아키텍처의 핵심은 논문의 제목 'Attention is All you need'에서도 알 수 있듯이 '어텐션'이다. 어텐션의 사전적 의미는 '주의'라고 번역할 수 있는데, 텍스트를 처리하는 관점에서는 입력한 텍스트에서 어떤 단어가 서로 관련되는지 '주의를 기울여'파악한다는 의미로 이해할 수 있다 - 어떻게 하면 딥러닝 모델이 관련 있는 단어를 찾도록 만들 수 있을까? 이번 절에서는 사람이 글을 읽는 방법을 들여다보며 어텐션을 직관적으로 이해할 수 있는 방법을 알아보고 어텐션의 핵심 개념인 쿼리(query), 키(key), 값(value)에 대해 살펴본 후, 코드 레벨에서 어텐션을 구현해 본다. 1) 사람이 글을 읽는 방법과 어텐션- 사람이 글을 읽을 때를 생각해 보면, 쉬운 글을 ..

티스토리툴바