본문 바로가기

전체 글

 (784)
[랭체인 완벽 입문] AIMessage를 사용해 언어 모델의 응답을 표현할 수 있다 1) AIMessage를 사용해 언어 모델의 응답을 표현할 수 있다 - 랭체인에서는 대화 형식의 상호작용을 표현하기 위해 AIMessage도 준비돼 있다. 예를 들어, 먼저 '계란찜 만드는 법을 알려줘'라고 문의하면 언어 모델에서 레시피를 반환한다. 이 레시피를 영어로 번역하고 싶을 때는 '영어로 번역해줘'라고 지시하면 영어로 번역된 레시피를 받을 수 있다. 이러한 대화의 흐름을 AIMessage를 통해 어떻게 표현하는지 살펴보자. - Language models 모듈의 Chat models 모듈에서는 HumanMessage, AIMessage를 사용해 언어 모델과의 대화 형식의 상호작용을 표현할 수 있다. - Lanuage models만으로는 이렇게 과거의 응답을 바탕으로 답변하게 하려면 매번..
[랭체인 완벽 입문] Model I/O는 랭체인의 가장 기본적인 모듈이다 - Model I/O 모듈은 단독으로도 사용할 수 있지만, 실제 애플리케이션을 개발할 때 이 모듈으로 모든 것을 만드는 것은 현실적으로 어렵기 때문에 다른 모듈과 조합해 사용하는 것이 일반적이다. - 예를 들어, Model I/O의 하위 모듈인 Prompts 모듈은 프롬프트를 최적화하기 위해 사용될 뿐만 아니라 나중에 소개할 Chains 모듈 등에서도 사용되며, 마찬가지로 하위 모듈인 Language models는 거의 모든 모듈에서 사용된다. - 재공하는 기능은 간단한 것이 많지만, 매우 중요한 모듈이기 때문에 사용법을 잘 익혀야 한다. 1) Model I/O를 구성하는 3개의 서브모듈- 랭체인의 모든 모듈은 서브모듈을 가지고 있으며, Model I/O 모듈도 예외는 아니어서 3개의 서브모..
[LLM을 활용한 실전 AI 애플리케이션 개발] 텍스트를 임베딩으로 변환하기 - 컴퓨터는 텍스트를 그대로 계산에 사용할 수 없다. 따라서 텍스트를 숫자 형식의 데이터로 변경해야 한다. 텍스트를 모델에 입력할 수 있는 숫자형 데이터인 임베딩으로 변환하기 위해서는 크게 세 가지 과정을 거쳐야 한다. - 먼저, 텍스트를 적절한 단위로 잘라 숫자형 아이디(ID)를 부여하는 토큰화(tokenization)를 수행한다. 다음으로 토큰 아이디를 토큰 임베딩 층을 통해 여러 숫자의 집합인 토큰 임베딩으로 변환한다. 마지막으로 위치 인코딩 층을 통해 토큰의 위치 정보를 담고 있는 위치 임베딩을 추가해 최종적으로 모델에 입력할 임베딩을 만든다. 이번 절에서는 세 가지 단계에서 어떤 일이 일어나는지 살펴봄으로써, 입력 텍스트를 숫자형 데이터로 변환하는 방법을 알아본다. 1) 토큰화-..

티스토리툴바