태그 보관물: Transformer

“핸즈온 LLM”이 출간되었습니다!

뛰어난 시각화 자료와 잘 다듬어진 파이썬 예제를 사용해 대규모 언어 모델(LLM)을 배울 수 있는 <핸즈온 LLM>이 출간되었습니다. 원서 출간 전부터 많은 관심을 받았었고 지금까지 줄곧 이 분야에서 아마존 베스트셀러로 올라가 있습니다.

깃허브에서 예제 코드를 제공하는 것뿐만 아니라 역자 동영상 강의도 준비 중이니 많이 기대해 주세요. 지금 온라인 서점에서 예약 판매 중입니다!

“핸즈온 LLM” 번역 완료

많은 분들이 아기다리 고기다시던 <Hands-On Large Language Models>의 번역을 드디어 완료했습니다! 🙂

이 책은 유명 블로거이자 코히어(Cohere)의 이사인 제이 알라마르(Jay Alammar)가 써서 더 관심이 높은 것 같습니다.

이 책은 크게 3부로 나뉘어져 있습니다. 1부는 언어 모델을 이해하는데 초점을 맞추며, 언어 모델 소개, 토큰과 임베딩, 대규모 언어 모델 구조를 다룹니다.

2부에서는 사전 훈련된 언어 모델을 사용하는 다양한 방법을 배웁니다. 먼저 텍스트 분류, 군집, 토픽 모델링을 다룹니다. 그다음 프롬프트 엔지니어링을 소개하고, 고급 텍스트 생성 기법과 도구를 알아 봅니다. 이어서 시맨틱 검색과 RAG 예제를 구현해 보고, 멀티 모달 언어 모델의 구조까지 파헤칩니다.

3부에서는 이런 언어 모델의 훈련 방법과 미세 튜닝 기법을 소개합니다. 3부는 세 개의 장으로 구성됩니다. 텍스트 임베딩 모델 훈련, 분류를 위한 표현 모델 미세 튜닝, 생성 모델 미세 튜닝입니다. 여기까지 배우게 되면 언어 모델에 대해 거의 전반을 다 훑어 보았다고 해도 과언이 아니죠. 특히 이 책은 어려운 수학을 동원하지 않고도 멋진 일러스트와 이해하기 쉬운 예제로 단계적으로 개념을 학습할 수 있어서 좋았습니다. 그럼 곧 나올 번역서 많이 기대해 주세요! 🙂

“트랜스포머를 활용한 자연어 처리” Transformer 4.26 버전에서 재실행 완료

<트랜스포머를 활용한 자연어 처리> 책의 코드를 최신 버전의 라이브러리에서 재실행하여 깃허브에 업데이트했습니다. 재실행에서 사용한 라이브러리 버전은 다음과 같습니다.

  • transformers v4.26.1
  • datasets v2.10.1
  • accelerate v0.16.0

감사합니다!