[Google Study Jam - Beginner] 02. Introduction to LLMs

Define Large Language Models (LLMs)

: 선행학습 후 특정 목적에 맞게 세부 조정할 수 있는 대규모 범용 언어 모델

01. Fine-tuning 이란 ?
(1) 범용 언어 모델 : 업계 전반의 일반적인 문제를 해결하기 위한 훈련된 모델

  - ex) text classification, question answering, document summarization, text generation

 

(2) fine tuning

  - 필요한 이유 : 다양한 분야의 특정 문제를 해결하기 위해 모델을 맞춤화하고자 함

  - 방법 : 상대적으로 작은 dataset을 사용하여, 범용 언어모델을 맞춤화

  - 분야 : retail, finance, entertainment 등

 

02. LLMs의 주요 특징

(1) Large

 - Large training dataset + large number of parameters 의 의미

 - parameters (=hyperparameters) : memories and knowledge that machine learned from the modle training

   → define the skill of a model in solving a problem

 

(2) general purpose

  - model이 일반적인 문제 해결하기 충분하다 

  - commonality of human languages : 공통적으로 적용되는 인간 언어의 공통성

  - resource restriction : huge dataset과 엄청난 수의 parameters로 llm을 훈련시킬 수 있는 역량을 갖춘 조직은 극소수에 불과함

    → 극소수의 조직이 다른 사람들이 사용할 수 있는 기본 언어 모델을 만들 수 있지 않을까?

 

(3) pre-rained and fine-tuned

 : 대규모 데이터 집합을 사용한 LLMs를 pretraining 후, 상대적으로 작은 dataset을 사용해 특정 목적에 맞게 fine-tuning 진행

 

03. 학습

(1) 데이터 : 페타바이트급 데이터로 학습

(2) 생성되는 파라미터 개수 : 수십억 개

Descrive LLM use cases : 사례

01. 대규모 언어 모델의 이점

(1) 하나의 모델을 언어 번역과 문장 완성, 텍스트 분류 질의 응답 등 다양한 작업에 사용할 수 있음

 

(2) 최소한의 필드 학습 데이터로도 모델을 조정하여 특정 문제를 해결 가능

  -  분야별 학습 데이터가 거의 없어도 양호한 성능을 얻을 수 있음

  - few-shot, zero-shot 시나리오에도 사용가능하다

• few-shot : 최소한의 데이터로 모델을 학습시키는 것
• zero-shot : 이전 학습에서 명시적으로 학습하지 않은 것을 모델이 인식한다는 의미

(3) 데이터와 파라미터를 더 많이 추가할 수록 성능이 계속 더 향상됨

 

02. transformer model 기반으로 구성됨

 - encodr-decoder 구조 (encoding component + decoding component)

 

Generative AI

: 사용자가 자신만의 콘텐츠를 생성할 수 있다는 것임

Gemini & LaMDA

1. 인터넷의 여러 소스에서 매우 방대한 데이터를 수집하고 파운데이션 언어 모델을 빌드함
2. 사용자 : 질문만 하면 이 모델을 바로 사용 가능
   → 답변 : 학습한 모든 것을 알려줌
   → 질문은 프롬프트 입력, 음성 으로 가능

LLM 개발 vs ML 개발

: 학습된 모델을 사용한 개발 vs 학습되지 않는 모델 개발

1. LLM 개발
   • 전문가가 아니여도 가능
   • 학습예시가 필요하지 않음
   • 모델을 학습시킬 필요가 없음
   • 명확하고 간결
   • 프롬프트 설계에 대해서만 생각하면 됨 ⇒ 유용한 프롬프트를 생성하는 프로세스 설계
2. 기존 머신러닝 개발 ⇒ 요구사항이 훨씬 많음
   • 전문 지식 필요
   • 학습 예시 필요
   • 컴퓨팅 시간 및 하드웨어 필요

텍스트 생성을 사용한 사례 : QA (Question Answering)

: 자연어처리의 하위분야 / 자연어로된 질문에 자동으로 대답하는 응답을 처리

QA system

1. 대량의 텍스트와 코드로 학습됨
2. 사실, 정의, 의견을 바탕으로 한 광범위한 질문에 답할 수 있음
   ⇒ 분야별 지식이 있어야 질의 응답 모델을 개발할 수 있었지만 현재는 아님
   ⇒ 생성형 QA 사용시, 모델이 컨텍스트 기반의 자유 텍스트를 직접 생성하여 도메인 지식이 필요하지 않음
        ⇒ 원하는 대답을 얻을 수 있었던 이유 : 프롬프트 설계

 

프롬프트 설계 & 프롬프트 엔지니어링

1. 공통점
   • 자연어처리에서 서로 밀접하게 연결된 개념들임
   • 명확하고 간결하며 유용한 프롬프트를 생성하는 프로세스를 포함함
2. 차이점
   • 프롬프트 설계(prompt design) : 시스템에서 수행해야하는 특정 작업에 맞게 조정된 프롬프트를 만드는 과정
     - 일반적인 개념에 가까움
     - ex) 영어 텍스트를 프랑스어로 번역해 달라고 요청할 때 프롬프트는 영어로 작성하고 번역 텍스트는 프랑스어로 지정
     - 필수적인 과정
     
     
   • 프롬프트 엔지니어링 : 성능을 개선하도록 설계된 프롬프트를 생성하는 프로세스
     - 분야별 지식을 사용 + 원하는 출력의 예시를 제공 + 특정 시스템에 효과적인 것으로 알려진 키워드를 사용하는 것이 포함
     - 고도의 정확성이나 성능을 요하는 시스템에만 필요
     - 전문적인 개념

대규모 언어모델의 3가지 종류

: 일반 언어 모델 / 조정된 명령 / 조정된 대화 (generic language models / instruction-tuned / dialog-tuned

Generic (or raw) language models

: predict the next word (technially, token) based on the language in the training data

- ex ) 'the cat sat on' 다음에는 'the'가 올 가능성이 가장 크다
        → 검색의 '자동 완성' 기능

instruction-tuned

: trained to predict a response to the instructions given in the input

- ex) 'x'의 텍스트를 요약하고 'x' 스타일의 시를 생성하며 'x'에 대한 시맨틱 유사성을 바탕으로 키워드 목록을 작성해달라고 명령

        →  텍스트를 중립, 부정 또는 긍정으로 분류

 

dialog-tuned

: trained to have a dialog by predicting the next response

1. instruction-tuned 모델의 특수한 사례
2. requests : typically framed as a question to a chat bot
3. dialog tuning : 긴 대화가 오가는 맥락에서 이루어짐
   - 자연스러운 질문과 같은 문구에 효과적으로 작동

text-specific tuning

01. CoT (생각의 연쇄 추론)

: 모델이 대답의 근거를 설명하는 텍스트를 먼저 출력할 때, 정답을 더 잘 찾는다는 관찰 결과와 관련있다.

 

(1) 질문 : 테니스 공 5개를 가지고 있던 로저가 테니스 공 2캔을 더 샀는데 각 캔에 테니스 공이 3개 들어있다면,

             로저는 지금 몇 개의 테니스 공을 가지고 있을까?

   - 1번째 질문 : 대답이 없는 상태 →  모델 : 정답을 바로 알려줄 가능성이 낮음

   - 2번째 질문 : 정답이 출력될 가능성이 더 커짐

 

02. 특징

(1) 주의사항 : 모든 것을 할 수 있는 모델에는 현실적인 한계가 존재

(2) text-specific tuning시, LLMs의 신뢰성 상승

 

03. Model Garden task-specific models

 

04. Tuning

: 모델에서 수행해야할 작업의 예를 바탕으로 모델을 tuning하여 대답을 맞춤설정함

(1) 과정 : 새 데이터로 모델을 학습 → 새로운 분야 또는 custom 사용에 맞게 모델을 조정

(2) Example : 학습 데이터를 수집하고 법률 또는 의료 분야에 맞게 모델을 '조정

 

(3) Fine-tuning : 자체 데이터 세트를 가져와 LLM의 모든 가중치를 조정하여 모델을 재학습

  -  대규모 학습 작업과 자체적으로 세부 조정된 모델의 호스팅이 필요

  - 비용이 많이 들고 현실적이지 않은 경우가 많음

 

(4) Parameter-efficient tuning methods (PETM)

 : 모델을 복제할 필요 없이 자체 커스텀 데이터로 대규모 언어 모델을 조정

  - 기본 모델 자체는 변경 X

  - 부가기능 레이어 몇 개를 조정하고 추론 시점에 이를 교체