[Google Study Jam - Beginner] 01. Introduction to Generative AI

Define AI

: 컴퓨터 공학의 한 갈래로서, 지능형 에이전트의 생성을 다루는 분야로, 자율적으로 추론하고 학습하고, 행동할 수 있음
-> 사람처럼 생각하고 행동하는 machine의 build에 관한 이론과 방법을 다룸

Define ML

: AI의 하위분야로, 컴퓨터가 명시적인 프로그래밍 없이 학습할 수 있도록 함
1.  과정
-  프로그램 또는 시스템 : 입력 데이터로 모델을 학습
-  학습된 모델 : 본 적 없는 새로운 데이터를 사용하여 유용한 예측을 함
    (새로운 데이터는 학습에 사용된 것과 동일한 소스에서 가져와야함)

2. 머신러닝 모델의 형태

(1) Supervised model
  : label이 지정된 데이터를 사용하여 과거의 예를 학습해, 향후의 값을 예측 하는 모델
    -> 태그를 포함한 데이터 (태그 = 이름, 유형, 번호 등)
  - Example ) Totl bill acount로 향후의 Tip amount 예측 (기준 : 주문의 포장 또는 배달 여부)

(2) Unsupervised model
  : label이 지정되지 않은 데이터를 사용하여 클러스터링하는 모델
- 특징 : 원시 데이터를 확인하며 데이터가 자연스럽게 그룹을 형성하는지 관찰이 중요
- Example ) Years at company와 Income으로 직원 클러스터링 및 고속 승진 직원 확인

=> 두 종류 간의 차이점 및 진행 과정 요약

(3) Deep Learning
: 인간의 뇌에서 착안한 것으로, Ml보다 더 복잡한 패턴을 처리할 수 있는 ML의 한 유형
- 인공신경망 구성 : 상호연결된 많은 노드 (= 뉴런)
    ➡️ 뉴런 레이어가 더 많기 때문에 기존 머신러닝 모델보다 더 복잡한 패턴을 학습
- 인공신경망의 하는 일 : 작업 방법을 학습하기 위한 데이터 처리 및 예측
- 신경망의 특징 : 준지도학습
   - 학습 데이터 : label이 있는 소량의 데이터 (: 신경망 기본 개념 학습에 도움)
                          + label 없는 대량의 데이터 (: 신경망이 새로운 예로 일반화하는데 도움)

3. 딥러닝 모델과 일반적인 ML모델의 유형 2개

(1) Discriminative model (분류형)
:  데이터 포인트에 대한 label 분류 및 예측
- 학습 : 라벨이 지정된 데이터 포인트의 dataset 학습 (사용자가 예측하려는 대상 학습)
  -> 데이터 포인트의 특성과 라벨의 관계 학습하여, 다양한 종류의 데이터 인스턴스 분류
- 예측 : 새 데이터 포인트의 label 예측
- Example) X(조건부확률 분포) 입력시, Y가 출력될 확률 학습하여, cat이 아닌 Dog로 분류

(2) Generative model (생성형)
: 기존 데이터로 학습된 확률 분포를 기반으로 새로운 데이터 인스턴스 생성
-> contents패턴을 학습하여 새로운 contents 생성
- Example) X(공통 확률 분포) + P(X,Y) (Y의 확률)을 학습하여, 개일 조건부 확률을 예측한 후, 개 이미지를 생성

 

Define generative AI

: 딥러닝의 하위 집합으로, 기존 contents에서 학습한 내용을 바탕으로 다양한 유형의 새로운 콘텐츠를 생성하는 일종의 인공지능 기술
   -> text, image, audio 등의 나만의 contents 생성

01. 학습 및 예측
: 데이터의 기본 구조를 학습 후, 학습 data와 유사한 완전히 새로운 sample을 생성
(1) 데이터 : 라벨이 지정된 데이터와 라벨이 지정되지 않은 데이터를 모두 처리가능
(2) 학습 방법 : 지도, 준지도, 비지도 방법 사용하여, 기존 contents를 통해 배움
     => 새로운 통계모델이 생성됨
(3) 예측 및 출력 과정
  - user가 prompt를 제공
  - 통계 모델로 예상 대답 예측
  - 예측을 통해 새로운 contents 생성


02. 생성형 AI인지 아닌지 구분

(1) 생성형 AI가 아닌 경우 : 출력이 숫자나 class인 경우
- Example ) 예상 판매량
(2) 생성형 AI인 경우 : 출력이 자연어인 경우
- Example ) 판매를 정의 하라는 등의 문장 (질문이 대답을 유도-> 데이터를 기반으로한 대답 생성)

03. 생성형 AI process
(1) foundation model build
: 학습 code + 모든 유형의 label이 지정된 data + label이 지정되지 않은 data를 사용해 build
- 역할 : 새로운 contents 생성 (text, code, image, audio등 자체 contents)
- Gemini, LaMDA의 build 과정
    - 인터넷을 통해 여러 소스에서 방대한 데이터 수집후, build
    - 사용자 : 질문을 통해 모델을 사용 (prompt 입력 or 음성)

04. Generative image model
: input : text -> output : text, image, Audio, Decisions

05. Generative language model
: input : image -> output : text, image, video

(1) Example ) 출력이 text인 경우, 질문에 대한 답변이 생성
(2) 학습 방법
: 사용자가 제공하는 학습 데이터를 기반으로 언어의 패턴을 학습 -> 패턴 매칭 시스템
- Example ) Gemini에서 자연스로운 텍스트를 생성하여 응답

(3) 대규모 언어 모델 (LLM)
: 자연어 형태로 text의 창의적인 조합을 생성하는 generative AI의 한 종류
- 입력 : Prompt
  (Prompt란 ? : 입력으로 제공되는 짧은 텍스트로서 다수의 방식으로 모델의 출력을 제어하는데 사용 )
- Prompt 설계 : LLM에서 원하는 출력을 생성하는 prompt를 만드는 process

06. Transformer
: 2018년 자연어 처리에 혁신을 일으킨 모델로, 생성형 AI의 힘이 되는 모델

(1) 구성
- Encoder : 입력 시퀀스를 인코딩하고, 디코더로 전달
- Decoder : 관련 작업에 맞게 표현을 디코딩하는 방법 학습

(2) Hallucination
: model이 생성한 단어나 문구가 말이 안 되거나, 문법적으로 잘못된 경우의 방해요소
- 발생 원인
    - 모델이 충분한 데이터를 학습하지 않은 경우
    - noise가 많은 데이터 또는 dirty 데이터를 학습한 경우
    - model에 충분한 context가 주어지지 않았거나 충분한 제약조건이 주어지지 않은 경우
- 발생하는 문제점
    - 출력 text를 이해하기 어렵게 만듬
    - 모델이 부정확하거나 혼동을 야기하는 정보를 생성할 가능성을 높임

Describe generative AI model types

01. 종류
(1) text-to-text (텍스트 간 변환 모델) : 자연어를 입력 받아 text를 출력
- 훈련 : 텍스트 간 매핑을 학습하도록 함
- Example : 한 언어를 다른 언어로 번역

(2) text-to-image (텍스트 이미지 변환 모델)
- 학습 : 짧은 텍스트 설명으로 캡션 잇는 대규모 이미지셋 학습
- diffusion을 사용하여 구현

(3) Text-to-video (텍스트 동영상 변환 모델) : 텍스트 입력에서의 동영상 생성
- 입력 : 뭐든 사용 가능
- 출력 : 입력텍스트에 해당하는 동영상

(4) text-to-3D (텍스트 3D 변환 모델) : 텍스트 설명에 해당하는 3차원 객체 생성
- 사용 : 게임, 기타 3D 환경

(5) text-to-task (텍스트 작업 변환 모델) : 텍스트 입력을 토대로 정의된 작업을 수행
- 작업 종류 : 질문에 답하기, 검색하여 예측하기, 조치 취하기 등
- 사용 : 학습시켜서 웹 사용자 인터페이스 탐색 / 그래픽 사용자 인터페이스를 통한 문서 수정

02. Foundation model
: 감정 분석, image captioning 등 광범위한 downstream 작업에 맞춰 파인튜닝된 방대한 양의 데이터로 선행학습된 대규모 AI 모델

(1) 특징 : 의료, 금융, 고객 서비스 등 여러 산업을 혁신할 잠재력을 가지고 있음
(2) 사용 예시 : 사기 탐지 후 맞춤형 고객 지원 제공
(3) language foundation model : chat, text, code를 포함
(4) vision foundation model : 안정적인 분산이 포함됨

- 효과적인 분야 : 텍스트 설명에서 고품질 이미지를 생성하는데 효과적

03. 사용 사례에 따른 작업별 모델

(1) Code Generation
- Gemini의 code generation으로 할 수 있는 작업
    - 소스 코드의 각 줄 디버그
    -  코드 한 줄 씩 설명
    -  DB에 대한 SQL 쿼리 작성
    - 작성 코드의 언어를 다른 언어로 변환
    - 소스코드에 대한 문서와 튜토리얼 생성
- Example ) Python -> JSON 으로의 코드 파일 변환 문제
- 입력

- Gemini 출력 : 필요한 단계 반환 및 JSON 형식으로 변환한 출력

 

Google Cloud로 Generative AI 활용 방법

01. Vertex AI Studio
(1) 특징
- Quickly explore and customize
- Developers create and deploy
  -> Google Cloud의 애플리케이션에서 활용 가능

(2) 구성
- Library of pre-trained models
- Tool for fine-tuning models : 개발자가 쉽게 시작할 수 있는 도구들이 많음
- Tool for deploying models to production
- Coummunity foru, for developers to share ideas and collaborate

(3) Vertex AI Agent Builder
- 생성형 AI 검색과 대화를 빌드해, 고객 및 직원 지원
- 특징 : 코딩이나 ML 경험이 거의 없어도 빌드 가능

(4) 이외의 지원 기능
- chatbots
- digital assistants
- custom search engines
- Knowledge bases
- Traning applications

02. Gemini
: 기존의 언어 모델과 달리 용도가 텍스트 이해에 국한되지 않는 멀티모달 AI 모델
(1) 기능
- 이미지 분석
- 오디오의 뉘앙스 파악
- 프로그래밍 코드 해석
(2) 특징
- 이전에 불가능했던 복잡한 작업을 수행할 수 있음
- 고급 아키텍처 덕분에 적응력과 확장성이 뛰어나, 다양한 응용 분야에 적합

03. Model Garden
: 새로운 모델을 포함하도록 지속적으로 업데이트 됨