[AI 스터디] Section 12 : YOLO 모델 Fast API로 배포

YOLO (You Only Look Once)

특징

1. 속도가 빠름 ⇒ 초 당 처리하는 프레임수가 많음
2. 실제 시간으로 뭔가를 할 때 많이 사용
3. 정확도가 높음
4. 기존 이미지 모델보다 좋아짐
   • 기존 이미지 모델 : 어떤 것에 관련된 사진인지 분류
   • YOLO : 어떤 물체가 어떤 위치에 있는지 확인할 수 있음 → object detection

주요 구성 성분

Bounding Box Prediction

1. 방법 : 사진을 9개의 영역으로 나누고, 각 영역 하나에 레이블 1개씩을 붙임
   → 싱글이미지도 되고, 멀티 이미지도 가능
2. \( p_c \) : 물체가 있는지, 없는지
   → 1 : 있음 / 0 : 없음
3. 바운딩 박스 ( \( b_x, b_y, b_h, b_w \) ) : 중심점이 어디있는지를 나타냄
   → \( b_h \) : 물체의 높이 ( ex : 0.95 ) | \( b_w \) : 물체의 폭 (ex : 1.72 ) | \( b_x, b_y \) : 물체의 중심점 ( ex : (0.45, 0.98) )
4. 클래스 레이블 : 레이블링 한 것
   → 원핫 인코딩으로, 차면 1 0 0 자전거면 0 0 1 이런식임

---

모델 배포시 필요한 사전 지식

• deploying - prediction에 필요한 모든 소프트웨어를 'server'에 설치하는 것. 이렇게 하면 'client'가 서버에 'request'를 보내 모델과 상호 작용할 수 있습니다.
• client는 모델이 예측을 수행하는 데 필요한 정보를 제공. server는 제공된 정보를 사용하여 클라이언트에게 예측을 반환.
• FastAPI 클래스의 인스턴스를 만들어 시작합니다.

app = FastAPI()

• 다음 단계는 이 인스턴스를 사용하여 예측 논리를 처리할 endpoint(path, route)를 만드는 것입니다.
  서버를 실행하기 위한 모든 코드가 준비되면 다음 명령만 사용하면 됩니다.

uvicorn.run(app)

• serving은 uvicorn을 사용하여 수행되며 uvicorn은 ASGI web server 입니다.
  ASGI(Asynchronous Server Gateway Interface - 비동기 Python 웹 서버)

endpoints (path, route)

1. 동일한 서버에서 여러 기계학습 모델을 호스팅할 수 있음

-> 이를 작동하려면 각 모델에 다른 endpoint를 할당해야하는데, endpoint는 URL 패턴으로 표시된다.

2. ex) imagetest.com 의 엔드포인트에 3가지 모델을 지정한 것

• imagetest.com/lenet/
• imagetest.com/yolo/
• imagetest.com/mobilenet/

fastAPI에서는 해당 endpoint에 대한 모든 logic을 처리할 함수를 만들고 endpoint를 decorating 합니다.
다음 예는 엔드포인트 "/my-endpoint"에 대한 HTTP GET 요청을 허용하는 방법을 보여줍니다.

@app.get("/my-endpoint")
def handle_endpoint():
    ...
    ...

 

HTTP Requests

• GET -> 서버에서 정보 검색
• POST -> 응답에 필요한 정보를 서버에 제공

endpoint에 있는 기계 학습 모델과은 일반적으로 예측을 계산하는 데 필요한 정보를 제공해야 하기 때문에 
POST request를 통해 수행됩니다.

 

# 데코레이터 문법
@app.post("/my-other-endpoint")
# 아래의 우리가 만든 함수를 파라미터 형식으로 보내 작동하도록함
def handle_other_endpoint(param1: int, param2: str):
    ...
    ...

순서

: object detection에 사용된 이미지 데이터셋 검사 → 모델 살펴보기 → fastAPI를 사용하여 모델 배포

초기 설치 코드

!pip install opencv-python 
!pip install cvlib
!pip install uvicorn
!pip install fastapi
!pip install python-multipart

YOLOV3 를 이용한 객체 검출 (Object Detection)

from IPython.display import Image, display
import os

# 이미지 불러서 출력해보기
image_files = os.listdir('images')

for image_file in image_files:
    print(f"\\n{image_file}")
    display(Image(filename=f"images/{image_file}"))

# 개체 감지 모델을 사용하기 전에 결과 이미지를 저장할 수 있는 디렉터리 생성
dir_name = "images_with_boxes"
if not os.path.exists(dir_name):
    os.mkdir(dir_name)
    
import cv2
import cvlib as cv
from cvlib.object_detection import draw_bbox

# 시스템의 파일을 입력으로 이미지의 객체를 탐지하고, 개체와 함께 bounding box를 표시하는 이미지를 저장하는 함수
# filename : 원본 파일 / model : 가장 최신 yolo모델 사용 / confidence : 얼마나 확신하는지 -> 해당 퍼센트 이상일때만 답을 줌
def detect_and_draw_box(filename, model="yolov4", confidence=0.5): # 50% 이상 확신시 답을 줌
    """이미지에서 일반적인 object를 감지하고
         bounding box 가 있는 새 이미지 만들기. """
    
    img_filepath = f'images/{filename}'
    
    img = cv2.imread(img_filepath)  # Read the image into a numpy array
    img = cv2.resize(img, (250, 250)) # 이미 250 250 으로 pretrained되어 있기때문에
    print(img.shape)
    
    # object detection 수행
    bbox, label, conf = cv.detect_common_objects(img, confidence=confidence, model=model)
    
    print(f"========================\\n이미지 처리 완료: {filename}\\n")
    
    for l, c in zip(label, conf):
        print(f"검출된 객체: {l} - confidence level: {c:.2f}\\n")
    
    # bounding box를 포함하는 새 이미지 만들기
    output_image = draw_bbox(img, bbox, label, conf)

    cv2.imwrite(f'images_with_boxes/{filename}', output_image)  # 새로운 이미지 저장
    
    # bounding box가 추가된 이미지 display
    display(Image(f'images_with_boxes/{filename}'))

# 함수 실행
for image_file in image_files:
    detect_and_draw_box(image_file)

모델 배포 : fastAPI 사용

→ 서버와 상호 작용하는 데 사용할 수 있는 클라이언트가 내장되어있음

# 브라우저에서 새로운 이미지를 로드해서 구분하기 위한 디렉토리
dir_name = "images_uploaded"
if not os.path.exists(dir_name):
    os.mkdir(dir_name)
    
import io
import uvicorn
import numpy as np
import nest_asyncio
from enum import Enum
from fastapi import FastAPI, UploadFile, File, HTTPException
from fastapi.responses import StreamingResponse

# 인스턴스 생성
app = FastAPI(title='FastAPI를 이용한 ML model deploy')

#Enum을 사용하여 사용 가능한 모델을 나열합니다. 이는 옵션이 미리 정의된 경우에 유용합니다.
class Model(str, Enum):
  # 둘중 하나를 고르도록 리스트를 만들어준것
    yolov4tiny = "yolov4-tiny"
    yolov4 = "yolov4"

@app.get("/")
def home():
    return "API 가 정상 작동하고 있습니다. <http://localhost:8000/docs> 로 이동하세요."

@app.post("/predict") 
def prediction(model: Model, file: UploadFile = File(...)):

    # 1. INPUT FILE 확인
    
    filename = file.filename
    fileExtension = filename.split(".")[-1] in ("jpg", "jpeg", "png") # 얘네만 처리 가능
    if not fileExtension:
        raise HTTPException(status_code=415, detail="지원하지 않는 파일 타입 입니다.")
    
    # 2.  RAW IMAGE를 CV2 image로 변환
    
    image_stream = io.BytesIO(file.file.read())  # stream of bytes 로 이미지 읽기
    image_stream.seek(0)   # stream을 처음(0 위치)부터 시작합니다.
    
    # numpy 배열로 bytes stream 쓰기
    file_bytes = np.asarray(bytearray(image_stream.read()), dtype=np.uint8)
    
    # numpy 배열을 이미지로 디코딩
    image = cv2.imdecode(file_bytes, cv2.IMREAD_COLOR)
    
    # 3. OBJECT DETECTION MODEL 실행
    
    bbox, label, conf = cv.detect_common_objects(image, model=model)
    
    # bounding box와 레이블이 포함된 이미지를 만들어 저장
    output_image = draw_bbox(image, bbox, label, conf)
    cv2.imwrite(f'images_uploaded/{filename}', output_image)
    
    # 4. CLIENT로 Respond
    
    # 저장된 이미지를 binary mode로 읽기
    file_image = open(f'images_uploaded/{filename}', mode="rb")
    
    # 미디어 type을 지정하여 스트림으로 이미지 반환
    return StreamingResponse(file_image, media_type="image/jpeg")

# 서버가 가동 코드 -> 커널 중단 전까지 실행됨
# Jupyter notebook 환경에서 서버를 실행할 수 있습니다.
nest_asyncio.apply()

host = "127.0.0.1"

# Spin up the server!    
uvicorn.run(app, host=host, port=8000)

⇒ http://localhost:8000/로 이동하여 서버가 작동하는 것을 확인

⇒ image를 제출하여 API가 이미지 안의 객체를 감지하고 감지된 객체의 레이블과 함께 bounding box가 포함된 새 이미지를 반환하는 하는 것을 확인

⇒ http://localhost:8000/docs를 방문하여 fastAPI의 내장 client 사용