[AI 스터디] Section 2 : 머신러닝에 필요한 기본 지식 습득

Python 문법

Data type : 8개로 구성

→ 어디든 다 있는 4개 (원시 데이터 타입) : float, int, string, bool

→ 파이썬에만 있는 독특한 타입 : list, tule, dictionary, set

1. Numbers : float, int
   • 기본 operation : +, *, /, **, %(모듈러, 나머지), ()
2. Strings
   • ‘’, “” : 두개 중 하나로 묶어주면 됨 ⇒ 뭐든 똑같음  ⇒ 문장 안에 ‘’가 들어있으면 “” 사용 등으로 하면 됨
   • 데이터 슬라이싱
     • a[0], a[-1](뒤 부터 시작)
     • a[0:4] : [포함:포함안됨] ⇒ 0,1,2,3
   • 길이 : len(a)⇒ a[len(a)] (x) a[len(a)-1] (o)  ⇒ 인덱스는 0부터 시작, 길이는 개수이므로 주의
3. Printing
   • Place holder : {}, format()⇒ ex) print(“Num is: {}, and name is: {}”.format(a,b))
   • ⇒ ex) print(“Num is: {one}, and name is: {two}”.format(one=a, two=b))
4. Lists
   • 가장 중요한 파이썬 데이터 타입
   • 다른 랭귀지의 Array와는 기본적으로 다름 : 다른 데이터 타입들이 섞여있을 수 있음
   • 변수에 리스트 assign : a = [‘a’, 1, [1, 2]]
   • 리스트에 새로운 element 추가 : append() 메소드 ⇒ a.append(‘d’)
   • 슬라이싱 : string 슬라이싱과 동일 → 순서에 의해 인덱스로 값을 찾음 ⇒ a[2][0] = 1
5. Dictionaries
   • Key-value 쌍으로 되어있음, 중괄호로 표시 : d = {‘k’:1, ‘k2’:2, ‘k3’:3}
   • Key로 값을 바로 찾아가게 되어있음 : d[‘k3’] = 3
6. Booleans
   • True, False : 대문자로 시작해야함
7. Tuples
   • 값을 바꿀 수 없는 리스트, 소괄호로 표시 : t = (1,2,3)
   • ⇒ 리스트와 사용하는 법이 거의 비슷
   • t[0] = 1
8. Sets
   • 집합으로 수학의 집합과 같음, 중복 제거 시에 많이 사용됨
   • 중괄호로 표시 : {1,2,3,2,3,3,3,3,1} ⇒ {1,2,3}
   • (원소개수가 많아도 중복 제거됨)

Variable Assignment

: 변수 이름 설정

변수 이름 규칙

1. 영문, 숫자, _ 를 사용하면 뭐든 상관없음
2. 숫자로 시작하면 안됨

변수 이름 명명

• 변수 이름 선언하는 부분이 없음 (동적 타이핑되기 때문) ⇒ 타입, 변수의 기억장소가 다이나믹하게 정해짐
• 변수에 값 할당 : a = 1
• 다중 할당 : a, b, c = 1,2,3

Comparison Operators

: >, <, ≥, ≤, ==

Logic Operators

: and, or

If, elif, else Statements

if x<2:
	print("ok")
elif x==3:
	print("middle")
else :
	print("last")

For Loops

seq = ['a','b','c']
# 기본 루프 : 하나씩 인덱스에 따라 처리
for i in seq:
	print(i)

# enumerate : 인덱스랑 같이 반환하게 됨
# [(0, 'a'), (1,'b'), (2, 'c')]
for i, ei in enumerate(seq):
	print(i, ei)

While Loops

while i <5:
	print(i)
	i = i + 1

Range()

1. For문 등에 loop돌릴때 사용
2. for i in range(1, 5): print(i)
3. 데이터 생성

l = list(range(5))

List comprehension

[item**2 for item in x] # 모든 원소 제곱하는 것

Fuction

def test_func(x,y):
	result = x*y+1
	return result

test_func(10, 20) # 201

Lambda expression

: 익명함수 ⇒ 간단히 한번쓰고 버릴 수 있는 함수

(lambda x: x*10)(10) # 100

Map and filter

Map : 리스트에 함수들을 하나씩 매핑해서 적용해줄때 사용

필터 : 람다가 뒤에 있는 리스트에 원소 하나씩 적용되는 형태

list(map(times2, seq))
list(map(lambda x: x*2, seq)) # 2,4,6,8
list(filter(lambda x: x%2==0, seq)) #2,4

Methods

: class 안에 선언된 함수 ⇒ method와 함수는 파이썬에서는 문법적으로 완전히 동일

---

Numpy

: 함수들을 불러서 쓰는 모든 것들이 전부 numpy로 만들어져있다

1. 소개

 (1) 대용량 데이터 배열(array)을 효율적으로 다룰 수 있게 설계

 (2) 선형대수, 매트릭스(행렬) 연산 등 함수 내장

 (3) 속도가 필요한 알고리즘은 c, c++로 작성 : 파이썬은 glue language

 

2. Numpy array

: 입력데이터 사양에 맞추어야하므로, 만들어서 sklearn에 넣어야하기 때문

• 차원 : scalar, 1차원 ⇒ 벡터, 2차원 ⇒ matrix, 3차원 ⇒ tensor
• Shape: X, (2, ). (2,2) (2,2,2)
• dtype : 데이터타입
• 행 : axis = 0, 열 : axis = 1, tensor의 높이 : axis=2

3. Matrix의 numpy표현

np.array([[8,5,3],[1,2,9]]) # 2차원 
np.array([[[1,2],[3,4]],[[5,6],[7,8]]]) # 3차원

 

4. Join : Concatenate

• 행단위 : 밑으로 붙임
• 열단위 : 옆으로 붙임

5. Slicing

a = np.array([[1,2],[3,4]]) 
a[1:] # [[3,4],]

코드 : 실습

ndarray

x= np.array([1,2,3])
x.shape # (3,)
# 값이 가장 큰 인덱스
np.argmax(x) # 2 : 3의 인덱스 2 출력
x.argmax() # 동일한 문법 

Indexing / slice

⇒ arr[1, :2] : shape = vector

⇒ arr[1:2, :] : shape이 바뀌는 것임, 데이터는 바뀌는게 없음 (matrix 형태)

벡터의 내적 (= 점곱)

: 딥러닝 내부에서 해주므로 직접할 필요는 거의 없음

1. 원리
   1. 두 벡터의 dimension이 같아야함
   2. 내적은 각 원소의 곱을 모두 더한것
2. 코드

np.dot(a,b.T) # 28

Matrix 곱셈 (행렬 곱셈, dot product)

1. 원리

   

   • A 와 B의 곱셈시, A의 열 개수 == B의 행 개수 여야함
   • 결과 행렬의 shape : A의 행 x B의 열2
2. 코드

np.matmul(a,b)

전치 행렬

: 행, 열이 서로 바뀌는것 ⇒ 입력 사양들을 맞추는데 많이 사용됨

1. 코드

# 셋 다 똑같은 값
a.T
np.transpose(a)
a.transpose()

*원하는 shape로 바꾸고 싶다면

a.reshape(3,3)  # 3,3 으로 바뀜

 

---

Pandas

: series data type + dataframe data type로 구성됨

소개

1. Series (1차원) : numpy array와 유사

  (1) 차이점

    - Series : axis에 label 부여 가능 → label 명으로 인덱싱 가능

                    숫자 이외의 다른 것들도 원소로 가질 수 있음

    - numpy : 숫자만 있어 레이블 부여 불가능 → 인덱스만으로 인덱싱 

                    숫자만 원소로 가짐

 

2. Dataframe (2차원, table) : 여러개의 series를 같은 index기준으로 모아 테이블을 만든 것

 → series 단위로 관리 가능

(1) 구현

# 데이터 생성 -> 데이터 프레임으로 변환
data = np.random.randn(5,4) # 랜덤으로 5,4 행렬 생성
df = pd.Dataframe(data) # column 이름은 임의로 0 1 2 3...

# 데이터 불러오기
df = pd.read_csv("파일명.csv") # 콤마로 분류된 경우가 default
df = pd.read_csv("파일명.csv", sep=',') 

# 컬럼 이름 지정
df = pd.DataFrame(data, columns=['W','X','Y','Z'])

# df의 정보 확인
df.head(5) # 5개의 행을 볼 수 있음
df.columns # 열 이름 출력
df.info() # df의 정보 출력 : entry, column, non-null 개수 등
df.describe() # 데이터프레임의 기술 통계 출력 : count, mean 등

 

(2) 인덱싱

df['W'] # 열별로 인덱싱 -> series 출력
df[['W', 'X', 'Y']] # dataframe이 출력

(3) 칼럼 추가 / 삭제

df['new'] = df['X'] + df['Y'] # df에 new라는 칼럼 생성 : x, y 열 더한것
df.drop('new') # 에러 발생 : 기본이 axis = 0이므로 오류
df.drop('new', axis=1) # 메모리상 바뀐거고 원본은 안바뀜
# 원본도 업데이트 하려면 아래의 두 방법 사용
df.drop('new', axis=1, inplace=True)
df = df.drop('new', axis=1)

(4) 결측치 처리

→ 완전히 삭제 : dropna() / 임의의 값으로 대체 : fillna()

# 결측치 포함된 모든 행 삭제
df.dropna()
# 결측치 포함된 모든 열 삭제
df.dropna(axis=1)
# 임의의값으로 대체
df.fillna(0) # 0으로 채워짐
df.fillna(value=0)
df.fillna(df['X'].mean()) # X열의 평균값으로 채움(nan은 제외되고 평균 계산)

 

---

Matplotlib

사용 방법 : 2가지 스타일

1. Functional programming style

import matplotlib.pyplot as plt
plt.plot(x,y)

 

2.OOP style

flg, ax = plt.subplots() 
ax.plot(x,y)

표현

Pyplot object 구성

기본 선, 점

plt.plot(3,2,'o',c=r) # 점 찍기 : x값, y값, 모양, 색
plt.plot([1,2,3],[4,5,1]) # 선긋기 : x값들, y값들 

그래프 두 개 그리기

plt.title("제목") # 제목
plt.xlabel("x축 이름")
plt.ylabel("y축 이름")

Bar chart

plt.bar(x,y,label="이름1") # 이것만 쓰면 막대 1개, 아래도 하면 2개
plt.bar(x2,y2,label="이름2")
plt.legend() # 레이블 범례 그리기

Scatter plot : 산점도

plt.scatter(x,y,label="이름1") # 이것만 쓰면 종류 1개, 아래도 하면 종류 2개
plt.scatter(x2,y2,label="이름2")
plt.legend()

Histogram

plt.hist(x) # array 값들이 히스토그램으로 표현됨
# 위에 정보들 없애고 히스토그램 그래프만 보이게 하는 세가지 방법
plt.show()
None
plt.hist(x);
# 레이블명 지정
plt.xlabel("random number")
plt.ylabel("frequency")
# 간격
plt.hist(x, bins=10)

OOP style

# 그림판 선언, 도화지 2개 = row 개수, 열 개수, 그림 사이즈
fig, (ax1, ax2) = plt.subplots(1,2,figsize=(8,4))
# 첫번째 그래프 : 왼쪽
ax1.scatter(x,y,c='r',marker='o', edgecolor='k')
ax1.set_title("첫번째 그래프 제목")
ax1.set_xlabel("첫번째 그래프 x축 이름")
ax1.set_ylabel("첫번째 그래프 y축 이름")
# 두번째 그래프 : 오른쪽
ax2.hist(data, bins=20)
ax2.set_title("두번째 그래프 제목")
ax2.set_xlabel("두번째 그래프 x축 이름")
ax2.set_ylabel("두번째 그래프 y축 이름")

이미지 : imshow

→ image data 처럼 행렬 형태의 2차원 데이터는 imshow로 표시

from sklearn.datasets import load_digits
x = load_digits()
img = x['images']
img = x['images'][0] # 한장만 그려보기 위함
plt.imshow(img, cmap='gray') # 흑백으로 그려짐
plt.xticks([]) # 옆에 숫자 삭제
plt.yticks([])

Feature scaling

: raw data를 전처리하여 input data의 구간을 표준화 (크기가 비슷하게 !)

→ 크기가 통일되지 않고 전부 제약이 다른 경우, 머신러닝의 입력을 주기 전에 사이즈를 전부 맞추는 작업이 필요

⇒ 비슷한 크기로 바꾸기 : 비슷한 소수점 단위 등

→ 특정 피처의 value가 다른 피처들 보다 훨씬 크면 그 값이 목적함수를 지배하므로 정활한 학습이 불가함

종류

1. Simple Scaling

: 어떤 피처의 최대값을 가지고 일괄적으로 나눠줌

→ 이미지 처리에서 많이 사용 : 255로 나누면 자동적으로 잘 되기 때문

$$x_{new}= \frac{x_{old}}{X_{max}}$$

 

2. Standard Scaling (Z-score)

: 평균과 표준편차를 이용해 스케일링

→ 평균을 0으로 하고 0주변에 분산된 종모양 형태로 변환

$$ z = (x-\mu)/s $$

3. Min-max Scaling

: 어떤 데이터값에서 최소값을 빼고, 데이터의 구간으로 나눈 값으로 변환

→ 최소값 = 0 ~ 최대값 = 1 사이의 값들로 스케일링 됨

→ x=min ⇒ 0, max ⇒ 1

$$ x_{new} = \frac{x_i-min(x)}{max(x)-min(x)} $$

from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import StandardScaler

# 심플 스케일링
X_simple = X / X.max()

# min max
x_minmax = (x-x.min())/(x.max()-x.min())
sc = MinMaxScaler()
X_minmax2 = sc.fit_transform(X)
# fit : 최대값, 최소값을 미리 그해놓는것
# transform : 구현한 최대 최소를 이용해 공식에 적용하는 것

#Standard scaling
X_standard = (X - X.mean())/X.std()
sc = StandardScaler()
X_standard2 = sc.fit_transform(X)

시각화

plt.figure(figsize=(14,4))
plt.subplot(1,4,1)
plt.hist(X, bins =50)
plt.title("original data")

plt.subplot(1,4,2)
plt.hist(X_simple, bins =50)
plt.title("simple data")

plt.subplot(1,4,3)
plt.hist(X_minmax, bins =50)
plt.title("minmax data")

plt.subplot(1,4,4)
plt.hist(X_standard, bins =50)
plt.title("standard data")
# 분포는 바뀌지 않으나 범위만 바뀜