[논문 리뷰] AutoRec: Autoencoders Meet Collaborative Filtering

 

논문 링크

https://share.google/23LvUEkOosef6zq68

 

01. 기존의 협업 필터링 기반 모델

  a. 목표 : 개인화된 추천 제공을 목적으로 사용자 선호 정보를 활용하자

  b. 방법 

     - matrix factorization (행렬 분해) 방법

     - neighbourhood models

     - Rating-based Collaborative Filtering

        - 사용자 벡터 : r(u)=(Ru1​,Ru2​,…,Run​)∈Rn  ( u∈U={1,…,m} )

        - 아이템 : r(i)=(R1i​,R2i​,…,Rmi​)∈Rm  ( i∈I={1,…,n}i \in I = \{1, \dots, n\}i∈I={1,…,n} )

 

02. Autoencoder

: 입력을 재구성한 h를 통해 최적화를 진행하는 단일 은닉층을 가진 auto-associative 신경망 구조

- 입력 집합 : $$ S⊆Rd$$

- 차원 : $$ k∈N+k \in \mathbb{N}^+k∈N+$$

- 최적화 수식 : $$min_ θ\sum_{​r∈S}​∥r−h(r;θ)∥^2$$

    - $$h(r;θ)=f(WTg(Vr+b)+c)$$

       (f, g : 활성화 함수, W, V : 가중치 행렬, b, c: 편향)

- parameter 학습 : 역전파로 학습됨

 

 

03. AutoRec model

: autoencoder 구조를 이용한 새로운 CF 모델

  a. 개요 : 시각, 음성 작업에서의 deep neural network 모델의 성공에서 비롯됨

 

  b. 과정

      : item-based or user-based autoencoder 설계

         → r(i) or r(u)를 입력으로, 저차원 latent splace 투사

         → 누락된 평점 예측을 위해, 출력 공간에서 투사한 것 재구성

 

  c. item-based AutoRec model

     : 모델이 각 item 벡터에 autoencoder를 적용한 방법

     - 특징

        - 입력 일부만 관측되므로, 역전파 시 관측 항목에 대응하는 가중치만 업데이트

        - 과적합 방지를 위해 파라미터에 정규화 적용

     - 목표 함수 : 

        $$L=i=1∑n​∥O(r(i)−h(r(i);θ))∥2+λ∥θ∥2$$

        - 가정 : 정규화 강도($$\lambda$$) > 0 

        - 파라미터 개수 : 2mk + m + k 개

        - 예측 하는 값 : 학습된 파라미터로 부터 사용자가 아이템에게 줄 평점 

 

  d. user-based AutoRec model

     : 모델이 각 user 벡터에 autoencoder를 적용한 방법

      <목표함수는 item-based와 r(i) → r(u) 로 바꾸면 동일하게 정의됨>

 

  e. 장점

     - 기존 CF의 신경망 접근 방식 보다 표현, 계산 측면에서 이점이 존재

 

 

04. RBM-CF model vs AutoRec model

	RBM-CF model	AutoRec model
학습 패러다임	생성적 확률 모델	판별적 모델
학습 초점	log likelihood 최대화	RMSE 최소화
학습 방식	대조 발산	단순한 경사하강 기반 역전파
특징	- 이산 평점에만 적용되어,   평점 마다 별도의 파라미터를 학습	- 평점 스케일에 독립적 - 적은 파라미터로 가능한 모델 - overfitting 위험 ↓ - 활성화 함수를 통한 비선형 표현 학습가능

 

 

05. Matrix Factorization (MF)  vs AutoRec model

	RBM-CF model	AutoRec model
user embedding	shared latent space에 매핑	X
item embedding	shared latent space에 매핑	latent space에 임베딩
linear 표현 학습 여부	O	X
non-linear 표현 학습 여부	O	O (활성화 함수를 통해, 학습 가능)

 

 

06. 실험

   a. dataset : MovieLens 1M, 10M, 넷플릭스

   b. 비교 대상 모델 : RBM-CF, MF, LLORMA

 

   c. 실험 세팅

       - train, test split : 90%(10%는 hyper parameter tuning에 사용) 10%

       - epoch : 5

       - 평가 기준 : average RMSE

       - 95% 신뢰 구간 : ±0.003 이하

       - 튜닝 대상 : λ(정규화 강도), k(잠재 차원) ∈{10,20,40,80,100,200,300,400,500}

       - 학습 안정화 : RProp 사용

 

   d. 결과

       - 성능 비교

           : item 기반 모델 > user 기반 모델

           - 이유 : item 당 평점의 개수 > user 당 평점의 개수 

 

       - 선형 및 비선형 활성화 함수 사용 시, 성능 비교

           - hidden layer에 비선형 활성화 함수를 적용 시, 성능 향상에 결정적 → MF보다 우수한 비선형 표현력을 가짐을 의미함

           - 활성화함수로 sigmoid 대신 ReLU 사용 시, 성능이 낮아짐 (→ 이후, 모든 실험에서 sigmoid 함수를 사용)

 

       - hidden unit 수에 따른 성능 비교

RMSEofI-AutoReconMovielens1Masthenum berofhiddenunitskvaries.

           : 증가할 수록 성능이 향상되었지만, 점차 그 효과가 감소함

 

       - 기존 모델과의 성능 비교

Comparison of I-AutoRec with base lines on Movie Lens and Netflix datasets.

           - 대부분 우수한 RMSE를 보임

           - LLORMA 와의 비교 : 성능은 비슷하나, AutoRec은 단일 autoencoder 기반이라는 점에서 중요함

 

       - 깊게 확장시, 효과

           - 구성 : 3개의 은닉층 (500, 250, 500 유닛)으로 구성 + sigmoid 활성화 함수

           - dataset : MovieLens 1M

           -  학습 : 사전학습 후, fine tuning 진행

           - 결과 : 0.831 -> 0.827로 감소