[논문 정리] Implementation of DNN-based real-time voice conversion and itsimprovements by audio data augmentation and mask-shaped device

논문 링크

https://www.semanticscholar.org/paper/Implementation-of-DNN-based-real-time-voice-and-its-Arakawa-Takamichi/fd5d3be9e8e293cce5b56f55de37af3d9734e0f4

 

DNN 기반의 voice conversion system

: 3가지 단계 (Analysis → Conversion → Synthesis)를 거쳐 시스템 구현

 

[ 자세한 시스템 구조 ]

1. Analysis

• 입력 음성에서 Mel-Cepstral Coefficients, 음력, 전력, 추출
• FFT Mel-Cepstral Coefficients 분석 ⇒ 고성능 스펙트럼 분석기 사용으로 인한 높은 계산량, 처리 지연 해결
• Trajectory Smoothing 적용 : 고주파 성분 제거 + 음성 예측 정확도 향상

2. Conversion

• 목표 : 소스 음성 특징을 타겟 음성의 특징으로 변환
• 과정
  • 소스의 FFT Mel-Cepstral Coefficients ⇒ 타겟의 WORLD Mel-Cepstral Coefficients로 변환 (DNN 사용)
  • 소스의 FFT Mel-Cepstral Coefficients ⇒ 타겟의 대역 평균 비주기성으로 변환 (DNN 사용)
  • 소스의 로그 스케일 F0 ⇒ 타겟의 log scale F0로 변환
  • 소스의 전력 ⇒ 타겟의 전력으로 변환
• 손실함수 : MSE
• 향후 품질 향상 계획 : GAN 기반 학습 방법 적용

3. Synthesis step

• 목표 : 변환된 음성 특징 기반 음성 합성
• 음성 신호 생성 알고리즘 : recursive maximum likelihood parameter generation (R-MLPG)
• 최종 음성 출력 알고리즘 : WORLD’s recursive waveform generation algorithm

 

Audio data augmentation

: 3가지의 데이터 증강 기법 사용 (pitch shift → time stretch → time shift)

 

[ 자세한 시스템 구조 ]

1. Pitch Shift
   • 음성 피치를 약간씩 변화
   • 사용 알고리즘 : WSOLA 알고리즘 + waveform resampling
2. Time Stretch
   • 음성 신호를 늘이고, 줄임
   • 사용 알고리즘 : WSOLA algorithm
   • 효과 : 음성 속도 변화를 잘 처리하도록 함
3. Time Shift
   • FFT Mel-Cepstral Coefficients 분석의 시작 시간을 프레임 이동 길이 내에서 무작위로 변경
   • 효과 : 음성 특징 추출 과정이 시작 시간에 의존하지 않도록
   • FFT Mel-Cepstral Coefficients 단점 보안을 위함

 

실험 설정

1. dataset : 2개의 일본어 발화 100개 (총 12분) → training 0.9 / test 0.1
2. 프레임 길이: 25ms, FFT 크기: 512
3. FFT Mel-Cepstral Coefficients ⇒ WORLD Mel-Cepstral Coefficients 모델
   • 모델 구성
     • MLP
     • input layer : 195 unit (39*5)
     • hidden layer : 2개 (각 500 unit, activation function : Leaky ReLU)
     • output layer : 78 unit (39*2)
4. FFT Mel-Cepstral Coefficients → Band-Aperiodicity 변환
   • 모델 구성
     • Single-layer Perceptron
     • input layer : 195 unit
     • output layer : 1 unit (activation function : sigmoid)
5. Mel-Cepstral Coefficients 정규화 : 평균 0, 분산 1
6. 최적화 방법: Adam