시작하며

카카오엔터프라이즈 AI Lab(공정일, 김재현, 배재경)이 쓴 논문 ‘HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis’이 신경정보처리시스템학회(NeurIPS)에 게재 승인됐습니다. 올해 학회에는 총 9,467편 중 1,900편이 통과됐습니다.

최근 음성합성 연구에서는 GAN(generative adversarial networks) 구조를 활용해 보코더(vocoder)의 음성 합성 속도와 메모리 효율을 높이는 시도가 있었습니다. 하지만 이런 방식의 보코더가 합성한 음성의 품질은 Autoregressive 모델이나 플로우 기반의 생성 모델(flow-based generative model)에 미치지 못했습니다. 이에 AI Lab은 음성 오디오의 주기적 신호를 구별해내는 방식으로 기존 제안된 모델보다 월등히 좋은 품질의 오디오를 빠르게 합성하는 HiFi-GAN을 제안했습니다.

AI Lab은 메모리 효율성 및 속도와 관련된 초매개변수(hyperparameter)를 조정하고, 이 값을 조합한 3가지 버전의 세부 모델로 실험을 진행했습니다. 첫 번째 버전은 인간과 비슷한 수준의 고품질 오디오를 실시간의 167.9배 속도로 합성합니다. 두번째 버전은 비교 모델 중 가장 적은 매개변수를 사용하면서도 가장 좋은 음질을 생성합니다. 세 번째 버전은 GPU에서 실시간의 1,186.8배, CPU에서 13.4배 더 빠르게 기존 모델과 비슷한 품질의 오디오를 합성합니다.

AI Lab은 이번 연구로 얻은 기술력과 경험을 바탕으로 음질 개선, 맥락에 따라 다양한 스타일의 발화 생성 등 다양한 태스크를 수행하는 오디오 합성 기술을 연구할 계획입니다. 

Abstract

Several recent studies on speech synthesis have employed generative adversarial networks (GANs) to produce raw waveforms. Although such methods improve the sampling efficiency and memory usage, their sample quality has not yet reached that of autoregressive and flow-based generative models. In this study, we propose HiFi-GAN, which achieves both efficient and high-fidelity speech synthesis. As speech audio consists of sinusoidal signals with various periods, we demonstrate that modeling periodic patterns of an audio is crucial for enhancing sample quality. A subjective human evaluation (mean opinion score, MOS) of a single speaker dataset indicates that our proposed method demonstrates similarity to human quality while generating 22.05 kHz high-fidelity audio 167.9 times faster than real-time on a single V100 GPU. We further show the generality of HiFi-GAN to the mel-spectrogram inversion of unseen speakers and end-to-end speech synthesis. Finally, a small footprint version of HiFi-GAN generates samples 13.4 times faster than real time on CPU with comparable quality to an autoregressive counterpart.

Overall Architecture

HiFi-GAN consists of one generator and two discriminators: multi-scale and multi-period discrimina- tors. The generator and discriminators are trained adversarially, along with two additional losses for improving training stability and model performance.

Experiments

To evaluate the performance of our models in terms of both quality and speed, we performed the MOS test and the speed measurement. For easy comparison of audio quality, synthesis speed and model size, the results are compiled and presented in Table1. Remarkably, all variations of HiFi-GAN scored higher than the other model. Moreover, it shows a significant improvement in terms of synthesis speed. 

공정일(henry)

여러 번 도전했다 실패했던 텍스트 분류 실험에서, 기존 접근 방식과는 비견할 수 없는 성능을 내는 딥러닝의 놀라운 매력에 크게 매료됐습니다. 현재는 카카오엔터프라이즈에서 음성합성을 비롯한 여러 분야에서 도전적인 기술을 연구하고 있습니다. 인간의 삶을 한층 풍요롭게 만드는, 더 똑똑하고 새로운 인공지능 기술을 만들고자 합니다.

김재현(Jay)

인공지능이 게임, 자율주행, 음성 비서 등 다양한 분야에 혁신을 일으키는 모습에 큰 흥미를 느꼈습니다. 현재는 카카오엔터프라이즈 컨텍스트파트에서 효율적으로 음성을 합성하는 데 필요한 기술을 연구하고 있습니다. 훌륭한 동료와 함께 인공지능 기술의 한계를 시험하고 싶습니다.