HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis

시작하며 카카오엔터프라이즈 AI Lab(공정일, 김재현, 배재경)이 쓴 논문 ‘HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis’이 신경정보처리시스템학회(NeurIPS)에 게재 승인됐습니다. 올해 학회에는 총 9,467편 중 1,900편이 통과됐습니다. 최근 음성합성 연구에서는 GAN(generative adversarial networks) 구조를 활용해 보코더(vocoder)의 음성 합성 속도와 메모리 효율을 높이는 시도가 있었습니다. 하지만 이런 방식의 보코더가 합성한 음성의 품질은 Autoregressive 모델이나 플로우 기반의 생성 모델(flow-based generative mod..

Sparse and Decorrelated Representations for Stable Zero-shot NMT

시작하며 카카오엔터프라이즈 AI Lab(손보경, 류성원)이 쓴 논문 ‘Sparse and Decorrelated Representations for Stable Zero-shot NMT’가 EMNLP 2020의 Findings of ACL에 게재됐습니다. 자연어처리에서 경험적 방법론을 다루는 이 학회는 ACL(Association for Computational Linguistics), NAACL(NORTH American Chapter of the ACL)과 함께 전산언어학 분야에서는 인지도가 높습니다. 올해에는 총 3,677개 중 754개의 논문이 통과됐습니다. AI Lab은 훈련 조건의 변화에도 강건한 제로샷 모델을 만들고자 SLNI(Sparse coding through Local Neural I..

카카오 i 번역 성능 향상 실험 : 대규모 말뭉치를 활용한 사전학습

시작하며 사전학습(pretraining)은 데이터양이 절대적으로 적은 상황에서 적용하는 기법입니다. 문제(본 훈련)에서 제시되는 것과 유사한 형태의 데이터로 모델을 사전학습시키면 본 훈련에 효과적인 매개변수(parameter) 초기값 확보에 크게 도움이 되어서죠. 오늘날 대규모 말뭉치(corpus)를 사전학습한 언어 모델(language model)이 자연어처리(NLP)에서 주류로 자리하게 된 것은 바로 이런 효과 덕분입니다. 하지만 대용량 데이터를 사전학습해 성능을 크게 끌어올린 최신 언어 모델이 모든 NLP 태스크를 잘 풀지는 못합니다. 단적인 예로, 하나의 언어로 구성된 문장에서 특징(feature)을 추출하는 데 주안을 둔 언어 모델은 여러 언어에서의 특징 추출이 중요한 번역 태스크에는 적합하지 ..