오픈도메인 질의문 자동 분류를 위한 주석 말뭉치 구축 연구

시작하며 카카오엔터프라이즈 AI Lab(안애림, 이서진, 최동현, 김응균)이 한국외국어대학교(남지순)와 함께 쓴 논문 ‘오픈도메인 질의문 자동 분류를 위한 주석 말뭉치 구축 연구’가 제31회 한글 및 한국어정보처리 학술대회에 실렸습니다. 한글날을 맞이해 매년 10월마다 열리는 한글 및 한국어정보처리 학술대회는 전산언어학과 언어학, 인공지능과 관련된 다양한 주제의 연구 논문을 다루고 있습니다. 이번 논문에서 AI Lab은 오픈도메인 자연어 질의문에서 비명시적인 의미자질을 고려한 질문 초점(Question Focus) 기반 질의문 유형 분류 기준을 제시했습니다. 이 기준에 따라 구축된 112,856개 문장의 주석 말뭉치를 학습한 기계학습(CNN) 기반 문장 분류 시스템은 F1-Score 97.72% 성능을 ..

EMNLP 2020 - 다국어 번역 논문 2편을 소개합니다

시작하며 카카오엔터프라이즈 AI Lab(이하 AI Lab)이 낸 3편의 논문이 EMNLP(Empirical Methods in Natural Language Processing)에 게재 승인됐습니다. 자연어처리에서 경험적 방법론을 다루는 이 학회는 ACL(Association for Computational Linguistics), NAACL(NORTH American Chapter of the ACL)과 함께 전산언어학 분야에서는 인지도가 높습니다. 올해에는 총 3,677편의 논문 중 754편이 통과됐습니다. 이번 글에서는 EMNLP에 게재된 논문 중, 신경망 기반 다국어 기계 번역 모델(multilingual neural machine translation, MNNT)에 관한 최신 기법을 다룬 2편의..

Stable Style Transformer: Delete and Generate Approach with Encoder-Decoder for Text Style Transfer

시작하며 카카오엔터프라이즈 AI Lab(이주성)이 쓴 논문 ‘Stable Style Transformer: Delete and Generate Approach with Encoder-Decoder for Text Style Transfer(이하 SST)’가 자연어생성국제학술대회(이하 INLG)에 게재 승인됐습니다. 텍스트 스타일 변환(text style transfer)은 입력 문장의 내용(content)은 보전하면서, 문장의 속성(attribute)에 해당하는 값을 바꾸는 태스크를 가리킵니다. 이번 논문에서 AI Lab은 기존 방식대로 비병렬 데이터셋을 활용해 좀 더 자연스러운 문장을 생성하는 새로운 텍스트 스타일 변환 모델인 SST를 제안했습니다. 스타일 변환은 두 단계를 걸쳐 진행됩니다. 첫 번째,..

지식그래프에서 경로를 탐색하는 모델 AttnIO를 소개합니다

시작하며 이상형에 관한 설문조사를 보면 상위권에 오르는 유형 중 하나가 바로 '대화가 통하는 사람'입니다. 끊임없이 말을 주고받는 시간이 즐거워서 또 만나서 이야기를 나누고 싶다는 감정이 드는 상대를 의미하겠죠. 소개팅 자리에서 본인을 할리우드 영화감독 스티븐 스필버그(Steven Spielberg)의 팬이라 소개하며 대화 포문을 열었을 때, "그래요?", "그렇군요...", "아 네…”라기보다는, "저도요! 레오나르도 디카프리오가 주연을 맡은 '캐치 미 이프 유 캔'은 여러 번 봤을 정도로 음악도, 연기도, 연출도 모두 멋진 작품이었어요”라고 말하는 사람이 바로 여기에 해당할 겁니다. 사람과 대화를 나누는 기계를 만들 때도 위에서 언급한 '대화가 잘 통한다'는 느낌을 제공하는 게 중요합니다. 물론 지금..

HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis

시작하며 카카오엔터프라이즈 AI Lab(공정일, 김재현, 배재경)이 쓴 논문 ‘HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis’이 신경정보처리시스템학회(NeurIPS)에 게재 승인됐습니다. 올해 학회에는 총 9,467편 중 1,900편이 통과됐습니다. 최근 음성합성 연구에서는 GAN(generative adversarial networks) 구조를 활용해 보코더(vocoder)의 음성 합성 속도와 메모리 효율을 높이는 시도가 있었습니다. 하지만 이런 방식의 보코더가 합성한 음성의 품질은 Autoregressive 모델이나 플로우 기반의 생성 모델(flow-based generative mod..

Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search

시작하며 카카오엔터프라이즈 AI Lab(김재현, 공정일)이 서울대학교(김성원, 윤성로)와 함께 쓴 논문 ‘Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search’이 신경정보처리시스템학회(NeurIPS Oral)에 게재 승인됐습니다. 올해 학회에 제출된 총 9,467편 중 1,900편이 통과됐으며, 이 중에서 또 150편만 구두 발표(oral presentation)로 올라갑니다. FastSpeech와 ParaNet 같은 최신 음성합성(TTS) 모델은 발화를 병렬적으로 합성(non-Autoregressive)해 그 속도를 높인 새로운 보코더(vocoder)를 제안했습니다. 하지만 이런 병렬 모델이 텍스트를 구성하는 음소 순..