한국어 챗봇에서의 오류에 강건한 한국어 문장 분류를 위한 어절 단위 임베딩

시작하며 카카오엔터프라이즈 AI Lab(최동현, 박일남, 신명철, 김응균)이 성균관대학교(신동렬)와 함께 쓴 논문 ‘한국어 챗봇에서의 오류에 강건한 한국어 문장 분류를 위한 어절 단위 임베딩’이 제31회 한글 및 한국어정보처리 학술대회에 실렸습니다. 한글날을 맞이해 매년 10월마다 열리는 한글 및 한국어정보처리 학술대회는 전산언어학과 언어학, 인공지능과 관련된 다양한 주제의 연구 논문을 다루고 있습니다. AI Lab은 오류를 포함하는 한국어 문장 분류 시스템의 성능을 높이고자 새로운 통합 어절 임베딩 방식을 제안했습니다. 이 방식은 여러 가지 다른 단위의 임베딩을 하나로 통합하고 데이터에 자동으로 노이즈를 추가하는 방식으로 오류를 포함한 문장 분류 성능을 높입니다. 자체 실험 결과, 기존 시스템과 비교해..

오픈도메인 질의문 자동 분류를 위한 주석 말뭉치 구축 연구

시작하며 카카오엔터프라이즈 AI Lab(안애림, 이서진, 최동현, 김응균)이 한국외국어대학교(남지순)와 함께 쓴 논문 ‘오픈도메인 질의문 자동 분류를 위한 주석 말뭉치 구축 연구’가 제31회 한글 및 한국어정보처리 학술대회에 실렸습니다. 한글날을 맞이해 매년 10월마다 열리는 한글 및 한국어정보처리 학술대회는 전산언어학과 언어학, 인공지능과 관련된 다양한 주제의 연구 논문을 다루고 있습니다. 이번 논문에서 AI Lab은 오픈도메인 자연어 질의문에서 비명시적인 의미자질을 고려한 질문 초점(Question Focus) 기반 질의문 유형 분류 기준을 제시했습니다. 이 기준에 따라 구축된 112,856개 문장의 주석 말뭉치를 학습한 기계학습(CNN) 기반 문장 분류 시스템은 F1-Score 97.72% 성능을 ..

EMNLP 2020 - 다국어 번역 논문 2편을 소개합니다

시작하며 카카오엔터프라이즈 AI Lab(이하 AI Lab)이 낸 3편의 논문이 EMNLP(Empirical Methods in Natural Language Processing)에 게재 승인됐습니다. 자연어처리에서 경험적 방법론을 다루는 이 학회는 ACL(Association for Computational Linguistics), NAACL(NORTH American Chapter of the ACL)과 함께 전산언어학 분야에서는 인지도가 높습니다. 올해에는 총 3,677편의 논문 중 754편이 통과됐습니다. 이번 글에서는 EMNLP에 게재된 논문 중, 신경망 기반 다국어 기계 번역 모델(multilingual neural machine translation, MNNT)에 관한 최신 기법을 다룬 2편의..

Stable Style Transformer: Delete and Generate Approach with Encoder-Decoder for Text Style Transfer

시작하며 카카오엔터프라이즈 AI Lab(이주성)이 쓴 논문 ‘Stable Style Transformer: Delete and Generate Approach with Encoder-Decoder for Text Style Transfer(이하 SST)’가 자연어생성국제학술대회(이하 INLG)에 게재 승인됐습니다. 텍스트 스타일 변환(text style transfer)은 입력 문장의 내용(content)은 보전하면서, 문장의 속성(attribute)에 해당하는 값을 바꾸는 태스크를 가리킵니다. 이번 논문에서 AI Lab은 기존 방식대로 비병렬 데이터셋을 활용해 좀 더 자연스러운 문장을 생성하는 새로운 텍스트 스타일 변환 모델인 SST를 제안했습니다. 스타일 변환은 두 단계를 걸쳐 진행됩니다. 첫 번째,..

지식그래프에서 경로를 탐색하는 모델 AttnIO를 소개합니다

시작하며 이상형에 관한 설문조사를 보면 상위권에 오르는 유형 중 하나가 바로 '대화가 통하는 사람'입니다. 끊임없이 말을 주고받는 시간이 즐거워서 또 만나서 이야기를 나누고 싶다는 감정이 드는 상대를 의미하겠죠. 소개팅 자리에서 본인을 할리우드 영화감독 스티븐 스필버그(Steven Spielberg)의 팬이라 소개하며 대화 포문을 열었을 때, "그래요?", "그렇군요...", "아 네…”라기보다는, "저도요! 레오나르도 디카프리오가 주연을 맡은 '캐치 미 이프 유 캔'은 여러 번 봤을 정도로 음악도, 연기도, 연출도 모두 멋진 작품이었어요”라고 말하는 사람이 바로 여기에 해당할 겁니다. 사람과 대화를 나누는 기계를 만들 때도 위에서 언급한 '대화가 잘 통한다'는 느낌을 제공하는 게 중요합니다. 물론 지금..

HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis

시작하며 카카오엔터프라이즈 AI Lab(공정일, 김재현, 배재경)이 쓴 논문 ‘HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis’이 신경정보처리시스템학회(NeurIPS)에 게재 승인됐습니다. 올해 학회에는 총 9,467편 중 1,900편이 통과됐습니다. 최근 음성합성 연구에서는 GAN(generative adversarial networks) 구조를 활용해 보코더(vocoder)의 음성 합성 속도와 메모리 효율을 높이는 시도가 있었습니다. 하지만 이런 방식의 보코더가 합성한 음성의 품질은 Autoregressive 모델이나 플로우 기반의 생성 모델(flow-based generative mod..