Revisiting Modularized Multilingual NMT to Meet Industrial Demands

시작하며

카카오엔터프라이즈 AI Lab(류성원, 손보경, 양기창, 배재경)이 쓴 논문 ‘Revisiting modularized multilingual NMT to meet industrial demands’가 EMNLP 2020에 게재됐습니다. 자연어처리에서 경험적 방법론을 다루는 이 학회는  ACL(Association for Computational Linguistics), NAACL(NORTH American Chapter of the ACL)과 함께 전산언어학 분야에서는 인지도가 높습니다. 올해에는 총 3,677편의 논문 중 754편이 통과됐습니다.

 

이번 논문에서 AI Lab은 M2NMT(Modularized Multilingual Neural Machine Translation Model)^[각주:1]의 가치를 재발견한 내용을 담았습니다. 여러 번역 조건에서 성능 저하를 보이는 1-1 MNMT^[각주:2]와는 달리, M2NMT에서는 성능이 유지됐습니다. 새로 추가된 언어를 포함한 태스크에서 NMT^[각주:3]보다 좋은 성능을 보일 수 있음을 확인하였습니다. 또한, 제로샷(zero-shot)^[각주:4]에서 피벗 방식(pivot translation)^[각주:5]보다 더 좋은 성능을 달성했습니다. AI Lab은 다국어 학습으로 인한 시너지(data-diversification, and regularization effect)가 주된 요인이라 분석했습니다.

 

AI Lab은 향후 이 모델이 생성한 '언어에 독립적인 특징 공간(interlingual space)'의 여러 효용을 검증하는 연구를 진행할 계획입니다. 논문에 대한 자세한 소개는 블로그를 통해 전해드리겠습니다.

Abstract

The complete sharing of parameters for multilingual translation (1-1) has been the mainstream approach in current research. However, degraded performance due to the capacity bot- tleneck and low maintainability hinders its extensive adoption in industries. In this study, we revisit the multilingual neural machine translation model that only shares modules among the same languages (M2) as a practical alternative to 1-1 to satisfy industrial requirements. Through comprehensive experiments, we identify the benefits of multi-way training and demonstrate that the M2 can enjoy these benefits without suffering from the capacity bottleneck. Furthermore, the interlingual space of the M2 allows convenient modification of the model. By leveraging trained modules, we find that incrementally added modules exhibit better performance than singly trained models. The zero-shot performance of the added modules is even comparable to supervised models. Our findings suggest that the M2 can be a competent candidate for multilingual translation in industries.

Experiments

By extensively comparing the single models, 1-1 model, and M2 in varying conditions, we find that the M2 can benefit from multi-way training through data-diversification and regularization while suffering less from capacity bottlenecks.

[ Table 1 ] Averaged SacreBLEU test scores of single models, 1-1, and M2 trained using a balanced dataset of different configurations.  M2M  indicates the training of full many-to-many directions among languages (12 directions), whereas  JM2M  represents the training of directions that only include English on one side(6 directions). * indicates that the score is averaged only on English-centric.

류성원(James)

경영대 졸업 후, 세상에 없던 새로운 가치를 창출해보고자 뒤늦게 인공지능의 세계에 발을 내디덨습니다. 많은 이의 도움으로 현재는 카카오엔터프라이즈 컨텍스트파트에서 번역과 자연어처리를 연구하고 있습니다. 사람의 지루한 일을 덜어주고 기쁨을 주는 인공지능을 만들고 싶습니다.

손보경(Meta)

언어와 텍스트를 사랑합니다. 심리학과 이론 언어학을 공부하다가, 다른 방면으로 언어를 바라보기 위해 카카오엔터프라이즈 컨텍스트파트에서 번역과 자연어처리를 연구하게 되었습니다. 언어의 사용을 통해 인공지능을, 인공지능을 통해 언어의 사용을 이해하고 싶습니다.

 

양기창(kevin)

카카오엔터프라이즈에서 번역엔진 연구∙개발을 담당하고 있습니다. 군복무 시절부터 딥러닝에 빠져살다, 전역후 복학대신 카카오 입사를 선택했습니다. 모두가 정보 불균형함에서 벗어나 공정한 세상에서 살 수 있도록 도움을 주는 인공지능을 만들어보고자 합니다.

배재경(Storm)

도전 과제를 찾고 이를 해결해 나가는 것이 재밌고 신나는 개발자입니다. 아이디어를 아낌없이 공유해 주시는 많은 훌륭한 분들이 있어서 세상이 더 빨리 나아지는 것 같습니다. 저도 그 길에 작은 보탬이 되고 싶습니다.

새로운 길에 도전하는 최고의 Krew들과 함께 해요!

[AI기술] 머신 러닝 응용 분야 전문가 모집

1. 다국어 번역을 위해 모든 언어마다 인코더와 디코더를 둔 아키텍처 [본문으로]
2. 다국어 번역을 위해 한쌍의 인코더와 디코더를 둔 아키텍처 [본문으로]
3. 두 언어간 번역을 위해 한쌍의 인코더와 디코더를 둔 아키텍처 [본문으로]
4. 학습되지 않은 방향의 번역 [본문으로]
5. 두 언어쌍에 대한 병렬 말뭉치(parallel corpus)를 구하기가 상대적으로 어려운 상황적 특성을 반영해, 전세계적으로 가장 많이 쓰이는 언어인 ‘영어’로 두번 번역한다. 예를 들어, 한국어↔︎중국어 번역 시, 한국어↔︎영어로 , 영어↔︎중국어로 번역한다. [본문으로]