시작하며

카카오엔터프라이즈 AI Lab(정재훈, 손보경, 류성원)이 쓴 논문 ‘AttnIO: Knowledge Graph Exploration with In-and-Out Attention Flow for Knowledge-Grounded Dialogue’가 EMNLP^[각주:1] 2020에 게재됐습니다. 자연어처리에서 경험적 방법론을 다루는 이 학회는  ACL(Association for Computational Linguistics), NAACL(NORTH American Chapter of the ACL)과 함께 전산언어학 분야에서는 인지도가 높습니다. 올해에는 총 3,677개 중 754개의 논문이 통과됐습니다.

산업 현장에서 많이 쓰이는 Seq2Seq 기반 대화 모델은 지식(knowledge)을 갖춘 문장 생성에 취약합니다. 이에 따라 지난 2019년부터는 외부에 구축해 둔 지식 그래프(knowledge graph)를 적극 활용해 지식을 갖춘 문장을 생성하는 연구가 활발히 이뤄져 왔습니다. AI Lab이 제안한 AttnIO는 바로 이 지식 그래프 상에서 대화 맥락에 따라 경로를 탐색하는 모델(path retrieval model)입니다. 그래프 신경망(graph neural networks)에서 각 노드가 맥락 정보를 반영할 수 있게 하는 인코더(in-flow)와 대화 맥락에 따라 경로 탐색 범위를 조절하는 디코더(out-flow)로 구성돼 있습니다. AttnIO는 벤치마크 데이터셋인 OpenDialKG에서 현재 최고 수준의(SOTA) 추론 성능을 보였습니다. 

AI Lab은 텍스트로부터 그래프와 같은 형태의 구조화된 지식을 추출하는 방향의 연구를 통해 자사 자연어처리 기술 개선에 기여할 계획입니다. 논문에 대한 자세한 소개는 블로그를 통해 전해드리겠습니다.

Abstract

Retrieving the proper knowledge relevant to conversational context is an important challenge in dialogue systems, to engage users with more informative responses. Several recent works propose to formulate this knowledge selection problem as a path traversal over an external knowledge graph(KG), but show only a limited utilization of KG structure, leaving rooms of improvement in performance. To this effect, we present AttnIO, a new dialog-conditioned path traversal model that makes a full use of rich structural information in KG based on two directions of attention flows. Through the attention flows, AttnIO is not only capable of exploring a broad range of multi-hop knowledge paths, but also learns to flexibly adjust the varying range of plausible nodes and edges to attend depending on the dialog context. Empirical evaluations present a marked performance improvement of AttnIO compared to all baselines in OpenDialKG dataset. Also, we find that our model can be trained to generate an adequate knowledge path even when the paths are not available and only the destination nodes are given as labels, making it more applicable to real-world dialogue systems.

Overall Architecture

AttnIO models the KG traversal mechanism into two sub-processes: incoming attention flow, and outgoing attention flow . At each decoding step, Incoming Attention Flow updates the representation of each node by aggregating messages coming from incoming edges. Outgoing Attention Flow then models path traversal on the knowledge graph by propagating attention from each node through outgoing edges, using the node representation from Incoming Attention Flow.

Experiments

The empirical evaluations on OpenDialKG dataset show the strength of At- tnIO in knowledge retrieval compared to baselines. AttnIO can also be trained to generate proper paths even in a more affordable setting of target super- vision. Lastly, we show through case study that our model enjoys from transparent interpretation of path reasoning process, and is capable of intuitively modeling knowledge exploration depending on the dialog characteristics.

정재훈(Hoony)

학업과 일을 병행하며, 전문 분야에서의 기계 번역(Domain-specific Neural Machine Translation)처럼 외부 지식을 요긴하게 사용할 수 있는 자연어처리 기술을 연구하고 있습니다. ”지식을 갖춘 인공지능을 만들 수 있나”는 질문에 대한 답을 찾고 싶습니다.

손보경(Meta)

언어와 텍스트를 사랑합니다. 심리학과 이론 언어학을 공부하다가, 다른 방면으로 언어를 바라보기 위해 카카오엔터프라이즈 컨텍스트파트에서 번역과 자연어처리를 연구하게 되었습니다. 언어의 사용을 통해 인공지능을, 인공지능을 통해 언어의 사용을 이해하고 싶습니다.

류성원(James)

경영대 졸업 후, 세상에 없던 새로운 가치를 창출해보고자 뒤늦게 인공지능의 세계에 발을 내디덨습니다. 많은 이의 도움으로 현재는 카카오엔터프라이즈 컨텍스트파트에서 번역과 자연어처리를 연구하고 있습니다. 사람의 지루한 일을 덜어주고 기쁨을 주는 인공지능을 만들고 싶습니다.

새로운 길에 도전하는 최고의 Krew들과 함께 해요!

[AI기술] 머신 러닝 응용 분야 전문가 모집