카카오 i, 누구냐 넌

시작하며 2017년 1월, 카카오의 새로운 인공지능을 만드는 프로젝트에 들어가게 되었습니다. 인공지능이 담길 첫 번째 제품은 음성으로만 인터랙션을 할 수 있는 스마트 스피커였습니다. 저의 첫 업무는 카카오의 인공지능, 카카오 i의 모습을 만드는 것이었습니다. AI 페르소나, 왜 필요한가? 사람들은 스마트한 오브젝트를 생물이나 사람처럼 생각하는 경향이 있습니다. 청소 로봇도 반려동물처럼 느끼며, 이름을 지어주거나 의인화하는 사람이 많습니다. 하물며 사람처럼 말을 하는 카카오 i는 사용자에게 더욱 사람처럼 느껴질 것입니다. 인공지능의 페르소나(AI 페르소나)는 사용자가 카카오 i를 사용할 때 어떠한 사람처럼 느끼게 할 것인지를 정하는 부분입니다. 제품, 서비스 제작에서 브랜딩을 하거나 디자인 콘셉트를 만드는..

카카오미니의 슬롯 태깅 방법

시작하며 이전 글 카카오미니의 명령어 분류 방법에서 카카오미니가 음성을 인식하고 봇과 인텐트를 분류해 슬롯을 추출한 후 요청 동작을 수행하는 전 과정을 간단히 살펴보았습니다. 이번에는 이전 글에 소개된 명령어 분류 2, 3단계인 봇 분류, 인텐트 분류에 이은 카카오미니의 특별한 슬롯 태깅 기술이 들어간 4단계, 즉 슬롯 태깅에 대해 설명하고자 합니다. 카카오미니를 통해 발화를 인식하고 명령을 수행하기 위해서는 특정 봇, 특정 인텐트로 분류된 이후 슬롯 태깅이라는 단계가 필요합니다. 예를 들어 “아이유의 좋은 날 들려줘”라는 발화가 ‘music’ 봇의 'playSong' 인텐트로 분류되었다면, 음악을 틀어달라는 의도라는 것은 알 수 있겠죠. 하지만 구체적으로 어떤 가수의 어떤 노래를 재생해야 하는가는 봇과..

카카오 i 번역 성능 향상 실험 : 대규모 말뭉치를 활용한 사전학습

시작하며 사전학습(pretraining)은 데이터양이 절대적으로 적은 상황에서 적용하는 기법입니다. 문제(본 훈련)에서 제시되는 것과 유사한 형태의 데이터로 모델을 사전학습시키면 본 훈련에 효과적인 매개변수(parameter) 초기값 확보에 크게 도움이 되어서죠. 오늘날 대규모 말뭉치(corpus)를 사전학습한 언어 모델(language model)이 자연어처리(NLP)에서 주류로 자리하게 된 것은 바로 이런 효과 덕분입니다. 하지만 대용량 데이터를 사전학습해 성능을 크게 끌어올린 최신 언어 모델이 모든 NLP 태스크를 잘 풀지는 못합니다. 단적인 예로, 하나의 언어로 구성된 문장에서 특징(feature)을 추출하는 데 주안을 둔 언어 모델은 여러 언어에서의 특징 추출이 중요한 번역 태스크에는 적합하지 ..

카카오미니의 명령어 분류 방법

"헤이 카카오!" 아마 모두 한 번쯤은 들어봤을 친근한 말이죠. 카카오의 스마트 스피커, 카카오미니를 소환하는 말인데요. 카카오미니는 어떻게 사람들의 요청사항을 이해하고 기능을 수행할까요? 사용자가 카카오미니에게 명령을 내렸을 때, 다음과 같은 단계를 거치게 됩니다. (1) 음성인식, (2) 봇 분류, (3) 인텐트 분류, (4) 슬롯 추출, (5) 요청 동작 수행 아래 “SBS 라디오 틀어줘"라는 예시로 자세히 살펴보겠습니다. 변환 단계 설명 1단계. 음성 인식 텍스트 형태인 “SBS 라디오 틀어 줘”로 변환 2단계. 봇 분류 라디오와 관련된 기능 요청임을 인지 3단계. 인텐트 분류 라디오를 틀어달라는 요청인지를 파악. 라디오를 멈추거나, 가능한 라디오 채널 목록을 알려주거나, 지금 듣고 있는 라디오 ..

Kakao i 번역이 양질의 대규모 학습 데이터를 확보하는 방법

시작하며 꾸준한 성능 개선과 기능 추가 등으로 현재는 19개 언어간 번역 서비스를 제공하고 있는 카카오 i 번역 서비스는 2017년 10월, 처음 출시되었습니다. 여기에는 신경망 번역 기술이 적용되었고, 당시 내부 블라인드 테스트에 따르면 '경쟁력이 높다'라는 결과가 나왔습니다. 이처럼 우수한 성능을 위해서는 좋은 모델이 전제되어야 하지만, 학습 데이터 역시 매우 중요하다고 할 수 있습니다. 이 글에서는 카카오 i 번역 서비스가 양질의 대규모 학습 데이터(병렬 말뭉치)를 확보하기 위하여 사용한 기술 중 Ableualign 툴을 소개해 보려고 합니다. 데이터 확보와 BLEU 본론에 앞서 우선 Ableualign 툴의 이름에 포함되어 있는 BLEU가 어떤 의미인지 이해할 필요가 있습니다. 이는 원문에 대한 ..