본문 바로가기
  • Tech Log
  • Krew Insight
  • Tech Trend
  • Tech & News
  • About Us

카카오엔터프라이즈 기술블로그 Tech&(테크앤)

  • 글쓰기
  • 관리자
  • 로그인
  • 로그아웃
Tech&

카카오엔터프라이즈의 기술, 그리고 크루들의 이야기를 만나보세요

  • 메일
  • 깃허브

Kakao Enterprise74

  • 카카오 i 번역 성능 향상 실험 : 대규모 말뭉치를 활용한 사전학습

    시작하며 사전학습(pretraining)은 데이터양이 절대적으로 적은 상황에서 적용하는 기법입니다. 문제(본 훈련)에서 제시되는 것과 유사한 형태의 데이터로 모델을 사전학습시키면 본 훈련에 효과적인 매개변수(parameter) 초기값 확보에 크게 도움이 되어서죠. 오늘날 대규모 말뭉치(corpus)를 사전학습한 언어 모델(language model)이 자연어처리(NLP)에서 주류로 자리하게 된 것은 바로 이런 효과 덕분입니다. 하지만 대용량 데이터를 사전학습해 성능을 크게 끌어올린 최신 언어 모델이 모든 NLP 태스크를 잘 풀지는 못합니다. 단적인 예로, 하나의 언어로 구성된 문장에서 특징(feature)을 추출하는 데 주안을 둔 언어 모델은 여러 언어에서의 특징 추출이 중요한 번역 태스크에는 적합하지 ..

    Tech Log 2020. 5. 7.
  • 신경망 번역 모델의 진화 과정

    이 글은 2017년 카카오 AI 브런치에 게재된 포스팅을 가져온 것으로, 본문에서 설명하고 있는 모델 성능, 번역 결과 등은 모두 2017년 당시 자료를 바탕으로 합니다. 2017년까지의 신경망 기반 기계번역(Neural Machine Translation, NMT)의 히스토리를 정리했고, 현재는 대세가 된 NMT 모델 Transformer에 대한 전망 또한 담겨 있습니다. 이를 통해 기계번역의 발전 흐름을 이해하고 향후 발전 방향성에 대해서도 생각해볼 수 있는 시간을 가질 수 있을 것이라 생각합니다. 시작하며 End-to-End 방식의 신경망 기반 기계번역(Neural Machine Translation, 이하 NMT)이 통계 기반 기계 번역(Statistical Machine Translation, ..

    Tech Log 2020. 4. 24.
이전 1 ··· 10 11 12 13 다음
HOME
  • Tech Log
  • Krew Insight
  • Tech Trend
  • Tech & News
  • About Us
  • 메일
  • 깃허브

If Kakao Enterprise, ( ㅤ )

기술과 서비스,
그리고 혁신적인 아이디어로 우리 모두의 꿈을 현실로 만듭니다.

바로가기
카카오엔터프라이즈 인재영입

경기도 성남시 분당구 판교역로 235 에이치스퀘어 N동 (주)카카오엔터프라이즈

Copyright © Kakao Enterprise Corp. All rights reserved.

  • 페이스북
  • 유튜브
  • 인스타그램
관련사이트
  • 카카오엔터프라이즈
  • 헤이카카오
  • 테크 그라운드
  • 기술문서

티스토리툴바