Tech Trend

[IT TREND] ChatGPT에 도전하는 오픈소스 AI

sarahkim 2023. 4. 21. 17:33

시작하며

이전 IT TREND 글에서 AI 시장 랜드스케이프가 크게 폐쇄형 (Closed Source), 그리고 개방형 (Open Source;이하 오픈소스) 진영으로 나뉘었다고 말씀드린 바 있습니다 (이전에는 '세력'으로 표현하였습니다). 현재 폐쇄형 진영을 주도하는 가장 큰 기업은 OpenAI와 MS, 그리고 오픈소스 진영에는 개발자 커뮤니티, 유망 AI 스타트업, 그리고 빅테크 기업 중에서는 대표적으로 메타까지 포함되어 있는데요. 오늘 날 오픈소스 진영은 MS를 배후에 둔, 더 이상 ‘Open (개방)’되지 않은 OpenAI에 대항하며 오픈소스 대안을 위한 연구 성과를 끊임없이 발표하고 있습니다. 

 

오픈소스 진영에서는 현재 크게 1. 기존에 연구자들 뿐만 아니라 비개발자를 포함한 모든 일반 사용자, 그리고 2. AI 모델로 상업화된 제품을 만들고자하는 기업들을 대상으로 다양한 시도를 하고 있습니다. AI 모델을 서비스화 하여 비개발자들을 포함한 더 많은 사용자들이 ChatGPT 같은 서비스를 통해 오픈소스 모델들을 사용해볼 수 있게 한 사례가 등장하였고, 기업을 대상으로 높은 비용의 대규모 GPU 클러스터를 기반으로 수개월 동안 모델을 학습 시킬 필요 없이 기업이 오픈소스 모델을 가져다가 자유롭게 활용할 수 있는 상업용 라이선스 기반의 오픈소스 AI 모델 공개 사례가 증가하고 있습니다. 그럼, 금주에 발표된 주요 소식들을 살펴보며 오픈소스 AI 연구 개발과 폐쇄형 진영의 경쟁 현황에 대하여 다루어보겠습니다.


오픈소스 모델, ChatGPT 처럼 서비스화 되기 시작

금주에는 ChatGPT와 유사하게 다양한 오픈소스 거대 언어 모델 (또는 LLM, Large Language Model이라고 칭함) 기반의 챗봇을 웹사이트에서 별도의 설치 과정없이 바로 사용해볼 수 있게 한 'Open Assistant' 사례가 돋보였습니다. 최근에는 많은 스크립트들의 패키징이 잘 되어서 설치 과정이 많이 간소화 되고 있는데요. Open Assistant는 이러한 설치 과정도 생략하고 ChatGPT와 같이 웹사이트 접속만으로 거대 언어 모델 서비스를 사용해볼 수 있게 하였습니다. 아래 내용 조금 더 자세히 살펴보겠습니다. 

ChatGPT 유사 서비스 'Open Assistant'

Open Assistant의 대화 창 화면이다. 이메일, 디스코드 계정 등으로 로그인하여 사용가능하다. 우측 상단 아이콘을 누르면 파라미터 값 조정이 가능하다.

지난 1월, 대규모 AI 비영리 단체 LAION과 다수의 개발자들이 모여 Open Assistant라는 ChatGPT 대안을 목적으로 한 프로젝트가 공개된 바 있습니다. 그러던 중, 며칠 전 Open Assistant를 서비스화하여 대중이 누구나 사용해볼 수 있는 서비스를 출시하였는데요. 해당 프로젝트는 여전히 개발 초기 단계에 있으며 성능 또한 개선이 필요해보이지만, 웹 인터페이스를 통해 마치 ChatGPT와 같은 서비스를 사용해볼 수 있게 하였다는 점에서 의미가 있는 프로젝트로 보여집니다. Open Assistant의 모델은 Apache 2.0 라이선스 (소스코드를 복제뿐만 아니라 수정 및 업데이트 할 수 있는 권한 부여하는 라이선스)를 기반으로 하고 있어 상업적 용도로 활용이 얼마든지 가능하다고 합니다. 학습 데이터 또한 무료로 공개가 되어있고, 모델은 여러 버전으로 제공되어 로컬 디바이스에서 실행 될 수도 있다고 합니다.


GPT-4 기반 오픈소스 실험들

최근에는 기반 모델, 서비스 공개 등에서 더 나아가 GPT-4를 기반으로 ChatGPT Plugin과 같이 기능 확장이 가능한 AI 실험들이 활발하게 이루어지고 있는데요. OpenAI의 GPT-4의 다양한 활용 방식과 가능성을 탐색한 어플리케이션 및 코드가 오픈소스로 공개되며 많은 관심을 받고 있습니다. 

'Auto-GPT', 스스로 외부 툴을 활용하여 태스크를 수행하는 AI

(출처: Significant-Gravitas / Auto-GPT GitHub)

사용자가 컴퓨터로 할 수 있는 태스크 수행을 대신 해주는 오픈소스 AI 챗봇 ‘Auto-GPT’가 지난주에 이어 뜨거운 관심을 받고 있습니다. Auto-GPT는 GPT-4를 기반으로 사고 과정 중 실수를 자율적으로 수정하는 ‘autonomous iterations (자율 반복)’ 기능을 사용하여 결과물을 생성하는 것이 특징입니다. Auto-GPT는 이 자율 반복 기능을 중심으로 기존에 프롬프트를 입력하면 텍스트 답변을 생성하는 ChatGPT와는 다르게, 목표를 설정해주면 세부적인 태스크에 대한 지시를 하지 않아도 스스로 태스크를 설정하여 사용자가 원하는 목표 결과물을 생성해준다고 합니다. 위 그림의 예시를 보면, Auto-GPT는 구글 검색을 통해 웹사이트에 접근하여 해당 사이트에 게재된 내용을 분석하여 사용자가 지정한 위치에 텍스트로 요약하여 내용을 정리해주었습니다. 

목적을 위해 태스크 우선 순위를 정해 순차적으로 처리하는 ‘Baby AGI

(출처: yoheinakajima / babyagi GitHub)

Baby AGI는 OpenAI와 GPT-4를 LangChain 프레임워크와 클라우드 기반 벡터 데이터베이스 Pinecone을 결합한 파이썬 스크립트입니다. Langchain은 LLM으로 복잡한 응용 프로그램을 만드는 프로세스를 간소화 해주는 역할을 하며, Pinecone은 AI가 다루는 복잡한 데이터의 저장소 역할을 합니다. 그리고 Baby AGI는 GPT-4, LangChain, Pinecone을 결합함으로서 새로운 에이전트들을 생성하여 (상기 그림 참조) 복잡한 작업을 효율적으로 수행할 수 있도록 한다고 합니다. Baby AGI는 디폴트 모델로 gpt-3.5-turbo를 사용하며, 이외 다른 모든 OpenAI 모델 그리고 LLaMA와 호환된다고 합니다. 

 

Baby AGI 스크립트를 실행하게 되면 다음과 같은 순서로 태스크가 무한 루프로 수행되어 Auto-GPT와 유사하게 모델이 자율적으로 사용자가 설정한 목표 달성을 위한 일련의 태스크를 순차적으로 처리할 수 있다고 합니다: 

Baby AGI 스크립트 작동 방식 (목적이 달성되기까지 아래 단계가 무한 루프로 실행됩니다)

1. 우선 리스트에서 첫 태스크를 가져오고

2. OpenAI의 NLP 성능을 활용하여 해당 태스크를 수행
3. Pinecone으로 추후에 불러올 수 있도록 특정 태스크의 결과값을 저장
4. 랭체인 프레임워크로 AI의 결정 과정을 지원하여 새로운 태스크를 생성하고 목적에 따라 태스크 우선 순위를 지정

위와 같은 방식으로 태스크 매니지먼트 시스템을 실행할 수 있는데, 반복적으로 스크립트가 실행되게 되면 API 사용량이 매우 높아지기 때문에 주의를 해야 한다고 합니다.


상업적 용도로 사용이 가능한 최신 오픈소스 거대 언어 모델들

Stability AI, 거대 언어 모델 'StableLM-Alpha' 오픈소스로 공개

(출처: Stability AI GitHub)

이미지 생성 모델 Stable Diffusion으로 유명한 스타트업, Stability AI가 거대 언어 모델 StableLM-Alpha를 공개하였습니다. 해당 모델은 EleutherAI의 The Pile위에 1.5조개의 토큰으로 구성되어 The Pile 보다 약 세 배 규모가 큰 대규모 데이터셋 위에서 학습되었다고 하는데요. StabilityAI 측에서 PoC (Proof of Concept)를 위해 다음과 같은 최신 데이터셋 5종 (스탠포드 대학의 Alpaca, Nomic-AI의 gpt4all, RyokoAI의 ShareGPT52K datasets, Databricks labs의 Dolly, 그리고 Anthropic의 HH)을 사용하여 모델의 파인튜닝을 진행하였다고 합니다. 현재Huggingface 허브에서 호스팅되고 있으며, cc-by-sa-4.0 라이센스를 기반으로 하여 출처 표기 시 상업 용도로 활용이 가능하다고 합니다.

데이터브릭스, 상업용 ChatGPT 스타일 AI 모델 ‘Dolly 2.0 12B’ 오픈소스로 공개

M1 Mac에서 실행하는 GPT4All-J의 모습이다. (출처:nomic-ai GitHub)

Dolly는 데이터브릭스 머신러닝 플랫폼 위에서 학습된 거대 언어 모델로, 초기 모델 Dolly 1.0에 기반하여 성능이 향상되어 출시된 것 입니다. Dolly 1.0은 스탠포드 대학의 오픈소스 모델 Alpaca를 개발한 팀 OpenAI API를 활용하여 구축한 데이터세트를 기반으로 학습시킨 모델입니다. 해당 모델은 ChatGPT의 API에 의존하고 있어 생성형 AI 시장에서 경쟁을 할 수는 없었는데요. 이에 데이터브릭스는 더 이상 OpenAI의 API에 의지하지 않고도 더 많은 사람들이 연구, 그리고 상업 목적으로 거대 언어 모델을 활용할 수 있게 하기 위해 ElutherAI의 Pythia 모델을 기반으로 Dolly 2.0를 개발하하였습니다. Dolly 2.0은 약 오천명의 데이터브릭스 직원들로부터 크라우드 소싱을 하여 RLHF (인간 피드백을 통한 강화 학습) 기법으로 파인튜닝 되었다고 합니다.

로컬 컴퓨터에서 커스텀 LLM 챗봇을 실행할 수 있는 ‘GPT4All-J

GPT4All은최초로 공개되었을 때 스탠포드의 LLaMA 모델을 기반으로 하였는데요. LLaMA가 기반하는 라이선스는 사용자가 모델을 상업적 용도로 활용하는 것을 금한다고 합니다 (이와 같은 사실을 많은 사람들이 잘 모른다고 합니다). 그러던 중 이번 주 GPT4All의 대규모 업데이트가 진행되었는데요. 금번 업데이트를 통해 GPT4All은 비개발자 사용자들에게 더욱 친화적인 설치 방법 및 인터페이스 뿐만 아니라, 상업 목적으로 사용할 수 있는 라이선스를 기반으로 한다고 합니다. 

M1 Mac에서 실행하는 GPT4All-J의 모습이다. (출처: nomic-ai / gpt4allGitHub)

금번 업데이트에서는 기존에 GPT4All의 기반 모델, LLaMA 대신에 지난 2021년 최초로 공개되었던 EleutherAI의 오픈소스 언어 모델 GPT-J (ElutherAI의 대규모 데이터셋 The Pile을 기반으로 하여 GPT-3와 유사한 zero-shot down-streaming 태스크 수행 능력 발휘, 코드 생성 가능) 어시스턴스 스타일 인터랙션 데이터를 기반으로 모델을 파인튜닝하였다고 합니다. EleutherAI의 GPT-J는 LLaMA와는 다르게 Apache 2.0 라이선스를 기반으로 하여 상업 목적으로 코드를 활용할 수 있습니다. 뿐만 아니라, 이전 버전 대비 설치 패키지를 제공하여 보다 쉬운 설치가 가능하게 하였으며, 인터페이스 또한 비개발자 친화적으로 사용성을 개선하였습니다.

오픈소스 진영과 함께 성장하고자 하는 메타

빅테크 기업 중에서는 메타의 FAIR (Facebook Artificial Intelligence Research)가 자사의 AI 모델을 오픈소스로 공개하는 것으로 알려져 있습니다. 지난 3월, 메타는 GPL-3 라이선스 기반의 오픈소스 모델 LLaMA를 공개 (연구자들을 대상으로 오픈소스 모델을 공개하였으나, 추후 코드가 유출된 사건이 있었습니다) 하였으며 이 덕분에 Alpaca, Vicuna 등 다양한 후속 오픈소스 기반 모델들이 등장하였고, 각종 후속 모델들을 기반으로 한 새로운 연구 개발의 기회를 열어주었습니다. 

(출처: facebookresearch / AnimatedDrawings GitHub)

금주에는 2021년 공개했던 낙서 이미지를 애니메이션으로 변환해주는 프로젝트 ‘Animatied Drawings’의 코드를 오픈소스로 공개하여 개발자들이 자신만의 Image-to-Animation 제품을 만들 수 있게 하였습니다. 이전에 공개된 프로젝트지만, 소스코드를 공개하며 모든 연구자, 개발자들이 이를 활용하여 자신만의 앱, 제품을 만드는 것이 가능해졌습니다. 뿐만 아니라 해당 프로젝트의 코드는 MIT 라이선스 아래 공개되어 사용자가 상업적 용도로 코드를 사용할 수 있게 열어두었습니다. 대규모 언어 모델에 이어 멀티모달 모델까지. 메타의 AI 연구팀은 보다 확고하게 오픈소스 진영과 함께 AI 시장에서 성장해 나아가고자 하고 있습니다. 


MS와 구글은 현재

MS (마이크로소프트)가 OpenAI와 함께 AI 학습(training)용 자체 개발 반도체를 시험해보고 있다고 합니다. MS는 2019년부터 AI에 특화된 자체 시스템 반도체 (저장이 아닌 연산을 위한 반도체)를 개발해왔었는데요. 이미 구글, 아마존, 메타 등 주요 경쟁 기업들은 자체적으로 인하우스 AI칩을 개발, 위탁 생산하고 있기 때문에 MS가 AI 칩을 출시하게되면 빅테크 기업 중에서도 가장 늦게 출시한 편에 속합니다. 동시에 구글은 멀티모달 이미지 및 영상 생성형 AI 연구를 연이어 발표하였습니다. 현재 구글이 언어 모델 쪽에서 조심스러운 이유는 무엇일까요? 아래 금주 MS와 구글의 주요 소식들 살펴보겠습니다: 

MS, 경쟁력 제고 및 비용 절감을 위해 자체 반도체 ‘아테네’ 개발

ChatGPT를 대중화 하는데에 무려 3만장이 넘는 Nvidia A100 GPU가 요구된다고 하며 이에 대한 사용 비용은 엄청날 것 입니다 (Nvidia의 가장 최신 GPU인 H100은 A100보다 더 높은 비용으로 거래가 되고 있습니다). MS가 자체 개발 AI 칩으로 모든 Nvidia 칩을 직접적으로 교체하겠다는 계획을 발표한 바는 없었습니다 (자체 칩을 보유함에도 불구하고 여전히 많은 기업들은 AI 학습을 위해 Nvidia의 칩에 의존하고 있다고 합니다). 현재 AI를 Bing, MS Office, GitHub 등 다양한 서비스에 접목하는 상황에서 이러한 인하우스 칩 개발 시도는 장기적 비용 절감에 도움이 될 것으로 예상됩니다. MS는 자사의 자체 칩, 아테네를 통해 최근 ChatGPT로 인하여 새롬게 갖춘 경쟁력을 제고함과 동시에 Nvidia 칩에 대한 의존도를 낮추어 비용을 절감하고자 하고 있습니다.

삼성전자, Bing으로 디바이스 검색 엔진 전면 교체 검토

구글의 검색 사업이 기존의 마이너 플레어로 분류되었던 Bing에 의해 위협을 받고 있다고 전했습니다. 이유는 삼성전자가 자사의 모든 디바이스의 디폴트 검색 엔진을 구글에서 Bing으로 대체할 것을 검토 중인 것으로 전해졌기 때문이라고 합니다. 이와 같은 소식으로 인하여 구글은 코드 레드 발령 이후에 또 한 번 패닉 상태에 빠졌다고 전해졌습니다. 삼성전자와의 협약에서 발생하는 수익이 연간 3억 달러에 육박하기 떄문입니다.

 

삼성의 Bing 도입 검토 보도로 인하여 구글의 모회사 알파벳의 주가는 월요일 4% 하락하여 순식간에 알파벳 시총 중 무려 약 50억 달러가 증발하였습니다. 이러한 상황 속에서 구글은 삼성전자와의 계약 건에 대한 언급은 없이, 자사의 검색엔진에 새로운 AI 기능을 도입하기 위한 작업 중에 있다고 전했습니다. 삼성전자 측 또한 해당 건 관련하여 별도의 입장을 밝히지는 않은 상태입니다. 10년 넘게 검색 시장을 지배해온 구글. 무려 80%에 육박하는 점유율을 자랑하며 Bing은 안중에도 없었는데요. 이제는 판도가 완전히 뒤바뀌어, 월가에서는 구글이 빠르게 움직이는 AI 경쟁에서 뒤쳐지는 것은 아닌지 걱정하고 있다고 합니다.

멀티모달 이미지, 영상 생성형 AI 연구를 공개하는 구글

Google Research가 공개한 Zip-NeRF의 시연 영상 중 (출처: https://jonbarron.info/zipnerf/)

다양한 멀티모달 인풋 조합으로 영상 생성이 가능한 모델 Dreamix부터, 이미지 입력으로 사람이 카메라로 직접 촬영한 것만 같은 공간 탐색 영상을 생성하는 Zip-NeRF까지 공개하였습니다. 최근 그들은 언어 모델을 통한 검색 서비스가 아닌, 멀티모달 미디어를 생성하는 AI에 집중하고 있습니다. 

 

그런데, 구글은 왜 이미지 및 영상 생성 AI를 공개하고 있을까요? 이전에 ChatGPT를 다루면서 언급드렸던 바와 같이, 구글이 ChatGPT와 유사한 거대 언어 모델 기반의 정보 서비스를 내놓을 경우 자사의 핵심 비즈니스 모델을 그대로 부정하는 것이 됩니다. 구글은 최대한 자사의 검색 광고 모델을 파괴하지 않는 선에서 ‘실험적’인 거대 언어 모델 기반 서비스 Bard와 위 소개드린 것과 같이 멀티모달 미디어 생성형 AI 연구 결과들을 발표하고 있습니다.

 

순다르 피차이는 4월 초, 구글 검색 엔진에 새로운 AI 기능을 탑재할 것이라고 예고하였는데요. 구글이 향후 이와 같이 자사의 비즈니스 모델에 반하는 트렌드에 어떻게 올라탈지 주목할 필요가 있습니다. 언어 모델 외에도, 금번 소개드린 이미지 및 영상 생성형 AI들이 어떤 방향으로 활용할 것인지 (예: 유튜브 콘텐츠 제작) 지켜볼 필요가 있습니다.


OpenAI의 신규 경쟁자 : AWS, 그리고 일론 머스크

AWS, B2B를 위한 생성형 AI 제품군 출시하며 시장 진입

(출처:AWS Blog)

아마존의 클라우드 회사 AWS가 생성형 AI B2B 제품군을 출시하며 시장에 본격 참여하였습니다. AWS는 크게 다음과 같은 주요 오퍼링들을 새롭게 출시하였습니다. 첫번째로 리미티드 프리뷰로 출시된 서비스, Amazon Bedrock은 사용자가 API를 활용하여 현재 AI 시장에서 쟁쟁한 스타트업인 AI21 Labs, Anthropic, Stability AI, 그리고 모회사 Amazon의 최고성능 FM (Foundation Model; 기반 모델) 기반으로 생성형 AI 어플리케이션을 만들 수 있게 한 서비스라고 합니다. 두번째로 AWS는 텍스트를 위한, 그리고 벡터 임베딩 (검색 등에 활용된다고 함)을 위한 두 개의 새로운 거대 언어 모델 Amazon Titan을 공개하였는데요. Amazon Titan은 거대 데이터셋을 활용하여 학습되어 범용적인 목적으로 사용될 수 있는 모델이라고 합니다. 세번째로 AWS는 AWS Trainium과 AWS Inferentia 칩을 기반으로 구동하는 Amazon EC2 Trn1n, Amazon Ec2 Inf2 인스턴스들을 정식 출시하였습니다. 이러한 서비스는 저비용으로 모델을 학습하고 인퍼런스를 클라우드 위에서 구동하게 한다고 합니다. 그리고 마지막으로 AWS는 자사의 AI 기반 코딩 어시스턴트, Amazon CodeWhisperer개인 개발자들을 대상으로 무려 무료로 정식 출시한다고 발표하였습니다. 월 10달러, 연 100달러를 지불해야하는 Copilot를 의식하며 이와 같이 파격적인 오퍼링을 내놓은 것으로 보여집니다.

일론 머스크, OpenAI에 대적하기 위한 TruthGPT 출시 계획 발표

이번 주, 일론 머스크가 약 한 달 전, 'X.AI Corp'라는 이름의 새로운 법인을 미국 네바다 주에서 설립하였다는 소식이 보도 되었는데요. 작년 Twitter 인수 당시 일론 머스크가 X라는 이름 아래 트위터의 소통 기능을 포함한 더욱 다양한 기능들이 종합되는 'X'라는 슈퍼앱을 만들 계획을 가지고 있다는 소식이 발표된 바 있습니다.  일론 머스크는 여기에서 더 구체적으로 이번 주 월요일에 TruthGPT라는 AI 플랫폼을 출시하겠다는 대담한 계획을 Fox News의 인터뷰에서 발표하였습니다. 그는 인터뷰에서 TruthGPT를 세상의 이치를 깨닫고 진리를 찾는 AI (maximum truth seeking AI)라고 설명하며 세상에 대한 이해를 바탕으로 사람에게 해가 되지 않는 AI를 만들고자 한다고 하였습는데요. 머스크는 OpenAI에 재직 당시 팀이 만들고자 했던 것에 반대를 하여 2018년에 회사 이사회를 떠났었으며 오늘 날 그들의 모델과 서비스에 대적하는 AI를 만들고자 한다고 합니다. 머스크는 인터뷰에서 AI 시장 참여 시점이 다소 늦었다는 것을 인지하고 있다고 언급하였습니다. 이에 그는 뒤늦게라도 AI 전문가들을 초빙하고 GPU를 대량 구매하는 등 AI 모델 개발에 박차를 가하고 있는 것으로 보여집니다. 


이번 주의 인사이트

최근 시장 내 소식이 발표되는 속도로 미루어보았을 때, 조만간 오픈소스 진영의 다양하고 흥미로운 시도들이 실험에 그치지 않고 폐쇄형 진영과 경쟁할 만한 성능의 모델 및 서비스로의 발전으로 연결되지 않을까 예상됩니다.

 

오픈소스 AI 연구의 중요성

최근 Nature의 한 아티클의 저자는 투명한 오픈소스가 AI 연구 윤리를 위한 필수적인 요소라고 주장하였습니다. ChatGPT 근간이 되는 GPT-4 같은 모델은 높은 사용성, 뛰어난 성능을 갖추고 있으나, 모델을 학습시키는 사용된 데이터가 정확히 무엇인지 없는 구조이기 때문에 AI 연구 윤리에 위배될 가능성이 있다는 것입니다. 예를 들어, GPT-4가 학습한 데이터셋은 사용자가 모르게 수집된 데이터, 또는 사용자에게 이용약관을 제시했으나 데이터 수집에 대한 내용을 교묘히 숨겨 수집한 데이터일 수도 있습니다. 이와 반대로, 오픈소스의 경우 모델의 모든 것에 대한 투명한 접근이 가능합니다. 이렇듯 오픈소스를 기반으로 보다 개방된 연구 개발 환경을 조성함으로써 많은 사람들의 자원과 지식을 기반으로 AI 연구 윤리에 대한 합의점을 같이 찾아 나아갈 있을 것으로 기대합니다. 

 

오픈소스 AI 연구가 지속되기 위해 풀어야 할 과제 (1) - 오픈소스의 개방성과 그에 따른 위험

오픈소스가 위험으로부터 안전한 것은 아닙니다. OpenAI의 경우 편향되고 위험하다고 판단되는 유형의 정보를 프롬프트로 입력할 경우, 이를 기반으로 답변을 생성해내는 것을 방지하는 content filter와 moderation endpoint 레이어가 제공되는데요. 오픈소스는 자유도가 높은만큼 이와 같은 안전 장치가 적용되지 않을 경우 오히려 고의적으로 악용될 여지가 많습니다. 몇 가지 예를 들어, 오픈소스 생성형 AI 모델 및 서비스를 통해 특정한 사상, 정치적 편향성 등을 전파할 수 있고, 스팸 메일 발송, 로맨스 스캠 등으로 대규모 사기를 칠 수 있는 가능성도 있습니다.

 

오픈소스 AI 연구가 지속되기 위해 풀어야 할 과제 (2) -학습용 데이터 수급 

데이터 소유권이 현재의 AI 시장에서 가장 치열해지고 있습니다. 일론 머스크는 트위터를 통해, 마이크로소프트가 트위터의 데이터를 인공지능 학습에 불법적으로 사용했다며 고소하겠다고 위협하기에 이르렀고, 최근 Reddit은 API 엑세스에 요금을 부과하는 방식으로 데이터를 유료화 할 계획이라고 전했는데요. 이는 오픈소스 진영, 폐쇄형 진영을 막론하고 학습용 데이터 수급에 있어 큰 장벽이 될 것임을 시사합니다. 특히 빅테크와 비교해 상대적으로 비용적 제한이 있는 오픈소스 진영에서 받는 타격이 더 클 것으로 예상합니다.

 

오픈소스 진영의 흥미로운 도전들이 세상을 바꾸는 힘이 될 것 

ChatGPT의 흥행 포인트 중 하나는 좋은 기술을 더 많은 대중이 직접 SOTA (State-of-the-Art, 최신의) 거대 언어 모델을 로컬 디바이스에서 사용해볼 수 있게 한 것인데요. 오픈소스 진영에서도 Open Assistant, AutoGPT, Baby AGI, GPT4All-J 등 다양한 ChatGPT 및 ChatGPT Plugin 유사 서비스 및 패키지를 공개하며 개방된 ChatGPT를 만드는 것에 도전하고 있습니다. 그리고 모델을 서비스화 한 것 뿐만 아니라, 더 많은 오픈소스 프로젝트들은 이제 MIT, Apache 2.0 등 상업 목적 사용이 허가된 라이선스를 기반으로 하여 보다 많은 사용자, 그리고 특히 엄격한 규제가 적용되는 산업에 속한 기업들에게 AI를 자신의 목적과 비즈니스에 맞게 적용할 수 있는 기회를 제공하고 있습니다. 오픈소스 진영에서 출시되는 모델 및 서비스들은 GPT-4와 같은 모델에 견줄 수 있을만한 성능 발휘는 못 하지만, 일반 사용자 및 기업이 비용 소모적인 모델 학습 과정이나 고사양 하드웨어없이도 거대 언어 모델과 같은 대규모 AI 모델을 로컬에서 실행 및 파인튜닝해볼 수 있다는 점이 매우 유의미하다고 보여집니다.

 

written by Sarah

기술인사이트파트

새로운 기술과 시장 트렌드를 발굴하여 카카오엔터프라이즈 내외부로 인사이트를 공유하는 것을 목표로 합니다.

(문의: tech.insight@kakaoenterprise.com)