인공지능이 일상화된 시대입니다. AI 관련 소식들은 하루가 멀다하고 쏟아집니다. 지난 한 주는 어떤 AI 소식들이 나왔을까요. 국내외 인공지능 이슈를 한 눈에 살펴보는 [인공지능 365]로 한 주간을 시작합니다. [편집자 주]
제미나이클로드3 앞선 메타의 뉴 LLM ‘라마 3’
메타가 세 번째 ‘라마(Llama)’ 시리즈를 공개했습니다.
라마는 대표적인 오픈소스 LLM(거대 언어모델)입니다. 이번 라마 3는 8B, 70B 두 가지 모델로 등장했습니다. 파라미터(매개변수)가 80억개, 700억개로, 파라미터 수만 보면 LLM보다는 SLM(소규모 언어모델)에 가깝겠지만 성능 측면에서는 구글의 LLM ‘제미나이 프로 1.5’를 앞선다고 합니다. 굳이 LLM이니 SLM이니 구분하지 않아도 될 것 같습니다.
참고로 LLM 성능 측정 벤치마크에서 제미나이 프로 1.5를 앞서는 모델은 라마 3 70B로, 앤트로픽의 LLM 클로드 3 소네트(Sonnet)보다도 더 높은 점수를 받았습니다.
라마 3는 사전 훈련과 미세조정 과정을 한층 고도화 하면서 성능을 향상했습니다. 사전 훈련의 경우 15조개 이상의 토큰이 사용됐습니다. 이 훈련 데이터셋은 라마 2에서 사용된 것보다 7배 더 많은 양입니다.
또한 라마3의 사전 훈련에는 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용됐습니다. 라마 3는 언어를 훨씬 더 효율적으로 인코딩하는 12만8000개의 토큰 어휘가 포함된 토크나이저를 사용해 모델 성능을 크게 향상시켰다고 합니다.
이번 라마 3 또한 자유롭게 다운로드 받아 사용할 수 있습니다. AWS, 데이터브릭스, 구글 클라우드, 허깅페이스, 케글, IBM 왓슨X, 마이크로소프트 애저, 엔비디아 NIM 등에서도 조만간 사용할 수 있습니다.
참고로 메타는 현재 라마 3의 또 다른 모델 ‘400B(4000억 매개변수)’ 출시를 준비하고 있다고 합니다.
EU 집행위원회, “MS와 오픈AI 파트너십 조사 않겠다”
마이크로소프트(이하 MS)와 오픈AI의 파트너십에 문제를 제기했던 유럽연합(EU) 집행위원회가 이를 조사하지 않는다고 합니다.
블룸버그는 17일(현지시각) 소식통을 인용해, 유럽연합이 MS와 오픈AI의 파트너십에 대해 MS가 오픈AI의 경영을 통제하지 않으며, 이 파트너십이 인수에 해당하지 않는다고 판단해 정식 조사로 전환하지 않기로 결정했다고 전했습니다.
MS는 2019년부터 오픈AI와 파트너십을 체결하고 지난해 100억 달러(약 13조7770억원)를 투자하는 등 총 130억 달러(약 17조9088억원)를 투자해 지분 49%를 보유한 것으로 알려져 있습니다.
업스테이지, 1000억원 규모 시리즈B 투자 유치
인공지능(AI) 스타트업 업스테이지가 약 1000억원 규모의 시리즈B 투자를 유치했습니다. 이번 금액은 2021년에 받은 시리즈A 투자액 316억원의 3배에 달합니다. 최근 국내 AI 분야에서 큰 성과를 냈던 점이 큰 영향을 미친 것 같습니다.
업스테이지는 이번 투자로 시드 투자부터 시리즈A와 B까지 약 1400여억원에 달하는 누적 투자금을 확보하게 됐습니다.
조상록 기자 jsrok@chosunbiz.com