‘반복 증류’로 성능 극대화한 오픈 소스 LLM 등장…”라마 4·딥시크 증류 모델보다 우수”
‘반복 증류’를 통해 성능을 극대화한 오픈 소스 LLM인 ‘코기토 v1’에 대해 다룹니다. 이번에 공개된 코기토 v1은 메타의 ‘라마’와 알리바바의 ‘큐원’을 미세조정한 것이다.
- 딥 코기토에서 개발한 코기토 v1은 라마 4와 딥시크 증류 모델보다 우수한 성능을 보입니다.
- 코기토 v1은 ‘반복 증류 및 증폭(IDA)’이라는 독자적인 학습 기법을 사용하여 모델 성능을 향상시켰습니다.
- IDA 기법은 LLM이 생성한 응답을 훈련에 활용하여 모델 자체를 개선하는 방식입니다.
- 코기토 v1은 3B에서 70B까지 다양한 매개변수 크기로 제공되며, 하이브리드 모델로 일반 LLM의 반응성과 추론 모델의 정밀성을 모두 갖추고 있습니다.
- 벤치마크 테스트에서 코기토 70B는 추론 기능을 활성화했을 때 수학 및 언어 평가에서 딥시크-R1이나 큐원 증류 버전보다 뛰어난 성능을 보였습니다.
유튜브 보고 레시피 추출하는 LLM 프레임워크 등장
오사카대학교와 일본 산업기술종합연구소(AIST) 연구진은 요리 영상에서 로봇이 수행 가능한 요리 계획을 생성하는 AI 프레임워크를 개발했습니다. 이 프레임워크는 LLM과 FOON을 결합하여 계획의 타당성을 검증하고, 실행 불가능한 단계를 수정합니다. 실제 요리 영상 실험에서 80%의 성공률을 기록하며 기존 LLM 방식(20%)보다 우수한 성능을 보였습니다. 이 기술은 로봇이 복잡한 요리 작업을 수행하는 데 중요한 역할을 할 것으로 기대됩니다.
LLM 개발사 인기 시들해졌나…글로벌 VC 투자, 산업 특화 AI로
이 기사는 글로벌 벤처 캐피털(VC) 투자가 대규모 언어 모델(LLM) 개발자에서 업계 특화 AI 스타트업으로 이동하고 있음을 논의합니다.
- 2025년 1분기에 특정 산업이나 기술 문제에 초점을 맞춘 초기 단계 AI 스타트업에 대한 투자가 일반적인 AI 모델 개발자에 대한 투자를 넘어섰습니다.
- 2022년부터 2024년까지 OpenAI, Anthropic, xAI와 같은 LLM 개발사들이 글로벌 투자의 대부분을 유치했습니다. 그러나 최근 AI 에이전트 개발자와 AI 로봇 기업들이 더 많은 주목을 받고 있습니다.
- 예를 들어, Google DeepMind의 데미스 하사비스가 설립한 Isomorphic Labs는 2025년 1분기 초기 AI 스타트업 중 가장 많은 투자를 받았습니다 (6억 달러). 이 회사는 AI ‘AlphaFold’를 사용하여 단백질 구조를 예측하는 새로운 약물 설계 엔진을 개발하고 있습니다.
- Lightspeed Venture Partners와 Sequoia Capital과 같은 주요 VC 회사들도 로봇 공학과 AI 에이전트와 같은 산업에서 구체적인 문제를 해결하는 회사들에 초점을 맞추고 있습니다.