앨런인공지능연구소, 'GPT-4o' 넘는 혁신적인 LLM 오픈소스로 공개

비영리 연구 기관인 앨런인공지능연구소(Allen Institute for AI. 이하, Ai2)가 9월 25일(현지시간) 오픈소스 멀티모달 대형언어모델(LLM) '몰모(Molmo)' 공개


<주요 특징>
1. 성능과 효율성
  - 720억 개의 매개변수를 가진 가장 큰 몰모 모델은 오픈AI의 GPT-4o와 비교해도 탁월한 성능 
  - 70억 개의 매개변수를 가진 소형 몰모 모델조차 OpenAI의 최신 모델과 유사한 성능을 발휘
-> 1000배 적은 훈련 데이터 사용
-> 1/10의 모델 크기

2. 훈련 데이터 
  - 무차별적인 데이터 스크래핑 대신, 60만 장의 고품질 이미지와 상세한 설명을 포함한 데이터셋 사용
  - 사람들이 이미지에 대해 음성으로 설명한 데이터를 포함하여 훈련에 활용

3. 데이터 변환 기술
  - AI 기술을 통해 사람의 음성 설명을 데이터로 변환하는 방법을 도입
  - 이를 통해 훈련 속도를 높이고 필요한 컴퓨팅 자원을 줄임

4. 멀티모달 능력
  1) 이미지의 시각적 이해와 관련 질문에 대한 답변
    - 이미지에서 객체를 식별하고, 세고, 설명할 수 있으며, 차트에 시각화된 데이터도 해석하여 설명   
      예) 주차 표지판 이미지를 보여주고 질문을 하면 표지판의 의미를 이해하고 질문에 답변
   2) 이미지 내 객체를 정확하게 식별하고 지목할 수 있는 능력
    - 사진에서 특정 물체를 찾아내고 설명하는 기능으로 사용자 인터페이스와의 상호작용을 가능하게 한다.
      예) 웹 에이전트를 개발하거나 항공편 예약과 같은 실질적인 상호작용을 가능하게 하는 중요한 기술


<모델 구성>
몰모는 다음과 같은 4가지 버전으로 출시되었습니다:
1. 몰모-72B
  - 플래그십 모델
  - 알리바바의 오픈 소스 '큐원2-72B'를 기반으로 함
  - 여러 벤치마크에서 GPT-4o, 클로드 3.5 소네트, 제미나이 1.5 등을 능가하는 성능을 보임
  - DocVQA에서 96.3점, TextVQA에서 85.5점 기록

2. 몰모-7B-D
  - 알리바바의 오픈 소스 '큐원2-72B'를 기반으로 함
  - 72B 모델보다 작은 크기로 효율적인 성능 제공

3. 몰모-7B-O
  - AI2의 '올모-7B'를 베이스 모델로 사용
  - 7B 크기의 모델로, 중간 규모의 성능과 효율성 제공

4. 몰모E-1B
  - AI2의 전문가 혼합(MoE) 모델인 '올모E-1B-7B'가 베이스 모델
  - 가장 작은 크기의 모델로, 경량화된 성능 제공


<활용 가능성>
몰모의 뛰어난 시각적 접지(Visual Grounding) 능력은 로봇공학이나 복잡한 멀티모달 추론 분야에서 특히 유망할 것으로 평가됩니다. 
또한, 웹 에이전트 구축 등 다양한 AI 응용 분야에서 활용될 수 있을 것으로 기대됩니다.
몰모는 현재 허깅페이스(Hugging Face)에서 오픈 소스로 공개되어 있어, 연구 및 상업적 목적으로 사용할 수 있습니다.

 

 

몰모의 소개 영상을 보신다면 생성 AI가 얼만큼 발전해 있는지 확실히 알것같네요.

멀티모달 기술을 활용한 지금까지의 능력보다 웹 에이전트에 접목해서 활약하는 AI는 경의롭습니다!

 

* 멀티모달 몰모 소개 영상
https://youtu.be/spBxYa3eAlA

 

 

* 알리바바의 오픈 소스 '큐원2-72B'

: 알리바바의 AI 기술력을 보여주는 큐원2-72B는 727억 개의 매개변수를 가진 대규모 모델로, 다국어 처리 능력과 다양한 작업에서의 성능 향상을 특징으로 합니다. 오픈 소스로 공개되어 글로벌 AI 커뮤니티에서 주목받고 있으며, 다른 AI 모델 개발의 기반으로도 활용되고 있습니다.

 

 

 

 

 

https://www.aitimes.kr/news/articleView.html?idxno=32299

https://www.aitimes.com/news/articleView.html?idxno=163724

https://www.perplexity.ai/search/molmo-e-daehae-alryeojweo-DijhXxpPQkGzgYWspecARg