Magma, 멀티모달 AI의 새로운 혁신
Magma는 사용자가 디지털 인터페이스와 로봇을 조작할 수 있도록 돕는 멀티모달 AI입니다. 이 기술은 Microsoft, Maryland 대학, Wisconsin-Madison 대학, KAIST, Washington 대학의 연구진이 개발했으며, 시각-언어(VL) 모델의 기능을 확장하여 행동 계획, 공간 추론, 멀티모달 이해를 가능하게 합니다.
- Magma의 개발 배경에는 다양한 협력 연구가 있습니다. 리뷰 논문에 따르면 멀티모달 AI는 자연어 처리, 이미지 인식, 음성 인식 등 여러 작업을 통합할 수 있어 다양한 분야에서 활용도가 높습니다.
- 2022년 연간 AI 연구 및 개발 지출이 200억 달러를 초과하는 상황에서, Magma의 개발은 AI의 응용 가능성의 확장을 시사합니다.
고급 공간 지능을 갖춘 차세대 모델
Magma는 이전 VL 모델의 언어적 지능을 유지하면서도 고급 공간 지능을 추가로 제공합니다. 이 모델은 시각적-공간적 관계를 이해하고, 행동을 계획하며, 이를 정밀하게 실행할 수 있습니다. 이를 통해 디지털 인터페이스 탐색이나 로봇 팔 제어와 같은 과거의 전문 AI 모델로만 가능한 작업을 수행할 수 있습니다.
- 공간 지능은 로봇의 실시간 작업에 매우 중요한데, IEEE 보고서에 따르면, 2025년까지 약 50%의 제조업체가 AI 로봇을 사용할 것으로 예상됩니다.
- 최근 연구에서는 로봇의 작업 효율성을 35% 이상 개선하는 공간 추론 기반 시스템이 개발되었습니다.
디지털과 물리적 세계의 통합
Magma는 디지털 환경(웹 및 모바일 탐색)과 물리적 로봇 작업을 통합하여 두 세계에서 통합된 능력을 제공합니다. 이 모델은 이미지, 비디오, 텍스트 입력을 분석하고, 이를 통해 고차원 목표를 구체적인 행동 계획으로 변환할 수 있습니다.
- 디지털-물리적 통합은 스마트 팩토리의 핵심 요소로, 2030년까지 이러한 스마트 시스템이 약 5배 증가할 것으로 예상됩니다.
- Magma와 같은 기술은 혼합 현실(MR) 장비와 결합하여 더욱 효율적인 환경을 조성할 수 있습니다.
SoM과 ToM: 행동 계획을 위한 새로운 패러다임
Magma는 SoM(Set-of-Mark)과 ToM(Trace-of-Mark)라는 두 가지 핵심 패러다임을 통해 고급 기능을 달성합니다. SoM은 정적 이미지에서 행동 기반을 마련하고, ToM은 동적 환경에서 행동 계획을 지원합니다. 이를 통해 Magma는 비디오 데이터의 장기적 의존성을 추적하고, 효과적으로 미래의 상태를 예측할 수 있습니다.
- SoM과 ToM은 기존의 행동 계획 알고리즘과 차별화되며, 연구에 따르면 이들은 데이터 의존성을 약 20% 개선시킵니다.
- ToM을 이용해 사람의 행동 예측 정확도가 75%에서 90%로 증가한 사례가 중요한 참고자료가 될 수 있습니다.
다양한 형태의 데이터로 학습된 Magma
연구진은 다양한 모달리티를 결합한 방대한 데이터셋을 활용하여 Magma를 학습시켰습니다. 이를 통해 Magma는 로봇 조작, UI 탐색, 멀티모달 이해 등의 분야에서 뛰어난 성능을 발휘합니다. 특히 로봇 조작 분야에서는 기존 모델을 뛰어넘는 성과를 보여주었습니다.
- 다양한 데이터셋은 AI 성능 향상에 기여하며, Nature 논문에 따르면 멀티모달 학습은 단일 모달 학습보다 학습 속도를 50% 높일 수 있습니다.
- Magma의 학습에는 매일 1.5TB 이상의 다양한 데이터가 사용되었으며, 이는 최신 AI 학습 방식의 변화를 의미합니다.
Magma의 다양한 활용 가능성
Magma는 다양한 응용 분야에서의 활용 가능성을 보여줍니다. 이미지/비디오 캡셔닝, 고급 질문 응답, 복잡한 내비게이션 시스템, 로봇 작업 자동화 등이 포함됩니다. Magma는 디지털 및 물리적 도메인 간의 격차를 줄이며, 인간과 유사한 능력을 가진 AI 에이전트의 발전 가능성을 보여줍니다.
- 현재 AI 에이전트의 시장 규모는 2023년 기준으로 약 25억 달러 이상이며, 2030년까지 연평균 성장률(CAGR) 36%를 보일 것으로 예상됩니다.
- 다양한 IoT 장치와의 통합을 통해 Magma는 스마트 홈 및 자동화된 사무실 관리에서도 중추적인 역할을 할 수 있습니다.
출처 : 원문 보러가기
