26년 된 PC에서 실행된 고성능 언어 모델
EXO Labs는 26년 된 윈도우 98 펜티엄 II 컴퓨터에서 대형 언어모델(LLM)을 구동하는 데 성공했습니다. 이 컴퓨터는 128MB RAM과 인텔 펜티엄 II 350 MHz CPU를 장착하고 있으며, 이를 통해 ‘설피 조(Sleepy Joe)’라는 주제의 이야기를 생성할 수 있었습니다.
- 당시 컴퓨터 성능은 오늘날 스마트폰보다도 낮은 수준이었습니다.
- 이러한 성과는 레거시 하드웨어에서도 현대 기술을 활용할 수 있음을 보여줍니다.
평범한 하드웨어로 AI 구동 가능성 시연
EXO의 시도는 AI에 대한 대중적 접근성을 높이고자 하는 목표의 일환으로 진행되었습니다. 구형 하드웨어에서 AI 모델을 실행할 수 있다는 것은 AI 기술의 민주화를 의미하며, 모든 사람이 언제든지 AI를 실행할 수 있는 환경을 제공하려는 EXO의 비전을 보여줍니다.
- 이는 기술 비평가들에게 AI의 접근성을 높이는 데 있어 중요한 사례로 평가받고 있습니다.
- 고급 하드웨어 없이도 AI 기술을 활용할 수 있는 방법을 제시합니다.
카파시의 Llama2.c와 노력
이 프로젝트는 과거 테슬라의 AI 디렉터였던 안드레이 카르파시의 llama2.c 코드를 기반으로 합니다. 이 코드는 순수 C 언어로 작성되어 있어 26년 된 윈도우 98에서도 호환되도록 최적화되었습니다. 이를 통해 35.9 tok/sec의 속도로 언어모델을 실행할 수 있으며, 이는 제한된 하드웨어 환경에서도 안정적인 성능을 보장합니다.
- 작성된 C 코드는 메모리 관리와 성능 최적화에 중점을 두고 개발되었습니다.
- 이 접근법은 과거의 코딩 기술이 현대의 기술과 융합될 수 있는 방법을 제시합니다.
LLM 확장과 성능의 한계
260K LLM은 작은 규모의 모델이지만, 더 큰 모델인 15M LLM에서는 속도가 1 tok/sec 정도로 떨어졌습니다. Llama 3.2 1B 같은 더 거대한 모델은 0.0093 tok/sec의 속도로 매우 느리게 동작했습니다. 이를 통해 EXO는 고성능 LLM을 실행하기 위한 더 많은 자원이 필요함을 알 수 있었습니다.
- 이러한 성능 차이는 하드웨어 제한과 모델 크기의 중요성을 드러냅니다.
- 이 연구는 더 강력한 컴퓨터 자원이 필요하다는 것을 실질적으로 보여줍니다.
고성능 AI의 대중적 접근성을 향한 EXO Labs의 실험
EXO Labs의 실험은 고성능 AI의 대중적 접근성을 보여주며, 향후 기술 발전과 융합의 가능성을 시사합니다. 이는 미래에 AI 기술이 더 많은 사람에게 제공될 수 있는 기반을 마련하는 중요한 발걸음입니다.
- 이러한 실험은 교육, 연구, 비즈니스 등 다양한 분야에 혁신을 가져다 줄 수 있습니다.
- 미래의 AI 애플리케이션 개발에도 큰 영향을 미칠 잠재력을 가지고 있습니다.
출처 : 원문 보러가기
