26년 된 PC에서 AI 대형 언어 모델 실행
26년 된 Windows 98의 펜티엄 II PC에서 강력한 AI 대형 언어 모델 실행이 가능하다는 소식을 EXO Labs가 전했습니다. 소셜 미디어에 게시된 짧은 영상에서는 고대의 350MHz 엘로넥스 Pentium II가 윈도우 98을 부팅하고, 커스텀 C 기반 추론 엔진을 작동하는 모습이 소개되었습니다.
- 이러한 결합은 최신 하드웨어가 없어도 AI 기능을 활용할 수 있음을 보여줍니다.
- 펜티엄 II는 1997년에 처음 출시되었으며, 당시에는 혁신적이었지만 이제는 대개 노후화된 기술로 간주됩니다.
Llama2.c 기반 엔진 활용
EXO Labs는 Andrej Karpathy의 Llama2.c를 기반으로 한 전용 엔진을 활용했습니다. 이 엔진은 700줄의 C 코드로 이루어져 있으며 Llama 2 구조의 모델에서 추론을 수행할 수 있습니다. 덕분에 Windows 98 호환 실행 파일을 제작할 수 있었습니다.
- 이 코드는 간결하면서도 강력한 AI 모델을 구축할 수 있는 잠재력을 지니고 있습니다.
- Llama2.c는 메모리 효율성을 중시하여 제한된 자원에서 구동이 가능하다는 장점이 있습니다.
EXO Labs의 민주화를 위한 비전
한편, EXO Labs는 AI 접근성을 민주화하겠다는 목표를 가지고 있습니다. 옥스퍼드 대학의 연구자들이 결성한 이 조직은 AI가 소수의 메가코프에 의존하는 것을 방지하고자 합니다.
- EXO Labs는 더 많은 사람이 AI 기술에 접근할 수 있도록, 독립적인 연구를 장려하고 있습니다.
- 이러한 접근은 보다 포용적인 AI 생태계를 조성하는 데 중점을 두고 있습니다.
늘어나는 AI 모델과 속도
블로그에 따르면 260K LLM은 35.9 tok/sec로 실행되었으며, 15M LLM은 1 tok/sec를 넘었습니다. 그러나 Llama 3.2 1B 모델은 0.0093 tok/sec에 불과하여 성능 저하가 느껴졌습니다.
- 모델 크기와 복잡성에 따라 성능이 크게 달라질 수 있는 점을 강조합니다.
- 이는 AI 모델의 효율성 배양과 하드웨어 제약을 극복하기 위한 중요한 시사점을 제공합니다.
출처 : 원문 보러가기
