Windows 98에서 실행되는 AI 모델의 혁신
EXO Labs는 엄청난 일을 해냈습니다. 26년 된 Windows 98 PC에서 AI 대형 언어 모델(LLM)을 구현한 것입니다. Pentium II 프로세서와 128MB RAM을 탑재한 이 오래된 PC는, 최근 소셜 미디어에 공개된 짧은 동영상에서 놀라움을 자아냈습니다. 그들은 Andrej Karpathy의 Llama2.c를 기반으로 한 순수 C 추론 엔진을 사용하여 'Sleepy Joe'에 대한 이야기를 생성하는 데 성공했습니다.
- 이 시연은 AI 기술의 접근성을 극대화하려는 시도로, 하드웨어의 시대적 한계를 뛰어넘었습니다.
- 해당 프로젝트는 경제적인 AI 구현 가능성을 제시하며, 구형 시스템에서의 현대 기술 활용 사례로 기록됩니다.
EXO Labs의 목표: AI 민주화
EXO Labs는 AI의 민주화를 염두에 두고 설립된 신생 조직입니다. 옥스퍼드 대학교 출신으로 구성된 연구원 및 엔지니어들이 주축이 되어, AI 모델의 교육과 실행을 누구나 가능하도록 하는 인프라 구축을 목표로 하고 있습니다. Windows 98 AI 모델 구현은 제한된 자원으로도 무엇이 가능한지를 보여주는 상징적인 시연입니다.
- AI 민주화는 사회 전반의 기술 및 경제적 불균형을 줄이는 데 기여할 수 있습니다.
- 다양한 시스템 환경에서 AI 교육을 제공하여, 전 세계적으로 기술 격차를 줄이는 데 도움을 줍니다.
Windows 98 PC에서의 도전 과정
EXO Labs는 오래된 Windows 98 PC를 손에 넣는 것은 쉬운 일이었지만, 데이터 전송 등 많은 어려움을 겪었습니다. '좋은 옛 FTP'를 사용해 이 문제를 해결했다고 설명합니다. 더 큰 어려움은 현대 코드를 Windows 98에 맞게 컴파일하는 것이었습니다. Andrej Karpathy의 llama2.c 덕분에, 이 코드는 700줄의 순수 C로 이루어져 있으며 Llama 2 아키텍처 기반 모델에 대해 추론을 할 수 있도록 설계되었습니다.
- Windows 98의 환경은 새로운 소프트웨어에서 사용되지 않는 기능을 요구할 수 있어 코드 변환이 필수적입니다.
- FTP는 전통적인 데이터 전송 방법으로, 현대적인 대안 없이도 파일 관리 가능성을 제시했습니다.
LLM 성능 및 확장 가능성
Windows 98에서 실행된 LLM은 초당 35.9 토큰을 생성하는 성능을 보여주었습니다. 이는 260K 모델을 사용한 결과이며, EXO Labs는 더 큰 모델들도 시험해보았다고 설명합니다. 예를 들어, 15M 모델에서는 초당 1 토큰을 넘는 속도를 기록했습니다. Karpathy의 기여는 Tesla의 AI 디렉터이자 OpenAI의 설립 팀 일원이었던 그의 배경을 고려했을 때 더욱 의미가 있습니다.
- Karpathy의 경험은 AI 기술의 경계를 확장하고 개발 가속화를 가능하게 했습니다.
- 이 프로젝트는 구형 하드웨어에서의 성능 최적화를 통해, 가능한 다양한 응용 가능성을 탐구합니다.
출처 : 원문 보러가기
