26년 된 기술, Windows 98에서 AI 실행 성공
EXO Labs가 오래된 Windows 98 PC에서 AI 대형 언어 모델을 실행하는 데 성공했습니다. 이 모델은 Pentium II 프로세서와 128MB의 RAM을 사용하여 35.9 tok/sec의 성능을 발휘했습니다.
- 당시 Windows 98은 가정 및 사무 환경에서 보편적으로 사용되던 운영체제였으며, 현대의 AI 기술과는 전혀 다른 시대의 산물이었습니다.
- 이 실험은 미래 기술에서 과거 하드웨어를 활용할 수 있는 가능성을 보여주는 흥미로운 사례로 볼 수 있습니다.
제한된 하드웨어에서도 가능한 AI 실행
EXO Labs는 일반 사용자들이 어느 디바이스에서나 AI 모델을 실행할 수 있도록 하기 위해 노력하고 있습니다. Windows 98에서 AI를 작동시키는 능력은 이 목표를 향한 견고한 성과입니다.
- 이러한 노력이 성공함으로써 많은 구형 장비들이 새롭게 활용될 기회를 얻게 되는 것이며, 이는 기술의 접근 가능성을 넓히는 데 기여합니다.
- 이는 AI의 저변 확대와 더불어 에너지와 자원의 재활용이라는 차원에서도 긍정적인 변화를 가져올 것으로 기대됩니다.
데이터 전송과 코드 컴파일의 난관
구식 Windows 98 시스템으로 데이터를 전송하는 것은 쉽지 않은 일이었습니다. EXO는 이 문제를 해결하기 위해 FTP를 사용했습니다. 또한 현대 코드를 이 시스템에 맞게 컴파일하는 것도 도전 과제였으나, llama2.c 코드를 조정하여 실행할 수 있었습니다.
- FTP는 Internet의 초기에 널리 사용되던 파일 전송 프로토콜로, 다양한 장비 간의 데이터 이동을 가능케 했습니다.
- llama2.c 코드를 조정한 것은 기술적인 장벽을 극복하는 능력을 보여주는 좋은 예시이며, 이는 AI 엔지니어들에게 많은 영감을 줄 수 있습니다.
성능의 비약적 향상
260K LLM은 하나의 350MHz 싱글 코어 PC에서 놀랍도록 효율적으로 작동했습니다. EXO의 블로그에 따르면, 15M LLM으로 업그레이드한 결과 생성 속도가 약 1 tok/sec으로 감소했지만 성과를 확인할 수 있었습니다.
- 이러한 성능 향상은 하드웨어가 AI 훈련 및 실행 과정에서 얼마나 중요한 역할을 하는지를 다시금 일깨워 줍니다.
- 이와 같은 실험은 AI의 발전을 위한 하드웨어 개발 방향성을 제시하는 데 중요한 기초 자료가 될 것입니다.
AI 민주화(Democratizing AI)의 중요성
EXO Labs는 소수의 대기업이 AI를 독점하는 상황을 막기 위해 모든 사람이 AI를 사용할 수 있는 인프라를 구축하려 합니다. 이를 통해 누구나 AI 모델을 실행하고 교육할 수 있는 환경을 만들고 있습니다.
- AI의 민주화는 다양한 사람들이 기술을 통해 혁신을 이끌어내고, 창의적인 문제 해결책을 마련할 수 있도록 돕는 중요한 과제입니다.
- 공정한 AI 접근은 글로벌 차원에서 기술 격차를 줄이고 많은 사람들이 혜택을 누릴 수 있는 포용적 사회 구축에 기여할 것입니다.
출처 : 원문 보러가기
