메타 AI의 라마, 언어 모델의 새로운 진화
메타 AI는 2023년 2월 라마(Llama)라는 대형 언어 모델(LLM) 패밀리를 선보였으며, 이 모델은 이후 지속적으로 업데이트되어 왔습니다. 라마는 그동안 OpenAI와 Google의 거대 폐쇄형 모델들이 지배하던 LLM 세계에 변화를 가져왔습니다. 라마는 작은 범용 모델이 더 많은 토큰으로 훈련되어 거대한 모델보다 재훈련과 미세 조정이 용이하고 경제적이라는 점을 강조했습니다.
- 라마 모델은 실제로 1조 개 이상의 토큰으로 훈련되었으며, 이는 OpenAI의 GPT-3와 비교해 비용 절감을 이끌어냈습니다.
- 또한, 라마는 컴퓨팅 자원이 제한된 환경에서 뛰어난 성능을 발휘할 수 있도록 설계되었습니다. 작은 머신러닝 연구실에서도 운영이 가능하다는 점에서 접근성을 높입니다.
제한된 오픈 소스 라이선스와 법적 문제
라마는 오픈 소스와 유사하지만, 상업적 사용과 허용 가능한 사용에 대한 제한이 존재합니다. 이러한 제한은 AWS, Google Cloud, Microsoft Azure와 같은 대규모 영리 조직을 겨냥하며, 무기나 약물 개발에 사용되는 것을 금지합니다. 이러한 제한으로 인해 오픈 소스 정의에 위배된다는 논란이 있습니다. 2023년에는 메타가 라마 훈련에 저작권이 있는 책을 무단 사용했다는 이유로 두 건의 집단 소송이 제기되었으나 대부분의 혐의는 기각되었습니다.
- 메타의 제한적 라이선스는 대형 기술 기업에 의한 남용을 방지하겠다는 의도로 해석되며, 기술의 악용을 사전에 차단하려는 취지가 담겨 있습니다.
- 법적 문제와 관련하여 특허 및 라이선스 유효성 검증이 중요한 이슈가 되며, 이는 향후 메타의 오픈 소스 전략 방향에 영향을 미칠 것입니다.
라마 모델의 진화와 다양한 기능
2023년 가을 이후, 메타 AI는 라마 모델을 단순한 언어 모델을 넘어 다양한 기능을 갖춘 AI 프레임워크로 발전시켰습니다. 일부 모델은 텍스트와 비전 입력을 처리할 수 있는 다중 모달 기능을 가지고 있으며, 코드 해석 및 도구 호출 기능도 갖추고 있습니다. 또한, 라마 스택의 일부로서 공격을 식별하고 완화하는 안전 구성 요소도 포함되어 있습니다.
- 다중 모달 기능을 위하여 라마는 이미지와 텍스트 데이터를 동시에 처리할 수 있도록 설계되었으며, 이는 데이터를 보다 복합적으로 처리할 수 있는 능력을 제공합니다.
- 예를 들어, 라마 모델은 비전 인식이 필요한 자율 주행 차량 시스템에서도 활용될 수 있으며, 인간-기계 상호작용의 정밀도를 높이는 데 기여합니다.
라마 가드와 코드 라마의 기능
라마 가드는 7B 파라미터로 구성된 입력-출력 안전 모델로, LLM 입력과 응답을 분류할 수 있습니다. 코드 라마는 다양한 변형 모델을 제공하며, 일반 코드 생성부터 파이썬 전용 모델, 안전한 배포를 위한 인스트럭션 모델까지 다양합니다.
- 이러한 분류 기능은 사전에 악의적인 입력이나 의도된 공격을 식별하여 차단할 수 있도록 합니다.
- 코드 라마의 변형은 특정 프로그래밍 언어의 구문 분석 및 코드 오류 감소에 기여하며, 간단한 코드 자동 완성 기능도 제공합니다.
다국어 지원과 안전 기능의 확장
라마 3.2 모델은 다국어 지원과 안전 기능을 강조하며, 텍스트와 이미지 입력을 모두 처리할 수 있습니다. 이 모델들은 영어, 독일어, 프랑스어 등 여러 언어를 지원하며, 다양한 플랫폼에서 유연하게 배포할 수 있는 생태계를 제공합니다. 그러나 여전히 훈련 데이터와 오픈 소스 여부에 대한 논란이 있습니다.
- 라마의 다국어 지원은 전 세계 다양한 사용자 그룹에 서비스를 제공하기 위한 필수 요소로 작용하며, 자연어 처리의 범위를 넓힙니다.
- 훈련 데이터의 투명성에 대한 요구는 증가하고 있으며, 이를 통해 모델의 신뢰성을 보장하고 윤리적 AI 개발을 촉진할 수 있습니다.
출처 : 원문 보러가기
