LLM 과다 경쟁 시대, 지속 가능한 AI 혁신을 위한 우리의 과제
며칠 전, 한 업체로부터 초대장을 받았습니다. 그들의 "획기적인" LLM을 소개하는 자리였습니다. 아이러니하게도 몇 주 전, 그들은 환경 관련 이니셔티브와 ESG 점수를 자랑스럽게 발표했었습니다. 그런데 이제는 포화된 시장에 또 하나의 AI 모델을 출시한다니, 씁쓸함을 감출 수 없었습니다.
LLM 홍수 시대, 우리는 무엇을 놓치고 있을까?
컨퍼런스 콜에서 그들은 혁신적인 기능, 최첨단 성능, 경쟁 우위를 외쳤습니다. 하지만 제 머릿속에는 거대한 데이터센터, 수천 개의 GPU, 메가와트의 전력 소비만이 떠올랐습니다. 지속 가능성에 대한 약속과 탄소 배출을 감수하는 AI 개발, 과연 이들은 어떻게 균형을 맞출 수 있을까요? 마치 나무를 심으면서 숲을 불태우는 듯한 모순처럼 느껴졌습니다.
폭발적으로 증가하는 LLM, 숨겨진 환경 비용
현재 전 세계는 LLM의 폭발적인 증가를 목격하고 있습니다. GPT-4, PaLM과 같은 거대 기업의 모델부터 Llama, Falcon과 같은 오픈소스 대안까지, 이미 수백 개의 LLM이 존재합니다. 오픈소스 접근성과 기업 투자가 이러한 붐을 일으켰고, 모든 기업이 자체 AI 마법을 원하는 혼잡한 생태계를 만들었습니다. 하지만 이러한 성장이 엄청난 비용을 수반한다는 사실을 아는 사람은 거의 없는 것 같습니다.
LLM 개발의 경제적, 환경적 그림자
LLM의 수를 보여주는 그래프를 보면, 한정된 자원 속에서 그 영향이 어떨지 생각하지 않을 수 없습니다. 모델 학습에만 주력 모델의 경우 최대 500만 달러의 비용이 들며, 운영비는 매달 수백만 달러에 달합니다. 많은 기업이 아직 AI가 환경에 미치는 엄청난 영향을 깨닫지 못하고 있습니다. LLM 하나를 학습하는 데는 엄청난 컴퓨팅 자원이 필요합니다. 이는 1년 동안 수천 가구에 전력을 공급하는 것과 맞먹는 규모입니다. 단 하나의 주요 모델을 훈련하는 데 필요한 탄소 발자국은 전통적인 전력망을 사용할 때 40대의 자동차가 1년 동안 배출하는 양과 맞먹는 약 200톤의 이산화탄소에 해당합니다.
중복되는 기능, 미미한 차이, 낭비적인 경쟁
어느 정도의 경쟁과 병행 발전은 혁신을 위한 건강한 요소이지만, 현재 상황은 점점 더 낭비적인 경쟁으로 보입니다. 여러 업체가 유사한 기능을 구축하고 있으며, 각 기업은 막대한 탄소 발자국을 남기고 있습니다. 많은 모델이 표준 벤치마크와 실제 작업에서 유사하게 수행될 때 이런 중복성은 특히 문제가 됩니다. LLM 간의 기능 차이는 미묘합니다. 대부분은 언어 생성, 요약, 코딩과 같은 유사한 작업에서 탁월합니다. GPT-4나 Claude 같은 일부 모델은 벤치마크에서 다른 모델보다 약간 더 우수한 성능을 보일 수 있지만, 그 격차는 일반적으로 혁신적인 수준이라기보다는 점진적인 수준입니다.
공유된 지식 기반, LLM의 획일화
대다수 LLM은 공개적으로 이용 가능한 인터넷 콘텐츠를 포함한 중복 데이터 세트로 학습합니다. 이런 공유된 기초는 모델이 동일한 사실 데이터, 언어적 패턴, 편향성을 흡수함에 따라 지식과 기능의 유사성을 초래합니다. 독점적인 데이터 세트의 미세 조정이나 약간의 구조적 조정으로 인해 차이가 발생하지만, 핵심적인 일반 지식은 모델 전반에 걸쳐 매우 중복적입니다. 결과적으로, 이들 모델의 산출물은 종종 동일한 정보 프레임워크를 반영해 자주 액세스되는 지식의 경우 최소한의 차이만 생깁니다.
지속 가능한 AI 혁신을 위한 제언
LLM 개발에 좀 더 조화로운 접근 방식을 취한다면, 혁신을 유지하면서 환경에 미치는 영향을 크게 줄일 수 있습니다. 각 기업이 처음부터 구축하는 대신, 자원을 공유하고 기존의 오픈소스 모델을 기반으로 구축함으로써 훨씬 적은 환경적, 경제적 비용으로 유사한 역량을 달성할 수 있습니다. 몇 가지 잠재적인 해결책이 있습니다. 기업이 기초로 사용할 수 있는 표준화된 모델 아키텍처를 만듭니다. 재생 에너지를 기반으로 하는 공유 교육 인프라를 구축합니다. 더 적은 컴퓨팅 자원을 필요로 하는 더 효율적인 교육 방법을 개발합니다. 새로운 모델을 개발하기 전에 탄소 영향 평가를 실시합니다.
