AI 거품이 터지면 좋겠습니다
소프트웨어 엔지니어로서 지금 이 시기의 기묘함을 외면하기란 불가능합니다. 한편으로 새로운 세대의 언어 모델은 정말로 유용한 도구입니다. 저 역시 보일러플레이트 코드를 빠르게 시작하거나, 까다로운 로직 문제의 해법을 브레인스토밍하거나, 문서를 다른 표현으로 고쳐 쓸 때 이 모델을 사용합니다. 점진적이기는 하지만, 이 모델은 개발자 생산성을 정당하게 한 걸음 끌어올렸습니다. 그러나 다른 한편으로, 이 기술을 둘러싸고 기이하고 지속 불가능한 문화가 생겨났습니다. 이 분야는 공학이라기보다 투기적인 골드러시에 가까워졌고, 이 도구가 실제로 할 수 있는 일과는 완전히 동떨어진 유사 종교적 열광까지 생겨났습니다. 과대광고는 극에 달했으며, 제가 보기에는 이 거품이 꺼지는 것이야말로 소프트웨어의 미래에 일어날 수 있는 가장 좋은 일입니다.
문제의 핵심(Core)은 신화입니다. 최고경영자와 벤처 캐피털리스트들은 대제사장처럼 굴면서, 정의조차 모호한 “범용 인공지능“이 곧 도래한다고 컨퍼런스 무대에서 설교를 늘어놓습니다. 그들은 전 세계 반도체 산업을 확충하는 데 7조 달러가 필요하다고 말하는데, 이 숫자는 터무니없이 커서 더는 의미를 갖지 못합니다. 이것은 더 이상 공학이 아니라 구원이나 종말을 약속하는 새로운 종교이며, 시장은 이 종교에 설득되어 모든 의심을 내려놓았습니다. 매일 실제로 이 모델을 다루는 우리에게 이 서사는 환상처럼 느껴집니다. 우리는 모델의 한계를 가까이에서 봅니다. 자신만만하게 헛소리를 늘어놓는 경향, 추상적으로 추론하지 못하는 무능, 학습 데이터 바깥으로 밀려났을 때 드러나는 취약함이 그것입니다. 이 모델은 놀라울 만큼 정교한 흉내쟁이일 뿐, 막 깨어나는 정신이 아닙니다. 메시아적인 마케팅과 확률적 텍스트 생성기라는 평범한 현실 사이에 벌어진 이 간극이 바로 거품을 부풀리는 빈 공간입니다.
이 모든 것은 실로 상상을 초월하는 규모로 돈을 불태우는 일을 정당화하는 데 쓰입니다. 몇몇 거대 기술 기업이 올해 이 한 가지 목표에 포르투갈 경제 전체와 맞먹는 3,000억 달러 이상을 쓰겠다는 발상은 망측합니다. 이는 엄청난 낭비이자, 전 지구적 규모로 자원을 심각하게 잘못 배분하는 일입니다. 아마존 같은 거대 기업조차 이 구멍에 쏟아붓는 1달러당 고작 20센트 정도를 회수하고 있다는 보도도 나옵니다. 그사이 차세대 프런티어 모델을 학습하는 비용은 10억 달러를 넘어 불어나고 있습니다. 사이버보안에서 의료 진단, 물류에 이르기까지 그 인재와 자본이 해결할 수 있었을 다른 모든 실질적이고 구체적인 문제를 생각해 보십시오. 그런데도 가장 뛰어난 인재들은 챗봇의 소네트 작성 능력을 조금 더 끌어올리는 데 매달리고 있습니다. 이것은 혁신이 아니라 투기가 부추기는 군비 경쟁이며, 그 목표는 반드시 더 좋거나 더 효율적인 제품이 아니라 더 큰 모델을 만드는 것입니다.
재정적 낭비를 넘어, 기술 발전 자체도 벽에 부딪히는 조짐을 보이고 있습니다. 이 도구를 진지하게 사용하는 사람이라면 누구나 그 불편한 비밀을 압니다. 이 도구는 더 이상 예전처럼 맹렬한 속도로 발전하지 않습니다. 우리는 거의 알아차리기도 어렵고 “느낌“에 가까운 개선을 위해 에너지, 데이터, 하드웨어에 기하급수적으로 더 많은 비용을 쓰고 있습니다. GPT-2에서 GPT-3으로의 도약은 혁명이었지만, GPT-4에서 그 후속 모델로의 도약은 사소한 개정처럼 느껴지는데도 이를 이루는 데는 몇 자릿수나 더 많은 비용이 듭니다. 업계는 모델을 그저 더 크게 만들기만 하면 새로운 능력이 생겨난다는 믿음, 곧 “스케일링 법칙“이라는 패러다임에 기대를 걸고 있지만, 이 길에는 한계가 있다는 데 동의하는 연구자가 점점 늘고 있습니다. 우리는 똑같이 불안정한 기반 위에 점점 더 높은 탑을 쌓으면서, 정작 필요한 것은 아예 새로운 아키텍처 설계도일 가능성이 크다는 사실을 외면하고 있습니다. 그런데도 시장은 매 분기 혁명적인 돌파구가 보장되기라도 한 것처럼 이 기업들의 가치를 매기고 있으며, 그 결과 닷컴 시대 최악의 과잉에 견줄 만큼 위가 무겁고 위태로운 기업가치 구조가 만들어지고 있습니다.
이것이 바로 AI 버블의 붕괴, 즉 전 세계에 울려 퍼지는 크고 고통스러운 파열음이 실제 AI 발전에 일어날 수 있는 최선의 일인 이유입니다. 우리는 닷컴 붕괴 때 이미 이 영화를 본 적이 있습니다. 2000년에 투기 자금이 사라졌을 때 인터넷은 죽지 않았습니다. 죽은 것은 비즈니스 모델이 없던 “좀비콘“들이었습니다. 남겨진 것은 광섬유 회선부터 데이터 센터에 이르는 귀중한 인프라의 보고였으며, 이 모든 것을 갑자기 헐값에 구할 수 있게 되었습니다. 새로 저렴해진 바로 그 기반 덕분에 진정하고 지속 가능한 인터넷 거대 기업들이 등장할 수 있었습니다. AI 버블이 터져도 마찬가지일 것입니다. 하이퍼스케일러들이 구축한 거대한 서버 팜은 사라지지 않을 것입니다. 오픈 소스 모델, 소프트웨어 프레임워크, 연구 논문은 모두 그대로 남아 있을 것입니다. 호황의 잔해는 더 냉철하고 지속 가능한 미래를 위한 건축 자재가 될 것입니다.
버블 이후의 세계는 다른 종류의 엔지니어와 다른 종류의 기업에 보상할 것입니다. 목표는 상자 속에 신을 만드는 것에서 특정 고객을 위해 특정 문제를 해결하는 것으로 옮겨 갈 것입니다. 인프라 헐값 처분으로 진입 비용이 낮아지면 더 작고 민첩한 팀들도 경쟁할 수 있을 것입니다. 중국 기업들이 미국 거대 기업들이 쓰는 비용의 극히 일부만으로 매우 유능한 모델을 개발하고 있다는 보도에서 보듯이, 우리는 이미 그 조짐을 보고 있습니다. 붕괴는 이러한 추세를 가속하여 무지막지한 자금력보다 효율성과 영리함에 집중하도록 강제할 것입니다. 혁신은 탈중앙화될 것입니다. AGI를 향한 하나의 거대한 단일 탐구 대신, 각각 실제 비즈니스 모델을 갖추고 현실 세계의 필요에 맞춰진 수천 가지의 다양한 응용 AI가 꽃피는 것을 보게 될 것입니다. 업계는 벤처 캐피털이라는 링거에서 벗어나, 공상과학 같은 미래를 약속해서가 아니라 실질적인 가치를 제공하기 때문에 사람들이 실제로 돈을 지불할 제품을 만드는 법을 배워야 할 것입니다.
결국 붕괴는 끝이 아니라 정화입니다. 붕괴는 현재 이 분야를 규정하는 과대광고와 종교, 지속 불가능한 경제 구조를 걷어 낼 것입니다. 그것은 투기꾼들에게는 고통스러운 청산이겠지만, 만드는 사람들에게는 해방일 것입니다. 현재 좁고 투기적인 터널로 쏟아져 들어가고 있는 막대한 지적 자원과 자본 자원이 풀려나 수많은 다른 생산적인 물줄기로 흘러갈 것입니다. 진정 제한적으로 유용한 이 기술은 마침내 불가능한 수익을 돌려줘야 한다는 불가능한 짐에서 벗어날 것입니다. 그것은 그저 하나의 도구가 될 수 있고, 우리는 그것을 사용해 더 나은 것을 만드는, 실질적이고 화려하지 않지만 궁극적으로 더 보람 있는 일로 돌아갈 수 있을 것입니다.