와튼스쿨 경영학자 Ethan Mollick(@emollick)이 이번 주 AI 업계의 현재를 압축하는 두 개의 짧은 글을 잇따라 올렸다. 첫 번째는 AI 회사들이 직면한 '컴퓨트(연산자원) 제약'이 왜 이중 구속(double bind)인지에 관한 것, 두 번째는 그럼에도 불구하고 AI 연구소들이 쏟아내는 제품의 속도에 관한 것이다. 두 관찰은 얼핏 모순처럼 들리지만 실은 같은 그림의 앞뒷면이다. 이 글에서는 inference-compute와 training-compute라는 두 개념을 쉬운 말로 풀고, 지금 사용자가 느끼는 피로의 정체를 같이 들여다본다.
무엇이 일어났나
Mollick의 첫 글은 컴퓨트 제약이 양쪽에서 동시에 압박한다고 지적한다. AI 회사가 보유한 GPU라는 자원은 크게 두 가지 용도로 쓸 수 있다. 하나는 inference-compute — 사용자가 ChatGPT나 Claude에 질문을 던졌을 때 답을 계산해 내는 데 쓰이는 연산이다. 다른 하나는 training-compute — 다음 세대 모델을 처음부터 가르치기 위한 연산이다. 두 수요가 같은 GPU 풀을 놓고 내부에서 경쟁한다.
추론 쪽에 자원이 부족하면 회사가 택할 수 있는 길은 세 가지뿐이다. 가격을 올리거나, 사용량을 제한하거나, 더 작고 성능이 낮은 모델을 내놓는 것. Mollick은 이 세 가지가 모두 '현재 성장'을 갉아먹는다고 말했다. 반대로 학습 쪽에 자원이 부족하면 다음 세대 모델을 만들지 못해 '미래 성장'이 꺾인다. 어느 쪽을 당겨도 다른 쪽이 밀리는 구조, 이것이 그가 말한 이중 구속이다.
이틀 뒤 올린 두 번째 글에서는 관찰 방향이 뒤집힌다. AI 연구소들에서 신제품이 '매우 많이' 쏟아져 나오고 있고, 그중 상당수가 거친 부분이 있어도 정말 좋다는 것이다. 하지만 사용자들은 '그 모든 것을 받아들일 여력이 없다'고 지적했다.
왜 중요한가
비유로 풀면 이렇다. AI 회사의 GPU는 하나의 거대한 발전소와 같다. 그 전기를 오늘 손님을 맞는 데 쓸 수도 있고, 내일을 준비하는 공장 가동에 쓸 수도 있다. 두 쪽 모두 쓰고 싶지만 총량이 정해져 있다. 이런 배분 압박은 일반 사용자에게도 체감으로 다가온다. 최근 몇 달 사이 특정 모델이 조용히 더 작아지거나, 무료 구간 한도가 줄거나, 새 요금제가 등장한 경험이 있다면 그 이면에 비슷한 계산이 있다.
두 번째 관찰, 즉 제품이 쏟아지는 현상도 이 배분과 연결된다. 연구소는 당장 차세대 모델을 학습시킬 여유가 빠듯하면, 이미 가진 모델을 제품 레이어에서 최대한 뽑아 쓰려 한다. 새 에이전트, 새 IDE 확장, 새 이미지 생성 기능이 주 단위로 발표되는 이유다.
더 깊이
사용자 입장에서 이 상황이 피로하게 느껴지는 것은 자연스럽다. Mollick의 진단은 '제품은 좋은데 소화가 안 된다'는 한 문장으로 요약된다. 기술 자체가 좋아도, 한 사람이나 한 팀이 새로운 도구를 업무에 녹여 넣는 데는 시간이 든다 — 워크플로를 바꾸고, 동료를 설득하고, 실패 사례를 쌓는 과정이 필요하다. 공급 쪽 속도는 AI가 내부 개발 도구 (coding-agent 등) 로 가속되지만, 수요 쪽 속도는 사람의 학습 곡선에 묶여 있다. 이 두 속도의 차이가 '좋은데 소화가 안 됨'의 구조적 배경이다.
아직 알 수 없는 것
Mollick은 구체적인 숫자를 제시하지 않았다. 어느 회사가 어느 쪽 제약을 더 심하게 겪는지, 가격 인상이 실제로 언제 얼마나 예정돼 있는지는 그의 두 글에 명시되지 않는다. '제품이 많지만 소화가 안 된다'는 진단이 몇 달짜리 적응 지연인지, 더 근본적인 포화인지도 단정할 수 없다. 과거 기술 도입기 — 스마트폰 앱 홍수, 클라우드 SaaS 폭발 — 에도 비슷한 현상이 있었고, 시간이 지나면 몇 개의 표준으로 수렴하는 패턴을 보였다. 지금도 같은 길을 갈지는 아직 지켜봐야 한다.
5분 실습
본인의 'AI 제품 소화 상태'를 점검해보자. 종이 한 장을 꺼내 최근 3개월 동안 이름을 들어본 새 AI 제품 또는 기능을 10개 적어본다. 그 옆에 '한 번 써봤다', '깊이 써봤다', '업무에 편입시켰다' 중 해당하는 항목을 표시한다. 대부분은 10개 중 2-3개만 깊이 써봤다는 결과를 얻는다. 이것이 Mollick이 말한 '소화 능력 부족'의 체감 데이터다. 이 결과를 보고 나면, 새로 나오는 모든 것을 따라잡으려 조급해하기보다 자신에게 가장 큰 지렛대가 될 두세 개를 고르는 편이 현실적임을 느낄 수 있다.