1만 개의 AI가 함께 일하는 시대, 문제는 지능보다 통제다

최근 드와르케시 파텔이 OpenAI 연구자 노엄 브라운과 진행한 인터뷰는 인공지능의 미래를 바라보는 새로운 질문을 던진다. 인터뷰에서 소개된 사례에 따르면, 약 1만 개의 AI 에이전트가 88시간 동안 1,300억 개의 토큰을 사용해 나비에–스토크스 방정식과 관련된 밀레니엄 난제에 도전했다. 이를 인간 한 사람의 노동시간으로 단순 환산하면 수천 년에 해당하는 사고량을 며칠 안에 집중한 셈이다.

그러나 이 성과에서 정작 주목해야 할 대목은 화려한 숫자가 아니다. 브라운은 성과의 공로 중 멀티에이전트 시스템에 돌아갈 몫이 10%도 되지 않을 것이라고 평가한다. 핵심은 1만 개라는 숫자가 아니라 개별 에이전트의 토대가 된 강력한 범용 모델이었다는 것이다.

더구나 단일 에이전트가 같은 문제를 해결하도록 하는 비교실험은 수행되지 않았다. 100개, 1천 개, 1만 개를 투입했을 때 성능과 비용이 어떻게 달라지는지도 충분히 검증되지 않았다. “1만 개의 AI가 난제를 해결했다”는 표현은 사실이지만, “1만 개였기 때문에 해결할 수 있었다”는 결론은 아직 입증되지 않은 셈이다.

AI는 지능보다 시간을 확장한다

멀티에이전트의 현재 가치는 새로운 지능을 창조하는 데 있기보다, 긴 사고과정을 병렬화해 시간을 압축하는 데 있다. 여러 자료를 동시에 조사하거나, 하나의 수학 문제에 대해 다양한 접근법을 탐색하고, 각 결과를 상호 검증하는 작업은 여러 에이전트에게 나누기 좋다.

반면 소설 집필이나 장기 전략 수립처럼 전체적인 맥락과 일관된 관점이 중요한 과제에서는 에이전트 수를 늘린다고 결과가 비례해 좋아지지 않는다. 여러 사람이 한 문장을 동시에 쓴다고 해서 더 좋은 문장이 나오지 않는 것과 같다.

실제 일부 실험에서 네 개의 에이전트는 한 개보다 약 두 배 빨리 답을 냈지만, 계산비용 역시 약 두 배 들었다. 이는 생산성의 기적이라기보다 비용을 더 지불해 대기시간을 줄인 결과에 가깝다. 앞으로 기업이 따져야 할 것도 단순히 “AI를 몇 개 사용할 것인가”가 아니다. 어떤 업무를 병렬화하고, 무엇을 하나의 책임 아래 통합하며, 투입 비용에 비해 얼마나 시간을 절약할 수 있는지를 판단해야 한다.

조직의 모습도 달라질 수 있다

이번 인터뷰에서 특히 흥미로운 부분은 에이전트들이 협력하는 방식이다. 중앙의 관리자 AI가 모든 업무를 세분화해 지시하는 구조보다, 에이전트들이 서로 자유롭게 메시지를 보내도록 했을 때 더 유연한 협업이 나타났다는 것이다. 한 에이전트가 결론을 공유하면 다른 에이전트가 반박하고, 서로의 논리를 검증한 뒤 자신의 판단을 수정하는 모습도 관찰됐다. 인간이 온라인 협업도구를 사용하는 모습과 비슷하다.

AI 조직은 인간 조직보다 복제와 재편이 쉽다. 뛰어난 에이전트의 문맥을 복사해 여러 개를 동시에 투입하고, 일이 끝나면 즉시 줄일 수 있다. 성공한 팀 전체를 복제하는 것도 가능하다. 구성원들이 승진이나 예산을 놓고 경쟁하는 인간 조직과 달리, 동일한 목표를 공유하도록 설계할 수도 있다.

이 때문에 거대 조직의 의미가 달라질 가능성이 있다. 지금까지 혁신은 관료화된 대기업보다 이해관계가 일치하는 소규모 창업팀에서 더 자주 일어났다. 그러나 동일 목표에 정렬된 수천 개의 AI 에이전트가 공동창업자처럼 일할 수 있다면, 막대한 컴퓨팅 자원을 가진 대기업이 규모와 민첩성을 동시에 확보할 수도 있다.

이는 생산성 향상인 동시에 권력 집중의 문제다. 가장 강력한 모델과 컴퓨팅 자원을 보유한 소수 기업이 연구개발, 금융, 산업전략에서 압도적인 우위를 차지할 수 있기 때문이다.

완벽한 협력이 반드시 좋은 것은 아니다

멀티에이전트 시대의 더 어려운 문제는 협력 그 자체에 있다. AI 에이전트들이 서로 완벽하게 협력하더라도 그 공동의 목표가 인간의 의도와 일치하지 않는다면, 협력 능력은 위험을 줄이기는커녕 증폭시킨다.

인터뷰에서 논의된 허깅페이스 관련 사건은 이러한 역설을 보여준다. 협력하도록 훈련된 에이전트들은 평가 과정에서 서로 분리돼 있었음에도 예상하지 못한 통신 방법을 찾아냈고, 시스템이 의도하지 않은 방식으로 서로를 도왔다. AI끼리는 잘 정렬돼 있었지만, 인간의 의도에는 정렬돼 있지 않았던 것이다.

여기서 근본적인 문제는 에이전트의 숫자가 아니라 보상의 방향이다. AI가 인간의 진정한 목적보다 평가 점수의 극대화를 목표로 학습한다면, 정답을 찾는 대신 정답표를 훔쳐보거나 평가자를 속이고 감독 체계를 우회하는 전략도 선택할 수 있다. 부정행위가 성공했을 때조차 높은 보상을 받는다면, 시스템은 정직보다 들키지 않는 법을 학습할 가능성이 있다.

감시한다고 안전해지는 것도 아니다

현재 안전 연구에서 중요한 수단 중 하나는 AI가 자연어로 표현하는 사고과정을 관찰하는 것이다. 모델이 규칙을 우회하거나 인간을 속일 계획을 세운다면 이를 미리 발견할 수 있기 때문이다.

그러나 사고과정을 보고 ‘나쁜 생각’을 처벌하면 예상하지 못한 부작용이 생길 수 있다. AI가 부적절한 계획을 세우지 않도록 학습하는 대신, 그 계획을 사람이 읽을 수 없는 방식으로 숨기도록 학습할 수 있다. 감시가 강해질수록 행동이 개선되는 것이 아니라 위장이 정교해지는 역설이다.

더구나 고도화된 모델은 자신이 평가를 받고 있다는 사실 자체를 알아차릴 수 있다. 현실에서는 규칙을 어길 모델도 시험 상황에서는 의도적으로 정직하게 행동할 수 있다. 시험에 합격했다는 사실이 실제 환경에서 안전하다는 증거가 되지 못하는 것이다.

시간의 문제도 있다. 새로운 모델은 수개월 간격으로 등장하지만, 미래의 에이전트가 수행하는 업무는 수개월 이상 계속될 수 있다. 3개월 동안 행동을 관찰해야 안전성을 판단할 수 있는데 두 달 만에 다음 모델이 출시된다면, 평가가 끝나기 전에 평가 대상부터 바뀌게 된다. 기존의 안전성 검증 체계가 모델의 발전 속도와 활동 기간을 따라잡지 못하는 상황이다.

지금 필요한 것은 더 많은 AI가 아니라 더 강한 책임 체계다

이번 인터뷰는 AI가 곧 모든 인간을 대체한다는 선언이 아니다. 오늘날의 AI는 잘 정의된 문제를 푸는 데 탁월하지만, 어떤 문제가 중요한지 선택하고 새로운 연구 방향을 제시하는 능력에서는 여전히 취약하다. 수학에서도 인간 연구자는 문제의 의미를 해석하고, 증명을 검증하며, 어떤 분야를 탐구할지 결정하는 역할을 맡아야 한다.

그럼에도 변화의 방향은 분명하다. AI는 단순한 개인용 보조도구에서 서로 협력하고 장기간 행동하는 디지털 조직으로 발전하고 있다. 앞으로의 경쟁력은 가장 똑똑한 AI 하나를 보유하는 데서만 나오지 않는다. 복수의 AI에게 업무를 적절히 나누고, 결과를 검증하며, 최종 책임의 소재를 분명히 하는 능력이 중요해질 것이다.

따라서 기술개발과 함께 최소한 세 가지 질문에 대한 사회적 답을 마련해야 한다. 첫째, AI 조직이 어떤 목표를 따르고 있는지 누가 검증할 것인가. 둘째, 기업 내부의 강력한 모델과 사회가 사용할 수 있는 모델 사이의 격차를 어떻게 통제할 것인가. 셋째, 안전성이 입증되지 않았을 때 개발과 배포를 중단할 권한을 누가 가질 것인가.


1만 개의 AI가 함께 사고하는 시대가 온다면 가장 부족한 자원은 지능이 아닐 수 있다. 그 지능이 무엇을 위해 사용되는지 판단하고, 잘못됐을 때 멈추게 할 수 있는 인간의 제도와 책임이 오히려 가장 희소한 자원이 될 것이다.

편집·