AI 종말론적 경고 뒤에 숨겨진 ‘수익성 높은 공포’

2000년의 도래는 컴퓨터 버그가 현대 사회의 일상을 마비시킬 수 있다는 예측과 함께 찾아왔습니다. 1999년에서 2000년으로 컴퓨터 시계가 넘어가는 순간 비행기가 추락하고 은행이 금융 기록을 잃어버리며 필수 인프라가 마비될 수 있다는 공포였습니다.

밀레니엄 버그(Y2K) 문제는 실재했고, 철저한 대비 덕분에 심각한 혼란을 막을 수 있었습니다. 동시에 이는 상업적 기회이기도 했습니다. 기업과 정부는 그 파급 효과를 누구도 신뢰성 있게 계산할 수 없었던 위협에 맞서 컴퓨터 교체, 소프트웨어 업데이트, 컨설턴트 고용 등에 막대한 비용을 지출했습니다.

마이크로소프트는 대표적인 수혜 기업 중 하나였습니다. 1998년 12월 31일로 마감된 분기에 마이크로소프트는 전년 동기 대비 75% 증가한 19억 8천만 달러의 순이익을 기록했고, 매출은 38% 증가한 49억 4천만 달러에 달했습니다. 당시 최고재무책임자(CFO)였던 그렉 마페이(Greg Maffei)는 고객들이 구형 컴퓨터를 교체함에 따라 "2000년 문제에 대한 우려로 촉발된 수요 덕분에 매출이 급증했다"고 밝혔습니다.

마이크로소프트가 Y2K를 조작해 낸 것은 아니었습니다. 그것은 대규모 수정 작업이 필요했던 실재하는 날짜 처리 위험이었습니다. 그러나 이 수치는 보다 핵심적인 사실을 보여줍니다. 불확실한 기술적 위협에 대한 대비는 그 해결책을 공급하는 기업들에게 막대한 이익을 가져다줄 수 있다는 점입니다.

4반세기가 지난 지금, 인공지능(AI)은 훨씬 더 큰 규모로 이와 동일한 패턴을 따르고 있을지도 모릅니다.

주요 AI 기업의 경영진과 연구원들은 점점 더 자신들의 제품을 종말론적인 언어로 묘사하고 있습니다. 오픈AI의 샘 알트먼 최고경영자(CEO)는 심각한 위험을 경고하며 가장 강력한 AI 시스템에 대한 면허제 도입을 촉구했습니다. 또 다른 선도적인 AI 개발사인 앤트로픽(Anthropic)은 파멸적인 AI 위험으로부터의 보호를 자사의 대외적 정체성의 중심에 두었습니다.

최근 전 오픈AI 및 앤트로픽 연구원인 제이콥 콕슨(Jacob Coxon)은 이러한 주장을 한 단계 더 밀어붙였습니다. 앤트로픽을 떠난다고 밝히면서, 그는 고도화된 AI를 만드는 사람들이 그것이 “2020년대 말까지 우리 모두를 죽일 수 있다”고 믿고 있다고 주장했습니다. 그는 오픈AI와 앤트로픽이 “우리의 목숨을 담보로 도박을 벌이고 있다”고 비난했습니다. 그의 경고는 소셜 미디어를 통해 퍼져나갔고 연이은 인터뷰로 이어졌습니다.

내부자가 인류에게 경고하기 위해 막대한 가치를 지닌 업계를 떠났다는 점은 사람들의 이목을 끄는 이야기입니다. 하지만 단 하나의 중대한 문제가 있습니다. 콕슨도, 유사한 경고를 홍보하는 기업들도 현재의 AI 시스템이 인류 멸종의 길로 가고 있다는 검증 가능한 증거를 제시하지 못했다는 사실입니다.

AI가 무해하다는 것은 아닙니다. 기존 시스템은 금융 사기, 사이버 공격, 감시 및 선전 선동을 지원할 수 있습니다. 이러한 관찰 가능한 위험들은 안전장치를 정당화하기에 충분합니다.

그러나 AI가 피해를 줄 수 있다는 것과 인류를 절멸시킬 수 있다고 주장하는 것 사이에는 메울 수 없는 거대한 간극이 존재합니다. 후자의 주장이 성립하려면 AI가 거의 모든 분야에서 인간을 능가하고, 실질적인 통제 없이 스스로를 개선하며, 핵심 자원에 접근할 권한을 확보하고, 저지하는 것이 불가능해져야 한다는 증거가 필요합니다.

어떤 실험에서도 AI 시스템이 통제 불가능한 초지능으로 스스로 변모하는 모습은 관찰되지 않았습니다. 현재의 어떤 데이터셋도 2030년, 2035년 혹은 그 어떤 시점에 멸종이 발생할 신뢰할 만한 확률을 계산할 수 있게 해주지 않습니다. 널리 유포되는 10%의 위험 확률이라는 주장은 기껏해야 주관적인 추정치일 뿐, 측정된 확률이 아닙니다. 추측에 숫자를 덧붙인다고 해서 그것이 과학이 되지는 않습니다.

100명이 넘는 전문가들의 기여로 작성된 국제 AI 안전 보고서(International AI Safety Report)는 인류 멸종을 확립된 예측으로 제시하지 않습니다. 대신 연구자들 사이의 깊은 이견과 통제력 상실 가능성을 둘러싼 실질적인 증거의 공백을 강조하고 있습니다. 과학적 합의를 반영하기는커녕, 지구 종말 시나리오는 현재로서는 검증될 수도, 신뢰할 만한 확률을 부여할 수도 없는 논쟁적인 가설에 불과합니다.

그렇다면 대형 AI 기업들은 왜 자사 제품을 잠재적으로 통제 불가능한 존재로 묘사하면서도, 제품 판매를 지속하고 상장(IPO)을 준비하고 있는 것일까요? 한 가지 가능한 답은 이러한 파멸론적 경고가 그들의 상업적 이익에 기여할 수 있다는 점입니다.

실존적 위험이라는 언어는 AI 기업들을 평범한 소프트웨어 기업들보다 우월한 위치에 올려놓습니다. 경영진은 정치적 접근권을 얻고, 그들의 연구는 국가 안보의 문제가 되며, 투자자들은 그들이 역사상 가장 중요한 기술을 지배하고 있다는 믿음을 갖게 됩니다.

또한 공포는 기존 지배 기업에 유리하고 신규 경쟁자의 시장 진입을 가로막는 규제를 정당화하는 강력한 근거를 제공합니다.

2023년 알트먼은 미국 상원에 출석하여 정부가 가장 강력한 AI 시스템에 대한 면허제를 검토하고 이를 감독할 전담 기관을 설립해야 한다고 증언했습니다. 이러한 체제는 안전성을 높일 수도 있지만, 동시에 대기업들만이 쉽게 감당할 수 있는 비용을 부과하게 됩니다.

앤트로픽은 대규모 프론티어 개발자들에게 안전 프레임워크 공개와 중대 사고 보고를 의무화하는 법안인 캘리포니아의 SB 53을 지지했습니다. 이러한 일견 합리적인 조항들은 공인된 '프론티어' 기업들과 그 외 나머지 기업들로 시장을 양분하는 데 기여합니다.

라이선스 취득, 테스트, 규정 준수 보고에는 변호사, 보안 전문가, 컴플라이언스 전담 부서가 필수적입니다. 오픈AI, 앤트로픽, 구글, 마이크로소프트는 이를 감당할 여력이 있습니다. 반면 소규모 스타트업이나 오픈소스 개발자들은 그렇지 못합니다. 따라서 오늘날의 선도 기업들을 중심으로 설계된 규제는 결과적으로 그들의 입지만을 강화할 수 있습니다.

이들이 전달하는 메시지는 놀라울 정도로 편리합니다. AI는 소규모 경쟁자나 대중에게 맡기기에는 너무 위험하지만, 정작 최대 개발사들이 새로운 모델을 출시하고, 자금을 조달하며, 더 강력한 시스템을 구축하기 위해 경쟁하는 것을 멈출 만큼 위험하지는 않다는 것입니다.

연구원들은 파멸이 가능하다고 진심으로 믿고 있을 수 있습니다. 그러나 진정성과 사리사욕은 공존할 수 있습니다. Y2K 업그레이드 사이클로부터 혜택을 입었던 기업들처럼, 오늘날의 AI 선도 기업들도 자신들이 진심으로 품고 있는 두려움으로부터 이익을 얻을 수 있습니다.

AI 기업들은 정부에 위협의 정의를 받아들이고 그에 맞춰 규칙을 제정해 달라고 요구하고 있습니다. 통제할 수 없는 기술이라고 경고하는 기업들이, 역설적으로 누가 그 기술을 개발할 수 있는지에 대한 더 큰 통제권을 쥐게 될 수 있는 것입니다.

콕슨의 경우, 그의 우려가 진심 어린 것일지라도 그의 경고는 업계 선도 기업들이 조장하는 동일한 서사—고도화된 AI는 기술을 만드는 당사자들만이 주로 이해할 수 있는 비상한 위험을 제기한다는 논리—를 강화할 뿐입니다. 의도했든 그렇지 않든, 이러한 서사는 대형 기업들을 해당 기술의 필수불가결한 수호자로 대우해야 한다는 주장을 강화하여 그들에게 경쟁 우위를 제공합니다.

나아가 실존적 위험에 대한 콕슨의 관심은 주요 AI 기업에 입사하기 전부터 시작된 것으로 보입니다. 그는 런던의 합리주의자(rationalist) 커뮤니티에서 활동했으며, 정치 기술 대학을 표방하는 뉴스피크 하우스(Newspeak House)의 펠로우였습니다. 또한 언론 보도에 따르면 그는 페이스북 공동 창업자 더스틴 모스코비츠(Dustin Moskovitz)와 카리 투나(Cari Tuna)가 설립한 재단인 굿 벤처스(Good Ventures)가 지원하는 '장기적 미래(long-term future)' 장학금과도 연계되어 있었습니다. 모스코비츠는 정부 개입을 장려하는 민주당 후보들과 진보적 정치 의제들을 후원하는 대표적인 인물입니다.

이것이 그의 악의를 입증하는 것은 아닙니다. 다만 앤트로픽 내부의 비밀 증거를 접하고 갑작스럽게 전향한 중립적인 엔지니어라는 이미지가 온전한 진실은 아니라는 점을 보여줍니다. 콕슨은 이미 실존적 위험에 깊은 관심을 두고 있었습니다.

그를 '내부고발자'로 부르는 것 역시 용어를 무리하게 확장한 것입니다. 내부고발자는 통상 은폐된 문서, 비위 행위, 또는 실질적인 증거를 공개합니다. 콕슨이 밝힌 것은 주로 자신과 일부 동료들이 일어날 수 있다고 믿는 바에 불과합니다. 업계 내부의 일부가 그러한 신념을 공유하고 있다는 사실이 그 신념의 진실성을 입증해 주는 것은 아닙니다.

이 모든 것이 AI를 규제 없이 방치해야 한다는 뜻은 아닙니다. 규제는 특히 핵심 인프라, 군사 시스템, 생물학 연구 분야 등에서 실증된 역량과 명확히 정의된 위험을 다루어야 합니다.

정부가 결코 해서는 안 되는 일은, 최대 AI 기업들이 존재가 입증되지도 않은 위험을 통제할 수 있는 유일한 기관으로 스스로를 규정하도록 방치하는 것입니다.

Y2K가 남긴 교훈은 기술적 위협이 상상에 불과하다는 것이 아닙니다. 진정한 불확실성 역시 상업적 기회를 창출할 수 있다는 점입니다. 마이크로소프트가 문제 자체를 만들어낸 것은 아니었지만, 문제를 해결하는 데 들어간 막대한 지출로부터 이익을 얻었습니다. 오늘날의 주요 AI 기업들 또한 자사 기술을 둘러싼 공포로부터—더 많은 투자 유치, 정치적 영향력 확대, 그리고 시장 지배력을 보호하는 규제를 통해—유사한 혜택을 누릴 수 있습니다.

따라서 질문은 여전히 유효합니다. 이 기업들은 인류를 보호하고 있는 것일까요, 아니면 누구도 검증할 수 없는 가상의 시나리오를 바탕으로 지배력을 공고히 하고 있는 것일까요? 언젠가 하늘이 무너져 내릴지도 모릅니다. 그러나 현재로서는 우산을 파는 사람들이 일기예보마저 직접 작성하고 있습니다.