AI 공포 마케팅 (공포 서사, 거짓 양성률, 투명한 규제)

솔직히 저는 한동안 AI 기업들의 경고를 꽤 진지하게 받아들였습니다. "너무 강력해서 공개할 수 없다"는 말을 들으면 괜히 긴장되고, 뭔가 거대한 변화가 닥쳐올 것 같은 기분이 들었으니까요. 그런데 어느 순간 이런 생각이 들었습니다. 이 공포가 반복되는데, 왜 세상은 멀쩡한 거지? 그때부터 저는 AI 기업들의 발표를 조금 다른 눈으로 보기 시작했습니다.

 

AI 공포 서사, 언제부터 시작됐나

앤트로픽이 최신 모델 '클로드 미토스(Claude Mythos)'를 발표하면서 내세운 논리는 간단합니다. 이 AI가 사이버 보안 취약점 탐지 능력에서 인간 전문가를 압도하기 때문에, 잘못된 손에 들어가면 경제·공공 안전·국가 안보에 치명적 위협이 될 수 있다는 것입니다. 그래서 일단 꽁꽁 숨겨두겠다고 합니다.

일반적으로 이런 발표를 들으면 "역시 AI는 위험하구나"라고 느끼는 분들이 많은데, 저는 이 패턴이 낯설지 않다는 느낌이 먼저 들었습니다. 2019년 오픈AI도 GPT-2를 발표할 때 똑같이 "악용 우려로 공개 불가"라고 했습니다. 그리고 몇 달 뒤 조용히 공개했고, 나중에 CEO 샘 알트만 본인도 "그 공포는 과도했다"고 인정했습니다.

이런 흐름이 반복되는 데에는 이유가 있다고 보는 시각이 있습니다. 영국 에든버러 대학교의 데이터 및 AI 윤리 전문가 샤넌 발로 교수는 기술의 위험성을 초자연적으로 묘사할수록 대중이 무력감을 느끼고, 결국 "우리만 믿어라"는 서사가 형성된다고 지적합니다. 이는 단순한 안전 경고가 아니라 브랜드 포지셔닝에 가까운 전략이라는 분석입니다.

제가 직접 AI를 써보면서도 비슷한 감정을 느꼈습니다. 문서 정리나 번역처럼 실용적인 기능을 쓸 때는 "이거 진짜 편하다"는 생각이 드는데, 새로운 모델이 발표될 때마다 터져 나오는 종말론적 수사를 보면 뭔가 어긋나는 느낌이 납니다. 실제 사용자 경험과 기업이 만들어내는 공포 서사 사이의 온도 차이가 너무 크기 때문입니다.

거짓 양성률 논란, 숫자 없는 주장의 허점

앤트로픽은 클로드 미토스가 이미 수천 개의 고위험 취약점을 발견했고, 40개 이상의 기업 및 단체와 파트너십을 맺어 피해를 막고 있다고 밝혔습니다. 얼핏 들으면 꽤 인상적인 성과처럼 보입니다. 그런데 저는 이 대목에서 멈칫했습니다. 중요한 숫자가 빠져 있었으니까요.

AI 나우 연구소(AI Now Institute)의 수석 AI 과학자 하이디 클라프는 이 주장의 가장 큰 허점으로 거짓 양성률(false positive rate) 데이터의 부재를 꼽았습니다. 거짓 양성률이란 보안 도구가 실제로는 위협이 아닌 것을 오류로 위협이라고 탐지하는 비율을 의미합니다. 쉽게 말해, 경보기가 불이 없는 상황에서 울리는 빈도입니다. 이 수치가 높으면 실제 현장에서는 쓸 수 없는 도구가 됩니다.

클라프는 수십 년간 코드 분석 도구를 직접 구축하고 감사해 온 전문가입니다. 그의 말에 따르면 거짓 양성률은 업계에서 보안 도구 성능을 판단하는 가장 기본적인 표준 지표입니다. 그럼에도 앤트로픽은 이 수치를 공개하지 않았고, 기존 보안 도구와의 비교 측정도 하지 않았습니다.

제 경험상 이건 좀 다릅니다. 실제로 AI 결과물을 쓸 때 저는 항상 한 번 더 확인하는 습관을 유지하고 있습니다. 그 이유는 AI가 자신 있게 틀린 답을 내놓는 경우가 생각보다 많기 때문입니다. 보안 도구에서 이런 일이 생기면 어떻게 될까요. 잘못된 경보 하나가 수백 명의 보안 엔지니어 시간을 낭비하게 만들 수 있습니다.

앤트로픽이 검증 자료를 내놓지 않는 또 다른 이유로, 미토스 운용에 필요한 컴퓨팅 자원을 감당하기 어렵기 때문이라는 시각도 있습니다. 앤트로픽은 이 지적에도 공식 답변을 내놓지 않았습니다. 검증 가능한 수치 없이 "너무 강력하다"는 주장만 반복하는 것은, 솔직히 마케팅과 안전 논의를 구분하기 어렵게 만드는 방식입니다.

AI 기업들의 공포 마케팅이 갖는 주요 문제점을 정리하면 다음과 같습니다.

• 거짓 양성률 등 성능 검증 지표 미공개
• 기존 보안 도구와의 객관적 비교 없음
• 미래 위협을 강조하는 사이 현재 발생하는 환경·노동 문제가 가려짐
• "위험하니 우리만 믿어라"는 서사가 규제 개입 차단으로 이어질 수 있음

공포가 가리는 것들, 그리고 투명한 규제의 필요성

샘 알트만은 팟캐스트에서 앤트로픽의 "공포 기반 마케팅"을 비판했습니다. 하지만 그 역시 오래전부터 "내가 괴물을 만들었다", "AI가 세계의 종말을 초래할 가능성이 높다"는 말을 반복해 왔습니다. 비판자와 피비판자가 사실상 같은 전략을 쓰고 있는 셈입니다.

워싱턴 대학교 에밀리 M. 벤더 교수는 이러한 종말론적 담론이 AI 기업들이 현재 일으키는 실제 문제들을 가리는 기능을 한다고 분석합니다. 가스 동력 데이터 센터가 유발하는 탄소 배출, 의료 현장에서 무분별하게 도입되는 AI 진단 오류, 딥페이크(deepfake)로 인한 피해, 그리고 AI와 인지 능력 저하 사이의 연관성을 경고하는 연구들이 그것입니다. 딥페이크란 인공지능으로 실제처럼 보이는 가짜 영상이나 이미지를 만들어내는 기술로, 현재 피해 사례가 통제하기 어려운 수준으로 늘고 있습니다.

솔직히 이건 예상 밖이었습니다. AI 관련 뉴스를 보면서 저는 막연히 "미래의 위협"에 대한 이야기를 더 많이 접했는데, 정작 오늘 당장 피해를 입고 있는 사람들에 대한 논의는 상대적으로 조용한 경우가 많았습니다. 미국 내 AI 관련 규제 논의에서도 이런 현상이 관찰된다는 보고가 있습니다(출처: AI Now Institute).

규제 측면에서도 비슷한 구조가 반복됩니다. 알트만, 아모데이를 비롯한 수백 명의 IT 리더들은 2023년 "AI로 인한 인류 멸종 위험은 핵전쟁 수준의 글로벌 우선순위가 되어야 한다"는 성명에 서명했습니다. 일론 머스크는 AI 개발 6개월 중단 서한에 서명해 놓고 6개월도 되기 전에 자신의 AI 기업 xAI를 설립했습니다. 발로 교수는 "유토피아와 아포칼립스를 동시에 내세우면 규제나 법적 조치가 개입할 틈이 사라진다"고 말합니다. 규모가 너무 신화적이어서 인간의 법이 끼어들 수 없다는 인식을 만든다는 것입니다.

E-E-A-T(Expertise, Experience, Authoritativeness, Trustworthiness)란 구글이 콘텐츠 품질 평가에 사용하는 기준으로, 전문성·경험·권위·신뢰도를 뜻합니다. AI 기업들의 주장을 평가할 때도 이 기준을 그대로 적용해볼 필요가 있습니다. 전문가들이 요구하는 검증 지표는 있는가, 제3자 감사가 이루어졌는가, 주장을 뒷받침하는 투명한 데이터가 공개되어 있는가 같은 질문들입니다. 유럽연합의 AI법(AI Act)은 고위험 AI 시스템에 대해 독립적인 적합성 평가를 의무화하는 방향으로 설계되었습니다(출처: 유럽의회).

AI가 신이 아니라 기업의 제품이라는 사실은 단순하지만 중요합니다. 인류는 핵무기나 생화학 무기처럼 훨씬 위험한 것들도 국제 협약과 규제로 관리해 온 역사가 있습니다. 통제 불가능한 기술이란 없고, 통제하지 않기로 선택한 기술이 있을 뿐이라는 말이 지금 이 상황에 꽤 정확하게 들어맞는다고 생각합니다.

저는 이 글을 읽으면서 그리고 직접 AI를 쓰면서 느낀 점을 하나로 정리하면 이렇습니다. 공포를 느끼기보다는 질문을 던지는 쪽이 훨씬 유익합니다. "이 기술이 세상을 끝장낼 수 있나요?"가 아니라, "이 기술의 성능 지표는 어디서 확인할 수 있나요?", "지금 당장 발생하는 피해에 대한 책임은 어떻게 지나요?"라고 묻는 것이 더 현실적인 태도라고 봅니다. 공포와 구원의 서사에 압도되지 않고, 검증 가능한 기준으로 AI 기업들을 바라보는 시선이 필요한 시점입니다.

---

참고: https://www.bbc.com/korean/articles/cx21ny86636o