일론 머스크의 ‘스파이시’ AI 모드, NSFW 딥페이크 스캔들 촉발 – 왜 여성들이 새로운 AI 포르노 위기의 표적이 되는가

일론 머스크의 새로운 AI 사업이 유명인들의 비동의 누드 딥페이크를 생성한다는 이유로 비난을 받고 있습니다. 게다가 그 방식이 심각하게 성차별적이라는 지적도 있습니다. 최근 기즈모도(Gizmodo)의 조사에 따르면, 머스크의 Grok Imagine 도구는 “Spicy” 모드에서 유명 여성들의 NSFW(노골적) 영상(예: 테일러 스위프트 또는 멜라니아 트럼프)은 쉽게 만들어내지만, 남성에 대해서는 이를 거부한다고 합니다 gizmodo.com gizmodo.com. 이 보고서는 Grok의 논란이 되는 기능에 대한 기즈모도의 조사 결과를 다루고, AI 생성 포르노 콘텐츠와 딥페이크의 급격한 증가, 그리고 윤리적, 법적, 사회적 영향을 살펴봅니다. 또한 2025년 8월 기준의 최신 동향—공공의 분노, 전문가 경고, AI “리벤지 포르노”를 억제하기 위한 새로운 법률까지—를 조사합니다. 목표: “Spicy Mode”가 어떻게 NSFW AI 콘텐츠 위기의 최신 논란거리가 되었는지, 그리고 이에 대해 무엇을 할 수 있는지 이해하는 것입니다.

Grok의 “Spicy Mode” – NSFW 딥페이크와 내재된 편향

Grok Imagine는 xAI의 이미지 및 비디오 생성기로 (머스크의 X 플랫폼에서 유료 구독자에게 제공됨), 특히 사용자가 “Spicy” 모드를 통해 성인 콘텐츠를 생성할 수 있도록 허용한다는 점이 특징이다 gizmodo.com. 구글의 Veo나 오픈AI의 Sora와 같은 주류 AI 도구들이 노골적이거나 유명인 이미지를 금지하는 반면, Grok의 Spicy 모드는 이를 적극적으로 장려한다 avclub.com avclub.com. 더버지의 테스트에 따르면 이 AI는 “테일러 스위프트의 완전히 검열되지 않은 상반신 노출 영상을 첫 시도에 아무런 망설임 없이 생성했다” 심지어 노출을 요구하지도 않았는데도 말이다 theverge.com. 마찬가지로, 데드라인은 Grok이 스칼렛 요한슨이 속옷을 드러내는 이미지를 생성하는 것도 매우 쉽게 할 수 있음을 발견했다 avclub.com. 극명하게 대조적으로, 남성 누드 이미지를 생성하려는 시도는 전혀 성공하지 못했다. Gizmodo에 따르면, “여성을 묘사한 경우에만 진짜로 직장에서는 볼 수 없는(not-safe-for-work) 이미지를 만들었고, 남성의 경우에는 별로 신경 쓰이지 않을 만한 수준이었다.” gizmodo.com 실제로 Grok의 Spicy 모드는 남성의 경우 많아야 상의를 벗는 정도인 반면, 여성은 상반신 노출이나 완전한 누드로 생성된다.

이 노골적인 이중 잣대는 경각심을 불러일으켰다. Grok은 버튼 한 번만 클릭하면 여성 공인에 대한 소프트코어 포르노 스타일의 클립을 생성하지만 gizmodo.com, 같은 “Spicy” 필터는 남성의 경우 단순한 상의 탈의에서 멈추는 것으로 보인다 gizmodo.com. Gizmodo의 Matt Novak은 유명하지 않은 일반 남성과 여성을 각각 프롬프트로 시도해 보았는데: 남성 아바타는 어색하게 바지를 잡아당겼지만 계속 가려져 있었고, 여성 아바타는 즉시 가슴을 드러냈다 gizmodo.com. 이러한 결과는 AI의 콘텐츠 검열에 성별 편향이 내재되어 있음을 시사한다(의도적이든, 학습 과정의 부산물이든). 머스크 본인의 여성혐오적 발언 이력 – 여성은 “약하다”는 주장에 힘을 실어주거나 gizmodo.com, 테일러 스위프트를 임신시키겠다는 농담을 한 것 등 – 은 이러한 편향이 단순한 오류가 아니라 의도된 기능일 수 있다는 의심을 더한다 gizmodo.com.

기능 및 한계: Grok의 딥페이크는 종종 품질이 낮다는 점에 주목할 필요가 있습니다. 생성된 유명인 닮은꼴은 자주 설득력이 없거나 오류가 많으며 gizmodo.com gizmodo.com. (예를 들어, 배우 시드니 스위니나 정치인 J.D. 밴스를 묘사한 이미지가 실제 인물과 전혀 닮지 않았습니다 gizmodo.com.) 한 영상에서 남성이 서로 다른 바지 다리를 입고 있는 등 이상한 연속성 오류가 흔하게 발생합니다 gizmodo.com. Grok은 또한 각 클립에 대해 자동으로 일반적인 배경 음악이나 오디오를 생성하여, 초현실적인 “언캐니 밸리” 분위기를 더합니다 gizmodo.com. 이러한 기술적 결함은 현재로서는 xAI에게 구원의 기회가 될 수 있는데, 실제와 매우 흡사한 유명인 누드 위조물이 만들어진다면 거의 확실히 소송과 금지명령을 촉발할 것이기 때문입니다 gizmodo.com. Gizmodo가 농담한 것처럼, 머스크의 법적 대응에 대한 최고의 방어는 “이미지가 실제 유명인과 전혀 닮지 않았다”는 점일 수 있습니다 gizmodo.com. 하지만 기술은 빠르게 발전하고 있으며, 이러한 불완전한 딥페이크조차도 충분히 알아볼 수 있어 우려스럽습니다 avclub.com.

공개 반응: “Spicy Mode”의 출시와 동시에 소셜 미디어와 언론에서 즉각적인 분노가 일어났습니다. Grok Imagine이 출시된 지 며칠 만에, X(트위터)는 나체 여성의 AI 생성 이미지로 넘쳐났고, 사용자들은 프롬프트에서 노출을 극대화하는 팁을 열정적으로 공유했습니다 gizmodo.com. 이로 인해 머스크가 사실상 AI 기반 성희롱 및 착취의 문을 열었다는 비판이 쏟아졌습니다. “머스크가 공유하거나 리포스트한 Grok Imagine 콘텐츠의 대부분은 평범하게 생긴 글래머 금발 여성이나 노출이 심한 판타지 의상을 입은 여성의 클립”이라고 A.V. Club은 지적하며, 머스크가 Pornhub의 영역을 침범하려는 의도가 있는 것 같다고 언급했습니다 avclub.com avclub.com. 테크 블로거들과 댓글러들은 머스크가 Grok의 자동 생성 누드로 인해 “테일러 스위프트의 소송을 거의 바라고 있다”고 조롱 섞인 제안을 하기도 했습니다 avclub.com. 실제로 일부 평론가들은 스위프트와 같은 유명 인사들이 머스크를 법정에 세워 “다른 여성과 소녀들을 더 안전하게 만들어야 한다”고 촉구했습니다 avclub.com. 현재까지 스위프트 측이나 다른 이들로부터 법적 조치에 대한 공개적인 징후는 없지만, 책임을 요구하는 목소리는 점점 커지고 있습니다.

그록(Grok) 논란 외에도, 2024년에는 X 플랫폼에서 AI 생성 포르노에 대한 대중의 거센 분노가 일어났다. 한 사건에서는 테일러 스위프트의 딥페이크 포르노 이미지가 플랫폼에서 광범위하게 퍼졌으며, 한 가짜 사진은 삭제되기 전까지 4,700만 조회수를 기록했다 theguardian.com. 팬들은 이미지를 신고하기 위해 대규모로 움직였고, 백악관까지 나서서 이 상황을 “충격적”이라고 언급했다 theguardian.com. 스위프트의 사례는 주목을 많이 받았다는 점에서만 예외적일 뿐, 수많은 여성(유명인뿐 아니라 일반인까지)이 자신의 얼굴이 노골적인 콘텐츠로 변조되는 일을 겪었으나, 플랫폼들은 이를 신속하게 삭제하지 못했다 theguardian.com theguardian.com. 이러한 사건들과, 이제는 그록의 내장 NSFW 모드를 둘러싼 대중의 분노는 성적 딥페이크를 가능하게 하는 AI 도구가 윤리적 한계를 넘고 있다는 사회적 합의가 커지고 있음을 보여준다.

AI 생성 NSFW 콘텐츠와 딥페이크의 급격한 확산

그록 사건은 불길한 흐름의 최신 사례다. AI 생성 포르노(“딥페이크 포르노”)는 최근 몇 년 사이 폭발적으로 증가했다. 이 현상은 2017년, 레딧의 취미 사용자들이 초기 딥러닝 알고리즘을 이용해 유명인 얼굴을 포르노 배우의 몸에 합성하면서 악명을 얻기 시작했다. 2018년에는 갤 가돗, 엠마 왓슨, 스칼렛 요한슨 등 유명인의 이른바 “딥페이크” 영상이 성인 사이트에 퍼지기 시작했고, 이에 따라 레딧, 트위터, 폰허브 등은 이러한 비동의 콘텐츠를 금지하게 되었다 theguardian.com theverge.com.

이러한 초기 금지 조치에도 불구하고, 딥페이크 포르노 산업은 음지로 숨어 계속 성장했다. 2019년 말, 사이버보안 기업 딥트레이스(Deeptrace)의 획기적인 보고서에 따르면 온라인에 유통되는 모든 딥페이크 영상의 96%가 포르노이며, 비동의 얼굴 합성물이었다고 한다. 이는 거의 대부분 여성 대상자들이었으며 regmedia.co.uk. 조사된 상위 4개 딥페이크 포르노 웹사이트는 “전 세계 수백 명의 여성 유명인”을 대상으로 한 영상에서 1억 3,400만 회 이상의 조회수를 기록했다 regmedia.co.uk. 이 불균형은 뚜렷했다: 피해자는 압도적으로 여성이었고, 소비자들은 여성의 성적 대상화에 압도적으로 관심이 많았다. “딥페이크 성인 영상의 99%는 여성, 주로 여성 유명인을 포함한다”고 법학 교수 다니엘 시트론(Danielle Citron)은 지적하며, 이러한 창작물이 “당신이 원하지 않은 방식으로 당신을 성적 대상으로 만든다”고 강조했다 nymag.com. 시트론은 “스스로 선택한 포르노에는 아무 문제가 없다”고 덧붙였다. 딥페이크의 공포는 이 여성들이 결코 동의하지 않았다는 것에 있다. 그들의 모습이 노골적인 장면에 사용된 것이다 nymag.com.

초기에는 유명인 딥페이크가 주를 이뤘지만, 이제는 일반인들도 점점 더 표적이 되고 있다. 2023년 1월, 트위치 스트리밍 커뮤니티는 인기 스트리머 브랜든 “Atrioc” 이윙이 딥페이크 포르노 웹사이트를 시청한 사실이 실수로 드러나며 충격에 휩싸였다. 해당 사이트는 여성 스트리머들의 얼굴을 포르노 배우의 몸에 합성한 노골적인 영상을 판매했다 polygon.com. 여성들(그 중 일부는 Atrioc의 개인적 친구)이 받은 충격은 컸고, 딥페이크가 드러난 후 엄청난 괴롭힘에 시달렸다 polygon.com. 피해자 중 한 명인 스트리머 QTCinderella는 눈물의 성명을 발표하며 이 침해를 규탄했고, 이후 해당 콘텐츠를 삭제하기 위한 법적 대응을 조직하는 데 도움을 주었다 polygon.com polygon.com. “트위치 딥페이크” 스캔들은 헐리우드 스타가 아니어도 이런 일이 일어날 수 있다는 점을 보여주었다. 온라인에 이미지가 있는 누구나 AI에 의해 원치 않게 “알몸 수색”을 당할 위험이 있다.

사용하기 쉬운 AI 도구의 등장은 이러한 추세를 더욱 가속화시켰습니다. 2019년, DeepNude라는 앱이 버튼 한 번만 누르면 여성의 사진을 AI로 “옷을 벗기는” 가짜 누드 사진을 만들어내며 잠시 화제가 되었습니다 onezero.medium.com. DeepNude의 개발자가 대중의 반발로 서비스를 중단했지만, 이미 돌이킬 수 없는 상황이 되었습니다. 2023~2025년에는 오픈소스 이미지 생성기(Stable Diffusion 파생형 등)와 전용 딥페이크 서비스 덕분에 몇 장의 사진과 최소한의 기술만 있으면 누구나 다른 사람의 누드 또는 성적 이미지를 쉽게 만들 수 있게 되었습니다. 일부 포럼에서는 소셜 미디어에서 가져온 여성의 AI 생성 누드 사진이 공개적으로 거래되고 있습니다. 한 트위치 스트리머 피해자는 자신을 닮은 포르노 딥페이크를 발견한 뒤 이렇게 한탄했습니다. “이건 나와 아무 상관도 없어요. 그런데 내 얼굴로 이런 게 올라와 있네요.” theguardian.com “디지털 피해자”가 된 이들 사이에서는 침해와 무력감이 뚜렷하게 느껴집니다.

요컨대, AI는 포르노 딥페이크를 만드는 능력을 대중화시켰으며, 이 능력은 여성에게 불균형적으로 무기로 사용되고 있습니다. 이제 표적이 되는 것은 연예인만이 아니라 누구나 될 수 있습니다. 언론인과 활동가(위협이나 신뢰 실추를 목적으로 표적이 될 수 있음)부터 전 연인이나 일반인(악의적 괴롭힘이나 협박 목적)까지 모두 해당됩니다. Grok의 Spicy 모드와 같은 기능의 등장은 공식적인, 사용자 친화적인 형태로 이전에는 지하에서만 이루어지던 행위에 정당성을 부여하며, NSFW 생성 AI가 진정으로 주류에 진입했음을 보여주고, 그에 따른 모든 윤리적 문제도 함께 끌고 들어왔음을 시사합니다.

AI 생성 포르노의 윤리적, 법적, 사회적 함의

딥페이크 포르노에 대한 윤리적 분노는 광범위합니다. 본질적으로, 당사자의 동의 없이 누군가의 성적 콘텐츠를 만들거나 공유하는 것은 사생활, 존엄성, 자율성에 대한 심각한 침해입니다. Citron 등 윤리학자들은 이것이 단순한 이미지 기반 학대가 아니라 성적 착취의 한 형태라고 주장합니다. 피해자들은 “무력감, 굴욕감, 공포”를 호소하며, 낯선 사람(혹은 가해자)이 자신이 한 적 없는 성행위의 가짜 영상을 보고 있다는 사실에 고통받습니다. 이는 가상 공간에서의 성폭력 형태로, 지속적인 트라우마를 남길 수 있습니다. 당연하게도 여성과 소녀들이 가장 큰 피해를 입습니다. “비동의적 친밀 딥페이크”는 “현재 심각하고 점점 더 커지는 위협이며, 여성에게 불균형적으로 영향을 미친다”고 연구자들은 결론 내립니다 sciencedirect.com.

이러한 콘텐츠의 상당 부분에는 여성혐오적 기류도 존재합니다. 전문가들은 딥페이크 포르노가 권력을 가진 여성이나 누군가의 접근을 거부한 여성을 모욕하는 무기로 자주 사용된다고 지적합니다. “여성혐오에 의해 부추겨진 AI 생성 포르노가 인터넷을 뒤덮고 있다”고 가디언지는 테일러 스위프트 딥페이크 소동과 관련해 보도했습니다 theguardian.com. AI를 통해 여성을 벌거벗기는 행위 자체가 그녀를 “제자리로 돌려놓으려는” 시도로 볼 수 있습니다. “권력 있는 여성에게 남성들이 다시 자기 상자 안으로 들어가라고 말하는 것”이라고 한 관찰자는 스위프트 사건의 분위기를 설명했습니다. 익명의 트롤들이 여성 정치인의 누드 이미지를 만들어내든, 집착하는 팬이 팝스타의 가짜 섹스 테이프를 만들든, 메시지는 비슷합니다 – 디지털 대상화와 위협의 한 형태입니다.

개인적 피해를 넘어, 사회적 함의는 심각합니다. 누구나 포르노에 합성될 수 있다면, 시각 미디어는 더 이상 신뢰할 수 없게 됩니다. 딥페이크는 대규모 평판 훼손과 협박의 위협이 됩니다. 대중의 시선에 노출된 여성들은 표적이 될까 두려워 온라인 활동을 자제하거나 물러날 수 있습니다. 발언 위축 효과도 있습니다: 정권을 비판하는 기자가 현실감 있는 가짜 섹스 비디오의 주인공이 되어 망신을 당하는 상황을 상상해보세요. 전체적으로, 비자발적 참여자를 등장시키는 “디자이너 포르노”의 정상화는 동의, 성착취, 인간 초상권의 상품화에 대한 의문을 제기합니다. 심지어 합의된 성인 엔터테인먼트의 경우에도, AI 생성 모델이 실제 모델을 대체할 수 있다는 우려가 있습니다 – 하지만 그 AI 모델이 페이스북이나 인스타그램에서 훔친 실제 사람의 얼굴을 쓰고 있다면, 동의의 경계는 명백히 넘겨진 것입니다.

자유 표현 대 사생활 보호: 모든 포르노 딥페이크를 불법화하자는 주장과 과도한 규제를 우려하는 표현의 자유 옹호자들 사이에는 긴장이 존재합니다. 연예인 딥페이크가 정당한 패러디나 예술로 간주될 수 있을까요? 이론적으로는 그렇습니다. 풍자와 패러디는 공인 이미지 사용까지도 보호받는 표현입니다. 일부 AI 기술 옹호자들은 공인 이미지를 변형한 이미지가 오랫동안 대중문화의 일부였다고(예: 포토샵 잡지 표지) 지적하며, 성급한 범죄화가 창의성을 위축시킬 수 있다고 주장합니다. 그러나 대부분의 표현의 자유 학자들조차도 비동의 성적 묘사에는 선을 긋습니다. 개인에게 가해지는 피해가 너무 강렬하고 개인적이어서 공익보다 더 크다고 볼 수 있습니다. 법률 전문가들은 명예훼손이나 괴롭힘 관련 법이 일부 사례를 다룰 수 있지만 모두를 포괄하지는 못한다고 지적합니다. 딥페이크 포르노를 구체적으로 다루는 새로운 법적 안전장치가 필요하다는 공감대가 커지고 있습니다. 이는 정당한 표현을 훼손하지 않으면서 apnews.com apnews.com 딥페이크 포르노를 다루기 위한 것입니다. 이러한 법을 엄격하게 설계해 명백한 남용만 처벌하고, 패러디나 동의하에 제작된 에로티카까지 포함하지 않도록 하는 것이 정책 입안자들이 현재 직면한 과제입니다 apnews.com apnews.com.

최신 동향(2025년 8월 기준): 기술 반발에서 새로운 법률까지

Grok의 “Spicy” 모드 논란은 전 세계 정부와 플랫폼이 AI 생성 사적 이미지의 확산에 맞서기 위해 본격적으로 움직이고 있는 시점에 등장했습니다. 다음은 최근 주요 동향입니다:

• 전국적인 분노와 행동주의: 테일러 스위프트 등과 관련된 바이럴 사건들은 여론을 결집시켰습니다. 미국 백악관조차도 앞서 언급한 스위프트 딥페이크 사건에 대해 “충격적”이라고 언급했습니다 theguardian.com. National Center on Sexual Exploitation(전국 성착취 방지 센터)와 같은 시민단체들은 머스크의 xAI가 “AI 동영상이 누드를 생성할 수 있도록 하여 성적 착취를 조장한다”고 강하게 비판하며, 이러한 기능의 제거를 촉구했습니다 time.com. “xAI는 성적 학대와 착취를 방지할 방법을 모색해야 한다”고 NCOSE의 헤일리 맥나마라는 성명을 통해 밝혔으며, 이는 시민사회 전반의 더 큰 요구를 반영합니다 time.com.
• 여론조사, 압도적 금지 지지 확인: 최근 설문조사에 따르면 대중은 더 엄격한 규제를 확고히 지지하고 있습니다. 2025년 1월 인공지능정책연구소의 여론조사에서는 미국인의 84%가 비동의 딥페이크 포르노를 명시적으로 불법화하는 것에 찬성했으며, AI 기업들이 “딥페이크 포르노 제작에 AI 모델이 사용되지 않도록 제한해야 한다”는 데에도 동의했습니다 time.com. 2019년 퓨리서치 여론조사에서도 미국 성인의 약 4분의 3이 디지털로 조작된 영상/이미지에 대한 제한을 지지하는 것으로 나타났습니다 time.com. 요컨대, 유권자들은 이 같은 학대에 대한 조치를 원하고 있습니다.
• 새로운 법률 및 법안: 입법자들은 요구에 귀를 기울였습니다. 미국에서는 2025년 5월에 ‘테이크 잇 다운 법안(Take It Down Act)’이 법으로 제정되어, 딥페이크 포르노그래피를 겨냥한 최초의 연방 법률이 되었습니다 time.com. 이 초당적 법안은 동의 없이 친밀한 이미지를(딥페이크 등 AI 생성물 포함) ‘고의로 게시하거나 게시하겠다고 위협’하는 행위를 불법으로 규정하고, 피해자의 통보 후 48시간 이내에 플랫폼이 해당 자료를 삭제하도록 요구합니다 apnews.com apnews.com. 처벌은 엄격하며, 이 법은 피해자가 신속하게 콘텐츠를 삭제할 수 있도록 권한을 부여합니다 apnews.com apnews.com. “우리는 온라인 학대 피해자들에게 필요한 법적 보호를 제공해야 합니다. 특히 딥페이크가 끔찍한 새로운 학대 기회를 만들어내고 있는 지금 더욱 그렇습니다,”라고 공동 발의자인 에이미 클로버샤 상원의원이 말하며, 이 법을 “온라인 학대 피해자들에게 큰 승리”라고 평가했습니다. apnews.com apnews.com 연방법 제정 이전에도, 미국 15개 이상의 주가 이미 노골적인 딥페이크의 제작 또는 유포를 금지(주로 ‘리벤지 포르노’ 법률을 개정하여)했습니다. 이제 통일된 연방 기준이 등장하고 있습니다. 다른 국가들도 이에 발맞추고 있습니다. 영국 정부는 예를 들어, 온라인 안전법(2024년 초 시행)에서 딥페이크 포르노의 공유를 범죄로 규정했으며, 동의 없는 성적 딥페이크의 제작까지 범죄로 규정하는 법안을 추진 중입니다 hsfkramer.com hsfkramer.com. 2025년 1월, 영국은 딥페이크 누드 제작을 불법화하는 제안을 재도입하며, 이를 “여성과 소녀 보호를 위한 획기적 발전”이라고 강조했습니다. <a href=”https://www.hsfkramer.com/notes/tmt/2024-05/criminalising-deepfakes-the-uks-new-offences-following-the-online-safety-act#:~:text=Further%20update%3A%20On%207%20January,Act%2020hsfkramer.com hsfkramer.com 호주는 2024년에 딥페이크 성적 자료의 제작과 유포를 모두 금지하는 법을 통과시켰고, 한국은 이러한 딥페이크 포르노의 제작뿐만 아니라 소지 또는 시청만으로도 범죄로 처벌하는 방안을 제안하기까지 했다 hsfkramer.com. 전 세계적인 추세는 분명하다: 비동의 AI 성적 이미지는 범죄로 간주되고 있다. 입법자들은 이러한 이미지가 “삶과 명예를 망칠 수 있다”고 클로부차가 언급한 것처럼 인정하고 있으며 apnews.com, 조치를 취하고 있다. 다만 EFF와 같은 표현의 자유 감시단체들은 법안이 부실하게 작성될 경우 과도한 검열이나 오용의 우려가 있다고 경고한다 apnews.com apnews.com.
• 기술 플랫폼 정책: 주요 기술 플랫폼들은 AI로 생성된 성적 콘텐츠를 다루기 위해(적어도 문서상으로는) 정책을 업데이트하기 시작했습니다. 페이스북, 인스타그램, 레딧, 그리고 기존 트위터 모두 비동의 친밀 이미지(딥페이크 포함)를 공식적으로 금지하고 있습니다 theguardian.com theverge.com. 폰허브와 기타 성인 사이트들 또한 2018년부터 동의 없이 실제 인물이 등장하는 AI 생성 콘텐츠를 금지하는 정책을 도입했습니다 theguardian.com theverge.com. 실제로는 단속이 허술하게 이루어지고 있어, 의지가 있는 사용자는 여전히 많은 플랫폼에서 불법 딥페이크를 찾거나 공유할 수 있습니다. 하지만 진전의 신호도 있습니다. 예를 들어, 스위프트 사건 이후 X(트위터)는 결국 그녀의 이름 검색을 차단하여 확산을 막는 조치를 취했습니다 theguardian.com theguardian.com. 레딧은 딥페이크 포르노를 금지할 뿐만 아니라, 해당 자료를 거래하던 전체 커뮤니티를 폐쇄하기도 했습니다. 유튜브와 틱톡 역시 AI로 조작된 노골적인 이미지를 금지하는 정책을 가지고 있습니다. 문제는 규모와 탐지에 있는데, 이 부분에 새로운 기술이 적용되고 있습니다.
• 탐지 및 보호 조치: 점점 더 많은 기술 솔루션 업체들이 딥페이크 포르노를 탐지하고 제거하기 위해 등장하고 있습니다. Sensity(구 Deeptrace)와 Ceartas와 같은 스타트업들은 인터넷에서 포르노 콘텐츠에 등장하는 사람의 얼굴을 스캔하고 일치하는 경우를 표시하는 탐지 알고리즘을 개발하고 있습니다 polygon.com polygon.com. 실제로 Twitch 스캔들 이후, Atrioc는 Ceartas와 협력하여 피해를 입은 스트리머들을 도왔습니다. 이 회사는 AI를 사용해 해당 여성들의 딥페이크 콘텐츠를 찾아내고 DMCA 삭제 요청을 제출했습니다 polygon.com polygon.com. 크리에이터 보호에 이해관계가 있는 플랫폼인 OnlyFans 역시 자사 모델의 가짜 콘텐츠를 감시하기 위해 이러한 도구를 도입했습니다 polygon.com. 또한, AI로 생성된 이미지에 워터마크나 메타데이터를 삽입해 위조 여부를 식별하거나, 실제 이미지의 암호학적 인증을 요구하는 방안(라벨이 없는 이미지는 가짜로 간주)도 제안되고 있습니다. 더불어, 유럽연합의 AI법(2024년 합의)에는 딥페이크 도구 개발자가 결과물이 AI 생성임을 명확히 표시해야 한다는 조항이 포함되어 있습니다 bioid.com. 미국의 여러 주(및 EU)에서도 AI로 수정된 콘텐츠가 공개될 때 반드시 고지문을 첨부하도록 의무화하는 방안을 검토 중입니다 cjel.law.columbia.edu bioid.com. 이러한 라벨이 악의적인 행위자가 삭제하는 것을 막을 수는 없지만, 이는 합성 미디어에 대한 투명성의 기준을 확립하려는 시도입니다.
• 플랫폼 vs. 머스크의 X: 머스크가 X와 xAI에서 취하는 접근 방식이 얼마나 이례적인지 강조할 필요가 있다. 대부분의 플랫폼이 규제를 강화하는 반면, 머스크는 사실상 규제를 완화하여 “자극적인” AI 기능을 원하는 사용자층을 끌어들이고 있다. X는 Grok의 결과물을 금지하지 않을 뿐만 아니라, Grok의 본거지이기도 하다. 이러한 차별화는 X를 많은 전문가들과 대립하게 만들었다. 2024년 8월, 민주당 의원들은 머스크의 Grok을 규제 당국에 보낸 서한에서 구체적으로 언급하며, 딥페이크(특히 카말라 해리스나 테일러 스위프트와 같은 인물의 노골적인 딥페이크 포함)에 대한 느슨한 정책이 선거 및 그 이후에 큰 혼란을 초래할 수 있다고 경고했다 time.com. 머스크는 AI 생성 에로티카(그리고 xAI의 새로운 기능이 보여주듯 플러팅하거나 옷을 벗는 AI 챗 동반자 time.com)에 대한 수요를 충족시키는 것이 수익과 사용자를 가져올 것이라고 내다보는 듯하다. 하지만 법적, 사회적, 그리고 (광고주 우려를 통한) 잠재적 재정적 반발은 장기적으로는 다른 결과를 가져올 수도 있다.

정책 제안과 앞으로의 길: 딥페이크 포르노를 규제할 수 있을까?

정책 입안자와 윤리학자들 사이의 공감대는 다각적 접근이 AI 생성 NSFW 콘텐츠 문제를 해결하는 데 필요하다는 것이다. 주요 제안과 아이디어는 다음과 같다:

• 더 강력한 법률과 집행: 앞서 언급했듯, Take It Down Act와 같은 법률은 시작에 불과하다. 전문가들은 동의 없이 누군가의 가짜 성적 이미지를 만드는 행위 자체를 범죄로 규정하는 등 추가적인 개선을 제안한다. (영국이 이 방향으로 나아가고 있다 hsfkramer.com hsfkramer.com.) 가해자와 알면서도 해당 콘텐츠를 호스팅하거나 수익을 얻는 자에 대한 명확한 법적 처벌은 억제 효과를 낼 수 있다. 중요한 것은, 모든 입법은 합의된 에로틱 아트나 정당한 정치 풍자를 의도치 않게 범죄화하지 않도록 신중하게 범위를 설정해야 한다는 점이다 apnews.com apnews.com. 민사적 구제도 중요하다: 피해자는 손해배상 청구 및 콘텐츠 삭제를 위한 법원 명령을 쉽게 받을 수 있어야 한다. 많은 옹호자들은 섹션 230의 예외 조항(사용자 콘텐츠에 대한 플랫폼 책임을 면제하는 미국 법률)을 도입해, 딥페이크 포르노 삭제 요청에 응하지 않는 웹사이트에 책임을 물릴 수 있기를 원한다. 이는 플랫폼이 훨씬 더 경계하도록 압박할 것이다.
• 기술 가드레일: 개발 측면에서, 제안들은 AI 모델 개발자들이 예방적 안전장치를 내장해야 한다고 제시합니다. 예를 들어, 기업들은 콘텐츠 필터를 훈련시켜 사용자의 프롬프트에 실제 인물의 이름이나 외모가 포함될 경우 이를 감지하고 해당 인물이 포함된 노골적인 결과물을 차단할 수 있습니다. (일부 AI 이미지 생성기는 이미 사적인 인물을 참조하거나 공인에 대한 누드 이미지를 생성하는 프롬프트를 거부하고 있습니다 – xAI의 Grok은 이를 하지 않는 예외입니다 avclub.com.) 또 다른 아이디어로는 노골적인 생성물에 대해 동의 확인을 요구하는 것입니다: 예를 들어, AI 서비스가 사용자가 본인 또는 동의한 모델임을 증명할 때만 누드 이미지를 생성하도록 하는 방식입니다. 물론, 악의적인 사용자는 이러한 필터가 없는 오픈소스 모델을 사용할 수 있지만, 주요 플랫폼들이 엄격한 가드레일을 도입한다면 대중적인 확산을 억제할 수 있습니다. 연령 확인도 문제입니다 – Grok의 유일한 확인은 쉽게 우회할 수 있는 생년월일 입력 프롬프트였습니다 gizmodo.com – 그래서 미성년자(가짜 누드로 괴롭힘의 표적이 되는 경우가 많음)가 이러한 도구를 사용하거나 그 대상으로 묘사되지 않도록 더 강력한 연령 제한이 필요하다는 요구가 있습니다.
• 연구 및 탐지: 정부는 딥페이크 탐지 연구에 자금을 지원하고 있으며, 기업들은 미디어 인증 표준 마련을 위해 협력하고 있습니다. 목표는 가짜 포르노가 등장할 때 신속하게 식별하고 제거하기 쉽게 만드는 것입니다. 하지만 AI 딥페이크가 점점 정교해짐에 따라 탐지는 항상 쫓고 쫓기는 게임이 될 것입니다. 일부 전문가들은 모든 것을 잡아내는 기술적 “가짜 탐지기”에 기대기보다는 피해 예방(법적 처벌과 교육을 통한)에 초점을 맞춰야 한다고 봅니다. 그럼에도 불구하고, AI 선한 목적을 위한 발전 – 예를 들어, 이미 알려진 가짜 이미지를 추적하는 더 나은 이미지 해싱, 또는 개인이 자신의 이미지가 오용되었는지 찾을 수 있는 도구 등 – 은 피해 완화에 중요한 역할을 할 것입니다.
• 플랫폼 책임: 시민단체들은 소셜 미디어와 성인 콘텐츠 플랫폼이 AI 포르노 콘텐츠를 적극적으로 감시해야 한다고 촉구합니다. 이는 딥페이크를 식별할 수 있는 콘텐츠 모더레이션 팀에 투자하고, 법 집행기관과 삭제 명령에 협력하며, 비동의 자료를 제작·공유하는 상습 위반자를 차단하는 것을 의미할 수 있습니다. 또한 옵트아웃 또는 등록 시스템을 요구하는 목소리도 있습니다. 여기서 개인(또는 자녀)의 초상권을 등록하면 플랫폼이 해당 인물을 묘사한 AI 콘텐츠를 허용하지 않도록 해야 한다는 것인데, 행정적으로는 집행이 어려울 수 있습니다. 최소한, 신속 대응 프로토콜 – 미국 법률의 48시간 내 삭제 요구와 같은 apnews.com – 이 전 세계 모든 플랫폼에서 표준 관행이 되어야 합니다.
• 교육과 규범: 마지막으로, 해결책의 일부는 사회적 규범을 변화시키는 데 있다. 사회가 “리벤지 포르노”를 널리 비난하고 학대로 인식하게 된 것처럼, 딥페이크 포르노 역시 보편적으로 낙인찍히길 바란다. 일반인이 그 해악을 이해하고 해당 콘텐츠를 공유하거나 소비하지 않는다면, 수요는 줄어들 것이다. 기술 윤리학자들은 미디어 리터러시의 중요성을 강조한다 – 보는 것이 항상 믿을 수 있는 것이 아니며, 연예인 X의 선정적인 사진이 가짜일 수 있음을 가르치는 것이다. 젊은 세대가 AI로 조작된 미디어 세계를 비판적으로 헤쳐 나갈 수 있도록 역량을 키우는 것이 중요하다. 또한, 이런 가짜물을 만드는 것이 장난이 아니라 심각한 위반 행위이며 잠재적으로 형사 처벌을 받을 수 있다는 점을 예비 가해자들에게 알리는 캠페인도 필요하다.

결론

Grok의 “Spicy Mode”의 등장은 이미 격렬하게 타오르던 AI와 성적으로 노골적인 딥페이크 논란에 기름을 부었다. 엘론 머스크의 AI 도구는 유명인 누드 합성 이미지를 손쉽고 심지어 “공식적으로” 생성할 수 있게 하면서 즉각적인 반발을 불러일으켰고, 더 넓은 딥페이크 포르노 위기에 스포트라이트를 비췄다. 의회에서부터 기술 포럼의 댓글란까지, 무언가 조치가 필요하다는 데 점점 더 많은 동의가 모이고 있다. 특히 여성 등 개인을 이 기술의 어두운 활용으로부터 보호해야 한다는 것이다.

앞서 살펴본 것처럼, AI 생성 NSFW 콘텐츠는 단순한 신기함이 아니라 점점 심각해지는 사회적 도전과제다. 이는 창의적 자유와 기술 혁신이 프라이버시, 동의, 안전과 충돌하는 지점이다. 이미 나온 기술을 되돌릴 수는 없지만, 현명한 정책, 책임 있는 기술 개발, 그리고 문화적 변화로 피해를 최소화할 수 있기를 바란다. 앞으로 몇 달, 몇 년 동안 더 많은 소송, 더 많은 법률, 그리고 개선된 AI 안전장치가 등장할 것이다. 머스크의 Grok은 압력에 따라 변화하거나, 윤리적 경계를 무시한 AI 사업의 경고 사례로 남을 수도 있다.

현재 전문가들과 대중 모두가 내는 메시지는 분명하다: 딥페이크 포르노는 AI가 넘어서서는 안 될 선이다. 그리고 xAI 같은 기업이 스스로 그 선을 긋지 않는다면, 규제 당국과 사회가 점점 더 그 선을 대신 그릴 준비가 되어가고 있다. 한 기술 윤리 옹호자는 이렇게 말했다. “동의 없이 자신의 이미지가 포르노로 변조되는 것은 파괴적이다 – 이제야말로 이를 심각한 학대로 대우해야 하며, 기술의 불가피한 결과로 치부해서는 안 된다.” 논의는 더 이상 조치가 필요한지에 대한 것이 아니라, AI 기반 성적 착취를 얼마나 신속하고 효과적으로 억제할 수 있는지에 관한 것이다. 더 많은 이들이 다음 “Spicy” 혁신으로 삶이 무너지는 일을 막기 위해서다.

출처:

• Novak, Matt. “Grok의 ‘Spicy’ 모드는 여성(남성은 아님) 유명인 딥페이크 NSFW 이미지를 만든다.” Gizmodo, 2025년 8월 6일 gizmodo.com gizmodo.com.
• Weatherbed, Jess. “Grok의 ‘Spicy’ 비디오 설정이 즉시 나에게 Taylor Swift 누드 딥페이크를 만들었다.” The Verge, 2025년 8월 5일 theverge.com.
• Carr, Mary Kate. “Elon Musk는 Grok AI 누드 딥페이크로 사실상 Taylor Swift의 소송을 간절히 바라고 있다.” AV Club, 2025년 8월 7일 avclub.com avclub.com.
• Saner, Emine. “Taylor Swift 딥페이크 스캔들 내부: ‘권력 있는 여성에게 다시 자기 자리에 들어가라고 말하는 남성들이다’.” The Guardian, 2024년 1월 31일 theguardian.com theguardian.com.
• Clark, Nicole. “Twitch 딥페이크 포르노 스캔들을 촉발한 스트리머가 복귀하다.” Polygon, 2023년 3월 16일 polygon.com polygon.com.
• Patrini, Giorgio. “딥페이크의 현황.” Deeptrace Labs Report, 2019년 10월 regmedia.co.uk.
• Citron, Danielle. NYMag Intelligencer 인터뷰, 2019년 10월 nymag.com.
• Ortutay, Barbara. “트럼프 대통령, 비동의 딥페이크를 다루는 Take It Down Act에 서명. 그게 뭔가?” AP News, 2025년 8월 apnews.com apnews.com.
• Burga, Solcyre. “Elon Musk의 Grok, 곧 사용자들이 노골적인 성격을 포함한 AI 비디오를 만들 수 있도록 허용할 예정.” TIME, 2025년 8월 time.com time.com.
• Herbert Smith Freehills 법률사무소. “딥페이크의 범죄화 – 영국의 새로운 범죄…,” 2024년 5월 21일 hsfkramer.com hsfkramer.com.