테일러 스위프트 딥페이크 논란, 마이크로소프트의 책임은?

마이크로소프트와 테일러 스위프트 genAI 딥페이크 문제

지난 몇 주 동안 테일러 스위프트는 좋은 의미와 나쁜 의미 모두에서 홍보의 호황을 누렸습니다. 좋은 측면에서는 남자친구인 트래비스 켈스가 슈퍼볼에서 우승한 팀에 속해 있었고, 경기 중 그녀의 리액션이 많은 방송 시간을 차지했습니다. 훨씬 더 나쁜 측면은 최근 인공지능이 만든 가짜 누드 이미지가 인터넷에 범람했다는 점입니다.

예상대로 이러한 이미지의 제작과 유포에 대한 비난이 빠르게 이어졌고, 특히 제너레이티브 AI(genAI) 기업들과 마이크로소프트의 CEO인 사티아 나델라(Satya Nadella)를 비롯한 많은 사람들이 이에 대해 비난을 쏟아냈습니다. 나델라는 이번 사태에 대한 비난과 함께 해결 방안에 대한 자신의 생각을 공유했습니다: “저는 안전한 콘텐츠가 더 많이 생산될 수 있도록 기술 주변에 가드레일을 설치해야 하는 것이 우리의 책임이라고 생각합니다.”

마이크로소프트는 어제 딥페이크 문제에 대해 다시 한 번 언급했습니다(스위프트에 대한 언급은 없었지만). 블로그 게시물에서 Microsoft 부회장 겸 사장인 Brad Smith는 딥페이크의 확산을 비난하고 확산을 제한하기 위한 조치를 취하고 있다고 말했습니다. “안타깝게도 도구는 무기가 될 수도 있으며, 이러한 패턴이 반복되고 있습니다.”라고 그는 썼습니다. “우리는 현재 AI로 생성된 비디오, 오디오, 이미지를 기반으로 한 딥페이크 등 악의적인 행위자들이 이러한 새로운 AI 도구를 악용하는 사례가 급속히 증가하고 있는 것을 목격하고 있습니다. 이러한 추세는 선거, 금융 사기, 비합의적 음란물을 통한 괴롭힘, 차세대 사이버 괴롭힘에 새로운 위협이 되고 있습니다.”

스미스는 마이크로소프트의 “강력하고 포괄적인 접근 방식”을 약속하며 다음과 같이 덧붙였습니다: “Microsoft는 사용자가 이미지나 동영상이 AI가 생성하거나 조작한 것인지 신속하게 판단할 수 있도록 지속적인 혁신에 전념하고 있습니다.”

Microsoft의 견해는 분명 사실이며, 세계에서 가장 크고 영향력 있는 genAI 회사에서 기대할 수 있는 전형적인 다목적, 즉흥적인 대응입니다. 하지만 나델라와 스미스는 회사의 AI 도구가 스위프트 이미지를 만들었다는 증거가 있다는 점을 간과했습니다. 더욱 심각한 것은 한 Microsoft AI 개발자가 적절한 가드레일이 존재하지 않는다고 회사에 미리 경고했지만 Microsoft는 이에 대해 아무런 조치를 취하지 않았다는 점입니다.

마이크로소프트를 상대로 한 소송

딥페이크 제작에 Microsoft 도구가 사용되었다는 증거는 404 Media의 기사에서 나왔는데, 이 기사는 딥페이크가 ‘비합의 포르노’ 제작에 전념하는 텔레그램 커뮤니티에서 시작되었다고 주장하며 포르노 이미지 생성에 Microsoft 디자이너를 사용하도록 권장하고 있습니다. 이 기사에서는 “디자이너는 이론적으로 유명인의 이미지를 생성하는 것을 거부하지만, AI 생성기는 쉽게 속일 수 있으며 404는 프롬프트를 약간만 수정하면 규칙을 위반할 수 있다는 사실을 발견했습니다.”라고 언급하고 있습니다.

더욱 심각한 것은 한 Microsoft AI 엔지니어가 12월에 Microsoft 디자이너의 두뇌인 OpenAI의 이미지 생성기 DALL-E의 안전 가드레일을 우회하여 노골적이고 폭력적인 이미지를 생성할 수 있다고 경고했다고 주장한 것입니다. 그는 Microsoft가 자신의 경고를 무시하고 자신이 발견한 사실을 공개적으로 말하지 못하게 하려고 했다고 주장합니다.

엔지니어인 셰인 존스는 US Sens에 편지를 보냈습니다. 패티 머레이(D-WA), 마리아 캔트웰(D-WA), 아담 스미스(D-WA) 의원, 밥 퍼거슨 워싱턴주 법무장관에게 보낸 편지에서 “[DALL-E] 모델이 유해한 이미지를 생성하고 배포하는 것을 방지하도록 설계된 일부 가드레일을 우회할 수 있는 보안 취약점을 발견했습니다….. 저는 DALL-E 3가 공공 안전에 위험을 초래할 수 있으며 OpenAI가 이 모델과 관련된 위험을 해결할 수 있을 때까지 공공 사용에서 제거해야 한다는 결론에 도달했습니다.”

“DALL-E 3의 취약점과 DALL-E 3를 사용하는 Microsoft Designer와 같은 제품은 사람들이 유해한 이미지를 생성하는 데 AI를 더 쉽게 악용할 수 있게 합니다. Microsoft는 이러한 취약점과 악용 가능성을 인지하고 있었습니다.”

존스는 Microsoft가 조치를 취하지 않았고, 이 문제에 대한 공개 서한을 LinkedIn에 게시한 후 관리자로부터 Microsoft 법무 부서의 요구로 서한을 삭제하라는 지시를 받았다고 주장했습니다.

존스는 편지에서 스위프트의 노골적인 이미지를 언급하며 “이것은 제가 우려했던 남용의 유형을 보여주는 예이며, 제가 OpenAI에 DALL-E 3를 공개 사용에서 제거하도록 촉구하고 Microsoft에 우려를 보고한 이유입니다.”라고 말했습니다.

GeekWire에 따르면, Microsoft는 성명에서 “직원의 신고를 조사한 결과 그가 공유한 기술이 당사의 AI 기반 이미지 생성 솔루션의 안전 필터를 우회하지 않았음을 확인했다”고 밝혔습니다.

이 모든 것은 어느 정도는 정황 증거입니다. 해당 이미지가 Microsoft Designer로 생성된 것인지 확인되지 않았고, Microsoft를 신뢰할지 Jones를 신뢰할지 알 수 없습니다. 하지만 Microsoft가 genAI의 위험성을 경시하거나 무시한 전력이 있다는 것은 알고 있습니다.

지난 5월에 제가 쓴 것처럼, Microsoft는 회사에서 genAI가 윤리적으로 개발되고 있는지 확인하기 위해 30명으로 구성된 팀의 인력을 감축한 후 팀을 완전히 없앴습니다. 인력 감축은 Microsoft의 genAI 챗봇이 출시되기 몇 달 전에 이루어졌고, 팀 제거는 몇 달 후에 이루어졌습니다.

챗봇이 출시되기 전, Microsoft의 AI 부문 부사장인 John Montgomery는 팀원들에게 챗봇이 사라진 이유를 설명했습니다: “[CTO] 케빈 [스콧]과 [CEO] 사티아 [나델라]는 가장 최근의 OpenAI 모델과 그 뒤를 잇는 모델을 매우 빠른 속도로 고객들에게 제공해야 한다는 압박이 매우 컸습니다.”

그는 윤리 팀이 이를 가로막고 있다고 덧붙였습니다.

한 팀원이 AI에는 해결해야 할 중대한 위험이 있다고 말하며 재고해 달라고 요청하자, 몽고메리는 “재고해도 되나요? 그럴 수 없을 것 같습니다. 안타깝게도 압박은 여전하니까요. 당신은 저와 같은 견해를 가지고 있지 않으니 아마 그것에 대해 감사할 수 있을 겁니다. 소시지에는 많은 것들이 갈아져 있거든요.”

팀이 떠난 후 Microsoft는 곧바로 genAI를 도입했습니다. 그리고 회사가 원하던 바를 정확히 달성했습니다. 회사의 주가는 급등했고, AI 덕분에 세계에서 가장 가치 있는 회사, 즉 애플에 이어 두 번째로 3조 달러 이상의 가치를 인정받는 회사가 되었습니다.

<테일러 스위프트 딥페이크 제작에 Microsoft 디자이너가 사용되었는지 여부와 관계없이 Microsoft가 AI의 잠재적 위험성에 대해 말을 바꾸지 않을 것이라고 예상해서는 안 되는 3조 가지 이유가 여기에 있습니다. 특히 미국에서 대통령 선거가 치러지는 내년에는 딥페이크가 쓰나미처럼 밀려올 가능성이 높기 때문입니다.

관련:

프레스턴 그랄라는 Computerworld의 기고 편집자이며 Windows 8 Hacks(O’Reilly, 2012), 인터넷의 작동 원리(Que, 2006) 등 45권 이상의 책을 저술했습니다.

Follow