생성형 AI가 만드는 딥페이크의 명과 암에 대하여

 

AI가 만든 딥페이크

딥페이크란 AI가 만들어 낸 진짜 같은 가짜 디지털 합성물로 2022년 이후 딥페이크 시도가 급증하는 추세이며 국내도 유사한 상황이 발생하고 있다. 딥페이크는 생산성 증대, 사회혁신, 슈퍼 개인의 탄생 등 다양한 측면에서 활용 가능하다는 장점이 있다. 다만 딥페이크로 인한 기업 사기 등 리스크가 증가하여 이에 대한 대비도 필요하다. 이에 대한 이슈를 검토해보자.

 

딥페이크란

 

딥페이크는 딥러닝(Deep Learning)과 가짜(Fake)의 합성어로 AI를 이용해 원본 이미지나 동영상 등 다양한 디지털 콘텐츠를 원본과는 다른 가공 콘텐츠로 생성하는 기술이다. 딥페이크 용어는 미국 커뮤니티 레딧(Reddit)의 이용자「deepfakes」가 2017년 12월 유명인의 얼굴을 성인물에 합성한 동영상을 처음 유포시킨 데서 유래되었다. 

 

2018년부터 본격적으로 톰 크루즈, 오바마 등 유명 인사를 중심으로 딥페이크 영상이 제작되어 배포되었다. 2018년 4월에 온라인 매체인 Buzzfeed와 Jordan Peele 감독은 딥페이크 기술의 위험성을 경고하기 위해 오바마 미국 전 대통령이 트럼프 대통령을 비판하는 모습이 담긴 딥페이크 영상을 제작하기도 했다.

 

 

전 세계 딥페이크 시도는 2023년에 전년 대비 31배 증가했다. 국내의 경우, 방송통신심의위원회는 딥페이크 기술을 이용해 유포한 성적 허위 영상물 총 4,691건에 대해 시정 요구를 의결했으며(2024.5월), 전년 대비 3,745건 증가하여 400% 폭증했다.

 

생성형 AI로 진화하는 딥페이크

 

생성 AI 혁명의 시작을 알리는 챗GPT 출시 이후, 딥페이크 검색량 급속히 증가하며 진화 중이다. 알파고 대국 후 딥러닝이 주목받으며 딥페이크 검색 양이 증가했고, 이후 생성 AI 혁명 시대에 접어들며 딥페이크가 고도화되고 본격적으로 확산되기 시작했다.

 

 

1. 초거대 AI 모델 발전

초거대 AI 모델의 빠른 발전으로 더욱 진화된 딥페이크 제작이 가능한 여건이 조성되며 관련 시장이 성장했다. 과거의 딥페이크는 GAN(Generative Adversarial Network) 모델 기반으로 활용하였으며 주로 제한된 데이터 셋을 학습하여 특정 도메인에 국한된 콘텐츠를 생성하는 정도였다. 반면, 현재의 딥페이크는 최근 급속히 진화 중인 초거대 AI를 활용하여 더욱 정교하고 진화된 생성이 가능해졌다.

 

 

방대한 데이터를 학습하고 이를 기반으로 추론하는 다양한 초거대 AI가 등장하고 경쟁하며 진화 중이며 2022년 11월, 대표적인 초거대 AI 중 하나인 GPT-3.5 모델을 기반으로 출시한 챗GPT는 지속적인 업데이트를 통해 성능을 높이며 2023년 11월 GPT-4 터보, 2024년 5월 인간처럼 보고 듣고 말하는 GPT-4o를 출시했다.

 

민간(Private) AI 모델과 함께 누구나 사용할 수 있는 오픈소스(Open Source) AI 모델들도 빠르게 확산되고 있다. 초거대 AI를 기반으로 텍스트, 음성, 이미지, 영상, 코딩, 가상인간 등 다양한 디지털 요소를 제작하는 생성 AI 도구들이 배포되면서 딥페이크 제작이 용이해진 것이다. 목소리(Eleven Labs 등), 이미지(Midjourney, Dall E 등), 영상(Runway 등) 생성 도구들이 결합 되어 딥페이크를 쉽게 제작할 수 있는 환경이 조성되었다.

 

 

 

2. 최신 생성형 AI 개발 현황

생성 AI는 누구나 낮은 비용으로 쉽고 빠르게 딥페이크를 제작할 수 있도록 지원한다. 일상에서 사용하는 자연어 기반의 프롬프트(Prompt)로 다양한 디지털 요소를 생성하고 이를 변형하여 활용 가능하다. 생성 AI를 활용하여 얼굴을 바꾸거나, 완전히 새로운 얼굴을 만들거나, 목소리를 복제하는 등 다양한 디지털 합성 작업이 가능한 것이다.

 

특히 AKOOL AI는 간단한 파일 업로드를 통해 얼굴을 바꾸는 기능을 제공한다. AKOOL AI외 Reface, DeepFaceLab, Lensa AI 등 유사한 기능을 지원하는 수많은 애플리케이션(Application)이 배포되어 활용 중이다. 2024년 3월, 챗GPT 개발사 오픈AI는 목소리를 15초만 들려줘도 그대로 모방해 내는 AI 도구를 개발했다. 15초의 목소리만 있으면 이를 모방하여 실제 목소리 소유자가 하지 않은 말을 실제 한 것처럼 재생이 가능하다.

 

 

2024년 4월, 마이크로소프트는 사진과 음성 샘플을 업로드하면 실시간으로 대화하는 얼굴을 생성할 수 있는 새로운 AI 모델 VASA-1을 발표했다.  사진 1장, 음성 샘플로 누구나 딥페이크를 만들 수 있는 기술 기반이 마련된 것이다.

 

2024년 4월, 링크드인 창업자인 리드 호프먼은 생성 AI를 활용하여 자신을 복제한 AI를 만들어 실제 자신과 대화하는 모습을 영상으로 공개했다. 챗GPT에 자신이 저술한 모든 책과 영상 인터뷰 등 다양한 자료를 학습시키고 이를 영상 제작 AI, 음성변조 AI와 결합하여 가짜 리드 호프먼을 제작한 것이다.

 

 

 

딥페이크의 명과 암

 

1. 생산성 증대 활용 가능

영화나 광고 등 엔터테인먼트 산업에서 딥페이크 기술을 활용하면 제작 비용과 시간을 절감 가능하다. 고령이나 사망한 배우 모습을 딥페이크로 재현하거나, 위험 장면을 가상으로 연출 가능하다. 영화 인디아나존스 5에서는 주연배우 해리슨 포드의 젊은 시절 모습이 딥페이크로 재현했으며 국내에서도 JTBC 드라마 <웰컴투 삼달리>에서 고인이 된 국민 MC 송해의 젊은 시절 모습이 딥페이크로 재현한 바 있다.

 

 

개인의 취향과 특성에 맞춘 맞춤형 콘텐츠 제작에도 딥페이크가 활용될 수 있다. 개인의 얼굴을 애니메이션 캐릭터에 합성하거나, 개인의 목소리로 오디오북을 제작하는 등 새로운 경험을 제공할 수 있다. 또한 오픈AI가 개발한 목소리 생성 딥페이크 AI는 목소리에 장애가 있거나, 목소리가 다친 사람들이 유용하게 활용 가능하다.

 

英 기업 Synthesia는 축구 스타 베컴의 말라리아 퇴치 홍보 캠페인 영상을 딥페이크를 활용하여 9개 언어로 제작했다. 새로운 비디오를 촬영하지 않고 기존 자료를 편집하여 개인화된 영상, 제작이 가능하며 제작 비용도 기존의 1/10 수준으로 절감 가능하다.

 

 

2. 생성형 AI 활용하는 슈퍼 개인 등장

2023년 5월 미국 SNS 스냅챗에서 팔로워 180만 명을 보유한 여성 카린 마조리(Caryn Marjorie)는 본인 모습을 AI로 만들어 서비스를 출시했다. 카린 마조리의 목소리, 콘텐츠 등을 2천 시간 이상 학습시켜 AI를 만들고 사용자는 1분에 1달러 요금을 내고 이용 가능하다. 이처럼, 생성 AI를 활용하여 자신의 상상력을 프롬프트로 구현하고 생산성을 높이며 비즈니스 모델을 혁신하는 슈퍼 개인이 등장하고 있다.

 

슈퍼 개인은 텍스트, 음성, 이미지, 영상, 가상공간 등 다양한 디지털 요소(Elements) 들을 자연어로 자유자재로 구현하고 이를 조합할 수 있게 되었고 이를 지원하는 다양한 생성 AI 도구들은 지속 출시되며 진화하는 중이다. 폴란드 영상 편집자가 혼자 개발한 게임이 세계 PC 게임 시장에서 매출 2위를 달성하였으며 생성 AI 도구의 확산으로 개발의 진입장벽이 낮아질 전망이다.

 

 

3. 연예, 정치분야 부작용 존재

딥페이크는 산업적 측면에서 유용하기도 하지만 부작용도 존재하며 최근 연예, 정치 분야에서 피해사례가 속출하고 있다. 2024년 1월, 세계적인 팝스타 테일러 스위프트의 딥페이크 음란 이미지가 SNS 서비스 X에서 유포되었다. X가 뒤늦게 해당 이미지를 차단했지만, 이미 4,700만 회가 조회되고 다른 SNS 플랫폼으로 공유되었다.

 

정치 분야에서도 딥페이크가 기승을 부리고 있는 상황이다. 2023년 5월에 치러진 튀르키예 대선에서는 투표를 앞두고 야당 후보가 테러 집단의 지지를 받는다는 내용의 딥페이크 영상이 유포되었고, 이 조작된 영상이 집권당의 승리에 상당한 영향을 미친 것으로 밝혀졌다. 

 

 

2023년 9월 슬로바키아 총선에서도 투표 이틀 전, 친미 성향의 야당 대표가 소외 계층인 로마족에게 금전적 지원을 해야 한다는 발언이 담긴 음성 파일이 공개되었고 파일이 가짜로 밝혀졌지만, 이미 집권당의 승리에 상당한 영향을 끼친 것으로 나타났다.

 

2024년은 전 세계 76개국에서 선거가 이루어지는 이른바 '슈퍼 선거의 해'로 관련한 이슈가 계속 발생할 우려가 제기되고 있다. 정치적 양극화와 혐오 분위기를 조장하여 허위 정보를 유포하거나, 상대 후보를 비방하는 딥페이크 영상을 제작하는 네거티브 선거 운동이 늘어날 가능성 존재한다.

 

4. 기업과 일반인 피해도 확대

딥페이크를 활용한 기업 사기 사건으로 피해가 발생한 사례도 있다. 2024년 2월, 홍콩의 한 다국적 금융기업의 직원이 딥페이크 기술을 이용한 정교한 사기 수법에 속아 340억 원에 달하는 거액을 도난당한 사건이 발생했다. 해당 직원은 영국 본사의 최고 재무 책임자(CFO)를 사칭한 이메일을 받았으며, 거액의 자금을 이체할 것을 요구받았고 처음에는 의심했지만, 회사 동료들과의 화상 회의에서도 같은 지시를 받자, 의심을 거두고 해당 금액을 송금했다.

 

사기꾼들은 딥페이크 기술을 이용해 CFO뿐만 아니라 화상 회의에 참석한 모든 동료의 모습과 목소리를 완벽하게 모방했고 피해 직원은 일주일 후에야 사기당한 사실을 확인할 수 있었다. 홍콩 경찰은 유사한 시기 적발된 딥페이크 사기 사건이 최소 20건에 이르며 분실 신분증을 도용해 만든 딥페이크 이미지로 수십 건의 은행 대출을 받는 사건도 발생했다.

 

300x250

 

딥페이크를 활용한 투자사기 사례도 생겨 피해가 커지고 있는 상황이다. 국내에서도 2023년 9월부터 유명인을 사칭한 투자 권유 광고가 유튜브, 인스타그램 등 SNS에서 확산된 바 있다. 피해자들은 범죄집단이 제공한 인터넷주소 링크를 통해 카카오톡, 네이버 밴드, 텔레그램 등으로 입장한 후 투자 정보를 받다가 범죄집단이 개설한 계좌에 입금하였고, 6개월간 발생한 피해 금액은 500억 원 규모로 추산된다.

 

워렌 버핏은 2024년 5월, 연례 주주총회에서 AI를 활용해 본인뿐 아니라 유명인의 이미지와 목소리를 복제하는 딥페이크의 위험성을 지적했다. 워렌 버핏은 “AI를 활용해 만든 이미지와 영상이 진짜인지 아닌지 구별하기가 사실상 불가능하다.” 라고 언급하며 AI가 만든 자신의 이미지에 대해“우리 가족도 가짜라고 알아내기 어려웠을 것이며, 나조차도 가짜 나 자신에게 돈을 송금할 것”이라고 설명하기도 했다.

 

생성 AI 시대, 진화하는 딥페이크에 대한 대비 필요

 

딥페이크의 대상 범위도 연예, 정치 분야에서 일반 기업, 투자 등으로 다변화되고 있으며 딥페이크로 인한 기업 사기 등 리스크가 증가하여 이에 대한 대비도 필요해졌다. 가트너(Gartner)는 2026년엔 얼굴 생체 인식 솔루션을 겨냥한 AI 딥페이크 공격으로 인해 기업의 30%가 신원 확인 및 인증 솔루션을 단독으로 신뢰할 수 없게 될 것으로 전망했다.

 

딥페이크의 위험을 줄이고, 올바른 활용을 위해 기술, 사회?제도적 측면에서의 노력이 필요하다. 기술적 측면에서 딥페이크 탐지 기술의 고도화가 요구되는 시점이 된 것이다. 인텔은 페이크 캐처(FakeCatcher)로 알려진 실시간 딥페이크 탐지 기술을 개발했으며 이 기술은 96%의 정확도로 가짜 동영상을 감지할 수 있다. 

 

악용된 딥페이크를 빠르게 판별하여 대처할 수 있는 기술 역량 확보가 필요하며 향후 딥페이크 관련 기술은 창과 방패의 대결 구도로 진행될 가능성이 높아 오용을 줄이기 위한 민관의 선도적 연구개발이 필요하겠다.

 

사회적으로는 AI 리터러시 교육, 딥페이크 피해사례 전파 등을 통해 구성원들이 딥페이크로 인한 위험을 인지하고 대처할 수 있도록 지원할 필요가 있다. AI 교육, 딥페이크 악용 사례 전파를 통해 개인이 스스로 정보를 판단하고 검증하는 능력을 키울 수 있도록 지원해야 한다. 공개적인 토론과 인식 제고 캠페인을 통해 딥페이크 기술의 존재와 영향력에 대한 사회적 이해를 높이는 방안도 필요하다.