TRM Talks: Hany Farid와 함께하는 딥페이크와 인공지능을 이용한 범죄의 부상

Ari Redbord

(00:02): 나는 Ari Redbord 그리고 이것은 TRM Talks.

(00:06): 저는 글로벌 정책 책임자입니다. TRM Labs. TRM에서는 블록체인 인텔리전스 소프트웨어를 제공하여 법 집행 기관의 수사를 지원하고 금융 기관과 가상자산 기업이 신흥 디지털 자산 경제 내에서 금융 범죄 위험을 완화할 수 있도록 돕고 있습니다. TRM에 합류하기 전에는 미국 연방 정부에서 15년 동안 Department of Justice 검사로 일했고, 이후 재무부 공무원으로 일하면서 테러 자금 조달자, 대량살상무기, 확산자, 마약왕, 기타 불량 행위자로부터 금융 시스템을 보호하기 위해 노력했습니다. On TRM Talks에서 저는 더 안전한 금융 시스템을 구축하기 위해 노력하는 가상자산 생태계 전반의 비즈니스 리더, 정책 입안자, 수사관, 친구들과 함께 이야기를나눕니다↪CF_200D↩.

(00:51): 오늘 TRM Talks에서는 AI 딥페이크 전문가이자 UC 버클리의 하니 파리드 교수와 함께 이야기를 나눕니다. 먼저 연구소 내부에서 블록체인 인텔리전스 팀의 데이터 기반 인사이트를 공유합니다.

(01:06): 이번 주 인사이드 더 랩에서는 TRM의 최신 보고서인 '인공지능을 이용한 범죄의 부상'을 통해 인공지능을 이용한 범죄 기업의 진화 위험과 대응에 대해 살펴봅니다.

(01:19): 악의적인 공격자들은 점점 더 AI를 활용하여 해킹과 사기를 저지르고, 딥페이크를 만들어 금품을 갈취하고 잘못된 정보를 제공하며, 대규모로 사이버 공격을 실행하고 있습니다. 이 새로운 보고서는 이러한 위협을 강조하고 AI를 활용하여 이러한 위협을 완화할 수 있는 방법을 살펴봅니다. AI는 딥페이크 기반 사기부터 자동화된 자금 세탁과 피싱에 이르기까지 전통적인 사이버 범죄 수법을 강화하는 데 사용되고 있습니다. 범죄자들은 AI를 악용하여 피싱 캠페인을 자동화하여 더욱 그럴듯하고 확장 가능하게 만들고, 소프트웨어에서 네트워크의 보안 취약점을 식별 및 악용하고, 중요 인프라에 대한 자율 공격을 시작하고, 멀웨어 동작을 실시간으로 조정하여 탐지를 회피합니다.

(02:03): 이러한 새로운 위험에 대처하기 위해 TRM의 블록체인 인텔리전스 및 AI 기반 분석은 AI 파워 탐지 도구를 통합하여 필수적입니다. 블록체인 인텔리전스 통해 수사관들은 의심스러운 거래를 식별하고 불법적인 금융 흐름을 추적하며, 숨겨진 범죄 활동 네트워크를 밝혀내고, 신원을 인증하고, 딥페이크 생성 사기를 탐지하고, 금융 시스템에 대한 대규모 조작을 방지할 수 있습니다. 정부, 금융 기관, 블록체인 인텔리전스 기업은 범죄자들이 공격에 AI를 사용하는 것과 마찬가지로 방어에 AI를 활용하는 탄력적인 시스템을 구축하기 위해 협력해야 합니다.

(02:40): 민관 파트너십은 위협 인텔리전스를 개발하고, 규정을 시행하며, AI가 악용이 아닌 보안을 위한 도구로 남도록 하는 데 중요한 역할을 할 것입니다. TRM의 보고서는 진화하는 위협과 법 집행 기관 및 국가 보안 기관이 AI를 사용하여 불법 행위자를 방해하는 데 도움을 주기 위해 개발 중인 도구에 대한 개요를 제공합니다. 미래는 여기 있습니다. 진화하는 위협 환경을 이해하고 혁신을 활용하는 것은 AI를 이용한 범죄에 앞서 나가기 위해 매우 중요합니다. TRM은 이러한 사명을 위해 최선을 다하고 있습니다. 보고서 전문은 웹사이트 TRMlabs.com에서 'AI 기반 범죄의 부상'을 참조하여 AI 기반 범죄 기업의 진화 위험과 대응 방안을 살펴보세요.

(03:31): 이제 AI 범죄 전문가 하니 파리드입니다. 하니, 오늘 이 대화가 정말 기대됩니다. 시작하기 전에는 저와 똑같은 모습으로 이 자리에 오셔서 딥페이크에 대한 이야기를 시작하셨죠. 오늘 우리가 이야기할 다른 모든 내용을 파헤치기 전에 사람들에게 그 이야기를 들려주세요.

하니 파리드

(03:53): 우선, 제가 마음에 들었던 점과 듣는 분들을 위해 영상을 보러 가세요. 당신과 프로듀서 모두 깜짝 놀랐을 겁니다. 매트릭스의 결함인가 싶을 정도로 조금 이상해서요. 그래서 이렇게 했어요. 엄청나게 쉽습니다. 이제 구글 검색에 이름을 입력하세요. 카메라 앞에 서서 넥타이를 매고 있는 스크린샷을 찾았어요. 그런데 지금 입고 계신 것과 같은 재킷과 셔츠를 입은 것 같아요.

Ari Redbord

(04:17): 아마도요. 파란색 양복에 파란색 줄무늬 셔츠 남자.

하니 파리드

(04:23): 그리고 저는 인터뷰에 참여하지 않은 한 프레임의 동영상에서 여러분의 스크린샷 한 장, 중요한 것은 여러분의 이미지 한 장을 찍었습니다. 그리고 10달러를 주고 구입한 소프트웨어에 그 이미지를 넣었습니다. 이렇게 하면 아바타 딥페이크가 만들어집니다. 제가 컴퓨터 앞에 앉아서 눈썹을 올리고, 눈을 깜박이고, 입을 움직이고, 고개를 움직이면 그 하나의 이미지에 애니메이션이 적용되어 마치 제가 움직이는 것처럼 보이게 하는 것이죠. 물론 목소리는 제 목소리였습니다. 음성 변조를 할 수도 있었지만 하지 않았죠. 다만 이 작업을 준비하는 데 시간이 조금 더 걸렸을 뿐이죠. 그리고 이 모든 것이 실시간으로 생성됩니다. 그런 다음 지금 우리가 이야기하고 있는 내용을 소프트웨어와 그 소프트웨어가 생성하는 출금 가리키기만 하면 됩니다. 이제 초당 30프레임씩 실시간으로 화상 통화를 하면서 다른 사람의 모습과 목소리를 흉내낼 수 있습니다. 그리고 그 차이를 구분하기는 매우 어렵습니다. 몇 가지 단서가 있습니다. 물론 제가 너무 많이 움직이면 약간의 결함이 보일 수 있지만, 1년 후에 다시 만나면 그런 것은 사라지고 우리가 할 수 있는 일들에 놀라게 될 것입니다.

Ari Redbord

(05:31): 네, 오늘 저희 대화 중 하나는 기술적인 관점에서 볼 때 이보다 더 빠르게 발전하는 것은 본 적이 없고, 매일매일 점점 더 좋아지고 있다는 것이었습니다. 음성 부분에 대해 언급하셨는데, 다시 한 번 말씀드리자면 그게 꽤 쉽다는 말씀도 하셨어요. 다시 말해, 저는 줌, 제 이미지, 제 모습, 그리고 제 목소리만 있으면 됩니다. 10초, 20초의 오디오.

하니 파리드

(05:49): 네, 그러니까 몇 년 전에는 8시간이 필요했죠. 인기 있는 팟캐스트 진행자처럼 녹음을 하는 사람이라면 8시간은 거뜬히 해낼 수 있겠죠. 하지만 일반인에게는 불가능합니다. 하지만 지금은 20초, 15초에서 20초 정도의 목소리로 특별히 할 말이 없는 평범한 이야기를 하면 됩니다. 한 달에 5달러를 지불하는 서비스에 업로드할 수 있습니다. Air의 음성 사용 권한이 있다고 표시된 버튼을 클릭하고, 사용 권한이 없더라도 당연히 버튼을 클릭한 다음 입력하면 원하는 것을 합성할 수 있습니다. 비동기식 공격입니다. 하지만 동기식으로도 할 수 있습니다. 즉, 모델을 훈련시킬 수 있습니다. 그렇게 하려면 오디오가 조금 더 필요합니다. 그리고 제가 이 마이크에 대고 말하는 동안 실시간으로 제 목소리를 변조하여 여러분처럼 들리게 합니다. 물론 훨씬 더 대화형입니다.

Ari Redbord

(06:37): 몇 초 더 걸렸다는 이유만으로 음성 없이 방금 전에 하던 일을 그대로 하는 것이지만 ... .

하니 파리드

(06:42): 정답입니다.

Ari Redbord

(06:43): 네, 그 점이 정말 신기했어요. 사람들은 이 장면을 동영상으로만 보게 되겠지만, 이것은 동영상이 아니라 화면에서 실시간으로 일어나는 일이었습니다.

하니 파리드

(06:49): 통화를 연결했습니다. 이건 무대가 아니었어요. 통화를 연결하고 당신과 이야기를 나누고 있었어요.

Ari Redbord

(06:53): 네, 조금 전에 여기 같이 있던 웨슬리를 놀라게 하셨죠? 네, 네, 완전 난리였어요.

하니 파리드

(06:59): 제 일은 여기서 끝났습니다.

Ari Redbord

(07:00): 우리는 한 번도 TRM Talks 이렇게 빨리 진행된 적이 없습니다. 잠시 뒤로 물러나겠습니다. 오늘 이 대화를 하게 되어 정말 기대가 됩니다. 이 여정에 대해 조금만 이야기해 주세요. 어떻게 이 분야에 집중하게 되었나요?

하니 파리드

(07:14): 네, 저는 25년 이상 학자로 일해 왔고, 동부 다트머스 대학에서 20년, 그리고 최근에는 이곳 UC 버클리에서 근무하고 있습니다. 또한 말씀하신 대로 조작된 미디어 탐지 분야를 연구하는 겟 리얼 랩스의 공동 창립자이기도 합니다. 저는 디지털이 아무것도 없던 2000년대 초반에 이 일을 시작했습니다. 인터넷도 아무것도 없었고 AI도 아무것도 아니었죠. 제가 특별히 선견지명이 있었다는 건 아니지만, 디지털의 도래를 몰랐던 거죠. 디지털 기술로 무언가가 일어나고 있다는 것을 알고 있었죠. 인터넷 기술에서 무언가가 떠오르고 있다는 것을 알고 있었죠. 오늘날의 AI가 어떻게 될지는 아무도 몰랐죠. 그리고 저는 미디어, 이미지, 오디오, 비디오가 아날로그 세상에서 디지털 세상으로 넘어가면 어떤 일이 일어날지 걱정하기 시작했습니다. 특히, 전직 연방 검사로서 공감할 수 있는 질문이겠지만 법정에서 증거를 어떻게 처리할 것인가 하는 문제입니다.

(08:06): 본질적으로 가변적인 것을 다룰 때 중요한 의사결정을 어떻게 인증하나요? 2000년부터 2015년까지 제 경력의 첫 15년 동안은 방금 말씀하신 것처럼 매우 맞춤화된 분야였습니다. 또한 일반적으로 12개월에서 18개월 주기로 여러 달에 걸쳐 기술 변화를 측정했습니다. 그리고 그것은 좋은 일이었죠? 좋은 일이었죠. 포렌식 기술을 개발해 법정에서 사용하고, 미디어 기관을 돕고, 국가 안보와 법 집행 기관을 돕고, 1년 반이 지나면 새로운 기술이 등장하고 새로운 방어 기술을 개발하는 식이었죠. 그러다가 2016년, 17년쯤에 제너레이티브 AI와 인공지능이 등장하면서 갑자기 몇 달, 몇 년이 아니라 몇 주, 몇 일 단위로 변화를 측정하기 시작했습니다.

(08:55): 그리고 정말 빠르게 이상해졌죠. 조작된 미디어를 만들려면 약간의 기술이 필요하던 시절에서 10달러만 내면 소프트웨어를 다운로드하고 통화를 할 수 있는 시대로 바뀌었죠. 물론 기술도 매우 빠르게 발전했습니다. 위협은 매우 빠르게 발전했고 우리는 그 속도를 따라잡기 위해 동분서주하고 있는데, 제가 회사를 공동 설립한 이유 중 하나는 학계가 그 속도를 따라잡지 못하고 있기 때문입니다. 그리고 우리는 이러한 도구를 필요로 하는 사람들이 자신이 무엇을 보고 있는지 파악할 수 있는 도구를 제공하고 싶었습니다. 진짜일까요, 가짜일까요?

Ari Redbord

(09:29): 놀랍네요. 그럼 겟 리얼에 대해 알려주세요.

하니 파리드

(09:31): 네, 그래서 우리는 이미지, 오디오, 비디오를 비동기식 및 동기식으로 분석할 수 있는 도구 세트를 구축하고 있습니다. 기본 기술은 매우 유사하지만 물론 운영 방식은 매우 다릅니다. 팀 스트림이나 Zoom 스트림 또는 전화 스트림에 통합하는 것은 앉아서 파일을 기다리는 것과는 매우 다릅니다. 하지만 그 이면에는 개인, 조직, 정부가 악의적으로 조작된 미디어로부터 보호할 수 있는 기술을 개발하는 비즈니스가 있습니다.

Ari Redbord

(10:03): 정말 대단하죠. 지금 이 자리에 앉아 있는데, 어제 온라인을 보다가 카니예를 향해 가운데 손가락을 치켜든 채 셔츠를 입은 유명인들과 함께 찍은 동영상을 봤는데, 이걸 추적하고 있나요?

하니 파리드

(10:15): 봤어요.

Ari Redbord

(10:16): 네, 맞아요. 그래요. 평범하지 않은 느낌이었어요. 어젯밤에 제 친구가 이 장면이 딥페이크였다는 사실을 알려줬는데, 저는 그것이 딥페이크였다는 사실에 깜짝 놀랐어요. 완벽했어요. 그거에 대해 말씀해주세요.

하니 파리드

(10:29): 우선 어떤 점이 인상적이었나요? 처음 봤을 때는 딥페이크인 줄 알았지만 저는 이 일을 직업으로 삼고 있거든요. 하지만 실제 사람들이 그 셔츠를 입은 영상을 찍은 다음 얼굴을 딥페이크하여 유명인처럼 보이게 한 것이라고 생각했습니다. 그건 그렇고 인상적이었습니다. 하지만 그보다 더 인상적인 것이 있습니다. 방금 한 시간 전에 알게 된 사실인데, 전체 영상이 사람의 모든 동작을 AI로 생성한 것이었습니다. 두 가지 다른 기술로 이루어졌는데, 하나는 사람이 움직이는 것을 보면서 사람의 동작을 생성하는 것이었습니다. 그리고 그 위에 페이스 스왑 딥페이크라고 하는 기술을 적용했습니다. 전체 영상이 인공지능으로 생성된 것이었는데, 맹세컨대 저는 처음 이 영상을 봤을 때 이 사실을 몰랐습니다.

(11:13): 깜짝 놀랐어요, 특별하죠.

Ari Redbord

(11:15): 어제 이걸 봤을 때 정말 모르겠어서 물어봐야겠다고 생각했어요. 조만간 더 큰 딥페이크가 등장하겠지만, 이건 꽤 입소문이 났어요. 그리고 그것은 정말, 정말 흥미로워집니다. 좀 더 깊이 파고들겠지만, 초창기부터 딥페이크든 AI를 이용한 활동이든, 이런 유형의 AI를 이용한 활동에 대해 말씀해 주셨잖아요.

하니 파리드

(11:38): 몇 가지 변곡점이 있었습니다. 우선 우리가 항상 사진을 조작할 수 있었다는 사실에 동의하는 것부터 시작하겠습니다. 1900년대 초반으로 거슬러 올라가면 스탈린은 사진에서 사람들을 에어브러시한 것으로 유명합니다. 역사에는 조작된 이미지로 가득 차 있지만, 이는 아날로그 세계에서 이루어졌고 일반적으로 국가가 후원하는 배우가 할 수 있는 일은 극소수에 불과했습니다. 물론 유통 채널은 조작된 사진을 단순히 역사책에 넣는 데 그쳤습니다. 하지만 디지털 시대가 시작되면서 디지털 카메라가 보급되기 시작했고 포토샵도 꽤 잘 발달했습니다. 그래서 두 사람이 나란히 서 있는 이미지나 폭풍우가 몰아친 후 상어가 헤엄치는 이미지 같은 것을 만들 수 있었고, 이는 지금도 매우 인기가 있습니다. 하지만 소셜 미디어 초창기에는 단순히 역사책에 넣는 것 이상의 일을 할 수 있었기 때문에 유통 채널이 변화하고 있습니다.

(12:25): 온라인에 올리면 입소문을 타고 많은 조회수를 기록할 수 있습니다. 그리고 다음 변곡점은 바로 이것이 표준입니다. 매우 예측 가능합니다. 우리는 기술을 더 사용하기 쉽고, 더 보편적이며, 더 저렴하게 만듭니다. 이것이 지난 100년 동안의 트렌드였습니다. 그리고 이것이 바로 우리가 디지털 조작을 통해 해온 일입니다. 그래서 모든 인공지능은 근본적으로 더 쉽게 만들었습니다. 또한 유통 채널도 극적으로 변화했는데, 이제 소셜 미디어가 환경을 지배하면서 갑자기 현실을 왜곡하는 능력이 생성, 유포 및 증폭 측면에서 매우 현실화되었기 때문입니다.

Ari Redbord

(13:02): AI가 범죄 행위자들의 활동 방식을 어떻게 변화시켰는지 설명해 주세요. 몇 년 전과 비교했을 때 오늘날의 위협 환경은 어떤가요?

하니 파리드

(13:12): 컴퓨터, 인터넷 및 모바일 혁명의 초기부터 사이버 범죄자들이 등장했기 때문에 국가가 후원하는 행위자들이이 기술을 악용하는 방법을 알아낼 것이라고 어느 정도 예측할 수 있다고 생각합니다. 그렇다면 사이버 범죄자들은 어떤 모습을 보이고 있을까요? 자, 목록을 살펴봅시다. 이미 언급했지만 다시 한 번 언급할 가치가 있는 것은 사람들이 어떤 경우에는 당황하게 하려고 의도된 비합의적인 친밀한 이미지를 만들지만, 어떤 경우에는 갈취를 목적으로 의도된 이미지를 만들기도 한다는 것입니다. 그래서 그들은 많은 경우 여성이나 남성 또는 어린이의 노골적인 이미지를 만들어서 보내면서 이렇게 하지 않으면 비트코인으로 돈을 지불하거나 현금으로 지불하고 직접 콘텐츠를 제작하겠다고 말합니다. 우리는 이 자료를 여러분의 친구와 가족에게 배포할 것입니다. 정말 끔찍하고, 끔찍하고, 끔찍한 일입니다. 한밤중에 엄마, 아빠, 나한테 문제가 생겼어요라는 사칭 전화를 받는 사칭 공격이 발생하고 있습니다.

(14:02): 사고를 당했어요. 감옥에서 나오려면 9,000달러가 필요해요. 여기 경찰관이 있죠? 소규모 사기부터 대규모 사기까지 보셨을 겁니다. 우리는 회사가 CEO라고 생각되는 사람과 통화를 하면서 송금을 하는 바람에 수천만 달러를 잃는 것을 보았습니다. 저희도 그런 경우를 보았습니다. 사람들이 비밀번호를 잊어버렸다며 기술 지원팀에 연락하는 경우도 많이 보았습니다. 그리고 그들은 딥페이크이기 때문에 카운트 소유자처럼 보입니다. 음성으로 할 수도 있고 동영상으로 할 수도 있습니다. 지난 몇 년 동안 우리가 목격한 것은 두 가지입니다. 하나는 기술이 매우 좋아지고 있다는 것입니다. 정말 그렇고, 아주 극적인 방식으로 발전하고 있지만, 사용하기도 점점 더 쉬워지고 있습니다. 예전에는 깃허브에 가서 리포지토리를 다운로드하고 컴파일하고 GPU를 구성해야 했지만, 이제는 온라인에서 모든 것을 쉽게 구할 수 있습니다. 사이버 범죄자들과 테러리스트, 극단주의자들은 이 기술을 아주 일찍부터 파악하여 사용하고 있습니다. 이는 가상의 위협이 아닙니다. 우리는 매일 이러한 위협이 현실화되는 것을 목격하고 있습니다.

Ari Redbord

(15:05): 이러한 위협에 대해 이야기할 때 주목하고 있는 주요 사례나 집중적으로 살펴본 사례는 무엇인가요?

하니 파리드

(15:12): 저를 가장 잠 못 이루게 하는 것은 아이들을 감염시키는 사건입니다. 그래서 우리는 어린 아이들이 목숨을 잃는 끔찍하고 끔찍한 사례를 보았습니다. 왜냐하면 사람들이 한 장의 이미지로 아이의 모습을 찍기 때문입니다. 온라인에서 자신의 사진 한 장을 가지고 아동 학대 자료의 음란물에 삽입한 후 이를 아이에게 보내면서 '네가 음란한 사진을 찍지 않으면 이 사진을 유포하겠다'고 협박합니다. 그러면 아이는 공포에 질려 순식간에 사진을 찍어 전송하기 시작하고 이제 게임은 시작됩니다. 아이들이 10대 소녀라고 생각되는 사람과 대화를 나누고 노골적인 사진을 찍도록 유도한 후 사진을 찍으면 게임이 시작되는 다른 사례도 보셨을 것입니다. 그리고 어린 소년과 소녀들이 궁지에 몰리고 어떻게 해야 할지 몰라 스스로 목숨을 끊는 끔찍한 사례도 보았습니다.

(16:04): 그리고 이것은 갱단에 의해 자행되는 조직적인 사기이며 끔찍한 일입니다. 여러분도 보고 계십니다. 그건 그렇고, 조직적 차원에서도 이미 주요한 주요 공격을 보셨다고 말씀드렸습니다. 그런데 여러분이 신문에서 읽은 모든 공격에 대해 여러분이 읽지 않은 10건의 공격이 있습니다. 아무도 이러한 공격에 대해 이야기하고 싶어하지 않습니다. 사이버 공격으로 수백만, 수억 달러가 도난당하고 있지만 아직 아무도 이것이 무엇인지 알지 못합니다. 심지어 어떻게 공격을 받고 있는지조차 파악하지 못하고 있습니다. 여기 또 다른 사례가 있습니다. 그런데 북한인을 고용하는 위장 취업자들은 실제로는 자신이 아닌 다른 사람으로 구직 신청을 하는 데 성공했습니다. 북한 해커들은 방화벽을 해킹하는 것이 아니라 인사관리 시스템을 해킹하고 회사에 침입해 멀웨어를 설치합니다. 방화벽을 해킹하는 것보다 소셜 엔지니어링이 더 낫다는 것을 여러분과 저는 모두 알고 있기 때문에 솔직히 더 쉽습니다. 따라서 이러한 기술이 개인, 조직, 정부 전체에 영향을 미치는 실제 문제와 실제 무기화되는 것을 목격하고 있습니다.

Ari Redbord

(17:00): 네, 정말 좋은 말씀입니다. 지난 5년간 가상자산 분야에서 수십억 달러를 훔친 북한 사이버 공격이 많았기 때문에 TRM에서는 북한 사이버 공격에 많은 초점을 맞추고 있습니다. 그리고 북한 IT 종사자에 대해 글을 쓸 때는 항상 카메라를 켜고 있는지 확인하는 것이 좋습니다. 실제 사람과 대화하고 있는지 확인하고, 저처럼 이 통화에 뛰어드는 것은 그 시절이 끝난 것처럼 말하는 거죠? 더 이상 그런 예방책은 통하지 않습니다. 이 새로운 세상에서는 그것만으로는 충분하지 않습니다.

하니 파리드

(17:30): 그만하세요. 얼마 전 최고 정보 보안 책임자인 CISO와 이야기를 나눴는데, 그는 온라인에서 하는 일을 더 이상 신뢰할 수 없기 때문에 대면 인터뷰를 요구하기 직전이라고 말했습니다. 정말 대단한 일이죠. 그래서 저는 지난 5년 동안 우리가 채택한 거의 모든 편리함을 버려야 할까요? 믿을 수 없습니다. 제가 믿을 수 있는 것은 손을 뻗어 만질 수 있을 때뿐입니다. 우리는 지금 이상한 세상에 들어와 있습니다.

Ari Redbord

(17:57): 이러한 위험을 어떻게 완화할 수 있을지에 대한 좋은 단서가 될 수 있을 것 같은데요?

하니 파리드

(18:02): 네, 우선은 그 말이 맞습니다. 이러한 위험은 항상 존재해 왔지만 지금은 모든 것이 자동화되고 더 정교해졌기 때문에 더욱 심각해졌습니다. 단순히 '상사입니다'라는 문자 메시지를 받는 것이 아닙니다. 상사와 영상 통화를 하고 있다면, 그 상황은 매우 다르게 다가옵니다. 이제 완화 전략에 대해 이야기해 보겠습니다. 사이버 보안에 대해 매우 신중하게 생각하는 사람으로서 놀랍지 않으시겠지만, 사이버 보안에는 마법의 정답이 없다는 것을 말씀드리고 싶습니다. 많은 것들이 필요합니다. 그러니 특별한 순서 없이 시작하겠습니다. 첫 번째는 마지못해 하는 말이지만 규제가 필요하다고 생각합니다. 혁신을 가능하게 하고 이 놀라운 기술을 어떻게 활용할 수 있을지 고민하는 동시에 합리적인 안전장치를 마련할 수 있는 가드레일이 필요합니다. 우리는 20년 동안 인터넷을 인터넷으로 놔두려고 노력했지만 솔직히 말해서 별로 좋지 않았습니다.

(18:46): 따라서 민간 부문이 이 차선 내에서 생활하고 안전을 확보할 수 있도록 합리적인 가드레일을 설치하는 방법을 알아 봅시다. 그게 첫 번째입니다. 두 번째는 좋은 기술이 필요하다는 것입니다. 이것이 바로 저의 세계입니다. 대화 상대가 진짜인지 아닌지 알아낼 수 있는 능력이 필요합니다. 이를 위해서는 학계, 정부, 민간 부문, VC 업계에서 막대한 투자가 필요합니다. 그런데 저는 투자에 있어 경이로운 불균형이 존재한다고 주장하고 싶습니다. 제너레이티브 AI 기업에 대한 투자를 살펴보면 수십억 달러에 달합니다. 사기 방지를 위한 사이버 보안에 대한 투자를 살펴보면 수천만 달러로 측정할 수 있을 것입니다. 하지만 이는 공평하지 않은 것 같습니다. 불공평하다고 생각합니다.

(19:28): 그리고 기술에 대해 좀 더 신중하게 방어적인 측면을 고려해야 한다고 생각합니다. 이런 대화가 필요하다고 생각합니다. 사람들은 무엇이 가능한지 알아야 한다고 생각합니다. 우리는 이러한 것들에 대해 이야기해야 하며, 사람들은 스팸에 대해 우리가 했던 방식, 멀웨어에 대해 우리가 했던 방식, 바이러스에 대해 우리가 했던 방식을 알아야 합니다. 링크를 클릭하지 마세요. 발신자가 누구인지 확인하세요. HTTP가 아닌 H-T-T-P-S를 조심하세요. 우리는 대중의 인식을 높였고 이는 도움이 되었습니다. 그래서 우리는 대중의 인식이 필요합니다. 마지막으로 여기서부터 말했어야 했는데, 기술 회사들이 이 문제를 더 심각하게 받아들이기 시작해야 한다는 것입니다. 피해가 발생한 지 몇 년이 지나고 훨씬 더 어려워진 후에야 안전성을 구축하는 것이 아니라 처음부터 안전을 구축해야 합니다. 기술 기업들은 인공지능을 통해 많은 멋진 일들이 일어나고 있지만, 그에 따른 피해도 발생하고 있다는 사실을 인식해야 합니다. 그리고 처음부터 안전 프로토콜을 구축하기 시작해야 합니다. 또한 규제를 통해 '만약 당신이 해를 끼칠 수 있다는 것을 알았거나 알았어야 하는 제품을 만들면 우리는 당신에게 책임을 물을 것이다'라는 인센티브를 제공할 수 있습니다. 그래서 저는 이 모든 것이 복합적으로 작용한다고 생각합니다. 이것뿐만 아니라 우리가 이야기하는 모든 것이 완화 전략이죠? 그리고 아까도 말씀하셨지만 어떻게 예방할 수 있는지 말씀하지 않으셨나요? 어떻게 완화하나요?

Ari Redbord

(20:37): 물론이죠. 흥미롭군요. 공간에 대한 투자에 대해 이야기할 때, 저는 규정 준수 구축이 중요한 인프라로서 비즈니스 이점이 될 수 있다고 생각합니다. 저는 소셜 미디어 플랫폼에서 제가 좋아하는 교육 부분을 따라 실제적인 것을 볼 수 있는 곳으로 가고 싶고, 그래서 이 대화를 나누고 싶었습니다. TRM은 최근 AI를 이용한 범죄에 관한 보고서를 발표했습니다. 미국 재무부는 금융 기관의 AI 기반 사이버 및 사기 위험에 관한 보고서를 발표했습니다. 우리는 이러한 것들에 대해 이야기해야 합니다. 지난 몇 주 동안 제가 직접 토파를 사용해 본 동영상을 몇 개 올렸는데, 제가 잘하지 못했음을 알 수 있었습니다. 훨씬 더 잘하시지만, 이걸 준비하면서 이걸 배우려고 노력하는 제 모습을 두 개의 이미지로 보내주셨어요. 하나는 감옥에 있는 제 모습이고 다른 하나는 기관총을 든 제 모습입니다. 다른 분들도 보실 수 있도록 게시할게요. 그리고 이 영상은 제가 실제 CNBC에 출연했던 영상인데, 중간에 갑자기 스페인어를 사용하게 됩니다. 사람들이 이런 영상을 볼 때 무엇을 찾아야 하나요?

하니 파리드

(21:38): 우선 이 두 이미지는 약 5초 만에 완성되었다는 점을 말씀드릴 수 있습니다. 저는 대중의 인식을 제고하기 위해 제가 자문하는 한 단체의 서비스를 소개했습니다. 시민 인공지능이라고 합니다. 링크드인 페이지나 위키피디아 페이지에 내 사진이 있는 링크를 제공하고, 링크드인 페이지에 내 사진이 있는 다음 '이 사람의 얼굴을 사용하여 딥페이크 생성'이라는 버튼을 클릭하는 것입니다. 그게 제가 한 전부입니다. 말 그대로 버튼 클릭 한 번으로 끝났습니다. 아무것도 아니었어요.

Ari Redbord

(22:05): 그냥 찍는 것도 아니고 포토샵도 아니잖아요, 그렇죠? 그들은 단지 당신의 이미지를 강요하는 것이 아닙니다. 그들은 당신이 그 순간에 있어야 할 모습을 거의 재현하고 있습니다.

하니 파리드

(22:13): 그런데 머리 포즈, 조명, 표정이 모두 다릅니다. 그래서 이것은 텍스트에서 이미지로 완전히 전환됩니다. 공백을 입력하면 이미지가 생성된다는 메시지가 표시됩니다. 그런데 하루 종일 계속 클릭할 수 있습니다. 한 이미지에 이어서 또 다른 이미지를 만들지 않고 원하는 이미지로 프롬프트를 표시할 수 있습니다. 그리고 매우 정교하고 이미지가 매우 매력적입니다. 동영상을 보기 전에 질문이 있는데, 사람들이 어떻게 알 수 있을까요? 그럴 수 없습니다. 이 점을 인식해야 합니다. 우리는 이 일을 꽤 잘하기 때문에 할 수 있습니다. 하지만 실제로 우리는 사람들에게 이미지, 실제 이미지, 가짜 이미지를 보여주는 지각 연구를 해왔습니다. 대부분의 사람들은 우연보다 약간 우위에 있습니다. 그리고 자신이 얼마나 잘하는지 예측할 수 있는 유일한 지표는 사실 역 예측입니다. 이 작업을 수행할 수 있는 능력에 자신감이 높을수록, 최악의 경우 이미지가 기묘한 계곡을 효과적으로 통과한 것입니다. 이미지와 현실을 거의 구별할 수 없을 정도입니다. 그래서

Ari Redbord

(23:06): 아니, 정말 대단하네요. 그리고 비디오 . . .

하니 파리드

(23:07): 네, 영상에 대해 이야기해 보죠. 제가 가장 좋아하는 새로운 집착입니다. 그래서 제가 한 일은 가상자산 사기와 최근의 동향에 대해 이야기하는 A-C-N-B-C 인터뷰였습니다. 저는 그 영상을 찍어서 좀 더 보기 쉽게 30초로 줄여서 스크랩했습니다. 그리고 제가 몇 달러를 지불하는 서비스에 업로드하고 이걸 스페인어로 번역해 달라고 요청했습니다. 그래서 우선 제가 말하는 비디오가 있었습니다. 그래서 가장 먼저 한 일은 오디오를 텍스트로 변환하는 것이었습니다. 그래서 오디오에서 텍스트로 바뀐 거죠. 이것이 바로 인공지능입니다. 물론 영어를 스페인어로 번역했습니다. 그게 바로 인공지능입니다. 스페인어로 말하는 사람을 합성했지만 그것은 당신의 목소리입니다. 그러니 아무 사람이 아닌 것을 주목하세요. 이것이 세 번째 인공지능입니다. 그리고 여기에 키커가 있습니다. 그런 다음 스페인어로 말하는 입이 움직이는 동영상을 재생성했습니다. 네 번째 인공지능은 버튼 하나만 클릭하면 됩니다. 대기열에서 5분 정도 걸렸어요. 그리고 비디오를 받았죠. 그리고 나서 제가 한 일은 그 비디오를 가져와서 두 비디오를 연결한 것입니다. 영어에서 스페인어로 바뀌는 부분이 약간 어색해서 마음에 들었습니다. 다음을 볼 수 있습니다.

Ari Redbord

(24:12): 그것. 정말 충격적이었어요. 이건 완벽해요. 이건 그냥 제가 스페인어로 장난친 거예요. 하지만 김정은이 남한을 향해 발사하겠다고 선언하는 거라면 어떨까요?

하니 파리드

(24:24): 정답입니다.

Ari Redbord

(24:24): 설명해 주세요.

하니 파리드

(24:25): 악몽 같은 상황입니다. 지정학. 오늘날 누구나 북한, 러시아, 중국, 미국 등 세계 지도자의 이미지를 만들어 '내가 핵무기를 발사했다'고 말하고 빈칸을 채우고 동영상을 찍어 온라인에 올리면 엄청난 속도로 퍼져나갈 수 있습니다. 그리고 아무도 무슨 일이 일어나고 있는지 알아채기도 전에 전 세계에 핵폭발이 일어날 수 있습니다. 그럴 가능성이 있을까요? 아니요, 가능하다고 생각하나요? 100% 가능합니다. 이건 언제 일어날지의 문제라고 생각합니다.

Ari Redbord

(24:57): 가상자산 대한 질문은 항상 해야만 했어요. 그것은 TRM Talks. 우선, 북한 딥페이크, 피싱 공격, 소셜 엔지니어링이 이 기술을 통해 더욱 강화되고 있습니다. 최근 가상자산 거래소에서 겪은 고객신원확인(KYC) 경험의 좋은 사례를 통해 저희 직원들에게 설명해 주셨어요.

하니 파리드

(25:14): 네, 제게는 흥미로운 경험이고 제가 사는 세상을 분류하는 일이죠. 몇 년 전 조카가 비트코인 일부를 선물로 주었는데 귀엽다고 생각했죠. 그리고 몇 년 동안은 그냥 무시했죠. 그러던 어느 날 우연히 기사를 읽게 되었죠. 그 비트코인이 어떻게 된 건지 궁금했습니다. 그래서 코인베이스(Coinbase) 열고 지갑에 접속하려고 했더니 신원을 확인할 수 없다고 하더군요. 새 휴대폰이라서요. 저는 알았어요, 뭐 어때요. 그러다가 이런 생각이 들었어요. 어떻게 제 신원을 확인할지 궁금했어요. 그리고 제가 생각했던 대로 해줬어요. 카메라를 열어보라고 했어요. 얼굴에 대고요. 신분증을 제시하면 신원을 확인할 겁니다. 저는 정말 바보 같다고 생각했어요. 이렇게 쉽게 속일 수 있었어요. 제가 직접 가짜 신분증을 만들 수도 있고, 하니가 디지털 발자국을 가지고 있기 때문에 하니와 가짜 얼굴을 만들 수도 있었어요. 하지만 그게 저를 검증하는 방법이었습니다. 루프에는 사람이 없었습니다. 동영상 인증을 통한 순수한 KYC였죠. 그리고 그건 꽤나 쉽게 속일 수 있다고 생각했어요.

Ari Redbord

(26:05): 컴플라이언스 분야에 종사하는 사람들이나 금융 기관 또는 가상자산 비즈니스에 종사하는 사람들에게 어떤 조언을 해주고 싶으신가요? 당연히 TRM과 같은 강력한 블록체인 인텔리전스 솔루션을 구축하는 것과 같은 기술을 구현하는 것입니다. 하지만 거기에 어떤 메시지가 있을까요?

하니 파리드

(26:21): 네, 첫 번째 메시지는 지금은 용감한 신세계이며 어제 하던 일이 오늘은 작동하지 않을 것이라는 것입니다. 따라서 여러분이 은행이고 음성 기반 인증을 하고 있다면, 내 목소리가 곧 내 신분증이니 그만두세요. 그리고 고객이라면 지금 당장 중단하세요. 그리고 제가 생각하는 방식은 위험에 대해 생각하는 것이죠? 이 사람의 신원이 잘못되었을 때 어떤 위험이 발생할 수 있는지 생각해 보세요. 어떤 경우에는 위험이 낮고 어떤 경우에는 위험이 매우 높습니다. 그래서 금융기관이라면, 가상자산 거래소라면 고객신원확인에 대해 근본적으로 다시 생각해야 한다고 생각합니다. 지금까지 해왔던 방식을 다시 생각해야 합니다. 더 이상 작동하지 않습니다.

Ari Redbord

(26:56): 제 목록에 말도 안 되는 질문이 하나 있습니다. 앞으로 5년 또는 10년 후 이 공간이 어디로 향할 것으로 보시는지 물어보려고 했는데요. Hany, 앞으로 5년 또는 10년 후 이 공간이 어디로 향할 것으로 보시나요?

하니 파리드

(27:09): 그래서 먼저 얼마나 빠른지 프레임을 잡아야 합니다. 단순히 빠르다고 느끼는 것이 아니기 때문입니다. 네, 제가 몇 가지 프레임을 제시해드리겠습니다. PC 혁명, 개인용 컴퓨터 혁명은 전자 컴퓨터의 초창기부터 미국 가정의 약 절반이 컴퓨터를 보유하게 된 50년, 즉 50년 정도는 빠르다고 느꼈습니다. 반면 인터넷 혁명은 HTML 프로토콜의 초창기부터 전 세계 인구의 절반이 온라인에 접속할 때까지 약 25년이 걸렸습니다. 모바일 혁명은 아이폰이 처음 등장하고 전 세계 인구의 절반이 모바일 기기를 사용하기까지 약 5년이 걸렸습니다. 그리고 OpenAI는 1년 만에 사용자가 0명에서 10억 명으로 증가했습니다. AI는 1950년대에 시작되었지만 별다른 진전이 없다가 갑자기 50명, 25명, 5명, 1명이 되는 등 정말 빠른 속도로 발전하고 있습니다. 이제 다시 질문으로 돌아가 보겠습니다. 제 생각에는 두 가지 일이 일어날 것 같습니다.

(28:02): 하나는 같은 일이 더 많아질 것이라는 점입니다. LLM이 더 좋아지고 대규모 언어 모델이 더 좋아질 것입니다. 생성형 AI가 더 좋아질 것입니다. AI가 우리 기기에 통합되기 시작할 것입니다. 기술이 주로 우리를 위해 작동할 것인가, 아니면 우리에게 불리하게 작동하기 시작할 것인가라는 측면에서 우리는 갈림길에 서 있다고 생각합니다. 오늘날의 기술을 보면 경이로운 발전은 누구도 부정할 수 없지만 사기, 사기, 잘못된 정보, 음모 등 기술로 인한 실제 피해도 부정할 수 없기 때문에 그 부분은 제가 잘 모르겠습니다. 그리고 지난 20년간의 길을 계속 간다면 기술이 우리에게 도움이 되는 것이 아니라 우리에게 불리하게 작용하기 시작할 것이라는 점이 우려됩니다.

Ari Redbord

(28:41): 특별한 순간입니다. 인류에 대한 실존적 위협을 그냥 두고 볼 수는 없죠. 고마워요. 저는 TRM을 전혀 그렇게 생각하지 않아요. 우리는 낙관적입니다. 우리는 미래를 내다보고 있으며, 이것이 비즈니스 구축이나 우리가 하는 일에 가져올 수 있는 좋은 점들에 대해 정말 압도당하고 있습니다. 저희처럼 악의적인 행위자들이 이 기술을 사용하지 못하도록 막는 것을 기반으로 회사를 설립하셨으니까요. 결국 좋은 기술은 이런 상황의 순간을 만나게 될 것이라고 생각합니다.

하니 파리드

(29:10): 저도 그렇게 믿고 싶어요. 그런데 지난 2년 반 동안 회사를 만들면서 우리 회사의 연구원이나 엔지니어 중 단 한 명도 대규모 언어 모델을 사용하여 모든 코드를 작성하거나 소프트웨어의 모든 코드를 작성하는 데 도움을 받지 않은 사람이 없다고 말씀드릴 수 있습니다. 이것이 바로 촉진제입니다. 예전에는 몇 주가 걸리던 일을 이제는 몇 시간 만에 해냅니다. 저는 여전히 코드를 작성하고 있으며, 전체 기술을 몇 시간 안에 운영화할 수 있습니다. 보통 몇 주가 걸리던 일을 몇 시간 만에 끝내죠. 경이롭습니다.

Ari Redbord

(29:39): 정말 대단한 일이죠. 다시 돌아오겠다고 약속해야 합니다. TRM Talks 에 다시 오겠다고 약속해야 합니다.

하니 파리드

(29:46): 여러분과 같은 분들이 이런 이야기를 해주셔서 정말 감사하게 생각합니다. 모두가 이 이야기를 들어야 한다고 생각해요. 사람들을 겁주고 싶지는 않지만 우리는 이 문제를 진지하게 받아들여야 합니다. 그리고 6개월에서 12개월 후에 다시 이 대화를 나눠봅시다. 몇 분 후에 이메일을 보내서 제가 방금 찾은 내용을 알려드릴게요. 하지만 올해 말에는 우리 밑에 있는 환경이 바뀔 것이라고 생각하기 때문에 다시 이야기해 봅시다. 그리고 새롭고 흥미롭고 무서운 이야기들이 나올 것 같습니다.

Ari Redbord

(30:10): 사람들을 놀라게 할 것이 있다면 바로 이 리버사이드 플랫폼의 AI 아리일 것입니다. 오늘 쇼를 시작하겠습니다. 참여해 주셔서 감사합니다. TRM Talks. 정말 가장 특별했던 TRM Talks 중 가장 특별한 시간이었습니다. 세상이 그 어느 때보다 빠르게 변화하는 기술 시대에 살고 있기 때문이라고 생각합니다. 그리고 이 순간을 이해하는 데 있어 세계 최고의 전문가 중 한 명인 하니와 이야기를 나누는 것은 정말 특별한 일이었습니다. 몇 주 전에 AI 범죄에 관한 보고서를 발표했을 때, 우리는 한편으로는 범죄자들이 이 기술을 어떤 방식으로 활용하고 있는지, 어떤 활동을 하고 있는지 이해하고 싶었습니다. 특히 딥페이크에 대해서는 전 세계에서 더 이상 전문가가 없습니다. 그리고 딥페이크는 딥페이크만을 위한 것이 아니죠? 사이버 범죄자들이 KYC 플랫폼을 이용하는 방식이기도 하죠?

(31:00): 암호화폐 사업. 이것이 북한 사이버 범죄자들이 잠재적으로 IT 분야에서 일자리를 얻을 수 있는 방법입니다. 그리고 이것이 돼지도살 다른 유형의 활동이 그들의 행동을 강화할 수 있는 방법입니다. 하니와 이야기를 나누면서 그의 관점도 알 수 있었지만, 그가 기술을 활용하는 방식도 볼 수 있어서 정말 놀라웠습니다. 제 영상은 절대 잊을 수 없을 것 같아요. 이 영상을 처음 봤을 때 웨슬리의 반응은 '와, 내가 지금 이걸 보고 있다니 믿을 수 없다'였습니다. 많은 사람들이 그런 생각을 하고 있는 것 같아요. 하지만 제가 가장 궁금한 것은 금융 부문, 정부, 국가 안보에 대한 실존적인 리스크가 발생하고 있는데 어떻게 이러한 리스크를 완화할 수 있을까요? 그리고 결국에는 TRM, 블록체인 인텔리전스 같은 기술을 구축하는 것이 현실화될 것이라는 낙관적인 대화였다고 생각합니다. 딥페이크에 대한 이해가 중요한 역할을 할 것입니다. 그리고 저는 항상 우리가 그 순간에 맞는 기술을 구축할 수 있다고 믿어왔습니다. 이 대화는 아마 제 목소리에서 들리실 겁니다. 저는 정말 활력이 넘칩니다. TRM에서 이 문제에 대해 우리가 하고 있는 일로 인해 활력이 넘칩니다. 앞으로도 이런 대화를 더 많이 할 예정입니다.

(32:12): 다음 TRM Talks에서는 가상자산 규정 준수 전문가 브랜디 레이놀즈와 함께합니다. 이 프로그램이 마음에 드신다면 어디서든 청취 후기를 남겨주시고, 가상자산 규제, 규정 준수 및 조사에 관한 최신 뉴스를 받아보려면 LinkedIn을 팔로우하세요.

TRM Talks

(32:31): TRM Talks 는 TRM Labs블록체인 인텔리전스 및 자금세탁 방지 소프트웨어의 선도적인 공급업체입니다. 이 에피소드는 전압 프로덕션과 협력하여 제작되었습니다. 이 방송의 음악은 E-Clicks에서 제공했습니다.

Ari Redbord

(32:47): 이제 다시 빌드로 돌아가 보겠습니다.