⚠️ 생성형 AI 음성 복제 기술, 사기 악용 방지를 위한 안전 장치 미흡 경고 ⚠️

최근 Consumer Reports의 연구 결과에 따르면, 음성 복제 기능을 제공하는 생성형 AI(genAI) 기업들이 사기꾼의 악용을 막기 위한 충분한 조치를 취하지 않고 있는 것으로 나타났습니다. 이 기술이 발전하면서, 사기 범죄에 악용될 가능성이 커지고 있어 우려가 증폭되고 있습니다.

음성 복제 도구의 취약점 노출

Consumer Reports는 6개 회사의 음성 복제 도구를 테스트한 결과, ElevenLabs, Speechify, PlayHT, Lovo 4개 회사가 사용자가 음성 복제에 대한 화자의 동의를 얻었는지 확인할 수 있는 어떠한 장치도 마련하지 않았다고 밝혔습니다. 이들 소프트웨어는 음성 복제를 방지하기 위한 기술적 안전 장치도 갖추고 있지 않았습니다. 공개적으로 이용 가능한 오디오를 사용하여 쉽게 음성 복제를 생성할 수 있었다는 점은 심각한 문제점을 드러냅니다.

일부 기업의 제한적인 안전 장치

Descript와 Resemble AI는 사전 녹음된 오디오 업로드를 제한하는 등 비교적 더 많은 안전 장치를 마련했습니다. Descript는 사용자가 동의 진술을 읽도록 요구했고, Resemble AI는 고품질 음성 복제를 위해 실시간 음성 녹음을 요구했습니다. 하지만 이러한 제한적인 조치도 우회할 수 있었다는 점에서, 더욱 강력한 기준 마련의 필요성이 제기되고 있습니다.

사기 악용 사례 증가

생성형 AI 도구를 이용한 음성 복제는 사기 범죄에 악용될 가능성이 높습니다. 사기꾼들은 이 기술을 사용하여 가족이나 친구가 곤경에 처한 것처럼 속여 돈을 갈취하거나 민감한 정보를 빼내는 사회 공학적 기법을 사용합니다. 또한, 음성 인증을 우회하여 은행 계좌에 접근하는 데 사용되기도 합니다. FBI는 이미 비디오 및 음성 복제 사기를 이용한 금융 사기에 대한 경고를 발표한 바 있습니다.

기업의 윤리적 책임 강조

음성 및 비디오 복제를 통해 디지털 아바타를 생성하는 Synthesia와 D-ID와 같은 기업들은 마케팅 및 프레젠테이션에 활용되고 있습니다. Synthesia는 남용을 방지하기 위해 윤리 및 AI 정책을 시행하고 있습니다. 복제 요청을 시작하는 사람이 실제 영상 속 인물과 동일한지 확인하기 위해 생체 인식 기반의 검사를 시행하고, 유해 콘텐츠 생성을 방지하기 위해 콘텐츠 검토를 강화하고 있습니다.

소비자 보호를 위한 업계의 노력 촉구

Consumer Reports는 음성 복제 산업이 사기 위험을 완화하기 위한 규범과 기준을 채택해야 한다고 주장합니다. 영국 은행 Starling은 고객에게 전화 통화 상대방이 복제된 음성이 아닌지 확인하기 위해 특정 문구를 사용하도록 권장하고 있으며, 소셜 미디어 접근을 제한하여 자신의 음성을 보호할 것을 권고하고 있습니다.

결론

생성형 AI 음성 복제 기술은 혁신적인 가능성을 제시하지만, 동시에 심각한 악용 위험을 내포하고 있습니다. 소비자 보호를 위해 관련 기업들은 더욱 강력한 안전 장치를 마련하고, 윤리적인 기준을 준수해야 합니다. 기술 발전과 함께 발생할 수 있는 잠재적 위험에 대한 지속적인 경각심과 적극적인 대응이 필요한 시점입니다.