Ofcom 경고: AI 챗봇, 사망자 성격 모방 및 온라인 안전법 위반 가능성
Briana Ghey와 Molly Russell 사례를 통해 본 AI 챗봇의 위험성과 영국 온라인 안전법의 적용
영국 통신 규제 기관인 Ofcom이 AI 챗봇의 위험성을 경고했습니다. 사망한 청소년 Brianna Ghey와 Molly Russell을 모방한 AI 챗봇이 등장하면서, 사용자 제작 챗봇 콘텐츠가 영국의 새로운 디지털 법인 온라인 안전법(Online Safety Act)에 위반될 수 있다는 우려가 제기되었습니다.
Ofcom은 사용자들이 실존 인물 및 허구 인물을 모방한 챗봇을 생성하고 다른 사용자들과 상호작용할 수 있도록 허용하는 서비스는 온라인 안전법의 적용 대상임을 명확히 했습니다. 이러한 서비스는 사용자 제작 챗봇으로 생성된 콘텐츠를 다른 사용자와 공유할 수 있도록 하는 소셜 미디어 플랫폼이나 메시징 앱 등의 사용자 간 서비스도 포함합니다. 법 위반 시 최대 1800만 파운드의 벌금 또는 회사의 글로벌 매출의 10%에 해당하는 벌금이 부과될 수 있으며, 심각한 경우 웹사이트 또는 앱이 차단될 수 있습니다.
Ofcom은 이러한 경고를 "심각한 사건들" 이후 발표했습니다. 특히, Character.AI 플랫폼에서 사용자들이 Brianna Ghey (16세, 살해당한 트랜스젠더 소녀)와 Molly Russell (자살한 청소년, 유해 온라인 콘텐츠 노출)을 모방한 챗봇을 생성한 사례를 언급했습니다. 미국에서는 게임 오브 쓰론즈 캐릭터를 기반으로 한 Character.AI 아바타와 관계를 맺은 후 사망한 십대의 사례도 언급하며 AI 챗봇의 위험성을 강조했습니다.
온라인 안전법은 내년부터 본격적으로 시행될 예정이며, 사용자 제작 콘텐츠를 호스팅하는 소셜 미디어 및 기타 플랫폼은 특히 아동을 불법적이고 유해한 자료로부터 보호할 책임을 집니다. 대형 플랫폼은 불법적이고 잠재적으로 유해한 자료를 사전에 제거하는 시스템을 구축하고, 사용자에게 명확한 신고 도구를 제공하며, 위험 평가를 수행하는 등의 의무를 갖게 됩니다.
Molly Russell의 가족이 설립한 자선 단체인 Molly Rose Foundation (MRF)은 Ofcom의 지침이 AI 챗봇이 상당한 피해를 야기할 수 있다는 것을 분명히 보여준다고 언급했습니다. 하지만 정부의 테러 관련 법률 자문관인 Jonathan Hall KC가 올해 AI 챗봇 응답이 기존 법률로는 충분히 다루어지지 않는다고 말한 바 있어, 챗봇 생성 콘텐츠가 법률 위반으로 간주될 수 있는지에 대한 추가적인 명확성이 필요하다고 주장했습니다. Ofcom은 곧 챗봇 자료를 포함한 플랫폼의 불법 콘텐츠 해결에 대한 지침을 발표할 예정입니다.
법률회사 Linklaters의 파트너인 Ben Packer는 Ofcom이 이러한 서비스가 온라인 안전법의 적용 대상일 수 있다고 명확히 해야 했던 사실은 온라인 안전법의 광범위하고 복잡한 범위를 반영하며, 이 법이 GenAI 도구 및 챗봇의 확산 이전에 제정되었다는 것을 보여주는 증거라고 지적했습니다.
Character.AI는 자사 플랫폼의 안전을 "중요하게 여기며, 챗봇을 사전 예방적으로 그리고 사용자 신고에 따라 관리한다"고 밝히고, Ghey, Russell, 그리고 게임 오브 쓰론즈 챗봇은 이미 삭제되었다고 발표했습니다.
이번 사건은 AI 챗봇 기술의 발전 속도가 법률 및 규제의 속도를 능가하고 있음을 보여줍니다. Ofcom의 경고는 AI 챗봇 개발자와 플랫폼 운영자에게 사용자 안전을 최우선으로 고려하고, 유해 콘텐츠를 효과적으로 관리할 책임이 있음을 강조하는 중요한 신호입니다. 향후 온라인 안전을 위한 더욱 강력한 규제와 윤리적 가이드라인의 필요성이 더욱 커질 것으로 예상됩니다. 특히 AI 윤리에 대한 논의가 활발히 진행되어야 할 것입니다. 온라인 안전법의 실효성을 높이기 위한 구체적인 실행 방안 마련도 시급합니다.
핵심 키워드: AI 챗봇, 온라인 안전, 온라인 안전법, Briana Ghey, Molly Russell
