챗GPT 환각, 오픈소스 패키지 악용한 사이버 범죄 주의보!

최근 인공지능(AI) 기술이 발전하면서 챗GPT, 코파일럿과 같은 생성형 AI(GenAI) 도구가 소프트웨어 개발에 널리 활용되고 있습니다. 하지만 이러한 GenAI 도구의 ‘환각’ 현상이 사이버 범죄에 악용될 수 있다는 경고가 나오고 있습니다. 이번 글에서는 GenAI 환각이 어떻게 사이버 범죄로 이어질 수 있는지, 그리고 어떻게 대비해야 하는지 자세히 알아보겠습니다.

GenAI 환각이란 무엇일까요?

AI에서 '환각'이란 AI가 실제로 존재하지 않는 정보를 마치 사실인 것처럼 만들어내는 현상을 의미합니다. 예를 들어, AI가 존재하지 않는 인용구를 제시하거나, 일어나지 않은 사건을 이야기하는 경우가 있습니다. 소프트웨어 개발 분야에서는 존재하지 않는 오픈소스 소프트웨어 패키지를 추천하는 것이 환각의 한 예가 될 수 있습니다.

개발자를 노리는 ‘슬롭스쿼팅’ 공격

많은 소프트웨어 개발자들이 코드 작성 시 GenAI 도구에 의존하고 있습니다. GenAI는 코드 라인을 직접 작성하거나, 개발자에게 다양한 패키지를 다운로드하여 제품에 포함시키도록 제안할 수 있습니다. 문제는 GenAI가 때때로 존재하지 않는 패키지를 제안한다는 것입니다. 이를 악용한 사이버 범죄 수법이 바로 '슬롭스쿼팅(Slopsquatting)'입니다.

챗GPT 환각, 어떻게 악용될까?

GenAI는 항상 다른 이름이나 패키지를 환각하는 것은 아닙니다. 일부는 반복적으로 나타나기도 합니다. 한 보고서에 따르면, 동일한 환각 유발 프롬프트를 10번 실행했을 때, 환각된 패키지의 43%가 매번 반복되었으며, 39%는 전혀 다시 나타나지 않았습니다. 전체적으로 환각된 패키지의 58%가 10번의 실행 동안 2번 이상 반복되어, 환각이 단순한 무작위 노이즈가 아니라 모델이 특정 프롬프트에 반응하는 방식의 반복적인 결과임을 시사합니다.

가짜 패키지를 이용한 악성코드 유포 가능성

현재까지는 이론적인 가능성이지만, 사이버 범죄자들은 AI가 환각하는 다양한 패키지들을 파악하여 오픈소스 플랫폼에 등록할 수 있습니다. 따라서 개발자가 AI의 제안을 받아 GitHub, PyPI 등에서 해당 패키지를 발견하고 아무 의심 없이 설치할 경우, 악성코드에 감염될 위험이 있습니다. 아직까지 실제 슬롭스쿼팅 사례는 보고되지 않았지만, 시간문제일 뿐이라는 예측이 지배적입니다.

슬롭스쿼팅, 어떻게 예방해야 할까요?

가장 중요한 것은 누구의 제안이든 맹목적으로 수용하지 않고 신중하게 검토하는 것입니다. 특히 오픈소스 패키지를 다운로드할 때는 출처를 꼼꼼히 확인하고, 평판이 좋은 저장소를 이용하는 것이 좋습니다. 또한, AI가 제안하는 패키지에 대해 추가적인 검색을 통해 존재 여부와 안전성을 확인하는 습관을 들이는 것이 중요합니다.

맺음말

GenAI 기술은 소프트웨어 개발 생산성을 크게 향상시킬 수 있지만, 동시에 새로운 사이버 위협을 야기할 수도 있습니다. 슬롭스쿼팅과 같은 공격에 대비하기 위해서는 개발자 스스로 보안 의식을 높이고, 안전한 개발 환경을 구축하기 위한 노력을 지속해야 합니다. 항상 경계를 늦추지 않고 정보를 검증하는 습관이 사이버 위협으로부터 자신을 보호하는 가장 효과적인 방법입니다.