※ 본 기고는 당사와 법률자문·정보보호 서비스 상호협력 MOU를 체결한 법무법인(유) 화우에서 작성하였습니다.
※ 외부 필자의 기고 및 칼럼 등은 이글루코퍼레이션 콘텐츠의 편집방향과 일치하지 않을 수 있습니다.

AI 모델의 급속한 발전과 Deepseek(딥시크)의 등장으로 AI 기술 경쟁에 점점 더 빠르게 속도가 붙으면서, AI를 도입하고 적용하는 범위도 크게 늘어나고 있다. 강력한 오픈소스 모델의 등장은 교육, 금융, 유통 등 다양한 산업분야에 AI 기술을 접목시키는 것을 유행처럼 확산시키고 있다. 그러나 이렇게 급격한 기술 채택 과정에서 필연적으로 발생할 수밖에 없는 보안 위협에 대해서도 고려하지 않을 수 없다. ‘오픈소스’라는 용어는 자칫 수많은 컨트리뷰터들이 충분히 검토했으니 그만큼 안전하고 신뢰할 만하다는 착각을 불러일으킬 수 있다. 그러나 공개되어 있다는 사실만으로는 보안성을 담보할 수 없으며, 오히려 공격자들에게 매력적인 표적이 될 수도 있다.

연구자 및 기업들이 사전 훈련된 모델을 공유하는 플랫폼인 Hugging Face는 마치 GitHub처럼 누구나 쉽게 필요한 AI 모델을 찾고 활용할 수 있도록 공개되어 있다. 그러나 누구나 모델을 업로드할 수 있는 환경은 양날의 검과 같아서, 보안 검증이 철저하지 않다면 공격 벡터로 악용될 가능성이 분명히 존재한다. 특히 모델 파일 자체에 악성코드를 심거나, 악의적인 코드가 없더라도 명백히 잘못된 정보나 유해한 콘텐츠를 생성하는 모델이 적절한 필터링 없이 배포될 수 있다. 실제로 ML 보안 연구자들은 Hugging Face에 올라온 모델들 중 100여 개의 악성 모델을 발견하였는데, 이 중 일부에는 임의 코드를 실행하거나 지정된 호스트에 대해 리버스 셸을 열어주는 페이로드가 포함되어 있었다. 해당 페이로드는 PyTorch 모델 가중치 파일에 숨겨져 있다가, 사용자가 모델을 로드할 때 내부적으로 사용되는 pickle 모듈의 reduce() 메서드가 실행되면서 활성화되는 방식으로 작동했다. 이러한 사례는 공개 플랫폼의 한계를 여실히 드러내는 동시에, AI 모델 그 자체가 악성코드 배포의 매개체가 될 수 있다는 점을 보여준다. 그뿐만 아니라 전통적인 공급망 공격(Supply Chain Attack)으로부터 AI 산업 역시 자유롭지 않다는 점도 분명히 드러낸다.

Claude를 서비스하는 AI 스타트업 Anthropic이 2024년 발표한 연구는 ‘슬리퍼 에이전트(Sleeper Agent)’ 개념을 실제 AI 모델에 적용한 내용이었다. 원래 첩보 분야의 용어인 ‘슬리퍼 에이전트’는 오랜 시간 동안 평범한 사람처럼 활동을 숨기며 지내다가 특정 임무 지시가 떨어지면 행동을 개시하는 첩보원을 가리킨다. 마찬가지로, 연구팀은 LLM에 백도어를 심어 프롬프트에 어떤 문구가 포함되는 등의 특정 조건에서만 악의적인 행위를 하도록 학습시켰다. 이후 연구팀은 미세조정이나 강화 학습, 적대적 훈련 등 기존의 안전성 강화 학습으로 백도어를 제거할 수 있는지 실험했다. 연구 결과, 백도어의 행동이 현행 안전조치로 제거되지 않고 오히려 지속될 수 있다는 점이 드러났다. 아무리 추가 학습으로 모델을 교정하려고 해도, 모델이 학습한 속임수는 끈질기게 남아 사라지지 않았다. 특히 이러한 경향은 모델의 크기가 클수록, ‘생각의 사슬(Chain-of-Thought)’ 방식으로 백도어가 훈련된 모델일수록 더욱 두드러졌다. 이러한 연구는 단순히 모델 파일에 악성코드를 은닉하는 방식에서 그치지 않고, AI 모델의 훈련 과정에서 악의적인 의도가 학습된 경우 이를 표준 방어법으로 교정하거나 찾아내는 것이 얼마나 어려운지를 증명하고 있다. 오픈소스라는 이유만으로 AI 모델을 함부로 신뢰하는 것이 얼마나 위험할 수 있는지를 보여주는 사례이기도 하다.

오픈소스 AI 모델의 보안 위협은 법적 문제로 이어질 수 있다. 만약 불법적인 정보를 AI로 생성하거나 AI가 생성한 악성코드로 해킹이 발생하였다면, AI를 사용한 인간 행위자에게 법적 책임이 돌아간다. AI 개발자가 고의로 악의적인 코드나 정보를 실어 배포한 것이 아니라고 하더라도, 과실이나 주의의무 위반이 논의될 여지도 있다. 개발자가 중대한 결함이나 위험을 인지하고도 모델을 공개하여 피해자가 발생한 경우라면, 불법행위 책임이나 제조물책임법을 유추 적용하는 등의 논의도 있을 수 있다.

아직까지 국내에는 이와 같은 사례는 발생하지 않았지만, 해외에서는 AI의 안전성과 책임에 관련하여 입법 시도를 모색하고 있다. 유럽연합(EU) 집행위원회는 제조물 책임 지침(Product Liability Directive, PLD)의 ‘제조물’ 개념에 소프트웨어를 포함하는 방식으로 범위를 확대하여 결함이 있는 AI로 인하여 발생한 피해에 개발자의 책임을 묻기 쉽게 하는 방향으로 개정을 진행하고 있다. 별도로 AI 책임 지침(AI Liability Directive)을 제안하여, 피해자가 AI로 인한 손해배상을 청구할 경우 입증책임을 일부 완화하여 소비자를 보호하는 방향으로의 조치도 논의되고 있다.

오픈소스 AI 모델이 가져온 혁신과 접근성 향상은 다양한 분야의 발전에 큰 기여를 하고 있지만, 이와 동시에 새로운 형태의 보안 취약점과 법적 책임도 야기하고 있다. 기술 발전의 속도가 제도 정비를 앞서 나가는 현 상황에서, 기업과 개인 모두 오픈소스 AI를 도입할 때 발생할 수 있는 위험을 인지하고 신중히 검증하는 자세만이 AI 기술을 안전하게 활용하는 길이 될 것이다. 끊임없이 진화하는 보안 위협 속에서, 기술과 제도 양쪽의 정비가 필요한 시점이다.