[보안 101] 더보기 ▶

매달 하나의 주제를 선정해 질문을 던지며, 보안에 한 걸음 더 가까이 다가갑니다.
복잡하고 어렵게 느껴질 수 있는 보안 지식을 초보자도 쉽게 이해할 수 있도록, 기초 개념부터 최신 이슈까지 차근차근 풀어갑니다.

보안이 알고 싶을 땐, 보안 101으로 시작해 보세요.
물음표를 느낌표로 바꾸는 여정을 이글루코퍼레이션이 함께합니다.

‘25년 1월 제정된 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(이하 AI기본법)」이 오는 22일부터 시행된다. 포괄적 AI 법체계를 만든 것은 유럽연합(이하 EU)에 이어 두 번째지만, EU의 「AI법(Artificial Intelligence Act)」이 ‘26년 8월 전면 시행된다는 점을 감안하면 AI에 대한 전면적인 법 적용은 우리나라가 처음이다. EU는 AI 혁신을 도모하는 한편 AI 기술의 급속한 발전으로 인한 윤리적·법적·사회적 영향에 대응하고자 최초의 포괄적 AI 규제인 「AI법」을 제정했다. 우리나라의 「AI기본법」은 EU의 「AI법」을 참고하여, AI 산업 육성에 초점을 두고 신뢰 기반 조성을 위한 최소한의 규제로 설계되었다.

그러나 AI 규제를 둘러싼 글로벌 기조가 조정 국면에 접어들면서, 「AI기본법」 시행으로 한국만 AI 경쟁에서 뒤처지는 것 아니냐는 우려가 커지고 있다. EU 집행위원회는 지난해 11월 규제 완화안은 담은 「디지털 간소화 방안(Digital Omnibus Regulation Proposal)」을 발표했다. 디지털 간소화 방안이 유럽의회를 통과할 경우, 고위험 AI 시스템 관련 규정은 올해 8월에서 내년 12월로 시행이 연기된다. 미국 역시 지난해 7월 ‘AI 행동계획(America’s AI Action Plan)’을 수립해 AI 발전에 대한 의지를 표명하고, 12월 도널드 트럼프 미국 대통령이 연방 차원의 단일 규제를 적용하는 행정명령에 서명하며 규제 최소화 기조를 분명히 했다.

01. 유럽연합의 AI 규제 동향

1) 「AI법(AI Act)」 주요 내용

EU의 「AI법」은 AI 시스템의 안전과 윤리적 원칙을 보장하고 위험을 최소화하여 신뢰할 수 있는 AI를 육성하는 것을 목적으로 하는 세계 최초의 포괄적 AI 규제다. ‘21년 4월 EU 집행위원회에서 법안을 제안한 후 3년만인 ‘24년 3월 유럽의회를 통과, 5월 EU 이사회에서 최종 승인되면서 같은 해 8월부터 단계적으로 시행되고 있다. 이 법은 총 13장 113개 조항 및 13개의 부속서로 구성된 방대한 규정으로, EU 회원국 간 AI 관련 규정을 통일하여 AI 시스템의 개발, 수입, 운영자에게 법적 확실성을 제공한다. 제공자(providers), 사용자(deployers), 역내 대리인(authorised representatives), 하방 제공자(downstream providers)와 같은 AI 시스템 운영자(operators)들은 각자에게 부과된 의무를 수행해야 한다.

「AI법」의 가장 큰 특징은 ‘위험 기반 접근방식(risk-based approach)’에 따라 AI 시스템을 위험 수준별로 유형화했다는 점이다. 금지된 AI 시스템, 고위험 AI 시스템, 제한된 위험을 갖는 AI 시스템, 최소위험 AI 시스템이 그것으로, AI 시스템이 규율을 위반하면 유형에 따른 차등 규제를 적용한다. 예컨대 금지된 AI 시스템은 사용 자체가 금지되며, 규정을 준수하지 않은 경우 3,500만 유로 또는 직전 회계연도의 전 세계 총 연간매출액의 최대 7% 중 더 높은 금액이 과징금으로 부과된다. 반면 최소위험 AI 시스템은 규제 대상에 포함되지 않고, 고위험 AI 시스템에 적용되는 의무의 일부 또는 전부를 수용한 행동강령을 수립하여 자율적으로 규제를 준수하도록 장려하고 있다.

「AI법」은 고위험 AI 시스템을 가장 중점적으로 규율하고 있다. 고위험 AI 시스템은 제품의 안전구성요소 또는 부속서 I에 나열된 EU 통합법률의 적용을 받는 제품 자체인 AI 시스템과 부속서 Ⅲ에 제시된 8가지 유형의 AI 시스템을 말한다. 제공자는 고위험 AI 시스템의 시장 출시 전 위험관리 시스템, 데이터 품질관리, 기술 명세서, 로그의 기록·관리, 운영자에 대한 정보 공개의 투명성, 사람에 의한 감독, 정확성·신뢰성·보안 등 요구사항을 준수하고 적합성 평가를 받아야 한다. 사용자는 시스템 출시 후 실제 사용 과정에서 발생할 수 있는 위험을 모니터링해야 한다. 고위험 AI 시스템 규정을 위반할 경우, 일반적으로 1,500만 유로 또는 직전 회계연도의 전 세계 총 연간매출액의 최대 3% 중 더 높은 금액을 과징금으로 부과한다.

제한된 위험을 갖는 AI 시스템 제공자와 사용자의 경우 반드시 ‘투명성 의무’를 준수해야 한다. 이에 따라 AI 시스템 제공자는 AI 시스템을 사용하는 상황과 맥락을 고려하여, 사람이 AI 시스템과 상호작용하고 있다는 사실을 인식할 수 있도록 고지해야 한다. 또한 합성 오디오, 이미지, 비디오, 텍스트 콘텐츠를 생성하는 경우 결과물을 기계 판독이 가능한 형태로 표시하고, 인위적 생성이나 조작을 감지할 수 있도록 해야 한다. AI 시스템을 활용해 이미지, 음성, 비디오 콘텐츠를 생성하거나 조작하는 사용자는 해당 콘텐츠가 인위적으로 생성 또는 조작되었다는 사실을 공개해야 한다.

「AI법」은 글로벌 AI 규제의 표준이 될 것으로 기대를 모았으나, 과도한 규제라는 평가와 함께 EU의 기술 발전을 저해할 수 있다는 비판이 끊이지 않고 있다. 마리오 드라기 전 유럽중앙은행 총재는 ‘24년 9월 발표한 ‘EU 경쟁력의 미래(The future of European competitiveness)’ 보고서를 통해 기술 기업에 대한 EU의 규제 기조가 혁신을 저해한다고 지적했다. BNP 파리바, 메르세데스-벤츠 등 110여 개 유럽 기업 및 단체가 지난해 7월 우르줄라 폰데어라이엔 EU 집행위원장에게 공개서한을 보내 「AI법」 시행 연기를 요구한 데 이어, 트럼프 행정부의 압박까지 이어지면서 EU는 「AI법」의 일부 규제의 강도를 완화하는 방안을 검토 중인 것으로 알려졌다.

2) 「디지털 간소화 방안(Digital Omnibus Regulation Proposal)」 주요 내용

결국 EU 집행위원회는 지난해 11월 「AI법」 핵심 조항의 시행을 연기하는 내용을 담은 「디지털 간소화 방안」을 발표했다. 기술표준의 부재, 집행 인프라 미비, 산업 영향평가 부족 등 준비가 부족했음을 인정하고 충분한 준비 기간을 갖기로 한 것이다. 이에 따라 고위험 AI 시스템 규제 적용 시점은 ‘26년 8월에서 ‘27년 12월로 최대 16개월 연기된다. 물론 「디지털 간소화 방안」은 최종 통과나 확정까지 회원국 간 논의와 유럽의회 승인 절차가 남아있으며, 디지털 기본권의 후퇴 가능성이나 빅테크 편향성를 비판하는 이들도 있다. 그럼에도 「디지털 간소화 방안」은 규제 유예는 불가하다고 못박았던 EU가 입장을 선회했다는 점에서 큰 의미가 있다.

02. 미국의 AI 규제 동향

1) 미국의 AI 행동계획(America’s AI Action Plan) 주요 내용

트럼프 2기 행정부는 AI 경쟁에서 우위를 점하고자 AI 산업을 진흥·육성하는 정책을 추진해 나가고 있다. 트럼프 대통령이 ‘25년 1월 ‘행정명령 제14179호(Removing Barriers to American Leadership in Artificial Intelligence)’를 공표하고 미연방 AI 행동계획을 수립할 것을 지시하면서, 백악관은 ‘25년 7월 ‘미국의 AI 행동계획’을 발표했다. 미국의 AI 행동계획은 AI 혁신 가속화, AI 인프라 구축, 국제 AI 외교·안보 주도 등 3개의 전략축을 중심으로, ‘산업 우선주의’를 표방하는 30개의 정책과 90여 개의 연방조치들을 제시하고 있다. 이러한 실행과제는 AI 시스템의 투명성 등 AI 기술에 관한 규제 입법을 추진하고 있는 미국 각 주(州)의 입법례와 구별된다.

2) 행정명령 제14365호(Ensuring a National Policy Framework for Artificial Intelligence) 주요 내용

트럼프 대통령은 지난해 12월 주별 규제 대신 연방 차원의 단일 규제를 적용하는 ‘행정명령 제14365호 (Ensuring a National Policy Framework for Artificial Intelligence)’에 서명하여 규제 최소화 기조를 분명히 했다. 행정명령에 따라 법무부 장관은 상거래를 위헌적으로 규제하거나 기존 연방법과 충돌하는 주정부의 AI 법률에 이의를 제기하기 위한 ‘AI 소송 태스크포스(AI Litigation Task Force)’를 설치해야 한다. 상무부 장관에게는 주정부의 AI 법률이 국가 AI 정책에 상충될 경우 ‘광대역 형평성, 접근성 및 구축(Broadband Equity Access and Deployment, BEAD) 프로그램’에 연방 보조금 지급을 제한하거나 재정 지원에 조건을 부과할 수 있는 권한을 명확히 하면서, 주정부 압박 수위를 강하게 높였다.

이로 인해 AI 규제를 둘러싼 연방정부와 주정부 간 법적 분쟁이 한층 심화될 전망이다. 캘리포니아, 콜로라도 등 주정부는 이번 행정명령 발표 이전부터 AI 안전성과 알고리즘 투명성을 강화하는 AI 규제를 추진해왔다. 뉴욕은 행정명령에 반발하며 대형 AI 기업을 대상으로 안전 규제를 의무화하는 내용을 골자로 한 「책임 있는 AI 안전 및 교육법(Responsible AI Safety and Education Act, RAISE Act)」에 서명했다. 다만 이번 행정명령은 법적 근거가 부족하여 각급 법원에서 효력을 정지할 수 있는 데다가, ‘미국 연방에 위임되지 않았거나, 각 주에 금지되지 않은 권한은 각 주나 국민에게 속한다’라고 규정한 「수정헌법」 제10조를 위반할 여지가 있어 주법을 즉각 무효화하기는 어려울 것으로 보인다.

03. 한국의 AI 규제 동향

1) 「AI기본법」 주요 내용

「AI기본법」은 EU의 「AI법」을 바탕으로, 국내 AI 산업 실정을 고려하여 AI 산업 발전과 안전·신뢰 기반 구축이라는 두 가치를 균형적으로 반영하고 있다. 이는 과학기술정보통신부(이하 과기정통부)가 지난해 12월 ‘AI 기본법 시행 대비 설명회’를 열어 「AI기본법」이 규제가 아닌 ‘생태계 조성 중심 법’임을 강조한 것과 일맥상통한다.

2) 「AI기본법」을 둘러싼 쟁점

그러나 국내 AI 업계에서는 「AI기본법」이 오히려 AI 발전을 저해할 수 있다는 우려가 나오고 있다. AI 생태계가 이제 막 형성되어 가는 초기 단계에서 장애물이 될 여지가 있고, 일부 조항이 모호해 법적 불확실성을 해소하지 못한다는 지적이다. 정보기술혁신재단(ITIF) 역시 지난해 9월 ‘통합적 접근의 명암: 한국 AI 기본법의 전략·진흥·규제 구조와 규제 리스크’ 보고서를 통해 「AI기본법」이 전략·진흥·규제를 단일 법안에 통합한 세계 최초의 시도라고 평가하는 한편, 규제 부문의 구조적 결함이 법이 가지고 있는 다른 강점을 저해할 수 있다고 밝혔다. 그렇다면 「AI기본법」 주요 쟁점은 무엇일까?

○ 고영향 AI의 모호한 정의

「AI기본법」은 사회적 영향이 큰 AI를 ‘고영향 AI’로 분류하고, 해당 서비스를 제공하는 기업에 더 강한 책임을 부과하는 데 초점을 맞추고 있다. 과기정통부가 공개한 ‘AI기본법 하위법령집’에 따르면 보건·의료, 채용·인사 평가, 금융 신용 판단, 에너지·교통 등 핵심 인프라 운영, 수사·재판 지원 등이 고영향 AI 분야에 해당한다. 이들 분야에서는 AI의 판단 결과가 개인의 권리와 삶에 직접적인 영향을 미칠 수 있어, 오류나 편향이 발생할 경우 사회적 파급력이 크다. 이에 따라 법은 고영향 AI 사업자에게 위험 요소를 사전에 관리할 수 있는 체계를 구축하고, 안전성과 설명 가능성을 확보하도록 요구하고 있다.

다만 업계에서는 자사 서비스가 실제로 고영향 AI에 해당하는지를 판단할 기준이 불분명하다고 지적한다. 특히 고영향 AI 분류의 2단계 조건에 포함된 ‘중대한 영향’의 범위가 추상적이라는 점이 문제로 꼽힌다. 예를 들어 쇼핑몰의 상품 추천 알고리즘이나 배달 라이더의 배차 시스템과 같은 일상적인 서비스도 경제적 이익 측면에서 이용자의 기본권에 영향을 미친다는 이유로 고영향 AI로 해석될 여지가 있기 때문이다. 과기정통부는 고영향 AI의 범주는 고정된 개념이 아니며, 기술 발전과 사회적 동향에 따라 조정될 수 있다고 설명했다. 아울러 법 적용 과정에서는 조항을 엄격히 해석하기보다는 최소한의 규제 원칙을 유지하겠다는 입장을 밝혔다.

○ 연산량 기반 안전성확보의무 대상 규정

현행 「AI기본법」은 누적 연산량이 10의 26제곱 플롭스(FLOPS) 이상인 모델을 고영향 AI로 간주하고, 이를 운영하는 사업자에게 안전성 확보 의무를 부과하고 있다. 그러나 연산량만으로 AI의 위험성을 판단하는 데에는 한계가 있다는 지적이 적지 않다. AI 시스템의 위험 수준은 연산량뿐만 아니라 활용 목적, 서비스 환경, 모델 구조, 학습 데이터의 품질 등 다양한 요소에 의해 결정되기 때문이다. 실제로 연산량이 비교적 적은 모델이라도 특정 환경에서는 대형 모델보다 더 높은 위험성을 가지거나, 성능 면에서 우수한 사례도 보고되고 있다. 과기정통부는 현행 기준을 유지하되, EU, 미국 등 해외 주요국의 제도와 논의를 지속적으로 검토하겠다는 입장이다. 연산량 기준이 절대적 잣대라기 보다는 제도 운영 과정에서 보완될 수 있는 출발점에 가깝다는 설명이다.

○ 투명성 의무 규정

또 다른 쟁점은 생성형 AI 결과물에 대한 ‘투명성 확보 의무’다. 「AI기본법」에 따르면 AI 사업자는 생성형 AI가 만든 결과물에 AI가 활용됐다는 사실을 명확히 표시해야 한다. AI 산출물에 워터마크를 표시하는 것이 대표적이다. 이는 AI로 제3자를 사칭하는 딥페이크 범죄를 예방하고 이용자의 알 권리를 보장하겠다는 취지에서 비롯된 조항이다. 문제는 이 규정의 적용 범위가 지나치게 넓게 해석될 수 있다는 점이다. 법을 엄격히 적용할 경우 스마트폰의 AI 사진 보정 기능이나 문법 교정, 자동 번역처럼 일상적으로 사용되는 기능에도 모두 AI 사용 표시를 해야 할 가능성이 있다. 이는 추가 비용 부담을 초래할 뿐 아니라, 이용자 입장에서도 서비스 경험을 해칠 수 있다는 우려로 이어진다. 업계 일각에서는 과도한 AI 표시가 오히려 이용 피로도를 높이는 디지털 공해로 작용할 수 있다는 지적도 나온다. 이에 대해 과기정통부는 시행 초기에는 시행령이나 고시보다 가이드라인 중심으로 제도를 운영해 현장의 혼선을 최소화하겠다는 방침을 밝혔다.

04. View of IGLOO

「AI기본법」의 제정과 시행은 AI 기술이 일상으로 빠르게 스며드는 상황에서 중요한 전환점으로 평가된다. 이 법은 폭발적으로 확산되는 AI 활용 속에서 우리 사회가 공유해야 할 최소한의 기준을 제도화했다는 점에서 의미가 크다. 누구나 AI를 쉽게 사용할 수 있게 된 만큼, 책임 있는 활용과 사회적 합의가 필요해졌고, 「AI기본법」은 그 출발선에 해당한다. 다만 제도의 성패는 법 조문 자체보다 이를 어떻게 운영하느냐에 따라 현장에서 갈릴 가능성이 크다. 정부는 ‘최소 규제’ 원칙을 강조하고 있지만, 고영향 AI 판단 기준의 모호함이나 업종별 특수성을 충분히 반영하지 못한 일률적인 투명성 의무에 대해서는 산업계의 우려가 여전히 이어지고 있다.

전문가들은 원칙 중심으로 설계된 조항들이 실제 현장에서 혼란을 낳지 않도록 보다 구체적인 하위 가이드라인과 예외 규정이 조속히 마련돼야 한다고 지적한다. 법 시행 이후 최소 1년의 계도기간이 주어진 만큼, 이 시간을 단순한 유예 기간이 아니라 제도를 보완하는 실질적인 준비 단계로 활용해야 한다는 목소리도 나온다. 정보혁신재단은 “「AI기본법」은 향후 10년간 한국의 AI 방향을 결정할 것”이라며 “구조적 결함을 수정하기 위해 법률을 강화하고 균형 잡히고 성과 중심의 규칙을 시행한다면 한국은 권리를 보호하고 일상생활을 개선하는 혁신을 촉진하며 글로벌 경쟁력에서 견고한 우위를 확고히 할 것”이라고 분석하기도 했다.

AI 산업이 국가 경쟁력의 핵심으로 부상한 지금, 「AI기본법」의 성과는 정부와 산업계, 이용자 간의 지속적인 소통에 달려 있다. 기술과 산업 환경이 빠르게 변화하는 만큼, 법 역시 고정된 규범이 아니라 조정 가능한 틀로 작동해야 한다. 시행 과정에서 축적되는 현장의 사례와 의견을 제도에 반영할 수 있는 유연한 업데이트 구조를 갖추는 것이 관건이다. 이러한 과정이 제대로 작동한다면 AI기본법은 단순한 규제 논란을 넘어, 한국형 AI 거버넌스 모델의 출발점으로 자리매김할 수 있을 것이다.

05. 참고 자료

1) EU, AI규제 16개월 늦춘다…디지털 간소화 방안 발표
2) 트럼프, '州정부 AI 규제 차단' 명령…"승인 출처 한곳이어야“
3) AI 기본법 제정안의 주요 내용 및 시사점
4) 美 싱크탱크 "韓 AI 기본법, 과도한 규제가 글로벌 경쟁력 위협“
5) '세계 최초'에 다급했나… 시행과 동시에 또 AI 제도 개선한다는 정부
6) 세계 최초 ‘AI 기본법’ 시행 코앞인데…“기준은 아직, 책임만 먼저”

💌 후속 콘텐츠, 계속 받아보세요 ▶