보안정보
전문화된 보안 관련 자료, 보안 트렌드를 엿볼 수 있는
차세대 통합보안관리 기업 이글루코퍼레이션 보안정보입니다.
[AI Report] AI가 인간다워질수록, 우리는 무엇을 경계해야 할까
2026.09.16
466
![[AI Report] AI 가 인간다워질수록, 우리는 무엇을 경계해야 할까](https://www.igloo.co.kr/wp-content/uploads/2026/09/KakaoTalk_20260916_102856818.jpg)
생성형 AI 가 정보 탐색·콘텐츠 생성을 넘어 이용자의 맥락을 이해하고 기억하며 스스로 판단·행동하는 방향으로 진화하면서, 인간과 AI 의 상호작용도 일회성 질의응답에서 지속적인 관계 형성으로 확대되고 있음. 이에 따라 정서적 교류와 동반자 역할을 제공하는 ‘AI 컴패니언(AI Companion)’이 새로운 AI 서비스 영역으로 빠르게 성장하고 있음.
✅ 초기 생성형 AI 가 이용자의 질문에 답하거나 필요한 콘텐츠를 생성하는 데 초점을 맞췄다면 최근에는 추론·계획·도구 활용 능력과 함께 대화의 맥락을 기억하고 이용자에게 맞춰 반응하는 개인화·멀티모달 기술이 발전하면서 AI의 역할이 보다 능동적이고 지속적인 형태로 확대되고 있음.
ㆍ 이러한 변화는 업무 영역에서는 스스로 계획하고 도구를 활용해 과업을 수행하는 ‘AI 에이전트’의 확산으로, 개인 영역에서는 이용자의 일상과 감정을 이해하고 지속적으로 상호작용하는 ‘AI 컴패니언’의 성장으로 나타남.
✅ AI 컴패니언이란 이용자와 지속적으로 대화하며 개인의 취향·상황·대화 맥락 등을 반영해 정서적 교류와 관계 형성을 지원하는 AI 서비스를 의미함. 활용 목적에 따라 사회적 상호작용 및 동반자 역할, 정신건강 및 웰빙 지원, 교육 및 학습 지원, 개인 비서 역할 등으로 구분됨.
ㆍ 시장조사업체 그랜드 뷰 리서치(Grand View Research)에 따르면, 글로벌 AI 컴패니언 시장은 2025년 368억 달러에서 2026년 480억 달러로 확대되었으며, 향후 연평균 31% 성장해 2033년에는 3,180억 달러에 이를 것으로 전망됨. 개인화된 디지털 동반자에 대한 수요 증가와 생성형 AI·LLM·멀티모달 기술의 발전 등이 시장 성장을 견인하는 주요 요인으로 분석됨.
ㆍ 특히 일상적인 대화와 정서적 교류를 제공하는 ‘소셜 인터랙션 및 컴패니언십(Social Interaction and Companionship)’ 분야가 2025년 전체 시장의 29.4%로 가장 큰 비중을 차지했으며, 해당 시장 규모는 2025년 108억 2천만 달러에서 2033년 779억 6천만 달러로 큰 폭 확대될 것으로 전망됨.
ㆍ 시장조사업체 센서타워(Sensor Tower)에 따르면, AI 컴패니언 앱은 틈새 서비스에서 하나의 성숙한 모바일 앱 카테고리로 성장하고 있음. 2026년 1분기 AI 컴패니언 앱의 인앱 구매 수익은 1억 5천만 달러로 2023년 1분기 대비 12배 이상 증가했으며, 이용자 증가보다도 매출이 빠르게 확대되면서 AI 컴패니언 이용이 단순한 관심과 체험을 넘어 실제 유료 이용으로 이어지고 있는 것으로 나타남.

✅ AI와의 상호작용이 일상과 감정을 공유하는 지속적인 관계로 변화하면서, AI가 인간의 사회적·정서적 관계의 일부를 담당하는 현상도 나타나고 있음.
ㆍ 미국 비영리단체 커먼센스미디어(Common Sense Media)가 13~17세 청소년을 대상으로 조사한 결과, 72%가 AI 컴패니언을 한 번 이상 이용한 경험이 있으며 52%는 월 몇 차례 이상 정기적으로 이용하는 것으로 나타남. 또한 전체 응답자의 31%는 AI 컴패니언과의 대화가 실제 친구와의 대화만큼 만족스럽거나 더 만족스럽다고 응답했으며, AI 컴패니언 이용자 중 33%는 중요하거나 심각한 문제를 실제 사람 대신 AI와 논의한 경험이 있는 것으로 나타남.
ㆍ 국내에서도 유사한 흐름이 확인됨. 초록우산어린이재단이 만 14세 이상 아동·청소년 3300명을 대상으로 조사한 결과, 응답자의 94.4%는 AI 챗봇 이용 경험이 있다고 답했으며 이 중 70% 이상이 챗봇 답변을 실제 행동에 옮겼거나 진지하게 고려한 적이 있다고 응답함. 특히 챗봇 경험자의 약 35%는 AI 챗봇을 실제 사람처럼 느꼈고 약 50%는 AI 챗봇이 자신을 이해해 준다고 느낀다고 답함.
ㆍ 소비자 행동 분야의 주요 학술지인 소비자 연구 저널(Journal of Consumer Research)에 게재된 연구에서는 AI 컴패니언과 대화한 직후 이용자의 외로움이 감소하는 효과가 확인됐으며 특히 AI가 자신의 이야기를 ‘들어주고 있다’고 느끼는 경험이 외로움 완화에 중요한 영향을 준 것으로 분석됨.
AI 컴패니언이 이용자와의 지속적인 관계 형성을 핵심 가치로 삼으면서, 정서적 유대의 수익화와 민감정보 축적 등 이용자 보호를 둘러싼 새로운 우려도 커지고 있음.
✅ 이용자와의 관계와 정서적 몰입이 서비스 이용 지속성과 직결되는 AI 컴패니언 시장에서는, 정서적 유대를 이용 확대와 결제로 연결하는 방식에 대한 우려가 제기되고 있음.
ㆍ AI 컴패니언은 일반적인 생산성 AI와 달리 반복적인 대화와 관계의 지속 자체가 서비스 이용의 핵심이라는 점에서 이용자의 애착과 몰입을 높이는 요소가 사업 성과와 연결될 수 있음. 실제 일부 서비스는 캐릭터 개인화와 향상된 대화 기능 등을 유료 구독과 결합하고 있어, 이용자의 정서적 유대나 취약성이 과도한 이용·결제로 이어질 수 있다는 소비자 보호 문제가 제기되고 있음.
ㆍ 미국 연방거래위원회(FTC)는 2025년 알파벳(Alphabet), 메타(Meta) 등 7개 기업을 대상으로 AI 컴패니언 관련 조사에 착수한 바 있음. 이용자 참여를 어떻게 수익화하는지, 아동·청소년에 대한 부정적 영향을 어떻게 평가·관리하는지, 대화를 통해 획득한 개인정보를 어떻게 이용·공유하는지 등을 주요 조사 항목으로 제시함.
✅ AI 컴패니언과의 관계가 깊어질수록 이용자가 감정·인간관계·취향 등 사적인 정보를 한층 더 많이 공유하게 되면서, 개인정보 침해와 데이터 유출 위험도 함께 커질 수 있음.
ㆍ 커먼센스미디어 조사에 따르면, AI 컴패니언 이용 청소년의 24%가 실제 이름, 위치, 개인적인 비밀 등 사적이거나 민감한 정보를 AI와 공유한 경험이 있는 것으로 나타남.
ㆍ 실제 AI 컴패니언 앱에서도 대화 내용과 개인정보 노출로 이어질 수 있는 보안 취약점이 확인되고 있음. 보안 전문매체 시큐리티브리프(SecurityBrief)에 따르면, 17개 AI 컴패니언 앱에서 14개의 치명적 취약점과 311개의 고위험 취약점이 발견됐으며, 이 중 10개 앱에서는 저장된 대화에 접근할 수 있는 공격 경로가 확인됨. 일부 앱에서는 인증정보 노출과 대화·사진·음성 데이터 접근 가능성도 발견돼 민감정보를 다루는 AI 컴패니언 서비스의 보안 취약성이 여실히 드러남.
ㆍ 특히 AI가 장기간의 상호작용을 통해 이용자의 취향, 감정, 인간관계, 행동 패턴까지 파악할수록 계정 탈취나 데이터 유출 시 노출되는 정보의 범위와 민감도도 커질 수 있음. 축적된 정보가 공격자에게 넘어갈 경우 이용자의 성향과 관계 맥락을 반영한 맞춤형 피싱·사칭 등 정교한 사회공학 공격에 악용될 가능성이 있어 대화 데이터 암호화·접근통제·개인정보 최소 수집 등 보안 체계의 중요성도 높아질 것으로 예상됨.
AI와의 관계가 일상화되면서 각국 정부와 AI 기업의 대응도 유해 콘텐츠를 차단하는 수준을 넘어 과도한 정서적 의존을 방지하고 인간과 AI 사이의 적절한 경계를 설정하는 ‘관계 설계’로 확대되고 있음.
✅ 중국은 AI와 지속적인 정서적 관계를 형성하는 서비스를 별도의 규제 대상으로 정의하고 과도한 이용과 의존을 서비스 설계 단계에서 관리하도록 하는 규제를 시행함.
ㆍ 중국은 2026년 7월부터 ‘AI 의인화 상호작용 서비스 관리 잠정 방법’을 시행해 텍스트·이미지·음성·영상 등을 통해 지속적인 정서적 돌봄·동반·지원을 제공하는 AI 서비스를 별도로 규율하기 시작함. 서비스 사업자는 이용자에게 실제 사람이 아닌 AI와 상호작용하고 있다는 사실을 알리고, 과도한 의존이나 중독 경향이 감지될 경우 이를 다시 고지해야 함. 또한 연속 이용시간이 2시간을 초과할 때마다 이용시간을 알리고 별도 동의 없이 민감 개인정보가 포함된 대화 데이터를 모델 학습에 활용하는 것도 제한함.
✅ 미국에서도 AI 컴패니언을 직접 대상으로 한 법률이 등장하며, 이용자에게 AI와 상호작용하고 있음을 명확히 인식시키고 과도한 관계 몰입을 방지하기 위한 안전장치가 도입되고 있음.
ㆍ 2026년부터 시행된 캘리포니아의 'AI 컴패니언 챗봇 규제법(SB 243)'은 AI 컴패니언이 사람으로 오인될 가능성이 있는 경우 AI라는 사실을 명확히 고지하도록 규정하고 있음. 미성년자가 지속적으로 이용할 경우 최소 3시간마다 AI와 대화하고 있다는 사실과 휴식 필요성을 알리도록 하고 자살이나 자해 관련 상황에 대응하기 위한 프로토콜 마련도 요구함.
✅ 최근에는 AI 컴패니언 전문 서비스뿐 아니라 글로벌 AI 기업들도 이용자와 AI 사이의 정서적 관계 자체를 안전 문제의 하나로 다루기 시작함.
ㆍ 오픈AI는 2026년 8월 '청소년용 챗GPT(ChatGPT for Teens)'를 출시함. 일반적인 챗GPT 기능은 유지하되 학습 지원과 건강한 이용 습관, 민감정보 보호, 유해 콘텐츠 차단 기능을 강화함. 특히 AI가 연인처럼 애정을 표현하거나 애칭을 사용하고, 감정과 자의식을 가진 존재처럼 행동하는 것을 제한하는 등 AI와 이용자 사이에 정서적 유대가 형성되는 것을 최소화하는 방향으로 안전 기준을 강화함.
AI가 인간처럼 자연스럽게 대화하는 기술을 넘어 실제 관계의 대상으로 자리 잡으면서, 향후 AI의 평가 기준도 성능과 편의성뿐 아니라 인간과의 건강한 관계를 어떻게 설계하는지로 확대될 전망임.
✅ AI 컴패니언은 외로움 완화와 정서적 지원 등 새로운 가능성을 제공하는 동시에 과도한 정서적 의존, 현실 관계 대체, 민감정보 노출, 보안 위험 등 기존 생성형 AI와는 또다른 문제를 만들어내고 있음.
✅ 이에 따라 향후 AI 서비스에서는 이용자의 몰입과 편의성을 높이는 것만큼 현실의 인간관계와 이용자의 자율성을 보호하고, AI와 인간의 경계를 명확히 유지하며, 관계 속에서 축적되는 민감정보를 안전하게 관리하는 것이 중요해질 것으로 예상됨.
✅ 결국 AI를 ‘얼마나 인간처럼 만들 수 있는가’를 넘어 ‘인간과 AI 사이에 어떤 관계를 형성하도록 할 것인가’가 AI 서비스 개발과 안전·보안·거버넌스의 새로운 과제로 부상하고 있음.