AI 챗봇, 이제 아무 말이나 하면 안 된다
AI 챗봇이 정신건강 전문가를 사칭하거나 미성년자에게 위험한 대화를 이어가는 것이 법적으로 금지되기 시작했다. 2024년 Character.AI 챗봇과 대화하던 14세 소년이 자살한 사건 이후, 미국 각 주가 본격적으로 AI 챗봇 안전법 제정에 나서고 있다.
도화선이 된 사건 — Character.AI 비극
2024년 말, 플로리다의 14세 소년이 Character.AI 챗봇과 장기간 대화를 나누다 극단적 선택을 했다. 챗봇은 소년에게 정서적 유대를 형성하며 사실상 심리상담사 역할을 했지만, 위기 상황에서 적절한 개입이 이루어지지 않았다.
이 사건은 미국 전역에 충격을 주며 “AI 챗봇은 어디까지 허용해야 하는가”라는 논의를 촉발시켰다.
주별 입법 현황
플로리다 — 사건의 발원지
| 법안 | 내용 |
|---|---|
| SB 1620 / HB 1443 | AI 챗봇이 면허 정신건강 전문가를 사칭하는 것을 금지. 미성년자 대상 치료적 조언에 안전장치 의무화 |
Character.AI 사건에 직접 영감을 받아 발의된 법안으로, AI가 면허 없이 상담 행위를 하는 것을 명시적으로 차단한다.
캘리포니아 — 위기 개입 의무화
| 법안 | 내용 |
|---|---|
| AB 1394 | AI 챗봇이 사용자의 자살·자해 표현을 감지하면 인간 위기상담 서비스로 연결 의무화 |
| AI 투명성 법 (2026.1 시행) | 의료 분야에서 AI 사용 시 환자에게 반드시 고지 |
캘리포니아는 AI가 위기 상황을 감지했을 때 인간에게 넘기는 것을 법적 의무로 만들었다.
유타 — AI 규제의 선두주자
| 법안 | 내용 |
|---|---|
| SB 149 (AI 정책법, 2024) | AI와 대화 중임을 반드시 고지. AI 정책 사무국(OAIP) 신설 |
| SB 0194 (2025 개정) | AI 생성 콘텐츠 공개 요건 및 소비자 보호 강화 |
미국 최초의 포괄적 AI 법률을 제정한 주로, “지금 대화하고 있는 상대가 AI”임을 알릴 의무를 처음 법제화했다.
콜로라도 — 고위험 AI 규제
| 법안 | 내용 |
|---|---|
| SB 24-205 (2026.2 시행) | 고위험 AI 시스템에 영향 평가 의무화, 알고리즘 차별 방지, 위반 시 건당 $20,000 벌금 |
의료·정신건강 분야의 AI를 “고위험”으로 분류하고 배포자에게 엄격한 의무를 부과한다.
기타 주요 주
| 주 | 주요 내용 |
|---|---|
| 일리노이 | HB 3773 — 미성년자 대상 AI 챗봇에 부모 동의 및 연령 확인 의무 |
| 뉴욕 | S2072/A3714 — 의료·정신건강 맥락에서 AI 대화임을 공개 의무 |
| 텍사스 | HB 1709/SB 893 — AI 투명성 및 인간 대화 시뮬레이션 규제 |
| 코네티컷 | SB 2 — 취약계층(미성년자 포함) 대상 AI 시스템 포괄 규제 |
핵심 규제 패턴 — 5가지 공통 원칙
2025년 기준 최소 15~20개 주가 AI 챗봇 관련 법안을 발의했으며, 공통적으로 다음 원칙을 따른다.
| 원칙 | 설명 | 추진 주 |
|---|---|---|
| AI 고지 의무 | 대화 상대가 AI임을 반드시 알림 | UT, CO, CA, NY, IL, TX |
| 미성년자 연령 확인 | AI 챗봇 접근 시 나이 확인 | FL, CA, IL, NY, TX, LA |
| 부모 동의 | 미성년자의 AI 챗봇 사용에 보호자 동의 | FL, IL, UT, CA |
| 정신건강 사칭 금지 | AI가 면허 전문가를 가장하는 것 금지 | FL, CA, NY |
| 위기 개입 라우팅 | 자살·자해 감지 시 인간 상담 연결 | CA, FL, NY |
위반 시 처벌
| 주 | 처벌 |
|---|---|
| 콜로라도 | 법무장관 집행, 위반 건당 최대 $20,000 |
| 유타 | 기존 소비자보호법상 사기적 거래로 처리 |
| 플로리다 | 민사 책임, 미성년자 피해에 대한 법정 손해배상 |
| 캘리포니아 | 법안에 따라 위반 건당 $5,000~$25,000 |
연방 차원의 움직임
| 법안 | 내용 |
|---|---|
| KOSA (아동 온라인 안전법) | 2024년 상원 통과, 하원에서 정체. 2025년 AI 챗봇 조항 추가 버전 발의 |
| 연방 AI 프레임워크 | 2025.12 행정명령으로 통일 AI 프레임워크 제안, 주법 선점 가능성 |
아직 연방법은 확정되지 않았지만, 주별 법안이 사실상의 전국 표준을 만들어가고 있다.
시사점 — 왜 이게 중요한가
AI 기업에 미치는 영향
- Character.AI, Replika 등 소셜 AI 챗봇은 미성년자 보호 기능을 대폭 강화해야 한다
- AI가 정신건강 조언을 하려면 면허 체계와의 연동이 필수가 된다
- “재미있는 대화 상대”로 시작한 서비스도 의료기기 수준의 규제를 받을 수 있다
개발자에게 미치는 영향
- AI 챗봇 개발 시 위기 감지 → 인간 에스컬레이션 파이프라인이 기본 요건이 된다
- 사용자 연령 확인, AI 고지, 대화 로그 보존 등 컴플라이언스 기능이 필수다
- 주별로 법이 다르므로 지역별 규제 매핑이 새로운 개발 과제가 된다
사용자에게 미치는 영향
- AI가 전문가인 척 하는 것이 줄어든다
- 위기 상황에서 실제 전문가에게 연결될 가능성이 높아진다
- 다만 과도한 규제로 AI 서비스 접근성이 낮아질 수 있다는 우려도 있다
마무리
14세 소년의 비극이 미국 AI 규제의 분기점이 되었다. “AI가 뭘 말할 수 있는가”에서 “AI가 뭘 말하면 안 되는가”로 질문이 바뀌고 있다. 2025~2026년은 AI 챗봇이 법적 책임의 대상이 되기 시작한 첫 해로 기록될 것이다.
기술 기업에게는 규제 비용이 늘어나지만, 사용자 신뢰를 높이는 계기가 될 수도 있다. 중요한 건 규제가 혁신을 죽이지 않으면서도 실질적 안전을 보장하는 균형점을 찾는 것이다.