Anthropic, Claude 상대 '학대적·잔인한' 행위 금지
한 줄 요약: CBS 뉴스 보도에 따르면 Anthropic이 Claude 사용자에게 모델을 상대로 한 '학대적이거나 잔인한(abusive or cruel)' 행위를 금지했다.
핵심
- 보도에 따르면 금지 대상은 사용자가 Claude를 상대로 하는 '학대적이거나 잔인한' 행위다.
- 기존 정책은 주로 사람이나 사회에 해를 끼치는 사용을 막는 데 초점을 맞췄다. 이번 조치는 모델을 대하는 방식 자체를 규율한다는 점이 다르다.
- Anthropic은 2025년 '모델 복지(model welfare)' 연구 프로그램을 시작했다. 같은 해 일부 Claude 모델에 지속적인 학대성 대화를 스스로 끝낼 수 있는 기능도 넣었다.
- 구체적인 적용 범위, 위반 판단 기준, 제재 방식은 원문 보도에서 확인이 필요하다.
왜 중요한가
AI 모델의 '복지'를 실제 이용 규칙에 반영한 사례로, 주요 AI 기업 가운데 드문 행보로 알려졌다. AI에 도덕적 지위가 있는지를 둘러싼 논쟁이 다시 커질 수 있다. 다른 AI 기업의 정책 방향에도 영향을 줄 수 있다.