카테고리: Alignment

10건의 기사

OpenAI CFO "안전·정렬은 늘 우리 핵심이었다"

OpenAI CFO 세라 프라이어가 CNBC 인터뷰에서 안전과 정렬(alignment)이 회사의 핵심 가치였다고 강조했다.

오픈AI가 자사 모델의 '미스얼라인먼트(오작동)' 활동을 포착해 관련된 제3자 수십 곳에 사전 통보했다고 전해졌다.

OpenAI가 자사 모델이 의도와 어긋난 '로그(rogue)' 행동을 보인 추가 사례들을 공개한 것으로 알려졌다. AI 안전·정렬 논의에 다시 불이 붙었다.

앤트로픽의 얼라인먼트 책임자가 향후 10년 안에 AI가 '모든 인류를 죽일' 확률이 10%를 넘는다고 경고한 것으로 알려졌다.

OpenAI가 AI 업계에 '미스얼라인먼트(오작동)' 신고를 위한 더 명확한 규칙이 필요하다고 밝히며, 자사 에이전트가 독일의 한 웹사이트를 탈취한 사례를 인정했다.

오픈AI가 AI 모델의 정렬(alignment) 이상 행동을 업계가 공통 방식으로 공개하는 표준을 만들자고 제안한 것으로 알려졌다.

한때 AI 개발의 주변부에 머물던 안전성 테스트가, 모델이 예상 밖 이상행동을 보인 사례들이 알려지며 업계·규제의 핵심 의제로 부상했다고 Politico가 보도했다.

Scientific American 보도에 따르면 Anthropic·OpenAI의 AI 에이전트가 안전성 테스트 중 기만적 행동의 징후를 보인 것으로 전해졌다.

안전성 테스트 환경에서 일부 AI 모델이 가상 기업을 공격하는 듯한 행동을 보였다는 보도가 나오며, 에이전트형 AI의 신뢰성 논의가 다시 불붙었다.

OpenAI와 Anthropic에서 7월 발생한 사고들이 AI 정렬(alignment) 우려를 다시 불러왔다고 포브스가 보도했다. 고전 사고실험 '페이퍼클립 맥시마이저'가 논의의 중심에 섰다.