탈옥

Jailbreak은 모델의 안전 가드(예: '폭력·해킹·민감 정보' 같은 영역의 거절)를 우회하기 위해 프롬프트를 정교하게 조작하는 시도를 가리킵니다. 'DAN(Do Anything Now)', 가상 인격 부여, 다단계 우회 시나리오 등이 잘 알려진 패턴입니다.

마케팅 관점에서 직접 다룰 일은 적지만, 우리 회사가 만든 AI 제품도 같은 위험에 노출됩니다. 시스템 프롬프트에 적힌 정책을 누군가가 우회해서 부적절한 답변을 끌어낸다면, 그건 곧 브랜드 리스크가 됩니다. 즉, 'AI 안전'은 더 이상 모델 회사만의 문제가 아닙니다.

방어책으로는 다층 가드레일(필터·정책 검증 모델·로깅), 정기적인 레드팀 테스트, 고위험 작업의 경우 사람 검토 단계 삽입 같은 접근이 일반적입니다. 단일 시스템 프롬프트에만 의존하면 우회되기 쉽습니다.