컨텍스트 로트

Context Rot은 컨텍스트 길이가 늘어날수록 모델이 안에 들어 있는 정보를 제대로 못 쓰는 현상을 가리킵니다. 100만 토큰까지 받는다고 해서 100만 토큰 안의 모든 사실을 똑같이 잘 끌어다 쓰는 건 아닙니다. 길어질수록 중요한 디테일을 놓치거나, 앞부분 정보에만 과도하게 의존하거나, 충돌하는 정보를 그대로 섞어서 답하기도 합니다.

마케팅 관점에서 의미 있는 포인트는 단순합니다. '긴 PDF·매뉴얼을 한 번에 다 넣어 시켜버리는' 패턴은 생각만큼 안전하지 않다는 것입니다. 사내 AI 어시스턴트에 우리 회사 자료 전부를 한꺼번에 넣어 돌리면, 결정적인 정책 한 줄을 놓쳐서 잘못된 답을 내는 사고가 흔히 일어납니다.

현장에선 RAG로 필요한 부분만 골라 넣거나, 긴 문서를 의미 단위로 청킹하거나, 핵심 정보는 컨텍스트 앞·뒤에 배치하는 식의 보완책을 씁니다. '컨텍스트 윈도우가 크니까 다 넣자' 대신 '필요한 만큼만 깔끔하게 넣자'가 실무 원칙입니다.