컨텍스트 윈도우

Context Window는 LLM이 한 번의 호출에서 처리할 수 있는 입력 + 출력 토큰의 최대 길이입니다. 초창기 GPT-3.5는 4K, 즉 한국어 기준 약 1,500~2,000자 정도였지만, 지금은 GPT-5·Claude 4·Gemini 2 계열이 100만 토큰 이상을 지원하는 시대가 됐습니다. 책 한 권, 또는 사이트 전체 매뉴얼을 한 번의 프롬프트에 넣고 질문할 수 있다는 의미입니다.

기술적으로 컨텍스트 윈도우는 단순히 'LLM이 기억하는 양'이 아니라 '한 번의 어텐션 계산에 같이 올릴 수 있는 토큰 수'입니다. 그래서 컨텍스트가 커질수록 연산량과 메모리가 비선형으로 증가하고, 가격도 입력 토큰 수에 비례해 늘어납니다. 모델 회사들이 'Long Context'를 자랑하는 이유는 단순한 스펙이 아니라, 그만큼의 효율적인 어텐션 구현이 기술적 난도가 높기 때문입니다.

마케팅 관점에서 컨텍스트 윈도우가 중요한 이유는, 컨텍스트가 커지면 AI가 우리 사이트의 긴 매뉴얼·블로그·백서를 한 번에 참고할 수 있게 되기 때문입니다. '짧은 FAQ만 정리해두자'에서 '깊이 있는 콘텐츠를 통째로 학습·인용 가능한 형태로 두자'로 전략이 바뀝니다. 특히 RAG 환경에서는 검색해온 청크가 많아도 다 들어가기 때문에, 인용 가능한 깊은 콘텐츠를 다수 보유한 브랜드가 유리해집니다.

흔한 오해는 '컨텍스트만 크면 모든 정보를 똑같이 잘 활용한다'는 가정입니다. 실험적으로는 'Lost in the Middle' 현상이 잘 알려져 있어, 긴 컨텍스트의 중간 위치에 있는 정보를 모델이 상대적으로 덜 활용합니다. 따라서 핵심 정의·결론은 문서의 앞부분 또는 뒷부분에 배치하는 게 여전히 유리하고, GEO 콘텐츠도 첫 문단 한 줄 요약 + 끝 결론 패턴이 잘 먹힙니다.

운영 비용 관점에서는 큰 컨텍스트가 양날의 검입니다. 한국어는 영어보다 토큰이 1.5~2배 많이 들기 때문에, 100만 토큰 컨텍스트라도 실효 분량이 영어 대비 적고 비용은 더 큽니다. 그래서 '풀 컨텍스트로 다 넣기'보다는 '핵심 청크만 잘 뽑아 넣기' 전략이 한국 시장에선 거의 항상 더 효율적입니다. 컨텍스트 크기는 가능성을 열어줄 뿐, 최적화 책임은 여전히 콘텐츠 설계자에게 있습니다.