토큰

토큰(Token)은 LLM이 텍스트를 보는 가장 작은 단위입니다. 사람이 보는 '글자'나 '단어'와는 다르고, 모델마다 사용하는 토크나이저가 다릅니다. 영어는 보통 한 단어가 1~2 토큰, 한국어는 한 글자에 1~3 토큰 정도가 평균이고, 자주 쓰는 단어일수록 적은 토큰으로 묶이는 경향이 있습니다. LLM의 비용·길이 한도·속도가 모두 이 토큰 수 기준으로 계산되기 때문에, 운영 관점에서 가장 먼저 이해해야 할 단위입니다.

기술적으로 토크나이저는 'Byte Pair Encoding(BPE)'이나 'SentencePiece' 같은 알고리즘을 써서, 자주 등장하는 글자 시퀀스를 하나의 토큰으로 묶고 드물게 등장하는 시퀀스는 잘게 쪼갭니다. 그래서 'ChatGPT'는 한 토큰일 수 있지만, 거의 안 쓰이는 신조어는 글자 단위로 4~5 토큰으로 나뉘기도 합니다. 한국어가 영어보다 토큰을 많이 쓰는 가장 큰 이유도 학습 데이터에서 한국어 빈도가 영어보다 낮아 토크나이저가 덜 압축되기 때문입니다.

마케팅 관점에서 의미 있는 포인트는 두 가지입니다. 첫째, AI가 우리 카피를 '단어'가 아니라 '토큰' 단위로 본다는 점입니다. '온라인스토어' 같은 합성어가 한 토큰으로 묶일 수도 있고 분리될 수도 있는데, 이는 모델이 의미를 잡아내는 방식에 미세하게 영향을 줍니다. 둘째, 토큰 수가 비용과 직결되기 때문에 '같은 정보를 더 적은 토큰으로 표현하는 글쓰기'가 운영비를 낮추는 실질 레버가 됩니다.

흔한 오해는 '토큰 = 단어'입니다. 실제로는 공백·구두점·이모지·숫자도 토큰을 차지하고, 줄바꿈조차 토큰입니다. 그래서 LLM 응답에서 형식을 강하게 잡을수록 토큰이 늘어 비용이 올라갑니다. 또 다른 오해는 '토큰 한도가 곧 글자 한도'라는 것인데, 한국어 기준 100만 토큰 컨텍스트는 영어 대비 실효 분량이 절반 정도일 수 있어 단순한 환산이 어렵습니다. 운영 시에는 항상 '토큰 단위'로 계산하는 습관이 필요합니다.

한국 시장 운영비 관점에서 토큰은 가장 큰 변수입니다. 동일한 길이의 한국어 콘텐츠가 영어 대비 1.5~3배 토큰을 잡아먹기 때문에, 한국어 RAG·챗봇·요약 시스템은 같은 사용자 트래픽에서도 미국 대비 청구서가 두세 배 가까이 나올 수 있습니다. 그래서 시스템 프롬프트 단축, 청크 정리, 요약 전처리, 캐싱 같은 토큰 최적화 작업이 한국 브랜드의 LLM 운영에서 거의 필수 항목이며, GEO 시스템도 동일하게 적용됩니다.