Transformer
한 줄 정의
지금의 거의 모든 LLM이 기반으로 삼는 신경망 아키텍처로, '셀프 어텐션'을 통해 문장 안 단어들의 관계를 한꺼번에 계산합니다.
자세히 알아보기
Transformer는 2017년 구글이 발표한 논문 'Attention Is All You Need'에서 등장한 아키텍처입니다. 이전에 쓰이던 RNN·LSTM과 달리 단어를 순차적으로 처리하지 않고, 문장 전체의 토큰 관계를 병렬로 계산합니다. 그래서 학습 속도가 빠르고, 긴 문맥도 잘 다룰 수 있습니다.
GPT·Claude·Gemini·Llama 등 우리가 이름을 아는 거의 모든 LLM은 Transformer를 변형해 만든 것입니다. 즉, 어떤 모델 회사가 됐든 기본 골격은 같다고 봐도 됩니다. 차이는 학습 데이터·정렬 방식·튜닝 노하우에서 나옵니다.
마케터가 Transformer 자체를 직접 다룰 일은 없지만, '왜 LLM이 긴 문맥을 잘 다루는지', '왜 비용이 토큰 수에 비례하는지'를 이해하는 출발점이 됩니다.
출처
관련 용어
LLM
방대한 텍스트 데이터로 학습돼 사람의 언어를 이해하고 생성하는 대규모 신경망 모델로, ChatGPT·Claude·Gemini의 기반이 됩니다.
LLM토큰
LLM이 텍스트를 처리하는 최소 단위로, 보통 단어나 단어 일부에 해당하며 LLM 비용·길이 한도가 모두 토큰 기준으로 계산됩니다.
LLM컨텍스트 윈도우
LLM이 한 번에 입력으로 받아들일 수 있는 토큰의 최대 길이로, 모델이 한 번에 참고할 수 있는 문맥의 크기를 결정합니다.
LLM사전학습
방대한 텍스트 데이터로 LLM의 기본 언어 능력을 처음부터 학습시키는 단계로, 모델이 '세상 지식'을 흡수하는 핵심 과정입니다.
LLMGPT 시리즈
OpenAI가 만든 Transformer 기반 LLM 시리즈로, ChatGPT의 엔진이자 현재 AI 시장의 사실상 기준선입니다.
우리 브랜드는 AI 답변에 어떻게 등장하고 있을까요?
Villion은 ChatGPT·Perplexity·AI Overview에서 브랜드 인용 현황을 진단하고, 인용률과 언급 점유율을 끌어올리는 작업을 자동화합니다.
무료 진단 받기