AI 검색은 어떻게 작동하나, RAG의 7년 진화와 SEO·GEO 통합 전략
ChatGPT가 답을 찾아내는 4단계 파이프라인, 그 뿌리에 있는 옛 논문들(Transformer·REALM·DPR·RAG), 그리고 2024년 이후 등장한 새 기법들(HyDE·Self-RAG·GraphRAG·Agentic RAG)까지. OpenAI 공식 문서로 들여다본 AI 답변의 원리와, 지금 한국 마케터가 챙겨야 할 일을 정리합니다.
Villion Team
·15분 읽기
핵심 요약
- •ChatGPT Search는 2024년 12월 16일 모든 사용자에게 공개됐고, 자동으로 웹 검색을 트리거해 출처와 함께 답을 만듭니다.
- •지금의 AI 답변은 2017년 Transformer, 2020년 REALM·DPR·RAG의 직계 후손이며, 2024~2026년 HyDE·Self-RAG·GraphRAG·Agentic RAG로 답변 품질이 한 단계 더 도약했습니다.
- •OpenAI는 학습용 GPTBot과 검색용 OAI-SearchBot을 분리 운영합니다. 검색 인용을 원하면 OAI-SearchBot은 반드시 허용해야 합니다.
- •AI 인용에서 가장 강한 시그널은 단일 백링크 수가 아니라 corroboration(여러 독립 출처의 일관성)입니다.
- •SEO는 GEO의 토대이지 대체재가 아닙니다. 두 축을 따로 관리하지 말고 한 운영 흐름에서 묶어야 효율이 납니다.
1. AI 검색이 일상이 된 시점
OpenAI가 2024년 12월 16일 ChatGPT Search를 모든 사용자에게 공개한 날입니다. 로그인 없이 무료로 쓸 수 있고, ChatGPT는 질문 성격을 보고 알아서 웹을 뒤져 출처를 함께 보여줍니다. 답변 아래 Sources 버튼을 누르면 인용된 사이트가 사이드바에 펼쳐지고, 그 링크로 들어가면 utm_source=chatgpt.com 파라미터가 자동으로 붙습니다.
비슷한 시기 Google의 AI Overviews는 미국에서 하루 수억 명이 쓰는 기능으로 자리 잡았고, Perplexity는 아예 출처 없이는 답을 내지 않는 방식으로 검색 시장에 안착했습니다.
마케터 입장에서 이 변화의 의미는 분명합니다. 이제 사용자는 파란 링크 열 개를 일일이 비교하지 않습니다. AI가 추려준 브랜드 서너 개를 보고 그대로 결정합니다. 검색이 한 칸 더 안쪽으로 들어간 셈인데, 그 안에서 “AI가 누구를 인용하느냐”가 새 가시성의 분수령이 됐습니다.
지금부터 AI가 답을 찾아내는 과정을 OpenAI와 Google의 공식 문서, 그리고 RAG의 원조 논문까지 거슬러 올라가 하나씩 풀어보겠습니다. 원리를 알고 나야 SEO와 GEO를 따로 굴리지 않고 한 흐름에서 운영할 수 있습니다.
2. AI 답변의 작동 원리, RAG의 7년 진화
대부분의 GEO 콘텐츠는 “AI는 RAG로 작동한다”는 한 줄로 끝내버립니다. 그런데 RAG는 2020년에 하늘에서 뚝 떨어진 기술이 아니고, 지금의 ChatGPT Search도 2020년 RAG와는 꽤 다르게 움직입니다. 7년의 줄기를 짚어보면 지금 우리가 보고 있는 답변이 어디서 왔고 앞으로 어디로 향할지 윤곽이 잡힙니다.
2-1. 모든 것의 시작, 2017~2020의 학술 토대
Transformer
Vaswani et al., NeurIPS 2017self-attention 구조 덕에 모든 단어가 모든 단어를 한꺼번에 바라본다. GPT, Claude, Gemini, Llama 모두 이 설계를 변형해 쓴다.
REALM
Guu et al., ICML 2020Retrieval-Augmented Language Model Pre-Training
검색을 사전학습 단계에 끌어들였다. 모델이 위키피디아를 다시 들춰보며 답하도록 학습시켰고, Open-domain QA에서 정확도가 4~16% 올랐다.
DPR
Karpukhin et al., EMNLP 2020Dense Passage Retrieval for Open-Domain Question Answering
키워드 매칭(BM25)을 버리고 dual-encoder 임베딩으로 검색하는 길을 열었다. BM25 대비 top-20 정확도가 9~19% 포인트 올랐고, 오늘날 벡터 DB 계열의 직계 조상이다.
RAG
Lewis et al., NeurIPS 2020Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
parametric memory(모델 가중치)와 non-parametric memory(외부 문서)를 한 추론 흐름에 묶었다. 'RAG'라는 이름과 RAG-Sequence, RAG-Token 변형을 처음 정립한 논문이다.
네 편의 논문이 거의 같은 시기에 쏟아진 2020년 봄을 RAG의 원년으로 봐야 정확합니다. Transformer가 바닥 아키텍처를 깔아두자, REALM이 검색을 학습 안으로 끌고 들어왔고, DPR이 검색 자체를 임베딩 기반으로 다시 그려냈으며, RAG 논문이 이 모두를 하나의 추론 흐름으로 묶어냈습니다. 오늘날 Pinecone, Weaviate, Milvus 같은 벡터 데이터베이스나 LangChain 같은 RAG 프레임워크 모두 이 네 논문의 직계 후손입니다.
2-2. 현대 RAG의 4단계 파이프라인
요즘 ChatGPT Search나 Google AI Overviews가 답을 짜내는 흐름은 OpenAI Cookbook이 명명한 “Search-Ask 패턴”으로 압축됩니다. 4단계로 나누면 이렇습니다.
임베딩 (Embed)
사용자 질문과 후보 문서를 같은 벡터 공간 위에 올립니다. OpenAI 쪽이라면 text-embedding-3-large 같은 모델이 텍스트를 수천 차원짜리 숫자 배열로 바꿔내는 단계입니다.
검색 (Retrieve)
질문 벡터에 가장 가까이 붙어 있는 문서 벡터를 코사인 유사도 기준으로 추려냅니다. 보통은 10~20개 정도를 1차 후보로 뽑습니다.
재정렬 (Rerank)
1차 후보를 좀 더 정밀한 모델로 다시 채점해 상위 3~5개만 추립니다. 답변에서 어느 문서가 먼저 인용될지가 사실상 여기서 갈립니다.
생성 (Generate)
추려진 문서들을 컨텍스트로 함께 넣어 모델이 답을 짭니다. 이 과정에서 답변의 어느 문장이 어느 문서에서 나왔는지 매핑도 같이 만들어지고, 사용자가 보는 인용과 출처는 그 매핑이 그대로 드러난 결과입니다.
OpenAI는 Cookbook에서 “fine-tuning은 사실 학습에 부적합하다”고 못 박습니다. 모델 가중치를 장기 기억, 메시지 컨텍스트를 단기 기억에 비유하면서, 정확한 답을 원한다면 RAG를 쓰라고 권합니다. ChatGPT Search 자체가 그 원칙을 그대로 옮겨놓은 결과물입니다.
2-3. 최신 진화, 답변 품질을 끌어올린 기법들 (2024~2026)
기본 4단계만으로는 부족합니다. 질문이 흐릿하거나, 여러 단계 추론이 필요하거나, 정보가 여러 문서에 흩어져 있는 경우 단순 벡터 검색은 답을 자주 놓칩니다. 2024년 이후 나온 진화 기법들이 그 빈틈을 메웠습니다.
HyDE
Hypothetical Document Embedding질문 그대로 검색하지 않고, 모델이 일단 가상의 답을 하나 써본 뒤 그 답의 임베딩으로 검색합니다. 질문보다는 답에 가까운 텍스트가 정작 답이 들어 있는 문서와 더 가깝다는 발상으로, 기술 Q&A 영역에서 정확도가 눈에 띄게 좋아졌습니다.
Self-RAG
Self-Reflective RAG답을 한 번 만들어두고, 모델이 자기 답을 다시 비판적으로 들여다봅니다. 근거가 부족하거나 앞뒤가 어긋나면 검색을 한 번 더 돌립니다. 답변에 자가 검증 루프가 끼워 넣어진 형태입니다.
GraphRAG
Graph-based RAG (Microsoft Research)문서를 그저 평평한 청크로 쪼개지 않고 지식 그래프로 엮어냅니다. 엔티티와 관계가 명시적으로 이어지면서 다단계 추론이 가능해집니다. LinkedIn은 GraphRAG를 도입한 뒤 검색 MRR이 77.6% 좋아지고 평균 해결 시간이 28.6% 줄었다고 밝혔습니다.
Agentic RAG
Planning + Reflection 기반 RAG질문이 들어오면 시스템이 먼저 답에 다다르기 위한 단계를 계획부터 짭니다. 그다음 필요에 따라 검색을 여러 번 돌리고, 외부 도구(SQL, API)를 호출하고, 중간 결과를 다시 점검합니다. 한 번의 검색이라기보다 작은 에이전트가 일을 처리하는 모습에 가깝습니다.
2-4. ChatGPT Search는 실제로 어떻게 작동하나
OpenAI는 ChatGPT Search의 내부 구조를 정확히 공개하지 않았습니다. 다만 외부에서 관찰되는 동작과 공식 도움말을 합쳐 보면 위 기법들이 한데 엮인 형태에 가깝습니다. 질문이 들어오면 모델은 일단 “이게 웹 검색이 필요한 질문인지”부터 따집니다. 필요하다고 판단되면 OAI-SearchBot이 미리 인덱싱해둔 콘텐츠와 실시간 웹 결과를 같이 끌어와 멀티스텝 reasoning으로 답을 조립합니다. 사용자에게 보이는 Sources 사이드바는 답의 어느 부분이 어느 문서에서 나왔는지를 시각화한 매핑이고, Google이 Vertex AI 문서에서 grounding supports라고 부르는 그 매핑과 본질적으로 같은 개념입니다.
3. ChatGPT는 어떤 사이트를 인용하나
이 질문에 대한 답은 OpenAI가 공식 문서에서 직접 짚어두었습니다. Publishers and Developers FAQ는 “ChatGPT Search의 순위는 사용자에게 신뢰할 수 있고 관련성 높은 정보를 제공하기 위한 여러 요소에 기반한다. 상위 노출을 보장할 방법은 없다”고 못 박았습니다. SEO처럼 알고리즘을 역설계해 1등 자리를 따낼 수 있는 구조가 아닙니다. 대신 인용되기 위한 전제 조건은 꽤 분명합니다.
3-1. 3종 크롤러를 분리해서 이해해야 합니다
OpenAI는 세 종류의 크롤러를 따로따로 굴립니다.
- ·GPTBot: 학습 데이터 수집용. 차단해도 ChatGPT Search 인용에는 영향이 없습니다.
- ·OAI-SearchBot: ChatGPT Search 인덱싱용. 이걸 차단하면 답변에 인용될 수 없습니다.
- ·ChatGPT-User: 사용자가 명시적으로 트리거한 실시간 fetch용.
핵심은 SearchGPT 발표문에 또렷하게 적혀 있습니다. “검색은 학습과 분리되어 있다. 사이트는 학습 데이터에서 opt-out해도 검색 결과에는 노출될 수 있다.” 학습 데이터로 활용되는 게 마음에 걸리면 GPTBot만 막고 OAI-SearchBot은 열어두면 됩니다.
3-2. 인용을 늘리는 실제 조건
Publishers FAQ가 직접 짚어둔 조건은 다음과 같습니다.
- ·OAI-SearchBot의 크롤 허용
- ·사이트 호스트와 CDN이 OpenAI의 공개된 IP 주소 트래픽을 차단하지 않을 것
- ·robots.txt 외에 X-Robots-Tag, meta noindex 등도 OpenAI가 존중
현장에서 추가로 관찰되는 시그널은 다음과 같습니다.
- ·권위 있는 도메인의 외부 인용 (corroboration)
- ·Schema.org 같은 구조화 데이터
- ·명확한 답변형 글쓰기 (answer-first 구조)
- ·최신성 (community와 news에서 검증되는 신호)
OpenAI가 거듭 강조하는 건 단일 백링크 수가 아니라 corroboration입니다. 권위 있는 여러 독립 출처가 같은 사실을 일관되게 말해줄 때 비로소 그 사실이 인용 가능한 신호로 자리 잡습니다.
3-3. 트래픽은 추적 가능합니다
ChatGPT Search에서 넘어오는 모든 referral에는 자동으로 utm_source=chatgpt.com 파라미터가 따라붙습니다. Google Analytics나 어떤 분석 도구든 이 파라미터로 필터를 걸면 ChatGPT 인용을 통해 들어온 트래픽만 따로 떼어볼 수 있습니다.
4. 검색 의도(SEO)와 답변 의도(GEO), 같으면서 다른 두 축
SEO의 가장 기본 개념은 “검색 의도(search intent)”입니다. Google의 Search Quality Rater Guidelines는 사용자 의도를 네 갈래로 나눕니다. Know(정보를 알고 싶음), Do(어떤 행동을 하고 싶음), Website(특정 사이트를 찾음), Visit-in-person(현장에 가고 싶음). 업계에서는 informational, navigational, commercial, transactional이라는 4분류가 더 익숙할 겁니다. 검색의 99%는 이 네 카테고리 안에 들어옵니다.
AI 검색에서도 이 네 의도는 똑같이 작동합니다. 달라지는 건 답이 보이는 모양입니다.
| 검색 의도 | 전통 검색 결과 | AI 답변 형태 |
|---|---|---|
| Know (정보) | 위키피디아·블로그 글 링크 | 정의·요약 + 출처 인용 |
| Do (행동) | 튜토리얼·How-to 사이트 | 단계별 설명 + 출처 인용 |
| Website | 공식 사이트 1개 | 도메인 직접 안내 |
| Commercial (비교) | 비교 콘텐츠·리뷰 사이트 | 추천 3~5개 + 비교 요약 |
| Transactional (거래) | 제품 페이지 | 구매 가능 사이트 + 가격 |
변화 폭이 가장 큰 영역은 Commercial과 Know입니다. 전통 SEO에서는 정보형 글로 트래픽을 받아 거래형 페이지로 흘려보내는 방식이 정석이었습니다. 그런데 AI 검색에서는 정보형 답변 안에 이미 추천이 박혀버립니다. 사용자가 “GEO 도구 추천”을 검색하면 AI가 알아서 서너 개를 골라줍니다. 비교 콘텐츠가 그 답변의 출처 자리에 끼지 못하면, 사용자 눈에 그 브랜드는 아예 보이지 않습니다.
GEO를 단순히 새로운 SEO가 아니라 별도의 축으로 봐야 하는 이유가 여기에 있습니다. SEO가 “발견되는 가시성”이라면 GEO는 “선택되는 가시성”입니다. 두 축은 토대를 공유하지만 결과 단계에서 움직이는 방식은 사뭇 다릅니다.
5. Google AI Overviews vs ChatGPT Search 비교
같은 RAG 원리를 따르지만, 두 시스템의 구현 방식은 꽤 다릅니다.
Google AI Overviews
Gemini 기반의 멀티스텝 reasoning 모델을 씁니다. 한 질문 안에 여러 sub-query가 들어 있어도 모델이 알아서 쪼개냅니다. Vertex AI의 grounding 메커니즘은 답변의 segment 하나하나에 출처 청크를 매핑하고, 이걸 grounding chunks와 grounding supports로 부릅니다. AI Overviews에 들어간 링크가 일반 검색 결과보다 클릭을 더 많이 받는다는 발표도 Google에서 직접 내놓은 이야기입니다.
ChatGPT Search
OAI-SearchBot이 미리 인덱싱한 콘텐츠와 실시간 웹 결과를 함께 끌어다 씁니다. 답변 아래의 Sources 사이드바가 인용을 눈에 보이게 정리해 줍니다. Google과 갈리는 지점은 명시적인 grounding 데이터가 사용자에게 노출되지 않는다는 점입니다. 답의 어느 대목이 어느 출처에서 왔는지에 대한 정밀한 매핑까지는 보이지 않습니다.
두 시스템에서 동시에 인용되려면 결국 같은 토대 위에 서야 합니다. 권위 있는 도메인, Schema.org 구조화 데이터, 답변형 글쓰기, 그리고 여러 독립 출처에서 일관되게 검증되는 정보. 두 시스템 모두 corroboration을 가장 강한 시그널로 봅니다.
6. SEO·GEO 통합 액션 7가지
여기까지 원리를 짚었으니, 이제 실제로 무엇을 해야 하는지로 넘어가겠습니다.
검색 의도별 페이지 분리
Know·Do·Commercial 의도를 한 페이지에 욱여넣지 않습니다. 정보형 글은 정보형, 비교형 글은 비교형으로 갈라놔야 AI가 페이지의 의도를 또렷하게 알아봅니다. 한 페이지에 모든 걸 담으려 하면 정작 어느 의도에서도 인용되지 못합니다.
패시지 단위 Self-Containment
GPT 모델이 답변에 가져다 쓰는 단위는 페이지가 아니라 단락입니다. 그래서 한 단락이 외부 문맥 없이도 혼자 의미가 통하도록 써야 합니다. ‘위에서 설명한 것처럼’이나 ‘아래에서 보겠지만’ 같은 표현은 발췌되는 순간 뜻이 망가집니다.
JSON-LD 구조화 데이터
Schema.org JSON-LD는 SEO와 GEO 양쪽에서 동시에 일을 합니다. Google이 Rich Results 표시에 쓰고, AI 검색 시스템도 entity 인식과 사실 추출에 끌어다 씁니다. 적어도 Article, Organization, Product, FAQ 정도는 기본으로 깔려 있어야 합니다.
E-E-A-T 시그널 정비
Experience, Expertise, Authoritativeness, Trustworthiness. 이 네 가지는 AI 인용에서도 그대로 작동합니다. 저자 정보(이름, 소속, 경력), 인용 출처, 최신 갱신일, 외부 미디어 언급이 핵심 시그널입니다. 익명 콘텐츠나 출처 없는 주장은 어떤 시스템도 신뢰해 주지 않습니다.
크롤러 정책 정비
robots.txt에서 OAI-SearchBot을 허용하고, CDN 차원에서 OpenAI IP 트래픽을 차단하지 않도록 확인합니다. GPTBot 차단은 학습 opt-out에만 영향을 주고 검색 인용에는 영향이 없습니다. Googlebot, OAI-SearchBot, ClaudeBot, PerplexityBot의 정책을 분리해 관리하는 게 좋습니다.
Multi-source corroboration
같은 사실이 여러 독립적인 권위 있는 출처에서 일관되게 나타나도록 만듭니다. 자사 사이트와 Wikipedia, 업계 미디어, G2·Capterra 같은 리뷰 플랫폼, Reddit·Stack Overflow의 자연스러운 언급이 함께 일관성을 보일 때 AI가 그 사실을 인용 가능한 신호로 봅니다.
Citability 측정과 모니터링
위 6가지를 다 해놓고도 실제로 어떤 질문에서 어떤 답변에 인용되는지 측정하지 않으면 개선이 안 됩니다. 자사 브랜드와 경쟁사를 같은 질문 세트로 매주 측정하고, 인용률·인용 위치·언급 맥락을 추적해야 합니다.
7. 한국 시장의 추가 변수
한국 마케터가 별도로 챙겨야 할 변수가 두 가지 더 있습니다.
첫째, 네이버 검색의 비중이 여전히 큽니다. 네이버는 지식iN과 블로그 인덱스를 자체 코퍼스로 끌고 있고, AI 검색 시스템들도 한국 관련 질문에 답할 때 네이버 콘텐츠를 끌어 쓰는 흐름이 자주 잡힙니다. 네이버 SEO를 비우고 가면 AI 답변에서도 한국 관련 가시성이 그대로 빠집니다.
둘째, 한국어 LLM 인용에는 어휘와 문체의 결이 따로 있습니다. 외국어 고유명사를 원어로 적느냐 한글로 적느냐, 존댓말과 평어 중 어떤 톤을 잡느냐, 출처를 괄호로 다느냐 각주로 빼느냐 인라인으로 흘리느냐. 이런 결정 하나하나가 인용 가능성에 영향을 줍니다. 영어 글을 곧장 번역해 올리는 것과 한국어로 처음부터 다시 쓰는 것은 인용되는 모양 자체가 다릅니다.
GEO와 SEO 통합 전략을 짤 때 이 두 변수를 빼두면 한국 시장에서는 효과가 절반에서 멈춥니다.
8. 결론, SEO는 GEO의 토대입니다
여기까지의 이야기를 한 문장으로 줄이면 이렇습니다. SEO는 GEO의 토대지, 대체재가 아닙니다. 7년 전 Transformer에서 출발해 RAG와 DPR을 거쳐 ChatGPT Search까지 이어진 흐름은 검색을 없앤 적이 없습니다. 검색이 “발견”에서 한 칸 더 안쪽으로 들어가 “선택”의 영역까지 차지했을 뿐, 같은 사이트 자산이 두 단계 모두에서 그대로 일을 합니다.
Villion은 GEO와 AEO, SEO를 한 솔루션에서 함께 다루는 종합 플랫폼입니다. 진단, 콘텐츠 제작, 사이트 신호 보강, 인용률 측정까지 한 흐름에 묶여 돌아가도록 설계해 뒀습니다. 위에서 정리한 7가지 액션을 SEO 팀과 GEO 팀이 따로 굴리지 않고 같은 도구에서 운영할 수 있다는 점이 차별점입니다.
이 글의 1차 출처
- ·Vaswani et al., Attention Is All You Need (NeurIPS 2017)
- ·Guu et al., REALM: Retrieval-Augmented Language Model Pre-Training (ICML 2020)
- ·Karpukhin et al., Dense Passage Retrieval for Open-Domain QA (EMNLP 2020)
- ·Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (NeurIPS 2020)
- ·OpenAI — Introducing ChatGPT search (2024-12-16)
- ·OpenAI — SearchGPT prototype announcement
- ·OpenAI — ChatGPT Search Help Center
- ·OpenAI — Publishers and Developers FAQ
- ·OpenAI — Overview of OpenAI Crawlers
- ·OpenAI Cookbook — Question Answering Using Embeddings
- ·Google — How Generative AI is improving Search
- ·Google Cloud — Grounding gen AI in enterprise truth (Vertex AI)
- ·Microsoft Research — GraphRAG
FAQ