생성형 AI, 어떻게 정보를 만들까?
요즘은 누구나 한 번쯤 ChatGPT나 Perplexity AI 같은 인공지능 서비스를 써본 경험이 있을 것입니다. 마치 사람처럼 자연스럽게 대화하고, 방대한 정보를 빠르게 요약해주는 모습은 신기하기까지 하죠. 하지만 이 AI들은 과연 어떻게 정보를 "생성"하는 걸까요?
그저 검색해서 복사해오는 걸까요, 아니면 진짜로 "지어내는" 걸까요?
많은 사람들은 "AI니까 그냥 똑똑하니까 잘 알겠지"라고 생각하지만, 실제로는 이 AI들이 정보를 생성하는 방식에는 큰 차이가 있습니다. 그 차이를 이해하는 것이야말로, 인공지능을 더 똑똑하게 활용하는 첫걸음입니다.
이번 글에서는 생성형 AI의 두 가지 주요 방식인 LLM 기반 생성과 RAG 기반 생성을 비교하고, 많은 분들이 궁금해하는 질문
“검색 기반인 RAG도 환각(hallucination)을 일으킬 수 있을까?”에 대해 깊이 있게 살펴보겠습니다.
생성형 AI의 두 가지 방식 – LLM vs RAG
생성형 AI는 질문에 대한 답변을 ‘검색해서 가져오는 것’처럼 보이지만, 실제로는 두 가지 전혀 다른 메커니즘을 통해 동작합니다. 바로 LLM 기반 방식(Closed-book)과 RAG 기반 방식(Open-book)입니다. 이 두 방식은 ‘정보를 생성하는 방식’과 ‘지식의 출처’에서 큰 차이를 보입니다.
LLM 기반 생성 (Closed-book 방식)
LLM(Large Language Model)은 대규모 텍스트 데이터를 학습해, 그 안에 있는 언어 패턴과 지식을 모델 내부 파라미터에 저장한 모델입니다. GPT-4, Claude, LLaMA 등이 여기에 해당하며, 외부 정보를 실시간으로 검색하지 않고 자체 지식에만 의존합니다.
장점: 빠르고 유연한 대화, 인터넷 없이 작동 가능
단점: 최신 정보 반영 불가, 환각 가능성 높음
RAG 기반 생성 (Open-book 방식)
RAG(Retrieval-Augmented Generation)는 질문을 받으면 먼저 관련 정보를 외부에서 검색한 뒤, 그 내용을 LLM에 입력해 응답을 생성합니다. 말 그대로 AI가 책을 찾아보며 답하는 방식입니다.
장점: 최신 정보 반영, 출처 기반의 신뢰도
단점: 검색 품질과 요약 정확도에 따라 성능 좌우, 여전히 환각 가능성 존재
ChatGPT와 Perplexity, RAG 방식의 결정적 차이
| 항목 | ChatGPT (웹 검색 사용 시) | Perplexity AI |
| 구조 중심 | 대화형 AI + 검색 보조 | 검색 기반 + 요약/생성 결합 |
| 출처 명시 | 응답 하단에 링크 | 문장별 인용번호로 투명하게 |
| 질문 스타일 | 대화 흐름 중 자연스러운 질문에 강함 | 짧고 명확한 검색 질문에 특화 |
| 정보 최신성 | 브라우징 기능 켜야 가능 | 항상 실시간 검색 기반 |
| 사용자 경험 | 창의적 대화 및 글쓰기 도우미 | 신속한 정보 요약과 탐색 중심 |
간단히 말해, ChatGPT는 “대화 중심에 검색을 얹은 모델”,
Perplexity는 “검색 중심에 요약을 더한 모델”입니다.
RAG도 환각을 일으킬 수 있을까?
RAG 방식은 검색 기반이라 신뢰도가 높다고 알려져 있지만,
환각이 완전히 사라지는 것은 아닙니다.
환각이 발생하는 주요 원인
- 검색 결과 자체가 부정확하거나 부실할 때
- LLM이 검색 문서를 잘못 요약할 때
- 검색 결과가 거의 없거나 질문이 애매할 때
- 자연스러운 문장을 만들기 위해 존재하지 않는 내용을 덧붙일 때
이러한 상황에서는 검색이 있더라도 결과 해석 과정에서 허구의 정보가 생성될 수 있습니다.
환각 줄이기 전략
- 질문을 명확하게 하기 (query refinement)
- 검색 문서 수나 요약 범위 제한하기
- 출처 표시를 강제하거나 요구하기
- LLM 뒤에 fact-checking 모듈 붙이기
마무리 – RAG는 정답이 아니다, 도구일 뿐이다
생성형 AI는 정보를 ‘주는 기계’가 아니라,
우리가 똑똑하게 활용해야 하는 도구입니다.
LLM은 뛰어난 언어 능력을 지녔지만, 과거의 지식에 갇혀 있고,
RAG는 검색을 통해 최신성을 확보하지만, 여전히 요약과 해석에서 오류가 발생할 수 있습니다.
결국 중요한 것은 AI의 구조를 이해하고,
상황에 맞게 도구를 선택하며,
그 결과를 비판적으로 해석하는 사용자 태도입니다.
AI는 "무엇이든 답해주는 신"이 아니라,
"질문을 잘 던지는 사람에게 큰 힘을 실어주는 조력자"에 가깝습니다.