기획자가 알아야 할 AI 용어: RAG와 Vector DB
AI가 자꾸 거짓말을 한다면?
기획자가 꼭 알아야 할 RAG와 Vector DB
요즘 IT 업계의 가장 뜨거운 감자는 단연 생성형 AI(LLM)다.
많은 기획자들이 자사 서비스에 챗GPT 같은 AI를 도입하려고 고민하고 있을 것이다.
하지만 막상 도입하려고 보면 큰 벽에 부딪힌다.
기획자로서 야심 차게 AI 도입을 준비하다 보면, 곧바로 현실적인 3가지 문제를 맞닥뜨리기 때문이다.
첫째, '거짓말쟁이 AI'다. (할루시네이션 문제)
정확한 정보 제공이 생명인 기업 서비스에서 AI가 모르는 내용을 아주 당당하게 지어낸다.
"우리 회사 규정을 물어봤는데, 없는 규정을 만들어서 대답한다."
고객에게 잘못된 정보를 안내했을 때 그 책임은 오롯이 서비스의 몫이 된다.
둘째, '게으른 AI'다. (최신성 문제)
AI는 학습 시점 이후의 정보를 모른다.
"작년 데이터를 가지고 올해 데이터인 것처럼 말한다."
우리 회사 서비스 규정이 어제 바뀌었는데, AI는 여전히 옛날 규정을 안내하고 있다.
이를 고치려면 매번 모델을 새로 학습시켜야 하는데 비용이 만만치 않다.
셋째, '입이 싼 AI'다. (보안 문제)
그렇다고 똑똑하게 만들겠답시고 우리 회사의 대외비 문서를 챗GPT에게 막 먹여서 학습시킬 수도 없다.
자칫하면 기업의 기밀 데이터가 외부로 유출될 수 있기 때문이다.
이런 치명적인 문제들을 한 방에 해결하기 위해 등장한 구세주가 바로 RAG(검색 증강 생성)이다.
그리고 RAG를 구현하기 위한 핵심 도구가 벡터 DB(Vector Database)이다.
오늘은 개발자가 아니더라도 AI 프로덕트를 기획하는 데 문제없도록,
이 두 가지 개념을 아주 쉽게 정리해 본다.
1. RAG: AI를 위한 "오픈북 테스트"
RAG(Retrieval-Augmented Generation, 검색 증강 생성)라는 용어는 처음보면 어려워 보이지만 개념은 아주 간단하다.
영어 단어를 하나 하나 떼어보면 쉽게 이해할 수 있다.
Retrieval-Augmented Generation = 검색으로 강화된 생성
우리가 시험 볼 때 예를 들어보면,
- 일반적인 LLM (챗GPT 등): 머릿속에 외운 지식만으로 시험을 보는 클로즈드 북(Closed-book) 테스트이다. 기억이 안 나거나 모르는 게 나오면 아무 말이나 지어내기 쉽다.
- RAG를 적용한 LLM: 교과서나 참고서를 펼쳐놓고 시험을 보는 오픈북(Open-book) 테스트이다. 모르는 문제가 나오면 책에서 정답을 찾아서 보고 답을 쓴다.
즉, RAG는 AI가 답변을 생성하기(Generation) 전에,
관련된 정확한 정보를 외부에서 먼저 검색(Retrieval)해서 보여주는 기술이다.
2. 왜 RAG를 써야 할까?
앞서 말한 3가지 문제(거짓말, 최신 데이터 부재, 보안)를 RAG는 명쾌하게 해결해 준다.
① 거짓말(할루시네이션)의 획기적 감소
AI가 상상력을 발휘해서 답하는 게 아니라, 우리가 제공한 '팩트(문서)'를 보고 대답한다.
금융, 법률 등 신뢰가 중요한 서비스에서는 필수다.
② 최신 정보의 실시간 반영 (재학습 불필요)
세상은 매일 변한다. 오늘 바뀐 환율이나 사내 공지를 AI에게 가르치기 위해 매번 모델을 다시 학습시키는 건 불가능하다.
RAG를 쓰면 문서만 업데이트하면 된다. AI는 즉시 그 내용을 참조한다.
③ 명확한 근거 제시 (출처 표기)
챗GPT는 "그거 어디서 들었어?"라고 물으면 대답을 못 한다.
하지만 RAG는 "참고 문서: 2024년 인사 규정 14페이지" 처럼 출처를 보여줄 수 있어 사용자의 신뢰를 얻을 수 있다.
④ 데이터 보안 및 프라이빗 데이터 활용
기업의 대외비 문서를 퍼블릭 AI(오픈AI 등)에 학습시키는 건 보안 위반이다.
RAG는 내부 서버(벡터 DB)에 데이터를 넣어두고, 답변할 때만 AI에게 잠깐 보여주는 방식이라 보안상 안전하다.
⑤ 가성비 (비용 효율성)
AI 모델 자체를 똑똑하게 만드는 '파인튜닝(Fine-tuning)'은 돈과 시간이 엄청나게 든다.
반면 RAG는 이미 똑똑한 모델을 그대로 쓰되, 필요한 정보만 꽂아주는 방식이라 훨씬 저렴하다.
3. 벡터 DB: AI를 위한 최첨단 도서관
그렇다면 RAG가 '오픈북 테스트'를 보는 과정이라면, 그 많은 참고서(데이터)는 어디에 보관해야 할까?
그리고 AI는 어떻게 그 많은 책 속에서 필요한 페이지만 쏙쏙 찾아낼까?
여기서 등장하는 것이 바로 벡터 DB(Vector Database)이다.
일반적인 데이터베이스는 '키워드'로 검색한다. "사과"를 검색하면 정확히 "사과"라는 글자가 들어간 문서만 찾아준다.
하지만 벡터 DB는 다르다. '의미'로 검색한다.
벡터(Vector)가 뭔가요?
컴퓨터는 인간의 언어를 이해하지 못한다.
그래서 우리가 가진 문서들을 컴퓨터가 이해할 수 있는 숫자의 나열(좌표)로 바꿔주는데, 이걸 '벡터'라고 부른다.
신기한 점은, 의미가 비슷한 단어나 문장은 이 숫자 좌표상의 거리가 가깝게 배치된다는 것이다.
- '사과'와 '배'는 가깝게 배치된다. (과일이니까)
- '사과'와 '자동차'는 멀리 배치된다. (관계가 없으니까)
Vector DB는 데이터를 이 'Vector(좌표)' 형태로 저장하고
사용자의 질문과 '의미적 거리'가 가장 가까운 데이터를 찰나의 순간에 찾아내는 특수한 저장소다.
마치 사용자가 "배고픈데 먹을 것 좀 줘"라고 하면, 도서관 사서가 '요리책', '맛집 가이드', '식단표'를 순식간에 찾아오는 것과 같다.
4. 핵심 정리
| 구분 | RAG (Retrieval-Augmented Generation) | Vector DB |
| 성격 | 전체적인 워크플로우 (방법론) | 워크플로우를 구성하는 핵심 도구 (SW) |
| 역할 | 외부 지식을 참고해서 똑똑하게 답하는 역할 | 관련된 지식을 의미 기반으로 빨리 찾는 역할 |
| 비유 | 오픈북 테스트 보는 과정 | 잘 정리된 참고서 서고(도서관) |
마치며
기획자로서 "우리 서비스에 챗봇을 도입하자"고 했을 때, 이제는 단순히 LLM API만 연결하는 것을 넘어서야 한다.
"우리 회사의 방대한 매뉴얼 데이터를 활용해서(RAG), 고객이 '환불 어떻게 해요?'라고 물어보면
정확한 규정을 찾아서(벡터 DB) 안내해 주는 봇을 만듭시다!"
라고 구체적으로 기획할 수 있어야 한다.
RAG와 벡터 DB는 AI를 '신기한 장난감'에서 '비즈니스에 실질적인 도움을 주는 도구'로 바꿔주는 핵심 열쇠다.
이 개념을 확실히 잡고 AI 프로덕트를 기획한다면 훨씬 더 완성도 높은 결과물을 만들 수 있을 것이다.