RAG 入门:检索增强生成的原理与 AWS 方案

整理 AWS 官方 RAG 页面:为什么大模型需要外挂知识库、检索增强的四步流程、与语义搜索的区别,以及 AWS 上的落地方式

本文整理自 AWS 官方页面 什么是 RAG(检索增强生成)?,内容与观点归 Amazon Web Services 所有,这里做了中文归纳、结构化与配图重绘。

一、RAG 是什么

检索增强生成(Retrieval-Augmented Generation,RAG)指在生成回答之前,先让大语言模型(LLM)去检索一份权威知识库,用检索到的内容来约束和补充输出。

模型本身不用重新训练,只是多了一个「查资料」的动作。原文的判断是:这是低成本改进 LLM 输出的方法,让回答在具体场景下保持相关性、准确性和实用性。

二、为什么需要 RAG

LLM 的训练数据是静态的,知识有截止日期;而它的输出又足够自信。原文把这种状态比作一个过于热情的新员工:不了解时事,但什么问题都答得斩钉截铁。

常见问题表现
无中生有没有答案时给出虚假信息
信息过时用户要最新的具体信息,模型给宽泛的旧内容
来源不权威依据非权威来源组织回答
术语混淆不同训练来源对同一术语的定义不同,导致答非所问

RAG 的应对方式是:把模型重定向到预先确定的权威知识来源,组织对输出有更强的控制,用户也能看清答案是怎么来的。

三、RAG 的四个好处

好处说明
成本低针对领域数据重训基础模型的算力和费用都很高;RAG 只要接外部数据,不动模型
信息新鲜可以直接对接实时社媒、新闻网站等频繁更新的来源
可追溯输出可以附带引文与来源,用户能自己核对原文,信任度更高
可控开发者能更换信息来源、按权限限制敏感内容的检索范围,也能在答案引错来源时排错修复

四、RAG 怎么工作

没有 RAG 时,模型只凭训练记忆回答;有了 RAG,流程里多出一个信息检索组件:

RAG 工作流程:先建知识库,再带着检索结果提问

  1. 创建外部数据:把 API、数据库、文档库里训练集之外的数据,用嵌入模型转成向量,存进向量数据库,形成模型能理解的知识库。
  2. 检索相关信息:把用户查询也转成向量,与向量库匹配,返回最相关的片段。原文的例子是 HR 机器人——员工问「我有多少年假?」,系统会同时检索年假政策文档和该员工的历史休假记录。
  3. 增强提示:把检索到的内容拼进提示词,这一步靠提示工程与模型有效沟通,让模型基于「训练知识 + 新知识」作答。
  4. 更新外部数据:数据会过期,需要异步更新文档及其嵌入表示,可以走实时流程或定期批处理。

五、RAG 和语义搜索的区别

语义搜索是提升 RAG 效果的一环,适合想把大量外部知识接进 LLM 应用的组织。

传统/关键字搜索语义搜索
检索方式字面匹配问题映射到相关文档,返回具体文本段落
开发者负担要自己处理词嵌入、文档分块等准备工序知识库准备由服务完成
输出搜索结果列表语义相关的段落 + 按相关性排序的标记词

原文举的例子:问「去年在机械维修上花了多少钱?」,语义搜索返回的是相关文档中的具体文本,而不是一堆链接,开发者拿这段答案去给 LLM 补充上下文即可。

六、AWS 上的三种落地方式

方式说明
Amazon Bedrock 知识库全托管,几次点击把基础模型接到 RAG 数据源,向量转换、检索、生成都自动处理
Amazon Kendra机器学习驱动的高精度企业搜索,提供检索 API 与语义排序器,可作为 RAG 工作流的企业检索器
Amazon SageMaker JumpStart想要更多自定义时用,提供基础模型、内置算法与现成方案,参考 notebook 与示例代码加速实现

Kendra 检索 API 的几个具体能力:单次最多返回 100 个语义相关段落(每段最多 200 个 token,按相关性排序)、提供 S3 / SharePoint / Confluence 等预置连接器、支持 HTML / Word / PowerPoint / PDF / Excel / 纯文本,并能按最终用户权限过滤文档。

小结

  • RAG 不改模型,只给模型加一个「先查资料再回答」的检索步骤
  • 它解决的是训练数据静态、模型过度自信带来的四类问题:编造、过时、来源不权威、术语混淆
  • 流程四步:准备外部数据 → 检索相关片段 → 增强提示 → 持续更新数据
  • 语义搜索与 RAG 互补,前者负责把大量非结构化知识变成可检索、可排序的段落
  • 不想自建就用 Amazon Bedrock 知识库,要企业级检索用 Kendra,要深度定制用 SageMaker JumpStart

来源:本文整理自 AWS 官方页面《什么是 RAG(检索增强生成)?》,原文版权归 Amazon Web Services, Inc. 或其关联公司所有;文中观点、案例与数据均引自该页面,配图为本站自制。