用户623802的组织用户9432
Dify学习笔记 04 · 检索底座：Embedding、Rerank与向量数据库（第46-54集）
输入“/”快速插入内容
Dify学习笔记 04 · 检索底座：Embedding、Rerank与向量数据库（第46-54集）
Dify学习笔记 04 · 检索底座：Embedding、Rerank与向量数据库（第46-54集）
用户9432用户943210月10日修改
💡
一句话总结：RAG 的检索上限由底座决定。本模块讲透三件事：Embedding 如何把文本变成可计算语义的向量（word2vec 的 CBOW/Skip-gram、微调与 MTEB 评估）；Rerank 如何用"双编码粗召回 + 交叉编码精排"两阶段架构把准确率拉满（CrossEncoder 微调、RankGPT、模型合并）；以及向量数据库如何用相似度度量、ANN 索引（HNSW/IVF）和 k-means 实现毫秒检索，并给出 Chroma / Qdrant / Milvus / pgvector 的选型与代码。
✅
素材覆盖说明：模块四共 9 集（第 46-54 集），本地视频与字幕齐全，全部据字幕据实整理，无补全小节。
一、可视化导览
1.1 为什么说检索的上限由底座决定
模块三我们讲了一整条检索增强链路，你可能会觉得，效果不好就去调提示词、调切分。但这一模块要告诉你一个更底层的事实：你在链路上层做的所有优化，能改善多少，其实被两个更基础的东西死死限制着。一个是把文本变成向量的那个模型，另一个是把候选结果重新排序的那个模型。如果连"两段话意思相近"这件最基本的事都算不准，后面再怎么调提示词都是白搭。这就是为什么本模块叫检索底座——它决定了整个系统的天花板，你在天花板下面再怎么努力，也高不过它。
打个比方。检索问答系统像一个图书管理员帮你找资料。你问一个问题，他先从成千上万本书里挑出可能相关的几十本粗看一遍，这就是粗召回；然后再从这几十本里仔细挑出最相关的三五本递给你，这就是精排。粗召回快但不够准，精排准但很慢。理想的管理员是：粗召回时宁可多挑几本也不漏掉，精排时慢一点但要挑得准。整个检索工程，就是在训练这个管理员的"眼力"——粗召回的眼力靠向量模型，精排的眼力靠重排模型。这一模块就是在讲这两种眼力是怎么练出来的。
1.2 两阶段架构为什么是工程标配
你可能会问：既然交叉编码精排更准，为什么不直接用它对全库逐篇打分？答案是算不过来。一个库里可能有几百万、几千万个文档，用户一问，要是对每篇都做一次又慢又贵的交叉编码打分，那用户得等好几分钟，成本也高得离谱。所以工程上必须分工：先用快的双编码模型，把文档向量提前离线算好存着，用户一问只算问题向量、去库里快速找近似的几十个，这一步很快；再用准的交叉编码，只对这几十个候选慢慢精挑细选。快和准的矛盾，就这样被拆成两步化解了。理解了这个矛盾，你就理解了为什么需要向量库、为什么需要重排——它们都是这个矛盾的产物。
🎯
记忆钩子：粗召回要"快而全"，宁可多捞；精排要"准而精"，从候选里挑真相关的。两者不是替代，而是配合。
二、视频清单（9 集 · 约 2.3 小时）
三、Embedding 原理
3.1 从 one-hot 到稠密向量
embedding 就是把一个物体（词、句子、图片等）表示为低维、稠密的浮点向量。对比 one-hot：one-hot 维度随词表膨胀（维度灾难）、任意两个词向量正交、语义上毫无关系；稠密向量维度可控，且语义相近的物体在空间中距离相近，还能做向量运算：
🔤
经典语义类比：king − man + woman ≈ queen。向量空间里"国王减去男性再加女性"得到的向量，恰好落在"女王"附近——说明关系被编码进了向量方向。
3.2 word2vec 的两种架构（2013，Google）
网络结构：输入 one-hot（V 维）× 权重矩阵 W（V×N）→ 隐藏层（N 维，即 embedding 维度）× W'（N×V）→ softmax 输出，用交叉熵损失训练；训练完后矩阵 W 就是词向量表。课程用 PyTorch 手写了一个最小示例（batch_size、embedding_dim、Adam、学习率 1e-4、约 2000 步）。现代 embedding 模型大多基于 Transformer。
3.3 为什么稠密向量能"算"出语义
从一热编码到稠密向量，是一个巨大的观念跨越。一热编码把每个词当成空间里一根互相垂直的坐标轴，任意两个词之间永远是正交的，算出来它们"毫不相关"——这显然不符合我们对语言的直觉，猫和狗明明比猫和汽车更接近。稠密向量的想法是：把每个词放进一个低得多的空间里，让意思相近的词在这个空间里自然靠得近。那模型怎么知道谁和谁近？答案藏在上下文里。它看了海量文本后发现，猫和狗常常出现在相似的语境里，于是慢慢把它们的向量训得靠近。这就是分布式假设的精髓：一个词的意思，由它周围经常出现的词决定。