向量库选对了,RAG还是死在Demo:拓科技谈企业级落地的四道生死关
一、Demo跑得通,上线就崩
洹拓科技在服务新乡本地企业时,发现一个普遍现象:很多AI项目在Demo阶段表现完美,但一到生产环境就各种问题。
RAG(检索增强生成)系统尤其如此。选对了向量库,系统能跑起来;但要从Demo走到生产,还有四道生死关要过。

二、第一关:数据质量
Demo阶段通常用少量干净数据测试。但企业真实数据是脏乱差的:
- PDF带页眉页脚、表格被拍平成一行字
- 扫描件提不出文字
- 同一份文档有多个版本,内容冲突
洹拓经验:数据治理的投入产出比,比后面调十个参数都高。先花一周清洗数据,再花一周调模型。
三、第二关:检索精度
裸向量检索有三个毛病:
- 缺阈值:用户问的东西库里根本没有,相似度只有0.5,TopK照样把”矮子里拔高个”的塞给你
- 精确匹配失灵:问”设备XK-2000的防护等级”,向量模型召回一堆讲”防护等级通用要求”的文档
- 候选里混着”像但没用”的片段
洹拓方案:双路召回(向量检索 + BM25关键词检索)+ 重排(CrossEncoder)。检索质量提升后,生成质量自然跟上。
四、第三关:权限隔离
普通员工不能通过AI查到高管薪资。不处理这件事,RAG会变成”越权查询加速器”。
拓做法:
- 在元数据打department、security_level标签
- 检索时按用户角色注入过滤
- 先多召回再过滤,避免过滤后不够k条
五、第四关:持续运维
Demo是一次性的,生产是持续的:
- 文档更新了,索引要不要重建?
- 模型升级了,效果会不会退化?
- 用户反馈答错了,怎么快速定位?
洹拓建议:
- 建立增量更新机制(哈希ID比对)
- 定期用测试集评估效果
- 建立用户反馈闭环
六、洹拓科技的RAG服务
洹拓科技可以为新乡本地企业提供:
- RAG系统架构设计:根据数据特点选择合适的向量库和检索方案
- 数据治理服务:帮助企业清洗、结构化文档数据
- 权限体系设计:设计符合企业组织架构的访问控制
- 运维支持:提供系统上线后的持续优化服务
新乡洹拓科技有限公司,专注AI工程化落地,为新乡及辉县本地企业提供RAG系统建设与优化服务。
咨询热线:400-829-9957
地址:河南省新乡市辉县市金城百货四楼