我们构建什么
RAG 知识助手
基于您的政策、手册、工单和 Wiki 作答,每条结论都附有来源链接。访问权限沿用您现有的权限设置。
内容与文档生成
根据您的模板和数据起草提案、报告、合同和产品文案,然后在发出前转交人工审核。
嵌入现有应用的 Copilot 助手
在您的 CRM、服务台或内部工具中加入助手面板,负责起草、摘要和查询,用户无需切换应用。
文档理解
对传入文档进行分类、信息提取和摘要,附带置信度评分,并为不确定的内容设置审核队列。
微调与开放权重模型托管
当 API 模型成本过高,或数据不能离开您的环境时,我们会在您的基础设施上用 vLLM 或 Ollama 微调并托管开放权重模型。
评估与成本控制
用测试集衡量回答质量,用 OpenTelemetry 追踪延迟和成本,再加上路由和缓存,让账单可预测。
知识助手是如何搭建的
回答质量主要取决于检索。模型的作用比人们预想的要小。
导入
连接数据源,合理切分文档,并保留所有者、日期和访问权限等元数据。
检索
在 NebulaDB 等向量索引上进行混合搜索,并按用户有权查看的内容过滤。
作答
模型只根据检索到的内容作答并注明出处。如果没有找到相关内容,它会直接说明。
衡量
由真实问题和约定答案组成的测试集,每次变更都会评分,同时收集使用者的反馈。
数据、质量与成本
运行位置
模型 API、Amazon Bedrock 或 Azure AI Foundry,或在您自己服务器上运行的开放权重模型。按用例由您决定。
密钥与凭据
API 密钥保存在您的密钥库中,通过 WSL Vault 而不是配置文件传递给应用。
可核查的质量
回答注明出处,测试集结果保存在您的代码仓库中,任何人都可以重新运行。
可预测的成本
按请求追踪成本、使用缓存,并将简单请求路由到更小的模型。我们关于 LLM 可观测性与成本控制的文章介绍了具体方法。
阅读文章: 可预测的成本
关于生成式 AI 项目的问题
我们已经在用 ChatGPT 或 Copilot,为什么还要自建?
通用助手不了解您的文档、权限或流程。定制构建的应用基于您的数据源作答,遵守访问权限,记录所做的操作,并嵌入团队已在使用的工具中。
我们的文档会去哪里?
只去您的数据规则允许的地方。我们会选择符合规则的服务商和配置,或托管开放权重模型,让文档始终不离开您的环境。
你们能在我们现有的产品中加入生成式 AI 吗?
可以。我们在您的代码库中、在您的身份认证之后构建该功能,并附带测试和文档,方便您的工程师维护。
你们如何确认回答是正确的?
在开发前,我们与您约定一套由真实问题和正确答案组成的测试集,并用它为每次变更评分。无法以来源为依据的回答会被拒绝。