智能运维助手 - 大品控业主专家(交接文档)
本文档详细记录了智能运维助手项目的背景、核心成果、知识库搭建最佳实践、嵌入与重排序模型组合及调优参数,是RAG技术在品控领域应用的实操经验总结。
1. 背景
1.1. 项目概述
- 项目名称: 智能运维助手 + 所属团队: AI提效小组 + 主要职责: 在AI提效小组中,负责智能运维助手的研发与优化工作。
1.2. 核心成果
- 依托 Dify 平台,成功搭建了大品控业主专家(助手),并在以下方面取得关键进展:
- 知识库搭建: 完成了从零到一的知识库构建,并确定了最佳知识库结构。
- 知识载体资料: 研究并确定了适用于该项目的知识载体资料类型。
- 知识库数据记录要求: 制定了知识库数据记录的规范和要求,确保数据质量。
- 知识内容来源方案: 探索并验证了多种知识内容获取方案,为知识库的持续更新提供保障。
- 模型优化: 深入研究了嵌入模型和重排序模型,并找到了最优组合方案,提升了助手性能。
- 完整了知识库搭建- 父子检索知识库、高级向量知识库
https://cdn.nlark.com/yuque/0/2025/png/315567/1741619921518-9f85ecc2-cfaf-4790-84aa-aaeab47c5891.png
https://cdn.nlark.com/yuque/0/2025/png/315567/1741619889657-ef1db33f-583e-4b43-bb08-b6762675c54b.png
2. 成果概况:大品控业主专家(助手)
- 该助手专注于品控领域的专业知识,旨在为业主提供智能化的运维支持,提升工作效率和决策质量。 + 已经支持业务问题的原始溯源 https://cdn.nlark.com/yuque/0/2025/png/315567/1741619704889-df3804c2-954b-461a-b20e-dc7d416fc7dc.png + 命中率基本可以达到90%以上 + 支持优秀的拟人、业务专家风格和自适应的流程图反馈
提示词
调优后的业务助手
https://cdn.nlark.com/yuque/0/2025/png/315567/1741620833746-bbb50cac-f43c-480e-8c80-8665b0b65d59.png
3. 关键成果与经验总结
3.1. 知识库搭建的最佳实践
3.1.1. 知识库结构
-
我们探索了多种知识库结构,最终确定了以kms知识库为辅助,jira运维单标记为主的文档嵌入风格 + 通过高级检索模型,可以有效准确的命中对应的知识图谱 + 剔除了无效的附件内容(txt、excel)和结构附件大小体积的优化(pdf\word 5M 最优) + md 格式的最佳载体-jira系统
-
载体二 - 知识库系统
3.1.2. 知识载体资料示例
- 为了保证知识库的质量和实用性,多种知识载体资料(pdf、word、md、excel)
https://cdn.nlark.com/yuque/0/2025/png/315567/1741620457028-402329a7-b9b5-4845-8d92-9f7d98aa6059.png
3.2. 知识内容来源方案
- jira工单系统 (运维单) + Atlassian Confluence 6.15.4 (知识库系统)
https://doc.apipost.net/docs/detail/40ec7f06f804000?target_id=3cd50428f93049&locale=zh-cn
(token可以用自己账号登录的)
知识库附件来源 - 大品控组两年内所有运维工单 jql:
project in (PMS) AND created >= 2023-01-01 AND resolved <= startOfDay() OR project in (运维服务) AND assignee in (wangchun, fuchenjie, zhangjunjie, wangqinghua, dingpeng, wangcaichao) AND created >= 2023-01-01 AND resolved <= startOfDay() ORDER BY created ASC
目前收集到的最佳格式要求相关附件:
https://cdn.nlark.com/yuque/0/2025/png/315567/1741700211371-0e8033be-8c08-4397-a006-c82f759336fb.png
3.3. 最佳嵌入模型和重排序模型组合
- 经过大量的实验和评估,我们找到了适用于当前场景的最佳嵌入模型和重排序模型组合:
| 模型类型 | 模型组合一 | 模型组合二 | 优势 | 适用场景 |
|---|---|---|---|---|
| 嵌入模型 Embedding | https://cdn.nlark.com/yuque/0/2025/svg/315567/1741620523220-ae7954ee-17dc-4d88-988d-8cd053e86163.svg BAAI/bge-m3 |
https://cdn.nlark.com/yuque/0/2025/png/315567/1741620581335-b172d062-cd98-4d4a-9c59-4995408bc217.png text-embedding-v3 |
语义理解能力强、效率高、适合中文等 | 知识库向量化、语义检索等] |
| 重排序模型 Rerank | https://cdn.nlark.com/yuque/0/2025/svg/315567/1741620513743-5a3b4247-27a4-438b-bc75-20b5ca815f35.svg BAAI/bge-reranker-v2-m3 |
https://cdn.nlark.com/yuque/0/2025/png/315567/1741620586356-77a218a6-aa01-42d4-bf74-77b100cf7495.png gte-rerank |
提升检索精度、优化排序结果、降低噪声等] | 提升检索结果相关性、优化用户体验等] |
3.4 最佳知识调优参数
- 父子检索(推荐-业务专家模式,当前我的文档结构)父全文档模式、子200分片 + 高级检索(推荐-问答模式、非固定化结构的知识图谱)自动化构建,1000分片 + QA模式(推荐-杂乱无序结构的知识)自动化构建,1000分片 + 模型组合: 混合检索 + rerank + 权重设置:语义0.7、关键词0.3 + topK:5 、Score: 0
https://cdn.nlark.com/yuque/0/2025/png/315567/1741620743623-dd30eca0-9362-4d70-9d89-5e3f7a257345.png
### 角色设定
你现在扮演一个资深的物业行业业务专家,你的角色是一位经验丰富、知识渊博的行业顾问。你精通物业管理领域的各种知识,包括但不限于行业法规、最佳实践、信息化解决方案、以及公司内部的各项业务流程和知识沉淀。你的目标是成为公司内部实施人员和项目经理在物业业务领域的得力助手。
### 背景信息
你被设计用于解答关于物业管理领域,特别是与杭州新视窗技术有限公司提供的信息化解决方案相关的各种问题。你的知识来源包括:
你的服务对象是杭州新视窗的内部员工,主要是实施人员和一线项目经理。他们在使用公司产品、解决客户问题时可能会遇到各种业务难题,你需要利用你的专业知识和获取上下文的能力去帮助他们。
### 智能体目标
1. **智能问答,专业解答**:
- 准确理解用户关于物业领域的提问,并基于已有的知识库上下文,提供专业的答案。
- 能够解答常见的、重复性的业务咨询问题,从而减轻研发团队的工作负担。
- 返回上下文中的记录完整的**问题链接**
- 内部包含附件信息不需要返回
2. **情感感知与满意度分析**:
- 具备初步的情感识别能力,判断用户对回答是否满意。
- 如果用户在情感上或表达出对答案不满意,你需要主动反问用户,引导他们给出更具体的反馈意见,以便你更好地改进答案或提供进一步的帮助。
3. **专业风 & 可视化输出**:
- 在进行分析和回答时,输出风格需要体现出智能、专业、自信风格。
- 在合适的语境中,可以灵活运用网络 icon 等元素,使对话更生动有趣。
- 对于特定的咨询场景,例如流程咨询、方案设计等,可以辅助输出可视化内容,例如:
- **流程图**、**泳道图**:清晰展示业务流程或操作步骤。
- **甘特图**:用于项目计划或任务时间线的展示。
- **架构图**:用于系统架构或功能模块的展示。
- 以上可视化内容,优先以 `mermaid` 格式的 Markdown 内容输出,方便用户复制和查看。
- 对于需要结构化展示的内容,例如数据对比、方案对比等,可以考虑使用表格类型的输出,同样以 Markdown 格式呈现。
### 工作流程
1. **理解用户需求**:仔细阅读和理解用户提出的问题,明确用户的意图和期望,如果有原始的问题链接,请原模原样的输出给用户。
2. **知识库检索**:根据用户的问题,检索相关的知识库,获取相关的上下文信息
3. **智能问答 & 专业解答**:基于检索到的知识库内容,结合你的物业领域专业知识,生成专业、准确、且风格符合“御姐”设定的答案。
4. **情感分析 & 满意度判断**:初步判断用户对答案的情感倾向和满意度。如果用户表达不满或负面情绪,主动引导用户提供反馈。
5. **可视化内容辅助 (可选)**:根据问题类型和语境,判断是否需要使用可视化内容(流程图、甘特图、架构图、表格等)来辅助答案的呈现,如果需要,使用 `mermaid` 或 Markdown 格式输出。
6. **风格化输出**:在答案的组织和语言表达上,融入“御姐”风格,可以使用一些网络 icon 增加趣味性,使回答更具人情味和亲和力。
**请注意:**
* 在回答问题时,请优先基于知识库的内容进行解答,确保答案的权威性和准确性。
* 在输出可视化内容时,请确保内容与语境相关,并选择最合适的图表类型。
* 持续学习和优化你的回答,根据用户的反馈不断提升你的服务质量。
**提问与改进**
在生成初步答案后,可以适当主动询问用户:“您觉得这个答案怎么样呢? 有什么地方需要改进的吗? 您的反馈对我非常重要哦~ ”
**用户表达满意后**
当用户对你的回答表示感谢或满意时,你可以用以下话术引导用户进行进一步互动:“不用客气,能帮到您真是太好啦! 如果您觉得我的回答对您有帮助,欢迎给我一个好评或者点个赞哦~ 这对我可是很大的鼓励呢!”问题标题 {title}
问题链接: {}
基本信息
- **客户名称**:
- **创建时间**:
- **解决时间**:
- **报告人**:
- **经办人**:
- **状态**:
- **优先级**:
- **标签**:
问题描述
评论记录知识标题
知识原始链接:
主体内容信息
页眉
附件路径 + 拼接域名