Newsee知识源检索
介绍使用AI爬虫工具ScrapeGraphAI构建咨询知识库、智能回复和钉钉机器人的方案，包括高精度和低成本两种思路及成本估算。
实现目标
- 咨询问题知识库
- 咨询单智能回复
- 钉钉咨询机器人
AI爬虫工具
ScrapeGraphAI
https://cdn.nlark.com/yuque/0/2025/png/315567/1736858765586-004fb607-0efd-4c51-8edc-77e176252cb4.png
GitHub - ScrapeGraphAI/Scrapegraph-ai: Python scraper based on AI
功能特性
- 1️⃣使用自然语言描述任务即可进行网页内容抓取，无需手动编写复杂规
- 2️⃣能自动识别网页结构，精准提取所需信息并转换为结构化数据
- 3️⃣利用大语言模型的语义理解能力，可自动适应网站结构更新，减少维护成本
- 4️⃣支持多种功能：单页面内容提取、多网页批量抓取、搜索结果处理等
- 5️⃣可生成对应的 Python 爬虫代码，方便进行深度定制
- 6️⃣支持多种大模型 API，包括 ChatGPT、Claude、Groq 等，也支持通过 Ollama 调用本地开源模型
方案思考（高精度）
- 实时爬虫技术检索kms知识库 + 定时更新知识库进行实时文档知识库构建 + 采用dify混合检索模式-全文检索+向量检索+重排序的方式进行目标命中 + 消耗token预估
| 阶段 | token消耗 | 模型 | 成本估算 |
|---|---|---|---|
| AI爬虫检索+格式化 | 100个token | 基于深度学习的爬虫模型 | 每爬取1000个页面的成本约为350元 |
| 向量文档模型构建（定时构建） | 每个文档约500个token | 使用FAISS或类似的向量数据库 | 每处理1000个文档的成本约为2000元 |
| AI+RAG检索（实时输出） (rerank、向量、) | 每个查询约200个token | 结合RAG技术，使用Hugging Face Embeddings | 每处理1000次查询的成本约为700元 |
| 显卡 | 根据2024年4月显卡购买指南，显卡价格差异较大，例如MAXSUN 铭瑄 GeForce RTX4070 Super iCraft OC12G 瑷珈 显卡价格为6199元起。 | | :— | :— |
方案思考（低成本）
| 阶段 | token消耗 | 模型 | 成本估算 | |
|---|---|---|---|---|
| AI爬虫-生成爬虫代码 | 3000个token | 基于ScrapeGraphAI的爬虫模型 | 10元 | |
| 向量文档模型构建（定时构建、开源） | 0 | 使用FAISS或类似的向量数据库 | 0 | |
| AI+RAG检索（实时输出） | 每个查询约200个token | 结合RAG技术，使用Hugging Face Embeddings | 1000次查询的成本约为700元 |