数据智能后端微服务与实时数据链路

围绕企业数据智能平台建设图表服务、数据中心指标查询、标签中台、CDC 同步和低代码运行时。在 canal 侧实现跨库双写同步、夜间消费、表迁移修复初始化和压缩汇总表构建,逐步砍掉 Flink 常驻链路的重资源依赖,降低服务器资源与数据运维成本。

服务层的价值是收敛复杂度

数据产品前端要稳定,服务层必须把权限、指标、维度、排序、分页、明细钻取、导出和数据来源差异统一起来。

这类后端不是简单 CRUD。它处在业务库、数据中心、BI 前端和标签任务之间,既要理解数据口径,也要处理动态 SQL、多数据源、幂等、锁和失败恢复。在 canal 侧实现跨库双写同步、夜间消费和压缩汇总表构建,逐步砍掉 Flink 常驻链路的重资源依赖。统一初始化与增量业务主键规则,解决字段拼接顺序不一致导致的拆行、金额偏差和动态 SQL 兼容问题。

  1. 前端提交图表配置和查询条件。
  2. 服务层转换为标准 TargetSearchVO。
  3. 统一组织、项目、维度、指标、时间、排序和分页。
  4. 按 accessMethod 拆分数据中心取数和填报系统取数。
  5. 封装 DWS 指标、DWD 明细、分子分母和导出结果给前端。
图表服务柱图、折线、饼图、地图、指标卡、表格、导出
标签中台标签实体、分群、任务、字典、SQL 预览和写回
CDC 链路全量初始化、binlog 增量、压缩汇总和失败重跑
chart-query-flow.txttxt6 行
view Diagram API
  -> ConfigChartServiceImpl
  -> TargetSearchVO
  -> OpenFeign datacenter
  -> queryPlotting / queryDetailInfo / queryDwdDetail
  -> chart protocol / table rows / export file