A0信息管理流程建模

A0信息管理流程建模

您的位置: 首页--> 计算机技术

企业级信息管理流程建模:从数据源到联合发布

企业信息管理流程建模

从数据源 → 联合发布

🔰 第零章|入门导读(先读这一章)

如果只有 5 分钟,读完这一章,你就能看懂后面所有字母在干什么。

0.1 这篇讲什么?给谁看?

讲什么:一个企业的数据,从「刚采集进来」到「能被业务拿去用」,中间应该分成几层、每层干什么、层与层之间怎么衔接。

给谁看:
• 数据 / 数仓工程师:拿来当分层设计参考

• 架构师:拿来对齐系统边界与依赖方向

• 业务 / 管理层:理解"一个数为什么不能马上给我"

• 新人:作为理解企业数据体系的第一张地图

读完能得到:一套可直接裁剪的分层命名(A10 / A10E / A20 / P / A20U / A10T),以及每层的职责边界与管控要求。

0.2 先看一个真实场景

月底,财务说本月收入 1.2 亿。

销售系统说 1.35 亿。

经营分析会的报表写 1.18 亿。

三个数字都不一样,三个部门都觉得自己是对的。

为什么会这样?

• 财务按「开票时间」统计,销售按「下单时间」统计

• 两边各自维护了一份"产品线"编码,分类口径不同

• 报表用的是上周导出的一次性 Excel,没再更新

• 汇率一个用实时、一个用月初固定值

根子上的问题不是"谁算错了",而是:没有人规定"一个数到底以谁为准"。

0.3 企业数据体系的五个典型症状

症状 表现

烟囱林立 每个系统自建一套客户表、产品表

口径打架 同一个指标,不同部门算出不同值

重复加工 同一份清洗逻辑,五个人写了五遍

公共信息失控 组织架构一变,所有下游报表全错

无法回溯 上个月的报表重跑,数字变了,说不清为什么

这五条不是 bug,是没有分层设计的必然结果。

0.4 核心矛盾:一致性 vs 独立性

这是全文要解决的唯一命题:

• 要一致性 → 大家都从一个地方取数,口径才统一

• 要独立性 → 各业务线有自己的节奏,不能互相卡脖子

两者天然冲突:
• 管得太死 → 业务线等一个中央团队排期,慢

• 放得太开 → 各搞各的,数据对不上

本文的解法:把"共用"的东西集中管,把"个性化"的东西分层放开。

集中管:原始事实 + 公共维度
分层放:业务子集 + 场景组装

0.5 总体思路:一个源头,一条主线,三层解耦

① 一个源头(Single Source of Truth)
全企业只承认一份最原始的数据(A10)。任何争议,回到 A10 裁决。

② 一条主线(单向流动)
数据只能从上游流向下游,禁止反向写入。
下游丢了可以重算,上游绝不被下游污染。

③ 三层解耦
• 采集与加工层:把脏数据变成干净数据

• 组装与统计层:把干净数据变成好用的数据

• 发布与保障层:把好用的数据安全送出去

每层的技术选型可以独立替换,互不影响——这是解耦的红利。

0.6 两个生活化类比(帮直觉建立)

类比一:自来水系统

水源地 → A10 原水,不直接喝
水厂净化 → A10E 沉淀、过滤、消毒
分区供水 → A20 按区域切分管网
水表/压力标准→ P 全城统一的计量标准
入户水龙头 → A20U 拧开就能用
用水量总表 → A10T 不用挨家问,看总表即可
水质抽检 → 备份/监控

类比二:中央厨房

原料入库 → 洗切配 → 按门店分装 → 统一调料包 → 出品装盘 → 外卖/堂食
A10 A10E A20 P A20U 发布

记住一句话:上游做的是"能不能用",下游做的是"好不好用"。

0.7 代号速查卡 ⭐(看懂全文的钥匙)

代号 全称含义 一句话职责

A10 数据源 存最原始的数据,绝不加工

A10E Extract & Engineer 清洗、标准化、质量校验

A20 A10 的子集 按主题域 / 部门切分

P Public / Common 全公司共用的基础信息

A20U Union / Unified A20 + P 组装成可直接用的数据

A10T Total / Tally 预先算好的汇总指标

记忆口诀:
A10 存原始,A10E 洗干净,A20 切一块,P 是公共底料,A20U 拌一起,A10T 先算好。

一张图记住依赖方向:

A10 → A10E → A20 ┐
P ─┴→ A20U → 发布
A10E ─────────────→ A10T → 发布
(箭头永远朝右,绝不回头)

0.8 前置概念小词典(不熟可先扫一眼)

• OLTP / OLAP:前者管"记账"(高频写入),后者管"分析"(复杂查询)

• CDC:变更数据捕获,只抓取发生变化的数据,用于增量处理

• 幂等:同一批数据重复跑 N 次,结果完全一样(故障重跑的基础)

• 宽表:把关联好的字段铺平到一张大表,用冗余换查询速度

• 维度退化:把维度名称(如"部门名称")直接写进事实表,避免每次 JOIN

• SCD:缓慢变化维,处理"部门改名了,历史数据算旧的还是新的"

• RTO / RPO:故障后多久能恢复 / 最多丢多少数据

• 行级权限 / 列级脱敏:同一张表,不同人看到不同行;敏感字段打码

0.9 阅读地图(后面的章节怎么读)

• 第一层:源与加工(一 ~ 三章)

→ 关注"数据怎么变干净"
• 第二层:组装与统计(四 ~ 六章)

→ 关注"数据怎么变好用"
• 第三层:发布与保障(七 ~ 八章)

→ 关注"数据怎么安全送出去"
• 收尾(九 ~ 十一章)

→ 串联全景、设计原则、演进方向

0.10 贯穿全文的三条主线

读后面章节时,心里装着这三条线,就不会迷路:

• 数据流:数据从哪来、被改了什么、到哪去

• 控制权:谁拥有这份数据、谁能改、谁能看

• 时间轴:多久更新一次、出问题回退到哪个时点

每层设计其实都在回答同一组问题:

谁写?谁读?多久一次?错了怎么办?

0.11 四个常见误区(先打预防针)

• ❌ "备份了就等于能恢复"

→ 不做恢复演练的备份,只是心理安慰
• ❌ "公共信息随便改,下游自己会跟上"

→ P 一改,所有 A20U 都得重刷
• ❌ "统计库可以直接对外发布"

→ A10T 只回答"有多少",明细要回 A20U
• ❌ "为了省事,让下游直接读上游"

→ 一旦跨层直读,分层就名存实亡

0.12 落地建议:别一次建完,按这个顺序来

  1. 先立 A10:把所有原始数据集中,只追加不覆盖
  2. 再立 P:把组织、人员、编码、日历统一,这一步收益最大
  3. 再做 A10E:沉淀通用清洗规则与质量看板
  4. 后切 A20:按业务线逐步拆分,不用一次切完
  5. 最后 A20U / A10T:有了明确消费场景再建,避免空转

判断标准:每层是否成立,看它有没有清晰的「上游输入」和「下游消费者」。两头都空的一层,就是过度设计。

0.13 一页总结(入门篇收尾)

原始数据集中管,业务数据按需分,

公共信息统一维,组装发布看场景,

统计预计算提速,备份归档保安全。

核心思想:用清晰的接口契约解耦各层,任一层技术选型都能独立替换。

一、整体架构概览

企业信息管理系统的核心挑战:如何在保证数据一致性的前提下,让不同业务线既能独立运作,又能共享公共基础信息。

本文基于分层建模思路,梳理从原始采集到最终发布的完整信息流。

端链路

A10 数据源
↓
A10E 清洗加工 ──→ A10T 统计库
↓ ↓
A20 业务子集 ──┐ 发布(报表/接口/文件/推送)
↓
P 公共信息库 ─→ A20U 联合库
↓
备份 / 归档

二、信息源层:A10 数据源

定位:全系统唯一事实源(Single Source of Truth),不直接对外提供查询。

汇聚四类数据
• 业务系统实时写入的交易流水、操作日志

• 外部系统定时同步的接口数据

• 人工录入的主数据(客户档案、产品目录)

• 物联网 / 采集设备的时序数据

四条设计原则

• 原始性 — 不做任何加工,保留最细粒度

• 可追溯 — 每条记录带来源标识、写入时间戳、批次号

• 不可变 — 只追加不覆盖,变更靠版本号管理

• 完整性 — 入库口做基础校验(非空、格式、外键引用)

A10 不直接对外服务查询,所有下游消费均经中间层。

三、信息处理层:A10E(Extract & Engineer)

定位:连接原始数据与可用数据的桥梁,负责清洗、标准化、enrichment。

3.1 处理动作

去重补全 → 字段标准化(编码映射、单位统一)→ 异常值检测标记 → 跨表业务规则校验 → 派生字段计算(如金额 = 单价 × 数量)

3.2 四大核心能力

• 增量处理 — 基于时间戳 / CDC,只处理新增与变更

• 幂等性 — 同批次重复执行结果一致,支持故障重跑

• 处理日志 — 记录规则ID、输入/输出行数、丢弃原因

• 质量看板 — 实时监控空值率、异常值比例、校验失败率

3.3 子集派生:A20

A10 按主题域 / 部门边界拆分:财务、供应链、人力……

拆分规则
• 按业务实体过滤(只保留财务相关单据类型)

• 按时间窗口裁剪(如只留近 3 年)

• 按组织架构隔离(分公司只看本区域)

子集继承 A10 字段结构,仅行集不同;子集之间允许重叠。

四、公共信息库:P(Public / Common)

定位:跨业务线共享的基础信息层,不隶属任何单一子集。

覆盖五类
• 组织信息 — 公司架构、部门编码、成本中心

• 人员信息 — 员工主数据、岗位、职级

• 编码体系 — 国家/地区码、币种、计量单位

• 参数配置 — 税率表、基准汇率、业务规则参数

• 日历维度 — 财年、节假日、工作日标记

三个特征
• 低频变更 — 按日 / 周 / 月更新,非实时

• 强一致性 — 下游引用同一版本,变更走审批

• 版本管理 — 保留历史版本,支持"截至某时点"回溯

五、联合库:A20U = A20 + P(Union / Unified)

5.1 组装逻辑

A20U = A20
LEFT JOIN P.组织 ON 成本中心 = 成本中心编码
LEFT JOIN P.人员 ON 经办人 = 员工编号
LEFT JOIN P.编码 ON 币种 = 币种代码
LEFT JOIN P.日历 ON 业务日期 = 日期

5.2 A20 与 A20U 对比

A20 子集
• 数据范围:单主题业务数据

• 使用场景:处理中间态

• 更新频率:跟随 A10 增量

• 是否冗余:否(仅业务字段)

A20U 联合库
• 数据范围:业务数据 + 公共维度

• 使用场景:报表 / 接口 / 前端展示

• 更新频率:跟随 A20 + P 变更

• 是否冗余:是(维度冗余换查询性能)

5.3 多实例

• A20U-报表 → BI 报表系统

• A20U-接口 → 外部系统 API

• A20U-分析 → 数据科学家即席查询

物理结构可不同(星型 / 宽表 / 列式),但逻辑内容同源。

六、信息统计层:A10T(Total / Tally)

定位:预计算指标层,避免每次查询扫描明细。

粒度体系
• 时间:A10 明细 → 日汇总 → 月汇总 → 年汇总

• 维度:机构 / 产品 / 客户 / 渠道

• 指标:金额、笔数、均值、同比、环比

• 窗口:滚动 30 天、年初至今、移动平均

与 A20U 的分工
• A20U 回答「是什么」— 明细 + 维度,支持钻取

• A10T 回答「有多少」— 聚合指标,支持监控预警

• 交叉验证:A10T 汇总值 = A20U 对应过滤下的 SUM

刷新策略
• 实时增量 → 核心监控指标(当日交易额)

• 准实时 5–15 分钟 → 运营看板

• 日终批量 → 财务报表、监管报送

• 按需触发 → 月末结账、年度审计

七、信息发布层

7.1 渠道矩阵

• BI 报表平台 ← A20U + A10T → 管理层、分析师|准实时 ~ T+1

• API 接口 ← A20U → 外部系统、前端应用|实时

• 文件导出 ← A20U → 合作伙伴、监管报送|日/月/季批量

• 消息推送 ← A10T 阈值触发 → 业务人员|事件驱动

• 数据服务市场 ← P + A20U → 内部团队自助订阅|按需

7.2 发布管控

• 权限模型 — 行级过滤(同报表不同人看不同机构)+ 列级脱敏(手机号中间四位掩码)

• 水印追踪 — 导出文件嵌入用户ID + 时间戳,泄露可溯源

• 审批流 — 敏感数据发布需数据 Owner 审批

• SLA — 分渠道约定可用性与延迟上限(如 API P99 < 200ms)

八、信息备份与归档

8.1 分层备份

• 热备|A20U 当前版本|实时主从同步|保留 7 天|RTO < 5 分钟

• 温备|A10E + A20U|日全量 + binlog|30 天|RTO < 1 小时

• 冷备|A10 原始数据|周全量|1–7 年(按合规)|RTO < 24 小时

• 异地容灾|全量|异步复制|与本地一致|RTO < 4 小时

8.2 归档策略

• A10 > 3 年 → 低成本对象存储(如 S3 Glacier)

• A10E > 1 年 → 压缩转存,保留重跑能力

• A20 > 5 年 → 按监管要求归档

• P 变更即归档旧版本 → 版本历史库

归档数据日常不可查,需提交「解冻申请」恢复到临时查询区;审计 / 诉讼场景支持紧急解冻,SLA 4 小时内可用。

8.3 备份验证(每月执行)

随机抽取备份集 → 隔离环境恢复演练 → 校验行数与校验和 → 演练报告纳入合规证据

⚠️ 备份 ≠ 能恢复。演练才是答案。

九、完整流程串联

【源】A10 数据源(唯一事实源)
· 业务系统 / 外部接口 / 人工录入 / 设备采集
↓
【处理】A10E 数据处理库
· 清洗 · 标准化 · enrichment · 质量校验 · 日志
↓ ↓
A20 子集 A10T 统计库
(业务主题) (日/月/年汇总)
↓ ↓
┌────────┐
│ P 公共信息库 │
└────┬───┘
↓
【组装】A20U = A20 + P
· 多实例:报表 / 接口 / 分析
↓
【发布】BI报表 · API · 文件导出 · 消息推送
· 权限控制 · 水印 · 审批流
↓
【保障】备份:热备→温备→冷备→异地容灾
归档:分层存储 + 恢复演练

十、关键设计原则

• 关注点分离 — 每层只做一件事:A10 存原始、A10E 做清洗、A20 做拆分、P 管公共、A20U 做组装、A10T 做统计

• 单向依赖 — 数据只从上游流向下游,禁止反向写入(A20U 不回写 A10)

• 可重算 — 任何中间层丢失,都能从上游重新生成

• 版本可追溯 — P 每次变更有版本号,A20U 可回溯任意时点状态

• 最小权限 — 每个消费方只看到需要的数据,不多不少

• 可观测 — 每层有质量监控、延迟监控、行数对账

十一、可扩展方向

• 实时化 — A10→A10E 引入 Kafka + Flink,延迟从小时级压到秒级

• 数据湖 — A10 底层换成 Iceberg / Hudi,支持 schema evolution 与 ACID

• 数据网格 — P 拆为领域自治的「数据产品」,各团队自运维 A20→A20U

• 隐私计算 — 跨子集联合统计引入差分隐私 / 联邦学习,原始数据不出域

收束:各层通过清晰的接口契约解耦,任一层的技术选型都可独立替换,不影响整体流程运转。


返回前一页   ▲ 返回顶部