| 您的位置: 首页--> 计算机技术 |
|
企业信息管理流程建模 从数据源 → 联合发布 🔰 第零章|入门导读(先读这一章) 如果只有 5 分钟,读完这一章,你就能看懂后面所有字母在干什么。 0.1 这篇讲什么?给谁看? 讲什么:一个企业的数据,从「刚采集进来」到「能被业务拿去用」,中间应该分成几层、每层干什么、层与层之间怎么衔接。 给谁看:
• 架构师:拿来对齐系统边界与依赖方向 • 业务 / 管理层:理解"一个数为什么不能马上给我" • 新人:作为理解企业数据体系的第一张地图 读完能得到:一套可直接裁剪的分层命名(A10 / A10E / A20 / P / A20U / A10T),以及每层的职责边界与管控要求。 0.2 先看一个真实场景 月底,财务说本月收入 1.2 亿。 销售系统说 1.35 亿。 经营分析会的报表写 1.18 亿。
为什么会这样? • 财务按「开票时间」统计,销售按「下单时间」统计 • 两边各自维护了一份"产品线"编码,分类口径不同 • 报表用的是上周导出的一次性 Excel,没再更新 • 汇率一个用实时、一个用月初固定值 根子上的问题不是"谁算错了",而是:没有人规定"一个数到底以谁为准"。 0.3 企业数据体系的五个典型症状 症状 表现 烟囱林立 每个系统自建一套客户表、产品表 口径打架 同一个指标,不同部门算出不同值 重复加工 同一份清洗逻辑,五个人写了五遍 公共信息失控 组织架构一变,所有下游报表全错 无法回溯 上个月的报表重跑,数字变了,说不清为什么 这五条不是 bug,是没有分层设计的必然结果。 0.4 核心矛盾:一致性 vs 独立性 这是全文要解决的唯一命题: • 要一致性 → 大家都从一个地方取数,口径才统一 • 要独立性 → 各业务线有自己的节奏,不能互相卡脖子 两者天然冲突:
• 放得太开 → 各搞各的,数据对不上 本文的解法:把"共用"的东西集中管,把"个性化"的东西分层放开。 集中管:原始事实 + 公共维度
0.5 总体思路:一个源头,一条主线,三层解耦 ① 一个源头(Single Source of Truth)
② 一条主线(单向流动)
③ 三层解耦
• 组装与统计层:把干净数据变成好用的数据 • 发布与保障层:把好用的数据安全送出去 每层的技术选型可以独立替换,互不影响——这是解耦的红利。 0.6 两个生活化类比(帮直觉建立) 类比一:自来水系统 水源地 → A10 原水,不直接喝
类比二:中央厨房 原料入库 → 洗切配 → 按门店分装 → 统一调料包 → 出品装盘 → 外卖/堂食
记住一句话:上游做的是"能不能用",下游做的是"好不好用"。 0.7 代号速查卡 ⭐(看懂全文的钥匙) 代号 全称含义 一句话职责 A10 数据源 存最原始的数据,绝不加工 A10E Extract & Engineer 清洗、标准化、质量校验 A20 A10 的子集 按主题域 / 部门切分 P Public / Common 全公司共用的基础信息 A20U Union / Unified A20 + P 组装成可直接用的数据 A10T Total / Tally 预先算好的汇总指标 记忆口诀:
一张图记住依赖方向: A10 → A10E → A20 ┐
0.8 前置概念小词典(不熟可先扫一眼) • OLTP / OLAP:前者管"记账"(高频写入),后者管"分析"(复杂查询) • CDC:变更数据捕获,只抓取发生变化的数据,用于增量处理 • 幂等:同一批数据重复跑 N 次,结果完全一样(故障重跑的基础) • 宽表:把关联好的字段铺平到一张大表,用冗余换查询速度 • 维度退化:把维度名称(如"部门名称")直接写进事实表,避免每次 JOIN • SCD:缓慢变化维,处理"部门改名了,历史数据算旧的还是新的" • RTO / RPO:故障后多久能恢复 / 最多丢多少数据 • 行级权限 / 列级脱敏:同一张表,不同人看到不同行;敏感字段打码 0.9 阅读地图(后面的章节怎么读) • 第一层:源与加工(一 ~ 三章) → 关注"数据怎么变干净"
→ 关注"数据怎么变好用"
→ 关注"数据怎么安全送出去"
→ 串联全景、设计原则、演进方向 0.10 贯穿全文的三条主线 读后面章节时,心里装着这三条线,就不会迷路: • 数据流:数据从哪来、被改了什么、到哪去 • 控制权:谁拥有这份数据、谁能改、谁能看 • 时间轴:多久更新一次、出问题回退到哪个时点 每层设计其实都在回答同一组问题: 谁写?谁读?多久一次?错了怎么办? 0.11 四个常见误区(先打预防针) • ❌ "备份了就等于能恢复" → 不做恢复演练的备份,只是心理安慰
→ P 一改,所有 A20U 都得重刷
→ A10T 只回答"有多少",明细要回 A20U
→ 一旦跨层直读,分层就名存实亡 0.12 落地建议:别一次建完,按这个顺序来
判断标准:每层是否成立,看它有没有清晰的「上游输入」和「下游消费者」。两头都空的一层,就是过度设计。 0.13 一页总结(入门篇收尾) 原始数据集中管,业务数据按需分, 公共信息统一维,组装发布看场景, 统计预计算提速,备份归档保安全。 核心思想:用清晰的接口契约解耦各层,任一层技术选型都能独立替换。 一、整体架构概览 企业信息管理系统的核心挑战:如何在保证数据一致性的前提下,让不同业务线既能独立运作,又能共享公共基础信息。 本文基于分层建模思路,梳理从原始采集到最终发布的完整信息流。 端链路 A10 数据源
二、信息源层:A10 数据源 定位:全系统唯一事实源(Single Source of Truth),不直接对外提供查询。 汇聚四类数据
• 外部系统定时同步的接口数据 • 人工录入的主数据(客户档案、产品目录) • 物联网 / 采集设备的时序数据 四条设计原则 • 原始性 — 不做任何加工,保留最细粒度 • 可追溯 — 每条记录带来源标识、写入时间戳、批次号 • 不可变 — 只追加不覆盖,变更靠版本号管理 • 完整性 — 入库口做基础校验(非空、格式、外键引用) A10 不直接对外服务查询,所有下游消费均经中间层。 三、信息处理层:A10E(Extract & Engineer) 定位:连接原始数据与可用数据的桥梁,负责清洗、标准化、enrichment。 3.1 处理动作 去重补全 → 字段标准化(编码映射、单位统一)→ 异常值检测标记 → 跨表业务规则校验 → 派生字段计算(如金额 = 单价 × 数量) 3.2 四大核心能力 • 增量处理 — 基于时间戳 / CDC,只处理新增与变更 • 幂等性 — 同批次重复执行结果一致,支持故障重跑 • 处理日志 — 记录规则ID、输入/输出行数、丢弃原因 • 质量看板 — 实时监控空值率、异常值比例、校验失败率 3.3 子集派生:A20 A10 按主题域 / 部门边界拆分:财务、供应链、人力…… 拆分规则
• 按时间窗口裁剪(如只留近 3 年) • 按组织架构隔离(分公司只看本区域) 子集继承 A10 字段结构,仅行集不同;子集之间允许重叠。 四、公共信息库:P(Public / Common) 定位:跨业务线共享的基础信息层,不隶属任何单一子集。 覆盖五类
• 人员信息 — 员工主数据、岗位、职级 • 编码体系 — 国家/地区码、币种、计量单位 • 参数配置 — 税率表、基准汇率、业务规则参数 • 日历维度 — 财年、节假日、工作日标记 三个特征
• 强一致性 — 下游引用同一版本,变更走审批 • 版本管理 — 保留历史版本,支持"截至某时点"回溯 五、联合库:A20U = A20 + P(Union / Unified) 5.1 组装逻辑 A20U = A20
5.2 A20 与 A20U 对比 A20 子集
• 使用场景:处理中间态 • 更新频率:跟随 A10 增量 • 是否冗余:否(仅业务字段) A20U 联合库
• 使用场景:报表 / 接口 / 前端展示 • 更新频率:跟随 A20 + P 变更 • 是否冗余:是(维度冗余换查询性能) 5.3 多实例 • A20U-报表 → BI 报表系统 • A20U-接口 → 外部系统 API • A20U-分析 → 数据科学家即席查询 物理结构可不同(星型 / 宽表 / 列式),但逻辑内容同源。 六、信息统计层:A10T(Total / Tally) 定位:预计算指标层,避免每次查询扫描明细。 粒度体系
• 维度:机构 / 产品 / 客户 / 渠道 • 指标:金额、笔数、均值、同比、环比 • 窗口:滚动 30 天、年初至今、移动平均 与 A20U 的分工
• A10T 回答「有多少」— 聚合指标,支持监控预警 • 交叉验证:A10T 汇总值 = A20U 对应过滤下的 SUM 刷新策略
• 准实时 5–15 分钟 → 运营看板 • 日终批量 → 财务报表、监管报送 • 按需触发 → 月末结账、年度审计 七、信息发布层 7.1 渠道矩阵 • BI 报表平台 ← A20U + A10T → 管理层、分析师|准实时 ~ T+1 • API 接口 ← A20U → 外部系统、前端应用|实时 • 文件导出 ← A20U → 合作伙伴、监管报送|日/月/季批量 • 消息推送 ← A10T 阈值触发 → 业务人员|事件驱动 • 数据服务市场 ← P + A20U → 内部团队自助订阅|按需 7.2 发布管控 • 权限模型 — 行级过滤(同报表不同人看不同机构)+ 列级脱敏(手机号中间四位掩码) • 水印追踪 — 导出文件嵌入用户ID + 时间戳,泄露可溯源 • 审批流 — 敏感数据发布需数据 Owner 审批 • SLA — 分渠道约定可用性与延迟上限(如 API P99 < 200ms) 八、信息备份与归档 8.1 分层备份 • 热备|A20U 当前版本|实时主从同步|保留 7 天|RTO < 5 分钟 • 温备|A10E + A20U|日全量 + binlog|30 天|RTO < 1 小时 • 冷备|A10 原始数据|周全量|1–7 年(按合规)|RTO < 24 小时 • 异地容灾|全量|异步复制|与本地一致|RTO < 4 小时 8.2 归档策略 • A10 > 3 年 → 低成本对象存储(如 S3 Glacier) • A10E > 1 年 → 压缩转存,保留重跑能力 • A20 > 5 年 → 按监管要求归档 • P 变更即归档旧版本 → 版本历史库 归档数据日常不可查,需提交「解冻申请」恢复到临时查询区;审计 / 诉讼场景支持紧急解冻,SLA 4 小时内可用。 8.3 备份验证(每月执行) 随机抽取备份集 → 隔离环境恢复演练 → 校验行数与校验和 → 演练报告纳入合规证据 ⚠️ 备份 ≠ 能恢复。演练才是答案。 九、完整流程串联 【源】A10 数据源(唯一事实源)
十、关键设计原则 • 关注点分离 — 每层只做一件事:A10 存原始、A10E 做清洗、A20 做拆分、P 管公共、A20U 做组装、A10T 做统计 • 单向依赖 — 数据只从上游流向下游,禁止反向写入(A20U 不回写 A10) • 可重算 — 任何中间层丢失,都能从上游重新生成 • 版本可追溯 — P 每次变更有版本号,A20U 可回溯任意时点状态 • 最小权限 — 每个消费方只看到需要的数据,不多不少 • 可观测 — 每层有质量监控、延迟监控、行数对账 十一、可扩展方向 • 实时化 — A10→A10E 引入 Kafka + Flink,延迟从小时级压到秒级 • 数据湖 — A10 底层换成 Iceberg / Hudi,支持 schema evolution 与 ACID • 数据网格 — P 拆为领域自治的「数据产品」,各团队自运维 A20→A20U • 隐私计算 — 跨子集联合统计引入差分隐私 / 联邦学习,原始数据不出域 收束:各层通过清晰的接口契约解耦,任一层的技术选型都可独立替换,不影响整体流程运转。 |