Aloudata BIG 全球首个实现算子级血缘解析的主动元数据平台
哈喽大家好，很久没有更新博客了，12月15日本周五公司进行了产品发布会，我也借此写篇博客，算个 milestone。 这是公司的宣传图，说实话，我作为血缘解析模块的owner，觉得这个“全球首个实现算子级血缘”的头衔还是挺有压力的 ，哈哈哈，应该至少是首个带入到商业化产品的算子级血缘主动元数据平台。 去年第一年，主要是以概念设立，能力验证为主，可以说是个算子血缘demo，能力还比较单一，只有表血缘、列血缘、算子血缘及加工口径信息，并将他们可视化出来，相当于给数据资产拍了个“CT”。 随着今年不断在客户现场打磨， 归总了很多客户的建议，最终产出了 1.0 正式版本，在算子血缘底座的基础上，加入了资产管理、打标扩散、变更通知、口径合并、血缘穿透等热门客户问题。 而我目前仍然从事着SQL解析、血缘分析、图谱构建及应用的工作，为打造更好的元数据平台。 当然，随着时间的推进，客户的增多，也衍生了越来越多的工作，从一开始简单SQL的解析，到后面命令语句、存储过程的解析，从一开始单一SQL的解析，到后面完整脚本的解析，不断的演进、完善、壮大，也拆分出了许多原子能力供公司其他产品使用，现在的BIG又进化到了一个新阶段。 也希望在之后的时间里我能在元数据领域继续钻研，保持行业第一的血缘解析能力，兼容各种复杂的场景，在精准、全面、智能的指标下做最棒的元数据平台，能够帮助到更多企业实现数据管理效率和质量的飞跃！ [scode type="green"]直播回放[/scode] [scode type="green"]【数据资产管理标杆案例】招商银行基于列算子血缘的模型优化和变更协同应用实践[/scode] 2023年12月20日 Aloudata 两项成果获评 2023 信通院大数据“星河”案例标杆案例。 随着招商银行业务数据化程度不断加深，数据规模快速扩大，数据关系日益复杂，其未来数据管理工作面临着如何持续有效保持数据架构先进性、如何高效开展全链路变更协同的挑战。 传统数据技术和专家主导的运动式治理方式已不能满足招商银行数据管理需要。为此，Aloudata 支持招商银行建设了契合其数据中台战略的新数据架构，形成了一套支持各中心开展模型设计、数据开发和数据服务的长效管理机制，主要举措如下： 元数据应用智能化 算子血缘、代码解构、图谱挖掘，将元数据智能化能力推广应用到业务场景中； 链路保障自动化 变更协同、精准评估、分级保障，将全链路质量保障能力沉淀到平台系统中； 架构治理长效化 数据去重、架构扁平、时效提升，将模型优化能力赋能到研发工具和工作中。 在该项目中，Aloudata BIG 主动元数据平台有力支撑招商银行构建了从源端到消费端的全链路算子血缘图谱，将列算子血缘分析技术和主动元数据管理能力整合到大数据研发平台，实现了 ETL Copilot 功能，并应用到模型优化和变更协同等场景，服务全行数据开发人员；在数仓重构项目中，辅助开发人员主动发现模型优化机会，大幅提升模型重构效率，判别重复资产，推动数仓快速实现资产数量下降 40%、平均链路缩短 50%；在日常链路保障场景中，自动监测上游变更，自动评估精准到字段的端到端影响，帮助运维人员预防或快速定位数据风险，让上下游协同丝滑衔接。 该方案为同业解决类似数据管理“老大难”问题提供了思路和方法，利用 Aloudata BIG 精准的列算子血缘分析能力，创新性地解决了以往依赖大量专家和经验才能实现效果的模型优化和链路保障难题。通过与研发平台等工具产品的集成，可以推广辅助更广泛的人群进行研发提效、质量保障和数据智能应用。 Aloudata BIG 解决了数据“看不清”、“管不住”的问题，其基于列算子级精准血缘构建的“主动元数据”能力也是国际前沿的 Data Fabric 架构主张的核心能力之一。该案例更是全球首个“算子级血缘”技术的落地实践，具有全球领先性。