<aside> <img src="/icons/dialogue_green.svg" alt="/icons/dialogue_green.svg" width="40px" />

阅读完毕你将可以了解:

https://www.bilibili.com/video/BV1PMhnz4EZT?t=7.7

解构阿里云ODPS架构升级 整体.pdf

第一部分:从孤岛到融合:一个数据人的湖仓一体演进思考

如果你在数据领域摸爬滚打了近十年,大概率会熟悉这样一幅景象:一边是服务于 BI 报表、结构严谨的数据仓库,另一边是支撑 AI 探索、能容纳万物的低成本数据湖。两者并行,曾是业界的标准实践。这在图纸上看起来分工明确,逻辑自洽。但任何一个亲手维护过这种“双轨制”系统的人,都会明白故事的另一面写满了妥协与挣扎。

image.png

这种架构的症结在于其固有的“数据隔离”。最直观的感受,就是数据不知疲倦地在湖、仓之间“搬家”。同一份数据,为了满足不同场景,需要被反复抽取、转换和加载。渐渐地,你会发现团队大部分精力都耗费在了维护这些脆弱的 ETL 管道上,我们似乎成了数据的“搬运工”,而不是价值的“挖掘者”。高昂的存储和计算开销,只是这种低效的并发症之一。

更深层次的问题,是系统复杂性与数据可信度的双重侵蚀。两套独立的系统,意味着两套技术栈、两组运维团队,以及两条独立的治理路径。数据在漫长的流动中,时效性被不断稀释。当业务部门质疑报表数据的“新鲜度”时,当算法工程师抱怨模型特征与线上表现脱节时,我们知道,问题的根源早已埋下。数据的延迟与不一致,最终会动摇整个企业数据驱动决策的根基。

面对这些日积月累的痛点,业界没有选择在原有的道路上修修补补,而是催生了一次真正的进化——数据湖仓(Data Lakehouse)。这并非简单的叠加,而是一次优雅的融合:它的核心,是把数据仓库那套严谨的数据管理和事务能力,直接构建在了数据湖开放、低成本的存储之上。

这背后巧妙的工程设计,体现在以 Apache Iceberg 为代表的开放“表格式”技术上。它像一个聪明的管家,在海量的底层文件之上,凭空建立起了一套可靠的事务机制,让 ACID、版本回溯这些以往专属于昂贵数仓的能力,在对象存储(OSS)上也能得以实现。这让“存算分离”这一云原生时代的核心理念,发挥出了最大效力。数据只用存一份,而各种计算引擎可以按需、弹性地访问这份唯一可信的数据。

至此,故事便超越了纯粹的技术范畴。你会发现,湖仓一体架构最深刻的影响,并非技术指标的优化,而是对“人”和“组织”的重塑。

过去的架构割裂,直接导致了团队的割裂。BI 团队守着自己的数仓,用 SQL 理解世界;数据科学团队则在数据湖里,用 Python 探索未来。他们之间仿佛有一道无形的墙,遵循着不同的开发流程和治理标准。

数据湖仓则用一个统一的数据底座,从根本上拆除了这堵墙。 它迫使不同角色的团队,必须在同一个平台上协作,面向同一份数据,共同为业务价值负责。这不仅极大地提升了协作效率,更催生了像 Data Mesh(数据网格)这类先进的组织和技术范式。回过头看,你会意识到,消除组织间的沟通内耗,所带来的价值创造速度的提升,远比单纯的技术优化更为深远。这,或许就是技术演进最终通往的方向。


第二部分:阿里云的实践:解构 MaxCompute 与 PAI 如何实现“数据+AI”一体化

在上一篇中,我们探讨了为何“湖仓一体”是数据技术演进的必然方向。理念的价值在于落地,一个好的架构,最终要通过具体的产品和实践来体现。那么,阿里云是如何将其自研的大数据平台 ODPS(MaxCompute)进行改造,来推动这场大数据与 AI 的深度融合的呢?

这套组合拳可以从三个层面来解构:作为基石的数据平台、作为引擎的 AI 能力,以及作为血脉的连接组织。

image.png

数据基石:MaxCompute 的演进之路

MaxCompute 作为阿里巴巴体系内处理和存储了 99% 结构化数据的核心平台,其自身的演进,为“数据+AI”的融合奠定了坚实的基础。它早已超越了早期作为一个离线批处理系统(ODPS)的定位,发展成为一个支持近实时、增量处理的统一数据平台。