近日,2024冬季火山引擎FORCE原动力大会在上海世博中心举办。会上,火山引擎发布了以AI数智化为核心能力的数据飞轮2.0模式。延续去年4月火山引擎发布的数据飞轮“以数据消费促资产建设,以数据消费助业务发展”的内核,升级后,数据飞轮2.0模式更聚焦把AI作为数智化核心竞争力,通过AI技术促进更普惠的企业数据消费。
作为支撑数据飞轮2.0的核心产品,大数据研发治理套件DataLeap也在开发者论坛上公布了全新能力——开放平台。针对数据研发治理场景,DataLeap开放平台提供完整的IDE界面扩展和流水线扩展体系,以及多种开放能力,让开发者只需根据开发手册,就能低成本、快速完成扩展程序的开发,助力研发效率提升。
火山引擎数智平台产品总监张辉发布DataLeap开放平台
据介绍,DataLeap开放平台来源于抖音集团内部的数据研发实践。为了解决业务团队需求复杂、更新频繁、技术栈五花八门等问题,DataLeap首先在内部推出IDE界面扩展、流水线扩展体系,截至目前已沉淀了120多个扩展程序、覆盖90%业务线,实现研发效率提升10%。
目前,DataLeap具备IDE 3.0开放架构、独创的流水线扩展程序、完善的开发者工具以及开箱即用的智能市场四大核心特点。
在开放平台架构上,DataLeap采用基于Apache Eclipse Theia的开源框架,支持禅模式、分屏编写、Code Diff、代码补全等能力。在兼顾开发灵活性和易用性的基础上,完全遵循 VSCode 插件规范设计,让用户能自定义插件并上架到智能市场中使用。除此之外,DataLeap自研隔离技术能有效避免插件共享带来的风险,进一步提升安全性。
更值得一提的是,DataLeap独创的流水线扩展程序技术,让用户能根据需求自定义代码逻辑,涵盖开发、调试、提交、发布、运维全流程,帮助DataOps数据管理方法真正落地到企业数据研发管理中,提升研发质量和开发效率。
如果说,平台架构奠定了“生态开放”的基础,那么智能市场的设计,以及友好的开发工具,则助推“生态开放”走向“生态繁荣”。
一方面,开发者脚手架、一站式开发者后台等开发工具和经过实践检验的海量案例,让开发者更低成本、更便捷完成扩展程序研发,并上架到智能市场;另一方面,DataLeap官方、开发者自研的扩展程序在智能市场开放下载,IDE及插件数量增多,开发者又将获得更多实践参考,形成双向良性循环。
在此次发布会中,火山引擎数智平台产品总监张辉也通过两个典型案例,介绍DataLeap开放平台如何拓展数据研发边界,持续提升生产力。
大语言模型(LLM)持续火热,结合先进的AI能力,DataLeap将智能化融入开发、运维、资产查询等数据研发流程中,并在开放平台中以扩展程序形式开放。其中开发助手可以根据用户的自然语言输入,自动关联包括表Schema在内的元数据信息,生成高质量的数据加工代码,并具备代码的理解、改写以及领域知识的问答能力。而运维助手则能实现主动解析错误日志、进行任务错误诊断、变慢诊断等,进一步释放了运维基础工作,有效提升效率。
另一个案例则更加聚焦于企业日常数据研发工作。通过构建完整的任务上线自动化流程,包括任务发布登记、代码扫描、变更管控、业务review、技术review、QA review、发布盯盘等,再基于DataLeap开放平台将该流程以扩展程序形式编排在自动化发布流水线中,实现上线全流程更规范、更安全、更高效。
如何提升研发效能,是企业在数字化时代持续思考命题。而升级后的数据飞轮2.0,或许用“开放生态”建设为企业研发效率提升,提供了一条新路径。