年1月,科学技术部高新技术司副司长梅建平在“第六届中国新金融高峰论坛”上表示,当前数据量已经大大超过了处理能力的上限,若信息技术仍然是渐进式发展,则数据处理能力的提升将远远落后于指数级增长的数据量。因此,在一段时期内,数据处理能力与效率的提升仍将是大数据发展要面对的技术难点。
随着5G、物联网等网络信息技术的快速发展以及应用的快速增长,数据量也呈指数级增长,纵观运营商整个大数据开发的链路上,在各个环节都会出现各种严峻的问题,随着数据任务调度量级日益增大,阻碍数据正确且高效地发挥价值,对运营商数据团队提出严峻挑战。
在大数据领域,越来越多的企业拥抱开源软件,在这个背景下,我们针对数据调度工具如何正确选型?
中国移动云能力中心软件开发工程师徐海辉表示:古语云“工欲善其事必先利其器”,如果你正处于观望/不知如何下手/即将参与开源项目的小伙伴,我建议可以先从一个优秀的开源社区源代码的入手,我在中国移动目前主要负责数据服务,这次在ApacheDolphinScheduler4月Meetup上为大家带来DolphinScheduler源码2.X解析,希望你有所收获。
本次演讲主要包含四个部分:
开篇与源码环境准备
服务启动流程
任务执行流程
个人思考与总结
徐海辉
中国移动云能力中心软件开发工程师。从事大数据基础平台开发,主要负责中国移动Hadoop大数据平台组件Ranger、移动云LakeHouse产品的研发
关键词:ApacheDolphinScheduler源码2.X解析、源码环境准备、服务启动、任务执行
ApacheDolphinScheduler源码下载链接: