在大数据的批处理领域,Hadoop是不可撼动的王者,然而在实时性上的延迟,Hadoop却是其天生的不足,为完善大数据实时性处理的需求,业界进行了不少的尝试,如Facebook在2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进,同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销,为解决广告计费(cost-per-click)Yahoo启动了S4用于实时计算、预测用户对广告的可能的点击行为,LinkedIn则基于Kafka开发了Samza用于实时新闻推送、广告和复杂的监控等,而Storm是由Twitter开源的实时计算框架,适用于实时分析、在线机器学习、连续计算、分布式RPC和ETL等场景。 大数据技术的发展日新月异,不断涌现的技术代表着需求的旺盛。在本次课程中,用深入浅出的方法系统介绍了Storm自身的体系架构、技术以及大数据的一些应用。包括如何使用Storm在实时Dashboard统计、反作弊、用户画像与实时推荐等领域的应用。同时介绍整条实时数据处理链路,包括数据收集、传输和计算、以及存储等;实时和离线的整合等内容。 课程大纲: 第一课:实时计算平台介绍 介绍实时系统主要解决的业务问题和面临的挑战; 简要介绍实时平台的主要组件和构成,实时数据的收集通道和数据交互方式 实时数据核心组件Flume、Kafka的介绍,以及Storm在整个平台中所处的位置; 分享部分典型互联网公司实时平台的架构,如大众点评、美团、一号店等 第二课:Storm基本概念和组件介绍 Storm的基本组件:Nimbus、Supervisor、Worker、 Executor和Task的基本介绍; 集群组成:通常一个线上集群的如何构成; Storm的可靠性:Storm如何保证可靠性以及数据的准确性; Storm的数据分组和其他特性介绍; 第三课:Storm集群部署和配置 Storm的依赖组件介绍; Storm的部署软硬件环境要求; 部署ZooKeeper 部署Storm到各个机器节点 配置Storm相关参数,以及核心参数介绍; 启动Storm相关进程; Storm的守护进程; 提交Topology的过程介绍。 第四课:Storm基本应用的开发 Storm的应用开发和调试过程介绍,包括: 提交示例Topology到集群; 项目代码本地开发环境配置和依赖; 代码编译和打包以及注意事项; 本地代码调试过程; 线上Topology提交过程和问题分析。 第五课:Storm Nimbus和Supervisor深入剖析 Nimbus功能介绍和启动Nimbus服务过程分析; Nimbus服务的执行过程剖析; 分配Executor的算法; 调度器介绍; 默认调度器DefaultScheduler和均衡调度器EvenScheduler逻辑分析; Supervisor数据结构分析; Supervisor的执行过程详解。 第六课:Storm Worker、Executor和Task深入分析 Worker的数据结构和架构; Worker中的数据流分解; 创建Worker的过程; Executor的创建过程; 创建Spout的Executor的过程和逻辑; 创建Bolt的Executor的过程和逻辑; Task的创建过程; Ack的原理介绍; Acker Bolt的实现。 第七课:Storm运维和监控 主机信息监控; 日志和监控; Storm UI和NimbusClient的使用; Storm Metric的使用; Storm ZooKeeper的目录详解和功能分析; Storm Hook的使用。 第八课:Storm的扩展和二次开发 Storm UI原生功能介绍和数据含义; Storm UI新功能需求实现; Storm的Thrift接口介绍; 资源隔离方案简介; 基于CGroup的资源隔离的实现; 使用Docker运行Storm集群介绍。 第九课:Storm的实际应用案例分享 实时DAU计算实现; 实时用户画像; 实时个性化推荐; 广告投放的精准化 第十课:Storm使用经验和性能优化 使用经验; 性能优化建议; 自定义metric和性能数据收集 第十一课:其他实时平台介绍 JStorm介绍; Spark Streaming介绍; Heron介绍; Flink介绍; Storm和其他实时流处理框架的功能和性能对比 授课时间: 课程将于2017年9月23日开课,课程持续时间大约为13周。 收获预期:能独立架设Storm集群,并应用于数据分析工作 讲师简介:王新春 曾任大众点评数据平台高级架构师,负责大众点评数据平台工具系统、实时计算平台和在线服务等,推动大数据相关的技术、工具和分析在点评的应用和发展。为公司内部数百名数据分析师、BI和开发工程师提供数据分析工具和平台。平台离线处理数据量PB级别,实时处理数据量超过50TB。 个人著作:《Storm技术内幕与大数据实践》 课程试听: 新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员! 特别说明如下: 本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。 在 报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业(每周不超过2小时),则300元全款退回。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力! 课程授课方式: 1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。 2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。 3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。 4、 结业测验:通过测验,完成学业。 附图:炼数成金大数据课程地图 您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答 全国统一咨询热线 4008-010-006 课程现开始接受报名,报名方式 网上报名 请点击:深入理解storm与大数据实战 咨询Email :edu01@dataguru.cn,edu02@dataguru.cn 课程入门讨论咨询群:485625800(群内有培训公开课视频供大家免费观看) 咨询QQ: 2222010006 (上班时间在线) 技术热点、 行业资讯,培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注! 打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!! |