大小:125.52M
更新时间:23-09-05
系统:Pc
版本:v
spark大数据实例开发教程是面向Spark开发者的一本实用参考书,是大数据资深培训师王家林最新作品。本书内容广度和深度兼顾,书中内容全面覆盖了Spark技术的核心知识点,全程注重从架构的底层到上层,由宏观到微观的讲解。全书都秉承“实战”类图书特色,解析大量案例和代码的编写操作,具有较强的可操作性,便于读者学习和理解,非常刚接触Spark或对Spark分布式计算的开发不熟悉的初学者。对于熟悉函数式开发或面向对象开发,并有一定经验的开发者。
《spark大数据实例开发教程》中首先通过介绍Spark的生态系统和RDD编程模型,使读者能够快速的对Spark技术的生态环境以及对Spark的RDD编程模型有个非常直观的了解。
首先介绍了Spark应用的两种部署模式;然后在应用部署模式基础上,开始Spark实战的案例与解析,通过提供一个完整的基础案例,使读者了解一个Spark应用的大致处理流程;接着对实战中的重点部分,结合源码分析、监控日志分析等深入解析了Spark运行机制、DAG图等关键内容;后给出Spark开发者常用的应用程序构建案例与分析,以及调试环境搭建的案例与应用调试的案例。
第1章Spark简介
1.1什么是Spark
1.2Spark生态圈
1.2.1伯克利数据分析协议栈
1.2.2Spark开源社区发展
1.3RDD编程模型
1.3.1RDD抽象概念
1.3.2RDD的操作
1.3.3RDD的依赖关系
1.3.4一个典型的DAG示意图
第2章Spark RDD实践案例与解析
2.1Spark应用程序部署
2.1.1Spark应用的基本概念
2.1.2应用程序的部署方式
2.2RDD数据的输入、处理、输出的基本案例与解析
2.2.1集群环境的搭建
2.2.2交互式工具的启动
2.2.3文本数据的ETL案例实践与解析
2.2.4文本数据的初步统计案例实践与解析
2.2.5文本数据统计结果的持久化案例实践与解析
2.2.6RDD的Lineage关系的案例与源码解析
2.2.7RDD的持久化案例与解析
2.2.8RDD的构建案例与解析
2.2.9分区数设置的案例与源码解析
2.3RDD API的应用案例与解析
2.3.1如何查找RDD API的隐式转换
2.3.2RDD[T]的分区相关的API
2.3.3RDD[T]常用的聚合API
2.3.4DoubleRDDFunctions(self:RDD[Double])常用的API
2.3.5PairRDDFunctions[K,V]聚合相关的API
2.3.6RDD相互间操作的API
2.3.7PairRDDFunctions[K,V]间的相关API
2.3.8OrderedRDDFunctions[K,V,P:Product2K,V]常用的API
2.4Spark应用程序构建
2.4.1基于SBT构建Spark应用程序的实例
2.4.2基于IDEA构建Spark应用程序的实例
2.4.3Spark提交应用的调试实例
2.5移动互联网数据分析案例与解析
2.5.1移动互联网数据的准备
2.5.2移动互联网数据分析与解析
2.6Spark RDD实践中的常见问题与解答
第3章Spark SQL实践案例与解析
3.1Spark SQL概述
3.2DataFrame处理的案例与解析
3.2.1DataFrame编程模型
3.2.2DataFrame基本操作案例与解析
3.2.3DataFrame与RDD之间的转换案例与解析
3.2.4缓存表(列式存储)的案例与解析
3.2.5DataFrame API的应用案例与分析
3.3Spark SQL处理各种数据源的案例与解析
3.3.1通用的加载/保存功能的案例与解析
3.3.2Parquet文件处理的案例与解析
3.3.3JSON数据集操作的案例与解析
3.3.4操作Hive表的案例与解析
3.3.5使用JDBC操作其他数据库的案例与解析
3.3.6集成Hive数据仓库的案例与解析
3.4基于Hive的人力资源系统数据处理案例与解析
3.4.1人力资源系统的数据库与表的构建
3.4.2人力资源系统的数据的加载
3.4.3人力资源系统的数据的查询
第4章Spark Streaming实践案例与解析
4.1Spark Streaming概述
4.2Spark Streaming基础概念
4.3企业信息实时处理的案例与解析
4.3.1处理TCP数据源的案例与解析
4.3.2处理HDFS文件数据源的案例与解析
4.3.3处理Kafka数据源的准备工作
4.3.4基于Receiver读取Kafka数据的案例与解析
4.3.5直接读取(无Receiver)Kafka数据的案例与解析
4.3.6处理Flume数据源的实践准备
4.3.7基于Flume风格的推送数据案例与解析
4.3.8定制FlumeSink的拉取数据案例与解析
4.4性能调优
4.4.1减少批处理的时间
4.4.2设置正确的批间隔
4.4.3内存调优
第5章Tachyon实践案例与解析
5.1Tachyon概述
5.2重新编译部署包
5.2.1重新编译Tachyon的部署包
5.2.2重新编译Spark的部署包
5.3Tachyon部署的案例与解析
5.3.1单机模式部署的案例与解析
5.3.2集群模式部署的案例与解析
5.3.3集群Master容错部署的案例与解析
5.4Tachyon配置的案例与解析
5.4.1底层存储系统的配置案例与解析
5.4.2配置属性与解析
5.5命令行接口的案例与解析
5.5.1命令行接口的说明
5.5.2命令行接口的案例实践与解析
5.6同步底层文件系统的案例与解析
5.6.1同步HDFS底层文件系统的案例与解析
5.6.2同步本地底层文件系统的案例与解析
5.7基于Tachyon运行的案例与解析
5.7.1基于Tachyon运行Spark的案例与解析
5.7.2基于Tachyon运行Hadoop MR的案例与解析
同类热门
类似软件
DesignSparkPCB印刷电路板工具137.49M200人在用 DesignSpark PCB是一款由RS Components基于AutoCAD平台开发的印刷电路板(PCB)设计工具,能轻松进行原理图捕获,设计、编辑原理图及电路板布线图。支持使用Library Manager中的“3D 视图”选项卡建立3D
查看Spark核心技术与高级应用38.49M181人在用Spark核心技术与高级应用是Spark领域少有的专注于核心原理与深度应用的著作,由科大讯飞和百分点科技的4位大数据专家撰写。全书不仅细致介绍了Spark的程序开发、编程模型、作业执行解析等基础知识,而且还深度讲解了Spark SQL、Spark ML、
查看spark高级数据分析5.79M276人在用spark高级数据分析是一本Spark实用手册,由著名大数据公司Cloudera的四名数据科学家编写,他们联袂展示了利用Spark进行大规模数据分析的若干模式,而且每个模式都自成一体。全书将Spark、统计学方法和真实数据集结合起来,通过实例向读者讲述了
查看Spark技术内幕:深入解析Spark内核架构设计与实现原理21.61M258人在用Spark技术内幕:深入解析Spark内核架构设计与实现原理是一本Spark解析实用教学书籍,由张安站编著,全书详细剖析了Spark内核各个模块,以源码为基础,全面分析了Spark内核的各个模块的设计思想和实现原理,深入理解其内部运作机制乃至实现细节,帮
查看DesignSpark Electrical(电气CAD工具)1.13G124人在用 DesignSpark Electrical是一款专业的电气CAD工具,让电气设计师和自动化工程师可快速并精准地设计、修改电气系统。操作简单,功能强大,不管是用户需要的纯设计工具、海量技术信息,还是完整的设计生态系统,软件都可以与用户正在使用的设计
查看apache spark 源码剖析30.99M145人在用apache spark 源码剖析是一本Spark代码源码学习书籍,由许鹏编著,本书全面、系统地介绍了Spark源码,深入浅出,细致入微。先提供给读者一系列分析源码的实用技巧,并给出一个合理的阅读顺序,并且始终抓住资源分配、消息传递、容错处理等基本问题,
查看designspark mechanical官方版1.13G2091人在用 designspark mechanical官方版是一款专业的3D设计软件,能帮助设计人员把复杂的工作图分解成简单的草图进行制作,系统构建于AutoCAD平台之上,常用于二维绘图、详细绘制、设计文档和基本三维设计,现已成为国际上广为流行的绘图工具之
查看热门标签
网友评论0人参与,0条评论
最新排行
illustrator cs4官方教程pdf版13.83M 今天小编为广大网友带来的是illustrator cs4官方教程pdf版,是从Adobe官网下载的ai cs4使用教程,适用于刚接触ai设计的网友免费使用。该教程总共包括16章,详细的介绍了illustrator cs4的新增功能,软件激活和注册方
查看oracle dba手记2数据库诊断案例与内部恢复实践34.8M盖国强pdf扫描版 oracle dba手记2是一本Oracle诊断案例和案例实践指南,全称叫做oracle dba手记2数据库诊断案例与内部恢复实践,是由数据库技术专家盖国强和爱好者崔华合著而成,集合了各行业DBA的工作经验与思考,包含了精心挑选的数据库诊断案例与数
查看asp.net从入门到精通第2版153.34Mpdf高清版目前网站开发最流行的就是使用asp.net语言,因为该语言具有方便性、灵活性、性能优,生产效率高、安全性高、完整性强及面向对象等特性,但如何才能学习好asp.net呢?在此小编向广大网友推荐使用asp.net从入门到精通第2版,该书是目前最优秀的学习as
查看ios6开发进阶与实战94.98Mpdf扫描版ios6开发进阶与实战是一本IOS6的开发指导书籍,由美国开发人员戴夫.马克、杰夫.拉马赫、凯文.金合作共同编著。本书不同于之前的基础类书籍,着重于提高与进阶,从Core Data、iCloud、Game Kit、Map Kit、消息、媒体以及安全性等诸
查看android开发进阶 从小工到专家104.73M何红辉 pdf扫描版android开发进阶 从小工到专家是一本Android开发进阶书籍,由Android工程师何红辉编著。本书结合作者多年开发经验的总结,把作者以前开发走过的坑和陷阱讲解出来,看了以后可以少走很多弯路,提升自己的开发能力很快,抓住开发的痛点和需求讲解内容,
查看sql server 2012深入解析与性能优化(第3版)265.39M波尔顿pdf扫描版 sql server 2012深入解析与性能优化(第3版)是一本SQL Server 2012使用指南,由美国程序员波尔顿Christian Ballton、Justin Langford、Glenn Berry、Gavin Payne、Amit
查看HP WEB JetAdmin 10.2参考手册7.39Mpdf版HP WEB JetAdmin 10.2参考手册pdf版电子书,它提供简单而详尽的方式,主动地管理网络周边设备,并为打印效率做最佳化。你可以将周边装置设定群组,甚至可以加上地图,让人了解每台机器的位置。如果您还不了解HP WEB JetAdmin或在使用
查看