大小:55.79M
更新时间:23-08-30
系统:Pc
版本:v
大数据架构详解是一本大数据深度学习书籍,书本全名叫做大数据架构详解:从数据获取到深度学习,由华为大数据服务首席规划师朱洁和罗华霖两人共同编著。本书内容丰富翔实,主要围绕着一个通用技术栈来组织章节,主要聚焦大数据平台的一些知识。作者详细介绍了数据获取(探针、爬虫、日志采集等)、流处理(流式数据处理引擎、storm、spark streaming等)、批处理、机器学习(bsp并行计算模型、人工智能、机器学习等)、技术存储(存储硬件、存储指标、raid技术)等各种技术,从而帮助读者更好的了解大数据,欢迎免费下载阅读。
《大数据架构详解》从架构、业务、技术三个维度深入浅出地介绍了大数据处理领域端到端的知识。主要内容包括三部分:第一部分从数据的产生、采集、计算、存储、消费端到端的角度介绍大数据技术的起源、发展、关键技术点和未来趋势,结合生动的业界*新产品,以及学术界*新的研究方向和成果,让深奥的技术浅显易懂;第二部分从业务和技术角度介绍实际案例,让读者理解大数据的用途及技术的本质;第三部分介绍大数据技术不是孤立的,讲解如何与前沿的云技术、深度学习、机器学习等相结合。总的来说,本书围绕一个通用技术栈来组织章节,主要聚焦大数据平台的一些知识。主要分为三部分。
第一部分:第1~3章,主要讲述大数据的本质、运营商大数据的架构和一些基本的业务知识。
第1章:阐述大数据的本质和面临的挑战。
第2章:概述大数据架构及背后的驱动因素,以及未来发展的趋势。
第3章:介绍运营商领域的业务,让读者对大数据能做什么有一个直观的感受。
第二部分:第4~11章,围绕大数据平台技术栈来阐述数据获取、处理、分析和应用平台涉及的技术。
第4章:介绍数据获取涉及的探针、爬虫、日志采集、数据分发中间件等技术。
第5章:介绍流式数据处理引擎、CEP、流式应用。
第6章:介绍交互式分析技术、MPP DB、热门的SQL on Hadoop技术。
第7章:介绍批处理技术、Spark,以及大规模机器学习的BSP技术等。
第8章:探讨机器学习、深度学习相关技术。
第9章:统一资源管理是趋势,本章介绍资源管理的核心技术和算法。
第10章:存储是基础,本章介绍存储的关键技术。
第11章:探讨大数据技术怎么云化,以及关键技术是什么。
第三部分:第12章,技术和文化息息相关,技术影响文化,文化影响技术。
第12章:介绍大数据开发文化、开源、DevOps,探讨理念和文化对技术的冲击。
第一部分 大数据的本质
第1章 大数据是什么 2
1.1 大数据导论 2
1.1.1 大数据简史 2
1.1.2 大数据现状 3
1.1.3 大数据与BI 3
1.2 企业数据资产 4
1.3 大数据挑战 5
1.3.1 成本挑战 6
1.3.2 实时性挑战 6
1.3.3 安全挑战 6
1.4 小结 6
第2章 运营商大数据架构 7
2.1 架构驱动的因素 7
2.2 大数据平台架构 7
2.3 平台发展趋势 8
2.4 小结 8
第3章 运营商大数据业务 9
3.1 运营商常见的大数据业务 9
3.1.1 SQM(运维质量管理) 9
3.1.2 CSE(客户体验提升) 9
3.1.3 MSS(市场运维支撑) 10
3.1.4 DMP(数据管理平台) 10
3.2 小结 11
第二部分 大数据技术
第4章 数据获取 14
4.1 数据分类 14
4.2 数据获取组件 14
4.3 探针 15
4.3.1 探针原理 15
4.3.2 探针的关键能力 16
4.4 网页采集 26
4.4.1 网络爬虫 26
4.4.2 简单爬虫Python代码示例 32
4.5 日志收集 33
4.5.1 Flume 33
4.5.2 其他日志收集组件 47
4.6 数据分发中间件 47
4.6.1 数据分发中间件的作用 47
4.6.2 Kafka架构和原理 47
4.7 小结 82
第5章 流处理 83
5.1 算子 83
5.2 流的概念 83
5.3 流的应用场景 84
5.3.1 金融领域 84
5.3.2 电信领域 85
5.4 业界两种典型的流引擎 85
5.4.1 Storm 85
5.4.2 Spark Streaming 89
5.4.3 融合框架 102
5.5 CEP 108
5.5.1 CEP是什么 108
5.5.2 CEP的架构 109
5.5.3 Esper 110
5.6 实时结合机器学习 110
5.6.1 Eagle的特点 111
5.6.2 Eagle概览 111
5.7 小结 116
第6章 交互式分析 117
6.1 交互式分析的概念 117
6.2 MPP DB技术 118
6.2.1 MPP的概念 118
6.2.2 典型的MPP数据库 121
6.2.3 MPP DB调优实战 131
6.2.4 MPP DB适用场景 162
6.3 SQL on Hadoop 163
6.3.1 Hive 163
6.3.2 Phoenix 165
6.3.3 Impala 166
6.4 大数据仓库 167
6.4.1 数据仓库的概念 167
6.4.2 OLTP/OLAP对比 168
6.4.3 大数据场景下的同与不同 168
6.4.4 查询引擎 169
6.4.5 存储引擎 170
6.5 小结 171
第7章 批处理技术 172
7.1 批处理技术的概念 172
7.2 MPP DB技术 172
7.3 MapReduce编程框架 173
7.3.1 MapReduce起源 173
7.3.2 MapReduce原理 173
7.3.3 Shuffle 174
7.3.4 性能差的主要原因 177
7.4 Spark架构和原理 177
7.4.1 Spark的起源和特点 177
7.4.2 Spark的核心概念 178
7.5 BSP框架 217
7.5.1 什么是BSP模型 217
7.5.2 并行模型介绍 218
7.5.3 BSP模型基本原理 220
7.5.4 BSP模型的特点 222
7.5.5 BSP模型的评价 222
7.5.6 BSP与MapReduce对比 222
7.5.7 BSP模型的实现 223
7.5.8 Apache Hama简介 223
7.6 批处理关键技术 227
7.6.1 CodeGen 227
7.6.2 CPU亲和技术 228
7.7 小结 229
第8章 机器学习和数据挖掘 230
8.1 机器学习和数据挖掘的联系与区别 230
8.2 典型的数据挖掘和机器学习过程 231
8.3 机器学习概览 232
8.3.1 学习方式 232
8.3.2 算法类似性 233
8.4 机器学习&数据挖掘应用案例 235
8.4.1 尿布和啤酒的故事 235
8.4.2 决策树用于电信领域故障快速定位 236
8.4.3 图像识别领域 236
8.4.4 自然语言识别 238
8.5 交互式分析 239
8.6 深度学习 240
8.6.1 深度学习概述 240
8.6.2 机器学习的背景 241
8.6.3 人脑视觉机理 242
8.6.4 关于特征 244
8.6.5 需要有多少个特征 245
8.6.6 深度学习的基本思想 246
8.6.7 浅层学习和深度学习 246
8.6.8 深度学习与神经网络 247
8.6.9 深度学习的训练过程 248
8.6.10 深度学习的框架 248
8.6.11 深度学习与GPU 255
8.6.12 深度学习小结与展望 256
8.7 小结 257
第9章 资源管理 258
9.1 资源管理的基本概念 258
9.1.1 资源调度的目标和价值 258
9.1.2 资源调度的使用限制及难点 258
9.2 Hadoop领域的资源调度框架 259
9.2.1 YARN 259
9.2.2 Borg 260
9.2.3 Omega 262
9.2.4 本节小结 263
9.3 资源分配算法 263
9.3.1 算法的作用 263
9.3.2 几种调度算法分析 263
9.4 数据中心统一资源调度 271
9.4.1 Mesos+Marathon架构和原理 271
9.4.2 Mesos+Marathon小结 283
9.5 多租户技术 284
9.5.1 多租户概念 284
9.5.2 多租户方案 284
9.6 基于应用描述的智能调度 287
9.7 Apache Mesos架构和原理 288
9.7.1 Apache Mesos背景 288
9.7.2 Apache Mesos总体架构 288
9.7.3 Apache Mesos工作原理 290
9.7.4 Apache Mesos关键技术 295
9.7.5 Mesos与YARN比较 304
9.8 小结 305
第10章 存储是基础 306
10.1 分久必合,合久必分 306
10.2 存储硬件的发展 306
10.2.1 机械硬盘的工作原理 306
10.2.2 SSD的原理 307
10.2.3 3DXPoint 309
10.2.4 硬件发展小结 309
10.3 存储关键指标 309
10.4 RAID技术 309
10.5 存储接口 310
10.5.1 文件接口 311
10.5.2 裸设备 311
10.5.3 对象接口 312
10.5.4 块接口 316
10.5.5 融合是趋势 328
10.6 存储加速技术 328
10.6.1 数据组织技术 328
10.6.2 缓存技术 335
10.7 小结 336
第11章 大数据云化 337
11.1 云计算定义 337
11.2 应用上云 337
11.2.1 Cloud Native概念 338
11.2.2 微服务架构 338
11.2.3 Docker配合微服务架构 342
11.2.4 应用上云小结 348
11.3 大数据上云 348
11.3.1 大数据云服务的两种模式 348
11.3.2 集群模式AWSEMR 349
11.3.3 服务模式Azure Data Lake Analytics 352
11.4 小结 354
第三部分 大数据文化
第12章 大数据技术开发文化 356
12.1 开源文化 356
12.2 DevOps理念 356
12.2.1 Development和Operations的组合 357
12.2.2 对应用程序发布的影响 357
12.2.3 遇到的问题 358
12.2.4 协调人 358
12.2.5 成功的关键 359
12.3 速度远比你想的重要 35912.4 小结 361
1、下载并解压,得出pdf文件
2、如果打不开本文件,请务必下载pdf阅读器
3、安装后,在打开解压得出的pdf文件
4、双击进行阅读
同类热门
热门标签
网友评论0人参与,0条评论
最新排行
11g329-1/2/3图集12.01Mpdf高清完整版 11g329图集全套是一个包含了11g329-1、11g329-2和11g329-3的国家建筑标准设计图集,也是建筑物抗震构造详图的pdf高清完整版,由中国建筑标准设计研究院编制,中华人民共和国住房和城乡建设部发行,可以适用于多层和高层钢筋混凝土房
查看轻而易举黑客攻防入门41.81M先知文化pdf扫描版轻而易举黑客攻防入门是一本黑客攻防类型的学习教材,由先知文化编著,电子工业出版社出版。全书从黑客新手的需要和学习习惯出发,详细介绍了黑客基础知识、信息搜集与漏洞扫描、黑客常用命令与工具、windows系统漏洞防范、密码攻防、远程控制攻防、木马攻防、网络攻
查看c#网络编程技术教程57.23M金华pdf扫描版c#网络编程技术教程是一本C#网络编程技术教程手册,由金华和华进两人共同编著。本书注重理论与实践的结合、循序渐进的教学方法,系统介绍了C#网络编程的相关知识,使读者能够快速掌握基于C#的网络应用开发技术。根据应用的需要,书中在内容安排上对C#基础知识进行
查看html5与css3基础教程 第7版33.16Mpdf高清扫描版html5与css3基础教程 第7版是风靡全球的HTML和CSS最佳入门教程,由美国程序员Elizabeth Castro和Bruce Hyslop编著。本书秉承了前一版直观、透彻、全面、循序渐进的讲授特色,仍然采用独特的双栏图文并排方式,手把手指导读者
查看Android底层开发实战28.68M周庆国pdf扫描版android底层开发实战是一本安卓底层开发实战手册,也是掌握Android底层软件开发必备的工具书,由周庆国、郑灵翔、康筱彬和刘同山共同编著。本书对Android底层源码进行了系统的剖析,不仅覆盖了必要的嵌入式系统理论和Linux的基础知识,还对And
查看android软件安全与逆向分析 pdf48.43M丰生强高清扫描android软件安全与逆向分析是国内第一本Android软件安全指南书籍,由丰生强编著。本书实践性非常强,作者由水浅入深,详细的解解了android系统的软件安全、逆向分析与加密解密技术。全书几乎每一个部分都结合实际例子,一步步讲解如何操作。因此,它对
查看深入理解hadoop 原书第2版50.83M扫描版深入理解hadoop 原书第2版是一本Hadoop系统使用掌握指导书籍,由世界级大数据专家萨米尔.瓦德卡和马杜.西德林埃共同编著。全书深入剖析了Hadoop系统实现原理及其工程实践应用,里面包含了大量真实案例和数据,从Hadoops各组件的运行机理,深入
查看大规模web服务开发技术pdf版132.09M伊藤直也 田中慎司pdf高清完整版大规模web服务开发技术是一款介绍web服务开发的教材,由伊藤直也,田中慎司[日本]编著,李剑译,电子工业出版社出版。全书内容从操作系统和计算机的原理开始,详细介绍了数据库的分布式方法、实用算法在系统中的应用、能支撑海量数据的搜索引擎的原理,以及统观系统
查看爱普生l455说明书5.22Mpdf版爱普生l455说明书中包含了首先阅读和用户指南,全面的将爱普生L455无线一体机的使用说明讲解了一边,让每一位用户都能够通过该打印机让工作中的效率提高。爱普生墨仓式L455智能无线一体机不仅延续之前产品的优势,而且功能更丰富,应用更全面,其外观设计也更时
查看网页设计与开发:HTML、CSS、JavaScript实例教程62.35M扫描版网页设计与开发:HTML、CSS、JavaScript实例教程是一本讲解HTML、CSS、JavaScript语言的实战web开发指导手册,由郑娅峰编著。全书主要介绍了浏览器端开发技术,也就是HTML页面制作技术,包括HTML、CSS和JavaScrip
查看