大小:399.57M
更新时间:23-08-30
系统:Pc
版本:v
网络爬虫全解析:技术原理与实践,简称为网络爬虫全解析,是由猎兔搜索创始人罗刚编写的,作者将多年以来的开发经验进行总结,可以帮助读者全面快速的掌握网络爬虫开发方法。全书从开发网络爬虫所需要的Java语法开始讲解,然后介绍基本的爬虫原理。通过介绍优先级队列、宽度优先搜索等内容,引领读者入门,之后根据当前风起云涌的云计算热潮,重点讲述了云计算的相关内容及其在爬虫中的应用,以及信息抽取、链接分析等内容。
接下来介绍了有关爬虫的Web数据挖掘等内容,为了让读者更深入地了解爬虫的实际应用,最后一章是案例分析,适用于对开发信息采集软件感兴趣的自学者。
《网络爬虫全解析:技术原理与实践》介绍了如何开发网络爬虫。内容主要包括开发网络爬虫所需要的Java语法基础和网络爬虫的工作原理,如何使用开源组件HttpClient和爬虫框架Crawler4j抓取网页信息,以及针对抓取到的文本进行有效信息的提取。为了扩展抓取能力,本书介绍了实现分布式网络爬虫的关键技术。本书介绍了从图像和语音等多媒体格式文件中提取文本信息,以及如何使用大数据技术存储抓取到的信息。最后,本书以实战为例,介绍了如何抓取微信和微博,以及在电商、医药、金融等领域的案例应用。其中,电商领域的应用介绍了使用网络爬虫抓取商品信息入库到网上商店的数据库表。医药领域的案例介绍了抓取PubMed医药论文库。金融领域的案例介绍了抓取股票信息,以及从年报PDF文档中提取表格等。本书适用于对开发信息采集软件感兴趣的自学者。也可以供有Java或程序设计基础的开发人员参考。
第1章 技术基础 1
1.1 第一个程序 1
1.2 准备开发环境 2
1.2.1 JDK 2
1.2.2 Eclipse 3
1.3 类和对象 4
1.4 常量 5
1.5 命名规范 6
1.6 基本语法 6
1.7 条件判断 7
1.8 循环 8
1.9 数组 9
1.10 位运算 11
1.11 枚举类型 13
1.12 比较器 14
1.13 方法 14
1.14 集合类 15
1.14.1 动态数组 15
1.14.2 散列表 15
1.15 文件 19
1.15.1 文本文件 19
1.15.2 二进制文件 23
1.16 多线程 27
1.16.1 基本的多线程 28
1.16.2 线程池 30
1.17 折半查找 31
1.18 处理图片 34
1.19 本章小结 35
第2章 网络爬虫入门 36
2.1 获取信息 36
2.1.1 提取链接 37
2.1.2 采集新闻 37
2.2 各种网络爬虫 38
2.2.1 信息采集器 40
2.2.2 广度优先遍历 41
2.2.3 分布式爬虫 42
2.3 爬虫相关协议 43
2.3.1 网站地图 44
2.3.2 Robots协议 45
2.4 爬虫架构 48
2.4.1 基本架构 48
2.4.2 分布式爬虫架构 51
2.4.3 垂直爬虫架构 54
2.5 自己写网络爬虫 55
2.6 URL地址查新 57
2.6.1 嵌入式数据库 58
2.6.2 布隆过滤器 60
2.6.3 实现布隆过滤器 61
2.7 部署爬虫 63
2.7.1 部署到Windows 64
2.7.2 部署到Linux 64
2.8 本章小结 65
第3章 定向采集 69
3.1 下载网页的基本方法 69
3.1.1 网卡 70
3.1.2 下载网页 70
3.2 HTTP基础 75
3.2.1 协议 75
3.2.2 URI 77
3.2.3 DNS 84
3.3 使用HttpClient下载网页 84
3.3.1 HttpCore 94
3.3.2 状态码 98
3.3.3 创建 99
3.3.4 模拟浏览器 99
3.3.5 重试 100
3.3.6 抓取压缩的网页 102
3.3.7 HttpContext 104
3.3.8 下载中文网站 105
3.3.9 抓取需要登录的网页 106
3.3.10 代理 111
3.3.11 DNS缓存 112
3.3.12 并行下载 113
3.4 下载网络资源 115
3.4.1 重定向 115
3.4.2 解决套接字连接限制 118
3.4.3 下载图片 119
3.4.4 抓取视频 122
3.4.5 抓取FTP 122
3.4.6 网页更新 122
3.4.7 抓取限制应对方法 126
3.4.8 URL地址提取 131
3.4.9 解析URL地址 134
3.4.10 归一化 135
3.4.11 增量采集 135
3.4.12 iframe 136
3.4.13 抓取JavaScript动态页面 137
3.4.14 抓取即时信息 141
3.4.15 抓取暗网 141
3.5 PhantomJS 144
3.6 Selenium 145
3.7 信息过滤 146
3.7.1 匹配算法 147
3.7.2 分布式过滤 153
3.8 采集新闻 153
3.8.1 网页过滤器 154
3.8.2 列表页 159
3.8.3 用机器学习的方法抓取新闻 160
3.8.4 自动查找目录页 161
3.8.5 详细页 162
3.8.6 增量采集 164
3.8.7 处理图片 164
3.9 遍历信息 164
3.10 并行抓取 165
3.10.1 多线程爬虫 165
3.10.2 垂直搜索的多线程爬虫 168
3.10.3 异步IO 172
3.11 分布式爬虫 176
3.11.1 JGroups 176
3.11.2 监控 179
3.12 增量抓取 180
3.13 管理界面 180
3.14 本章小结 181
第4章 数据存储 182
4.1 存储提取内容 182
4.1.1 SQLite 183
4.1.2 Access数据库 185
4.1.3 MySQL 186
4.1.4 写入维基 187
4.2 HBase 187
4.3 Web图 189
4.4 本章小结 193
第5章 信息提取 194
5.1 从文本提取信息 194
5.2 从HTML文件中提取文本 195
5.2.1 字符集编码 195
5.2.2 识别网页的编码 198
5.2.3 网页编码转换为字符串编码 201
5.2.4 使用正则表达式提取数据 202
5.2.5 结构化信息提取 206
5.2.6 表格 209
5.2.7 网页的DOM结构 210
5.2.8 使用Jsoup提取信息 211
5.2.9 使用XPath提取信息 217
5.2.10 HTMLUnit提取数据 219
5.2.11 网页结构相似度计算 220
5.2.12 提取标题 222
5.2.13 提取日期 224
5.2.14 提取模板 225
5.2.15 提取RDF信息 227
5.2.16 网页解析器原理 227
5.3 RSS 229
5.3.1 Jsoup解析RSS 230
5.3.2 ROME 231
5.3.3 抓取流程 231
5.4 网页去噪 233
5.4.1 NekoHTML 234
5.4.2 Jsoup 238
5.4.3 提取正文 240
5.5 从非HTML文件中提取文本 241
5.5.1 PDF文件 242
5.5.2 Word文件 245
5.5.3 Rtf文件 247
5.5.4 Excel文件 253
5.5.5 PowerPoint文件 254
5.6 提取标题 254
5.6.1 提取标题的一般方法 255
5.6.2 从PDF文件中提取标题 259
5.6.3 从Word文件中提取标题 261
5.6.4 从Rtf文件中提取标题 261
5.6.5 从Excel文件中提取标题 267
5.6.6 从PowerPoint文件中提取标题 270
5.7 图像的OCR识别 270
5.7.1 读入图像 271
5.7.2 准备训练集 272
5.7.3 图像二值化 274
5.7.4 切分图像 279
5.7.5 SVM分类 283
5.7.6 识别汉字 287
5.7.7 训练OCR 289
5.7.8 检测行 290
5.7.9 识别验证码 291
5.7.10 JavaOCR 292
5.8 提取地域信息 292
5.8.1 IP地址 293
5.8.2 手机 315
5.9 提取新闻 316
5.10 流媒体内容提取 317
5.10.1 音频流内容提取 317
5.10.2 视频流内容提取 321
5.11 内容纠错 322
5.11.1 模糊匹配问题 325
5.11.2 英文拼写检查 331
5.11.3 中文拼写检查 333
5.12 术语 336
5.13 本章小结 336
第6章 Crawler4j 338
6.1 使用Crawler4j 338
6.1.1 大众点评 339
6.1.2 日志 342
6.2 crawler4j原理 342
6.2.1 代码分析 343
6.2.2 使用Berkeley DB 344
6.2.3 缩短URL地址 347
6.2.4 网页编码 349
6.2.5 并发 349
6.3 本章小结 352
第7章 网页排重 353
7.1 语义指纹 354
7.2 SimHash 357
7.3 分布式文档排重 367
7.4 本章小结 369
第8章 网页分类 370
8.1 关键词加权法 371
8.2 机器学习的分类方法 378
8.2.1 特征提取 380
8.2.2 朴素贝叶斯 384
8.2.3 支持向量机 393
8.2.4 多级分类 401
8.2.5 网页分类 403
8.3 本章小结 403
第9章 案例分析 404
9.1 金融爬虫 404
9.1.1 中国能源政策数据 404
9.1.2 世界原油现货交易和期货交易数据 405
9.1.3 股票数据 405
9.1.4 从PDF文件中提取表格 408
9.2 商品搜索 408
9.2.1 遍历商品 410
9.2.2 使用HttpClient 415
9.2.3 提取价格 416
9.2.4 水印 419
9.2.5 数据导入ECShop 420
9.2.6 采集淘宝 423
9.3 自动化行业采集 424
9.4 社会化信息采集 424
9.5 微博爬虫 424
9.6 微信爬虫 426
9.7 海关数据 426
9.8 医药数据 427
9.9 本章小结 429
后记 430
1、下载并解压,得出pdf文件
2、如果打不开本文件,请务必下载pdf阅读器
3、安装后,在打开解压得出的pdf文件
4、双击进行阅读
同类热门
热门标签
网友评论0人参与,0条评论
最新排行
caxa实体设计从入门到精通中文pdf版92.88M于志伟韩海玲高清扫描版 caxa实体设计从入门到精通中文pdf版是一本CAXA实体设计入门书籍,由于志伟和韩海玲两人共同编著。本书是以范例为载体、以知识点为纲系统地讲解CAXA功能的最新教材,以读者易学为出发点,以工程实战应用为目的,巧妙安排讲解内容。书中所有范例都经过了
查看android软件安全与逆向分析 pdf48.43M丰生强高清扫描android软件安全与逆向分析是国内第一本Android软件安全指南书籍,由丰生强编著。本书实践性非常强,作者由水浅入深,详细的解解了android系统的软件安全、逆向分析与加密解密技术。全书几乎每一个部分都结合实际例子,一步步讲解如何操作。因此,它对
查看sql语法范例大全(SQL Server 、Oracle通解)132.16M黄少华陈翠娥pdf扫描版 sql语法范例大全(SQL Server 、Oracle通解)是一本SQL语法范例书籍,由黄少华和陈翠娥两人共同编著。本书结构清晰,按结构化的设计方法进行布局编排;内容全面,几乎囊括所有的知识点;方法多样,同时采用工具和命令实现;实例丰富,融合技术
查看深入理解hadoop 原书第2版50.83M扫描版深入理解hadoop 原书第2版是一本Hadoop系统使用掌握指导书籍,由世界级大数据专家萨米尔.瓦德卡和马杜.西德林埃共同编著。全书深入剖析了Hadoop系统实现原理及其工程实践应用,里面包含了大量真实案例和数据,从Hadoops各组件的运行机理,深入
查看Linux系统命令及Shell脚本实践指南pdf52.87M王军高清扫描版 linux系统命令及shell脚本实践指南是一本linux系统及Shel脚本开发教材,由王军编著。本书是根据作者多年来Linux环境运维管理工作的经验编著而成,内容丰富,且注重实践讲解。全书采用理论联系实际的写作方式,从系统管理出发,深入剖析Lin
查看电路第五版邱关源课后答案详解pdf5.2M高清电子版电路第五版邱关源课后答案详解全称叫做电路第5版学习指导与习题分析,由刘崇新,罗先觉著,是电路第五版配套用书,主要面向学生和自学读者。全书内容次序与电路第5版一致,每章包括重点和难点,学习方法指导,典型例题和习题解答,有助于学生理解基本概念,掌握基本原理和
查看HotSpot实战(陈涛著)82M中文pdf扫描版想要学习HotSpot虚拟机应用技术,那就下载这款HotSpot实战pdf来学习吧,它是由著名HotSpot领域专家陈涛所著,书中主要讲解了HotSpot虚拟机的工作原理,编译和调试HotSpot的方法、HotSpot内核结构、Launcher、OOP-
查看Visual Basic范例开发大全216.31MPDF中文版Visual Basic范例开发大全是一款pdf中文版的高清电子书籍,全书485个典型实例,分为4个篇章,17个章节,每个实例都配多媒体教学视频讲解,全面解析visual basic程序开发的核心技术与应用。另外软件包中附带了pdf阅读器,方便读者即下即
查看