2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》 畅销书籍 清华大学出版社发行上市!
2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍 清华大学出版社发行上市!
本书基于Spark 2.2.0新版本，以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心，以Spark内核解密为基石，分为上篇、中篇、下篇，对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析。上篇基于Spark源码，从一个动手实战案例入手，循序渐进地全面解析了Spark 2.2新特性及Spark内核源码；中篇选取Spark开发中最具有代表的经典学习案例，深入浅出地介绍，在案例中综合应用Spark的大数据技术；下篇性能调优内容基本完全覆盖了Spark在生产环境下的所有调优技术。
本书适合所有Spark学习者和从业人员使用。对于有分布式计算框架应用经验的人员，本书也可以作为Spark高手修炼的参考书籍。同时，本书也特别适合作为高等院校的大数据教材使用。
清华大学出版社官方旗舰店（天猫）、京东、当当网、亚马逊等网店已可购买！欢迎大家购买学习！
清华大学出版社官方旗舰店（天猫） 点击打开链接
京东网购地址：点击打开链接
当当网址：点击打开链接
本书商业案例代码下载地址：https://github.com/duanzhihua/code-of-spark-big-data-business-trilogy
目 录
上篇 内核解密
第1章 电光石火间体验Spark 2.2开发实战... 2
1.1 通过RDD实战电影点评系统入门及源码阅读... 2
1.1.1 Spark核心概念图解... 2
1.1.2 通过RDD实战电影点评系统案例... 4
1.2 通过DataFrame和DataSet实战电影点评系统... 7
1.2.1 通过DataFrame实战电影点评系统案例... 7
1.2.2 通过DataSet实战电影点评系统案例... 10
1.3 Spark 2.2源码阅读环境搭建及源码阅读体验... 11
第2章 Spark 2.2技术及原理... 14
2.1 Spark 2.2综述... 14
2.1.1 连续应用程序... 14
2.1.2 新的API 15
2.2 Spark 2.2 Core. 16
2.2.1 第二代Tungsten引擎... 16
2.2.2 SparkSession. 16
2.2.3 累加器API 17
2.3 Spark 2.2 SQL. 19
2.3.1 Spark SQL. 20
2.3.2 DataFrame和DatasetAPI 20
2.3.3 Timed Window.. 21
2.4 Spark 2.2 Streaming. 21
2.4.1 StructuredStreaming. 21
2.4.2 增量输出模式... 23
2.5 Spark 2.2 MLlib. 27
2.5.1 基于DataFrame的MachineLearning API 28
2.5.2 R的分布式算法... 28
2.6 Spark 2.2 GraphX.. 29
第3章 Spark的灵魂：RDD和DataSet30
3.1 为什么说RDD和DateSet是Spark的灵魂... 30
3.1.1 RDD的定义及五大特性剖析... 30
3.1.2 DateSet的定义及内部机制剖析... 34
3.2 RDD弹性特性七个方面解析... 36
3.3 RDD依赖关系... 43
3.3.1 窄依赖解析... 43
3.3.2 宽依赖解析... 45
3.4 解析Spark中的DAG逻辑视图... 46
3.4.1 DAG生成的机制... 46
3.4.2 DAG逻辑视图解析... 47
3.5 RDD内部的计算机制... 49
3.5.1 Task解析... 49
3.5.2 计算过程深度解析... 49
3.6 Spark RDD容错原理及其四大核心要点解析... 57
3.6.1 Spark RDD容错原理... 57
3.6.2 RDD容错的四大核心要点... 57
3.7 Spark RDD中Runtime流程解析... 59
3.7.1 Runtime架构图... 59
3.7.2 生命周期... 60
3.8 通过WordCount实战解析Spark RDD内部机制... 70
3.8.1 Spark WordCount动手实践... 70
3.8.2 解析RDD生成的内部机制... 72
3.9 基于DataSet的代码到底是如何一步步转化成为RDD的... 78
第4章 Spark Driver启动内幕剖析... 81
4.1 Spark Driver Program剖析... 81
4.1.1 Spark DriverProgram.. 81
4.1.2 SparkContext深度剖析... 81
4.1.3 SparkContext源码解析... 82
4.2 DAGScheduler解析... 96
4.2.1 DAG的定义... 96
4.2.2 DAG的实例化... 97
4.2.3 DAGScheduler划分Stage的原理... 98
4.2.4 DAGScheduler划分Stage的具体算法... 99
4.2.5 Stage内部Task获取最佳位置的算法... 113
4.3 TaskScheduler解析... 116
4.3.1 TaskScheduler原理剖析... 116
4.3.2 TaskScheduler源码解析... 117
4.4 SchedulerBackend解析... 132
4.4.1 SchedulerBackend原理剖析... 132
4.4.2 SchedulerBackend源码解析... 132
4.4.3 Spark程序的注册机制... 133
4.4.4 Spark程序对计算资源Executor的管理... 134
4.5 打通Spark系统运行内幕机制循环流程... 135
4.6 本章总结... 145
第5章 Spark集群启动原理和源码详解... 146
5.1 Master启动原理和源码... 146
5.1.1 Master启动的原理详解... 146
5.1.2 Master启动的源码详解... 147
5.1.3 Master HA双机切换... 157
5.1.4 Master的注册机制和状态管理解密... 163
5.2 Worker启动原理和源码详解... 170
5.2.1 Worker启动原理流程... 170
5.2.2 Worker启动源码详解... 174
5.3 ExecutorBackend启动原理和源码详解... 178
5.3.1 ExecutorBackend接口与Executor的关系... 178
5.3.2 ExecutorBackend的不同实现... 179
5.3.3 ExecutorBackend中的通信... 181
5.3.4 ExecutorBackend的异常处理... 183
5.4 Executor中任务的执行... 184
5.4.1 Executor中任务的加载... 184
5.4.2 Executor中的任务线程池... 185
5.4.3 任务执行失败处理... 186
5.4.4 揭秘TaskRunner 188
5.5 Executor执行结果的处理方式... 189
5.6 本章总结... 197
第6章 Spark Application提交给集群的原理和源码详解... 198
6.1 Spark Application到底是如何提交给集群的... 198
6.1.1 Application提交参数配置详解... 198
6.1.2 Application提交给集群原理详解... 199
6.1.3 Application提交给集群源码详解... 201
6.2 Spark Application是如何向集群申请资源的... 211
6.2.1 Application申请资源的两种类型详解... 211
6.2.2 Application申请资源的源码详解... 213
6.3 从Application提交的角度重新审视Driver219
6.3.1 Driver到底是什么时候产生的... 220
6.3.2 Driver和Master交互原理解析... 238
6.3.3 Driver和Master交互源码详解... 244
6.4 从Application提交的角度重新审视Executor249
6.4.1 Executor到底是什么时候启动的... 249
6.4.2 Executor如何把结果交给Application. 254
6.5 Spark 1.6 RPC内幕解密：运行机制、源码详解、Netty与Akka等... 254
6.6 本章总结... 267
第7章 Shuffle原理和源码详解... 268
7.1 概述... 268
7.2 Shuffle的框架... 269
7.2.1 Shuffle的框架演进... 269
7.2.2 Shuffle的框架内核... 270
7.2.3 Shuffle框架的源码解析... 272
7.2.4 Shuffle数据读写的源码解析... 275
7.3 Hash Based Shuffle. 281
7.3.1 概述... 281
7.3.2 Hash Based Shuffle内核... 282
7.3.3 Hash Based Shuffle的数据读写的源码解析... 285
7.4 Sorted Based Shuffle. 290
7.4.1 概述... 292
7.4.2 Sorted BasedShuffle内核... 293
7.4.3 Sorted BasedShuffle数据读写的源码解析... 294
7.5 Tungsten Sorted Based Shuffle. 302
7.5.1 概述... 302
7.5.2 Tungsten SortedBased内核... 302
7.5.3 Tungsten SortedBased数据读写的源码解析... 303
7.6 Shuffle 与 Storage 模块间的交互... 309
7.6.1 Shuffle 注册的交互... 310
7.6.2 Shuffle写数据的交互... 314
7.6.3 Shuffle 读数据的交互... 315
7.6.4 BlockManager架构原理、运行流程图和源码解密... 315
7.6.5 BlockManager解密进阶：BlockManager初始化和注册解密、BlockManager- Master工作解密、BlockTransferService解密、本地数据读写解密、远程数据读写解密... 324
7.7 本章总结... 341
第8章 Job工作原理和源码详解... 342
8.1 Job到底在什么时候产生... 342
8.1.1 触发Job的原理和源码解析... 342
8.1.2 触发Job的算子案例... 344
8.2 Stage划分内幕... 345
8.2.1 Stage划分原理详解... 345
8.2.2 Stage划分源码详解... 346
8.3 Task全生命周期详解... 346
8.3.1 Task的生命过程详解... 347
8.3.2 Task在Driver和Executor中交互的全生命周期原理和源码详解... 348
8.4 ShuffleMapTask和ResultTask处理结果是如何被Driver管理的... 364
8.4.1 ShuffleMapTask执行结果和Driver的交互原理及源码... 364
8.4.2 ResultTask执行结果与Driver的交互原理及源码详解... 370
第9章 Spark中Cache和checkpoint原理和源码详解... 372
9.1 Spark中Cache原理和源码详解... 372
9.1.1 Spark中Cache原理详解... 372
9.1.2 Spark中Cache源码详解... 372
9.2 Spark中checkpoint原理和源码详解... 381
9.2.1 Spark中checkpoint原理详解... 381
9.2.2 Spark中checkpoint源码详解... 381
第10章 Spark中Broadcast和Accumulator原理和源码详解... 391
10.1 Spark中Broadcast原理和源码详解... 391
10.1.1 Spark中Broadcast原理详解... 391
10.1.2 Spark中Broadcast源码详解... 393
10.2 Spark中Accumulator原理和源码详解... 396
10.2.1 Spark中Accumulator原理详解... 396
10.2.2 Spark中Accumulator源码详解... 396
第11章 Spark与大数据其他经典组件整合原理与实战... 399
11.1 Spark组件综合应用... 399
11.2 Spark与Alluxio整合原理与实战... 400
11.2.1 Spark与Alluxio整合原理... 400
11.2.2 Spark与Alluxio整合实战... 401
11.3 Spark与Job Server整合原理与实战... 403
11.3.1 Spark与JobServer整合原理... 403
11.3.2 Spark与JobServer整合实战... 404
11.4 Spark与Redis整合原理与实战... 406
11.4.1 Spark与Redis整合原理... 406
11.4.2 Spark与Redis整合实战... 407
中篇 商业案例
第12章 Spark商业案例之大数据电影点评系统应用案例... 412
12.1 通过RDD实现分析电影的用户行为信息... 412
12.1.1 搭建IDEA开发环境... 412
12.1.2 大数据电影点评系统中电影数据说明... 426
12.1.3 电影点评系统用户行为分析统计实战... 429
12.2 通过RDD实现电影流行度分析... 432
12.3 通过RDD分析各种类型的最喜爱电影TopN及性能优化技巧... 434
12.4 通过RDD分析电影点评系统仿QQ和微信等用户群分析及广播
背后机制解密... 437
12.5 通过RDD分析电影点评系统实现Java和Scala版本的二次排序系统... 441
12.5.1 二次排序自定义Key值类实现（Java）... 441
12.5.2 电影点评系统二次排序功能实现（Java）... 444
12.5.3 二次排序自定义Key值类实现（Scala）... 446
12.5.4 电影点评系统二次排序功能实现（Scala）... 447
12.6 通过Spark SQL中的SQL语句实现电影点评系统用户行为分析... 448
12.7 通过Spark SQL下的两种不同方式实现口碑最佳电影分析... 452
12.8 通过Spark SQL下的两种不同方式实现最流行电影分析... 457
12.9 通过DataFrame分析最受男性和女性喜爱电影TopN.. 459
12.10 纯粹通过DataFrame分析电影点评系统仿QQ和微信、淘宝等用户群... 461
12.11 纯粹通过DataSet对电影点评系统进行流行度和不同年龄阶段兴趣分析等... 463
12.11.1 通过DataSet实现某特定电影观看者中男性和女性不同年龄的人数... 464
12.11.2 通过纯粹使用DataSet方式计算所有电影中平均得分最高
（口碑最好）的电影TopN.. 465
12.11.3 通过DataSet方式计算所有电影中粉丝或者观看人数最多（最流行电影）的电影TopN 466
12.11.4 纯粹使用DataSet实现所有电影中最受男性、女性喜爱的
电影Top10. 467
12.11.5 纯粹通过DataSet的方式实现所有电影中QQ或者微信核心目标
用户最喜爱电影TopN分析... 468
12.11.6 纯粹通过DataSet的方式实现所有电影中淘宝核心目标用户最喜爱电影TopN分析 470
12.12 大数据电影点评系统应用案例涉及的核心知识点原理、源码及案例代码... 471
12.12.1 知识点：广播变量Broadcast内幕机制... 472
12.12.2 知识点：SQL全局临时视图及临时视图... 475
12.12.3 大数据电影点评系统应用案例完整代码... 476
12.13 本章总结... 498
第13章 Spark 2.2实战之Dataset开发实战企业人员管理系统应用案例... 498
13.1 企业人员管理系统应用案例业务需求分析... 498
13.2 企业人员管理系统应用案例数据建模... 499
13.3 通过SparkSession创建案例开发实战上下文环境... 500
13.3.1 Spark 1.6.0版本SparkContext 500
13.3.2 Spark 2.0.0版本SparkSession. 501
13.3.3 DataFrame、DataSet剖析与实战... 507
13.4 通过map、flatMap、mapPartitions实战分析企业人员管理系统... 510
13.5 通过dropDuplicate、coalesce、repartition等分析企业人员管理系统... 512
13.6 通过sort、join、joinWith等分析企业人员管理系统... 514
13.7 通过randomSplit、sample、select等分析企业人员管理系统... 515
13.8 通过groupBy、agg、col等分析企业人员管理系统... 517
13.9 通过collect_list、collect_set等分析企业人员管理系统... 518
13.10 通过avg、sum、countDistinct等分析企业人员管理系统... 519
13.11 Dataset开发实战企业人员管理系统应用案例代码... 519
13.12 本章总结... 522
第14章 Spark商业案例之电商交互式分析系统应用案例... 523
14.1 纯粹通过DataSet进行电商交互式分析系统中特定时段访问次数TopN.. 523
14.1.1 电商交互式分析系统数据说明... 523
14.1.2 特定时间段内用户访问电商网站排名TopN.. 525
14.2 纯粹通过DataSet分析特定时段购买金额Top10和访问次数增长Top10. 527
14.3 纯粹通过DataSet进行电商交互式分析系统中各种类型TopN分析实战详解... 530
14.3.1 统计特定时段购买金额最多的Top5用户... 530
14.3.2 统计特定时段访问次数增长最多的Top5用户... 530
14.3.3 统计特定时段购买金额增长最多的Top 5用户... 531
14.3.4 统计特定时段注册之后前两周内访问最多的Top 10用户... 533
14.3.5 统计特定时段注册之后前两周内购买总额最多的Top 10用户... 534
14.4 电商交互式分析系统应用案例涉及的核心知识点原理、源码及案例代码... 535
14.4.1 知识点：Functions.scala. 535
14.4.2 电商交互式分析系统应用案例完整代码... 548
14.5 本章总结... 555
第15章 Spark商业案例之NBA篮球运动员大数据分析系统应用案例... 556
15.1 NBA篮球运动员大数据分析系统架构和实现思路... 556
NBA篮球运动员大数据分析系统应用数据说明如下。... 557
15.2 NBA篮球运动员大数据分析系统代码实战：数据清洗和初步处理... 561
15.3 NBA篮球运动员大数据分析代码实战之核心基础数据项编写... 565
15.3.1 NBA球员数据每年基础数据项记录... 565
15.3.2 NBA球员数据每年标准分Z-Score计算... 567
15.3.3 NBA球员数据每年归一化计算... 568
15.3.4 NBA历年比赛数据按球员分组统计分析... 572
15.3.5 NBA球员年龄值及经验值列表获取... 575
15.3.6 NBA球员年龄值及经验值统计分析... 576
15.3.7 NBA球员系统内部定义的函数、辅助工具类... 578
15.4 NBA篮球运动员大数据分析完整代码测试和实战... 582
15.5 NBA篮球运动员大数据分析系统应用案例涉及的核心知识点、原理、源码... 594
15.5.1 知识点：StatCounter源码分析... 594
15.5.2 知识点：StatCounter应用案例... 598
15.6 本章总结... 601
第16章 电商广告点击大数据实时流处理系统案例... 602
16.1 电商广告点击综合案例需求分析和技术架构... 602
16.1.1 电商广告点击综合案例需求分析... 602
16.1.2 电商广告点击综合案例技术架构... 603
16.1.3 电商广告点击综合案例整体部署... 606
16.1.4 生产数据业务流程及消费数据业务流程... 607
16.1.5 SparkJavaStreamingContext初始化及启动... 607
16.1.6 Spark Streaming使用NoReceivers方式读取Kafka数据及监控... 609
16.2 电商广告点击综合案例在线点击统计实战... 612
16.3 电商广告点击综合案例黑名单过滤实现... 615
16.3.1 基于用户广告点击数据表，动态过滤黑名单用户... 616
16.3.2 黑名单的整个RDD进行去重操作... 617
16.3.3 将黑名单写入到黑名单数据表... 618
16.4 电商广告点击综合案例底层数据层的建模和编码实现（基于MySQL）... 618
16.4.1 电商广告点击综合案例数据库链接单例模式实现... 619
16.4.2 电商广告点击综合案例数据库操作实现... 622
16.5 电商广告点击综合案例动态黑名单过滤真正的实现代码... 624
16.5.1 从数据库中获取黑名单封装成RDD.. 624
16.5.2 黑名单RDD和批处理RDD进行左关联，过滤掉黑名单... 625
16.6 动态黑名单基于数据库MySQL的真正操作代码实战... 627
16.6.1 MySQL数据库操作的架构分析... 627
16.6.2 MySQL数据库操作的代码实战... 628
16.7 通过updateStateByKey等实现广告点击流量的在线更新统计... 634
16.8 实现每个省份点击排名Top5广告... 639
16.9 实现广告点击Trend趋势计算实战... 643
16.10 实战模拟点击数据的生成和数据表SQL的建立... 648
16.10.1 电商广告点击综合案例模拟数据的生成... 648
16.10.2 电商广告点击综合案例数据表SQL的建立... 651
16.11 电商广告点击综合案例运行结果... 654
16.11.1 电商广告点击综合案例Hadoop集群启动... 654
16.11.2 电商广告点击综合案例Spark集群启动... 655
16.11.3 电商广告点击综合案例Zookeeper集群启动... 656
16.11.4 电商广告点击综合案例Kafka集群启动... 658
16.11.5 电商广告点击综合案例Hive metastore启动... 660
16.11.6 电商广告点击综合案例程序运行... 660
16.11.7 电商广告点击综合案例运行结果... 661
16.12 电商广告点击综合案例Scala版本关注点... 663
16.13 电商广告点击综合案例课程的Java源码... 666
16.14 电商广告点击综合案例课程的Scala源码... 694
16.15 本章总结... 711
第17章 Spark在通信运营商生产环境中的应用案例... 712
17.1 Spark在通信运营商融合支付系统日志统计分析中的综合应用案例... 712
17.1.1 融合支付系统日志统计分析综合案例需求分析... 712
17.1.2 融合支付系统日志统计分析数据说明... 714
17.1.3 融合支付系统日志清洗中Scala正则表达式与模式匹配结合的
代码实战... 718
17.1.4 融合支付系统日志在大数据Splunk中的可视化展示... 722
17.1.5 融合支付系统日志统计分析案例涉及的正则表达式知识点
及案例代码... 733
17.2 Spark在光宽用户流量热力分布GIS系统中的综合应用案例... 742
17.2.1 光宽用户流量热力分布GIS系统案例需求分析... 742
17.2.2 光宽用户流量热力分布GIS应用的数据说明... 742
17.2.3 光宽用户流量热力分布GIS应用Spark实战... 744
17.2.4 光宽用户流量热力分布GIS应用Spark实战成果... 748
17.2.5 光宽用户流量热力分布GIS应用Spark案例代码... 749
17.3 本章总结... 752
第18章 使用Spark GraphX实现婚恋社交网络多维度分析案例... 753
18.1 Spark GraphX发展演变历史和在业界的使用案例... 753
18.2 Spark GraphX设计实现的核心原理... 757
18.3 Table operator和Graph Operator760
18.4 Vertices、edges、triplets762
18.5 以最原始的方式构建Graph. 765
18.6 实战第一个Graph代码实例并进行Vertices、edges、triplets操作... 765
18.7 数据加载成为Graph并进行操作实战... 775
18.8 图操作之Property Operators实战... 782
18.9 图操作之Structural Operators实战... 784
18.10 图操作之Computing Degree实战... 788
18.11 图操作之Collecting Neighbors实战... 791
18.12 图操作之Join Operators实战... 793
18.13 图操作之aggregateMessages实战... 796
18.14 图操作之Pregel API原理解析与实战... 799
18.15 图算法之ShortestPaths原理解析与实战... 804
18.16 图算法之PageRank原理解析与实战... 805
18.17 图算法之TriangleCount原理解析与实战... 807
18.18 使用Spark GraphX实现婚恋社交网络多维度分析实战... 809
18.18.1 婚恋社交网络多维度分析实战图的属性演示... 811
18.18.2 婚恋社交网络多维度分析实战图的转换操作... 814
18.18.3 婚恋社交网络多维度分析实战图的结构操作... 815
18.18.4 婚恋社交网络多维度分析实战图的连接操作... 816
18.18.5 婚恋社交网络多维度分析实战图的聚合操作... 818
18.18.6 婚恋社交网络多维度分析实战图的实用操作... 822
18.19 婚恋社交网络多维度分析案例代码... 823
18.20 本章总结... 832
下篇 性能调优
第19章 对运行在YARN上的Spark进行性能调优... 834
19.1 运行环境Jar包管理及数据本地性原理调优实践... 834
19.1.1 运行环境Jar包管理及数据本地性原理... 834
19.1.2 运行环境Jar包管理及数据本地性调优实践... 835
19.2 Spark on YARN两种不同的调度模型及其调优... 836
19.2.1 Spark on YARN的两种不同类型模型优劣分析... 836
19.2.2 Spark on YARN的两种不同类型调优实践... 837
19.3 YARN队列资源不足引起的Spark应用程序失败的原因及调优方案... 838
19.3.1 失败的原因剖析... 838
19.3.2 调优方案... 838
19.4 Spark on YARN模式下Executor经常被杀死的原因及最佳调优方案... 838
19.4.1 原因剖析... 838
19.4.2 最佳调优方案... 839
19.5 YARN-Client模式下网卡流量激增的原因及调优方案... 839
19.5.1 原因剖析... 839
19.5.2 调优方案... 840
19.6 YARN-Cluster模式下JVM栈内存溢出的原因及调优方案... 840
19.6.1 原因剖析... 841
19.6.2 调优方案... 841
第20章 Spark算子调优最佳实践... 842
20.1 使用mapPartitions或者mapPartitionWithIndex取代map操作... 842
20.1.1 mapPartitions内部工作机制和源码解析... 842
20.1.2 mapPartitionWithIndex内部工作机制和源码解析... 842
20.1.3 使用mapPartitions取代map案例和性能测试... 843
20.2 使用foreachPartition把Spark数据持久化到外部存储介质... 844
20.2.1 foreachPartition内部工作机制和源码解析... 844
20.2.2 使用foreachPartition写数据到MySQL中案例和性能测试... 845
20.3 使用coalesce取代rePartition操作... 845
20.3.1 coalesce和repartition工作机制和源码剖析... 845
20.3.2 通过测试对比coalesce和repartition的性能... 847
20.4 使用repartitionAndSortWithinPartitions取代repartition和sort的联合操作... 847
20.4.1 repartitionAndSortWithinPartitions工作机制和源码解析... 847
20.4.2 repartitionAndSortWithinPartitions性能测试... 848
20.5 使用treeReduce取代reduce的原理和源码... 848
20.5.1 treeReduce进行reduce的工作原理和源码... 848
20.5.2 使用treeReduce进行性能测试... 849
20.6 使用treeAggregate取代Aggregate的原理和源码... 851
20.6.1 treeAggregate进行Aggregate的工作原理和源码... 851
20.6.2 使用treeAggregate进行性能测试... 852
20.7 reduceByKey高效运行的原理和源码解密... 853
20.8 使用AggregateByKey取代groupByKey的原理和源码... 857
20.8.1 使用AggregateByKey取代groupByKey的原理... 857
20.8.2 源码剖析... 858
20.8.3 使用AggregateByKey取代groupByKey进行性能测试... 859
20.9 Join不产生Shuffle的情况及案例实战... 860
20.9.1 Join在什么情况下不产生Shuffle及其运行原理... 860
20.9.2 Join不产生Shuffle的情况案例实战... 860
20.10 RDD复用性能调优最佳实践... 861
20.10.1 什么时候需要复用RDD.. 861
20.10.2 如何复用RDD算子... 862
第21章 Spark频繁遇到的性能问题及调优技巧... 864
21.1 使用BroadCast广播大变量和业务配置信息原理和案例实战... 864
21.1.1 使用BroadCast广播大变量和业务配置信息原理... 864
21.1.2 使用BroadCast广播大变量和业务配置信息案例实战... 865
21.2 使用Kryo取代Scala默认的序列器原理和案例实战... 865
21.2.1 使用Kryo取代Scala默认的序列器原理... 865
21.2.2 使用Kryo取代Scala默认的序列器案例实战... 866
21.3 使用FastUtil优化JVM数据格式解析和案例实战... 866
21.3.1 使用FastUtil优化JVM数据格式解析... 866
21.3.2 使用FastUtil优化JVM数据格式案例实战... 867
21.4 Persist及checkpoint使用时的正误方式... 868
21.5 序列化导致的报错原因解析和调优实战... 870
21.5.1 报错原因解析... 870
21.5.2 调优实战... 870
21.6 算子返回NULL产生的问题及解决办法... 874
第22章 Spark集群资源分配及并行度调优最佳实践... 875
22.1 实际生产环境下每个Executor内存及CPU的具体配置及原因... 875
22.1.1 内存的具体配置及原因... 875
22.1.2 实际生产环境下一般每个Executor的CPU的具体配置及原因... 877
22.2 Spark并行度设置最佳实践... 878
22.2.1 并行度设置的原理和影响因素... 878
22.2.2 并行度设置最佳实践... 878
第23章 Spark集群中Mapper端、Reducer端内存调优... 880
23.1 Spark集群中Mapper端内存调优实战... 880
23.1.1 内存使用详解... 880
23.1.2 内存性能调优实战... 881
23.2 Spark集群中Reducer端内存调优实战... 881
23.2.1 内存使用详解... 881
23.2.2 内存性能调优实战... 883
第24章 使用Broadcast实现Mapper端Shuffle聚合功能的原理和调优实战... 885
24.1 使用Broadcast实现Mapper端Shuffle聚合功能的原理... 885
24.2 使用Broadcast实现Mapper端Shuffle聚合功能调优实战... 885
第25章 使用Accumulator高效地实现分布式集群全局计数器的原理和调优案例... 887
25.1 Accumulator内部工作原理... 887
25.2 Accumulator自定义实现原理和源码解析... 887
25.3 Accumulator作全局计数器案例实战... 888
第26章 Spark下JVM性能调优最佳实践... 889
26.1 JVM内存架构详解及调优... 889
26.1.1 JVM的堆区、栈区、方法区等详解... 889
26.1.2 JVM线程引擎及内存共享区域详解... 890
26.1.3 JVM中年轻代和老年代及元空间原理详解... 891
26.1.4 JVM进行GC的具体工作流程详解... 895
26.1.5 JVM常见调优参数详解... 895
26.2 Spark中对JVM使用的内存原理图详解及调优... 896
26.2.1 Spark中对JVM使用的内存原理图说明... 896
26.2.2 Spark中对JVM使用的内存原理图内幕详解... 897
26.2.3 Spark下的常见的JVM内存调优参数最佳实践... 899
26.3 Spark下JVM的On-Heap和Off-Heap解密... 900
26.3.1 JVM的On-Heap和Off-Heap详解... 901
26.3.2 Spark是如何管理JVM的On-Heap和Off-Heap的... 902
26.3.3 Spark下JVM的On-Heap和Off-Heap调优最佳实践... 903
26.4 Spark下的JVM GC导致的Shuffle拉取文件失败及调优方案... 905
26.4.1 Spark下的JVMGC导致的Shuffle拉取文件失败原因解密... 905
26.4.2 Spark下的JVMGC导致的Shuffle拉取文件失败时调优... 906
26.5 Spark下的Executor对JVM 堆外内存连接等待时长调优... 906
26.5.1 Executor对堆外内存等待工作过程... 906
26.5.2 Executor对堆外内存等待时长调优... 907
26.6 Spark下的JVM 内存降低Cache内存占比的调优... 907
26.6.1 什么时候需要降低Cache的内存占用... 907
26.6.2 降低Cache的内存占比调优最佳实践... 908
第27章 Spark五大子框架调优最佳实践... 909
27.1 Spark SQL调优原理及调优最佳实践... 909
27.1.1 Spark SQL调优原理... 909
27.1.2 Spark SQL调优参数及调优最佳实践... 943
27.2 Spark Streaming调优原理及调优最佳实践... 944
27.2.1 SparkStreaming调优原理... 944
27.2.2 SparkStreaming调优参数及调优最佳实践... 946
27.3 Spark GraphX调优原理及调优最佳实践... 948
27.3.1 Spark GraphX调优原理... 948
27.3.2 Spark GraphX调优参数及调优最佳实践... 949
27.4 Spark ML调优原理及调优最佳实践... 950
27.4.1 Spark ML调优原理... 950
27.4.2 Spark ML调优参数及调优最佳实践... 951
27.5 SparkR调优原理及调优最佳实践... 953
27.5.1 SparkR调优原理... 953
27.5.2 SparkR调优参数及调优最佳实践... 955
第28章 Spark 2.2.0新一代钨丝计划优化引擎... 957
28.1 概述... 957
28.2 内存管理与二进制处理... 958
28.2.1 概述... 958
28.2.2 内存管理的模型及其实现类的解析... 960
28.2.3 二进制处理及其实现类的解析... 975
28.3 缓存感知计算... 982
28.3.1 概述... 982
28.3.2 缓存感知计算的解析... 982
28.3.3 缓存感知计算类的解析... 983
28.4 代码生成... 983
28.4.1 概述... 983
28.4.2 新型解析器的解析... 983
28.4.3 代码生成的解析... 984
28.4.4 表达式代码生成的应用解析... 986
28.5 本章总结... 989
第29章 Spark Shuffle调优原理及实践... 990
29.1 Shuffle对性能消耗的原理详解... 990
29.2 Spark.Shuffle.manager参数调优原理及实践... 992
29.3 Spark.Shuffle.blockTransferService参数调优原理及实践... 993
29.4 Spark.Shuffle.compress参数调优原理及最佳实践... 993
29.5 Spark.io.compression.codec参数调优原理及实践... 994
29.6 Spark.Shuffle.consolidateFiles参数调优原理及实践... 995
29.7 Spark.Shuffle.file.buffer参数调优原理及实践... 995
29.8 Spark.Shuffle.io.maxRetries参数调优原理及实践... 997
29.9 Spark.Shuffle.io.retryWait参数调优原理及实践... 997
29.10 Spark.Shuffle.io.numConnectionsPerPeer参数调优原理及实践... 998
29.11 Spark.reducer.maxSizeInFlight参数调优原理及实践... 998
29.12 Spark.Shuffle.io.preferDirectBufs参数调优原理及实践... 999
29.13 Spark.Shuffle.memoryFraction参数调优原理及实践... 999
29.14 Spark.Shuffle.service.enabled参数调优原理及实践... 1000
29.15 Spark.Shuffle.service.port参数调优原理及实践... 1001
29.16 Spark.Shuffle.Sort.bypassMergeThreshold参数调优原理及实践... 1002
29.17 Spark.Shuffle.spill参数调优原理及实践... 1003
29.18 Spark.Shuffle.spill.compress参数调优原理及实践... 1004
第30章 Spark性能调优之数据倾斜调优一站式解决方案原理与实战... 1005
30.1 为什么数据倾斜是分布式大数据系统的性能噩梦... 1005
30.1.1 什么是数据倾斜... 1005
30.1.2 数据倾斜对性能的巨大影响... 1006
30.1.3 如何判断Spark程序运行中出现了数据倾斜... 1007
30.1.4 如何定位数据倾斜... 1008
30.2 数据倾斜解决方案之一：对源数据进行聚合并过滤掉导致倾斜的Keys 1008
30.2.1 适用场景分析... 1009
30.2.2 原理剖析... 1009
30.2.3 使用Hive等ETL工具对源数据进行聚合并过滤掉导致倾斜的Keys 1009
30.2.4 使用SparkSQL对源数据进行聚合并过滤掉导致倾斜的Keys 1010
30.3 数据倾斜解决方案之二：适当提高Reducer端的并行度... 1010
30.3.1 适用场景分析... 1010
30.3.2 原理剖析... 1011
30.3.3 案例实战... 1011
30.3.4 注意事项... 1012
30.4 数据倾斜解决方案之三：使用随机Key实现双重聚合... 1013
30.4.1 什么是随机Key双重聚合... 1013
30.4.2 适用场景分析... 1013
30.4.3 原理分析... 1014
30.4.4 案例实战... 1014
30.4.5 注意事项... 1015
30.5 数据倾斜解决方案之四：使用Mapper端进行Join操作... 1015
30.5.1 为什么要在Mapper端进行Join操作... 1015
30.5.2 适用场景分析... 1015
30.5.3 原理流程... 1015
30.5.4 案例实战... 1017
30.5.5 注意事项... 1017
30.6 数据倾斜解决方案之五：对倾斜的Keys采样后进行单独的Join操作... 1017
30.6.1 为什么对倾斜的Keys采样进行单独的Join操作... 1018
30.6.2 如何对倾斜的Keys进行采样... 1018
30.6.3 适用场景分析... 1018
30.6.4 案例实战... 1019
30.6.5 注意事项... 1019
30.7 数据倾斜解决方案之六：使用随机数进行Join. 1020
30.7.1 如何使用随机数... 1020
30.7.2 适用场景分析... 1020
30.7.3 案例实战... 1020
30.7.4 注意事项... 1021
30.8 数据倾斜解决方案之七：通过扩容进行Join. 1021
30.8.1 如何进行扩容... 1021
30.8.2 适用场景分析... 1022
30.8.3 案例实战... 1022
30.8.4 注意事项... 1022
30.9 结合电影点评系统进行数据倾斜解决方案的小结... 1023
第31章 Spark大数据性能调优实战专业之路... 1025
31.1 大数据性能调优的本质和Spark性能调优要点分析... 1025
31.2 Spark性能调优之系统资源使用原理和调优最佳实践... 1027
31.3 Spark性能调优之使用更高性能算子及其源码剖析... 1028
31.4 Spark旧版本中性能调优之HashShuffle剖析及调优... 1033
31.5 Shuffle如何成为Spark性能杀手... 1035
31.6 Spark Hash Shuffle源码解读与剖析... 1037
31.7 Sort-Based Shuffle产生的内幕及其tungsten-sort 背景解密... 1051
31.8 Spark Shuffle令人费解的6大经典问题... 1055
31.9 Spark Sort-Based Shuffle排序具体实现内幕和源码详解... 1056
31.10 Spark 1.6.X以前Shuffle中JVM内存使用及配置内幕详情... 1063
31.11 Spark 2.2.X中Shuffle中内存管理源码解密：StaticMemory和
UnifiedMemory. 1069
31.12 Spark 2.2.X中Shuffle中JVMUnified Memory内幕详情... 1085
31.13 Spark 2.2.X中Shuffle 下Task视角内存分配管理... 1090
31.14 Spark 2.2.X中Shuffle中Mapper端的源码实现... 1097
31.15 Spark 2.2.X中Shuffle中SortShuffleWriter排序源码内幕解密... 1107
31.16 Spark 2.2.X中Sort Shuffle中timSort排序源码具体实现... 1113
31.17 Spark 2.2.X中Sort Shuffle中Reducer端源码内幕... 1126
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
相关文章
- 防火墙配置
***防火墙基本基本配置***使用Console登录防火墙对于新的防火墙，一般初始配置通过console接口进行，恢复防火墙密码及忘记密码也会使用console接口，通过console接口连接至防火墙，对防火墙进行初始化配置，配置完成后实现对设备的基本管理 实验拓扑1.通过CRT或者windows自带的…...
2024/4/20 0:44:11 - 软件工程师的视角看网络（网络那点事）
[你能做到的，只是不要想一步登天]一、概述在以太网中，我们都很清楚网络的分层模型，ISO模型7层：物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。TCP/IP模型四层协议：主机至网络层、互联网层、传输层、应用层。 在实际应用中我们都是用TCP/IP的模型。下面我讲…...
2024/4/17 7:34:36 - 并查集基本操作及其优化
麻麻，我们班的孩子都分为好几个帮派，我要怎么做才能知道他们总共分了有几个帮派呀，我要怎么才能知道他们有没有人同时在两个帮派呀； 接下来就进入我们的并查集专题，英文名称Union-Find。并查集是一种用于不相交集合的数据结构，并查集通过几个操作来建立，修改，查找和维护…...
2024/4/17 7:36:06 - 融资秘籍：Term Sheet
融资秘籍：Term Sheet 2008-10-26 23:00:40 来自: HimalayaBear 如果你还在四处向人打听如何写商业计划书，或者在网上搜素下载商业计划书模板的话，那么，你在向VC讨钱的道路上，大概还处于幼儿园的阶段。 商业计划书像是你一厢情愿、自我包装的画皮，还有待VC们的点点戳戳、甚…...
2024/5/6 13:42:27 - 数据分析(DataScience)-07
数据分析-07数据分析-07扩展：数据清洗检测与处理重复值检测与处理缺失值检测与处理异常值矩阵1. 矩阵对象的创建2. 矩阵的乘法运算3. 矩阵的逆矩阵4. ndarray提供的矩阵API5. 矩阵应用数学建模1. 线性模型线性拟合2. 多项式模型3. 基于函数矢量化的股票回测模型 数据分析-07 扩…...
2024/4/19 16:04:36 - ruoyi后台管理系统分析（二）------framework包
二、framework包 --aspectj包 DataScopeAspect.java-------数据过滤处理package com.ruoyi.framework.aspectj;import java.lang.reflect.Method; import org.aspectj.lang.JoinPoint; import org.aspectj.lang.Signature; import org.aspectj.lang.annotation.Aspect; import …...
2024/4/17 7:35:48 - ruoyi后台管理系统分析（三）---admin包
三、admin包 --web包 -----controller包 -----------common包 CommonController.java------通用请求处理package com.ruoyi.web.controller.common;import java.io.UnsupportedEncodingException; import java.net.URLEncoder; import javax.servlet.http.HttpServletRequest; …...
2024/5/5 8:42:45 - 如何写一份详细的创业项目策划书？
来源:青年创业网对于正在寻求资金的风险企业来说，创业计划书就是企业的电话通话卡片。创业计划书的好坏，往往决定了投资交易的成败。 对初创的风险企业来说，创业计划书的作用尤为重要，一个酝酿中的项目，往往很模糊，通过制订创业计划书，把正反理由都书写下来。见后再逐…...
2024/4/13 10:51:42 - composer的一些问题
镜像卡顿的问题 原因 FUCKGFW全局配置国内镜像composer config -g repo.packagist composer https://packagist.laravel-china.org当前项目使用 -g 去掉即可 阿里镜像地址 貌似更好用composer config -g repo.packagist composer https://mirrors.aliyun.com/composer/larave…...
2024/4/4 22:39:22 - http自动跳转https的配置方法
IIs中实现Http自动转换到Https方法介绍 (403跳转对SEO有一定影响) 1.下载安装URL重写模块：Microsoft URL Rewrite Module 32位：http://download.microsoft.com/download/4/9/C/49CD28DB-4AA6-4A51-9437-AA001221F606/rewrite_x86_zh-CN.msi 64位：http://download.microsoft.…...
2024/3/30 10:10:16 - Base64的介绍以及Base64URL介绍
1.Base64是什么：Base64是网络上最常见的用于传输8Bit字节代码的编码方式之一，大家可以查看RFC2045～RFC2049，上面有MIME的详细规范。Base64编码可用于在HTTP环境下传递较长的标识信息。例如，在Java Persistence系统Hibernate中，就采用了Base64来将一个较长的唯一标识符（一…...
2024/4/17 7:36:00 - JFlow工作流项目集成案例_Java开源项目 RuoYi v4.1.0
RuoYi平台简介 RuoYi是一个后台管理系统，基于经典技术组合（Spring Boot、Apache Shiro、MyBatis、Thymeleaf）主要目的让开发者注重专注业务，降低技术难度，从而节省人力成本，缩短项目周期，提高软件安全质量。 开发文档 JFlow工作流 驰骋工作流引擎研发与2003年，具有.net…...
2024/4/17 7:35:54 - 搭建IPv6网络环境
从事计算机网络工作，是万万不能少了各种各样的实践操作。但现实中真实网络环境的稀缺，限制了很多想深入学习网络知识的同志。更别说在现实的IPv6网络环境中学习IPv6知识了。本文就是通过使用DynamipsGUI和VMware两个软件，为那些想深入学习IPv6知识的同志，搭建起几乎和现实I…...
2024/5/2 7:36:53 - jQuery ajax请求json数据
一、数组类型json数据html部分：<table id="table" border="1" cellspacing="0" cellpadding="5"><tr><th>订单号</th><th>购买产品</th><th>版本类型</th><th>有效时间</t…...
2024/4/17 19:22:47 - Android中Base64编码
最近集成第三方sdk时需要Basic Authentication认证，在用Base64编码做签权的时候用Base64.DEFAULT一直不能签权成功，最后用Base64.NO_WRAP成功了。 后来查了一下原因，原来使用Base64.DEFAULT当字符串过长（一般超过76）时会自动在中间加一个换行符，字符串最后也会加一个换行…...
2024/3/31 20:28:34 - 若依框架RuoYi前后端分离项目导入IDEA及运行启动VUE
若依框架RuoYi前后端分离项目导入IDEA及运行启动前端项目CMD命令行启动前端项目IDEA启动后端项目启动IDEA导入网上开源SpringBoot项目使用Git克隆SpringBoot项目到IDEA启动系统运行RuoYi-Vue是一款基于SpringBoot+Vue的前后端分离极速后台开发框架，因为本项目是前后端分离的，…...
2024/4/17 7:36:30 - 产品读书《共享经济：重构未来商业新模式》
作者简介罗宾蔡斯，共享经济鼻祖，汽车共享公司Zipcar、无线网络连接公司Veniam、点对点汽车租赁公司Buzzcar以及拼车网站GoLoco的联合创始人。《时代周刊》“全球最具影响力的100人”之一，《商业周刊》“年度10大设计师”之一，《快公司》“年度50位最具创新精神的人物”之一…...
2024/4/17 7:37:00 - 短信查询
短信是记录在系统本地的mmssms.db表中的 /data/com.android.providers.telephony/databases中。Cursor mCursor =managedQuery(Uri.parse("content://sms"),new String[] {"_id,address,date,read,status,type,body,count(address) as "+ "totleCount…...
2024/4/17 7:37:06 - Base64处理byte[ ]和base64字符串之间的转换
1、工具类import org.apache.commons.codec.binary.Base64; public class UtilHelper { //base64字符串转byte[]public static byte[] base64String2ByteFun(String base64Str){return Base64.decodeBase64(base64Str);}//byte[]转base64public static String byte2Base64Strin…...
2024/4/20 7:33:19 - python 一入深似海 模块,包与库训练
文章目录一： Python中的File文件操作（米的操作）文件操作相关函数open() 打开文件Seek() 设置文件指针的位置write() 写入内容writelines() 写入容器类型数据read() 读取内容readline() 读取一行eadlines() 读取所有行close() 关闭文件文件操作的高级便捷写法文件的路径：打开…...
2024/4/17 7:37:06
最新文章
- 5.Spring Security-web权限方案
设置登录的用户名和密码 1.通过配置文件设置用户名密码 spring:security:user:name: xiankejinpassword: 123456 如果没有以上配置，那么就会在后台生成一个随机密码，用户名固定位user。 2.通过配置类设置用户名密码 Configuration public class Sec…...
2024/5/6 15:10:13 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言，在此感激不尽。 权重和梯度的更新公式如下： w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/5/6 9:38:23 - ASP.NET Core 标识（Identity）框架系列（一）：如何使用 ASP.NET Core 标识（Identity）框架创建用户和角色？
前言 ASP.NET Core 内置的标识（identity）框架，采用的是 RBAC（role-based access control，基于角色的访问控制）策略，是一个用于管理用户身份验证、授权和安全性的框架。 它提供了一套工具和库&…...
2024/5/5 15:45:29 - 大数据学习十三天（hadhoop基础2）
一: MapReduce概述(了解) MapReduce是hadoop三大组件之一,是分布式计算组件 Map阶段 : 将数据拆分到不同的服务器后执行Maptask任务,得到一个中间结果 Reduce阶段 : 将Maptask执行的结果进行汇总,按照Reducetask的计算 规则获得一个唯一的结果 我们在MapReduce计算框架的使用过…...
2024/5/2 21:17:01 - 【外汇早评】美通胀数据走低，美元调整
原标题：【外汇早评】美通胀数据走低，美元调整昨日美国方面公布了新一期的核心PCE物价指数数据，同比增长1.6%，低于前值和预期值的1.7%，距离美联储的通胀目标2%继续走低，通胀压力较低，且此前美国一季度GDP初值中的消费部分下滑明显，因此市场对美联储后续更可能降息的政策…...
2024/5/4 23:54:56 - 【原油贵金属周评】原油多头拥挤，价格调整
原标题：【原油贵金属周评】原油多头拥挤，价格调整本周国际劳动节，我们喜迎四天假期，但是整个金融市场确实流动性充沛，大事频发，各个商品波动剧烈。美国方面，在本周四凌晨公布5月份的利率决议和新闻发布会，维持联邦基金利率在2.25%-2.50%不变，符合市场预期。同时美联储…...
2024/5/4 23:54:56 - 【外汇周评】靓丽非农不及疲软通胀影响
原标题：【外汇周评】靓丽非农不及疲软通胀影响在刚结束的周五，美国方面公布了新一期的非农就业数据，大幅好于前值和预期，新增就业重新回到20万以上。具体数据： 美国4月非农就业人口变动 26.3万人，预期 19万人，前值 19.6万人。 美国4月失业率 3.6%，预期 3.8%，前值 3…...
2024/5/4 23:54:56 - 【原油贵金属早评】库存继续增加，油价收跌
原标题：【原油贵金属早评】库存继续增加，油价收跌周三清晨公布美国当周API原油库存数据，上周原油库存增加281万桶至4.692亿桶，增幅超过预期的74.4万桶。且有消息人士称，沙特阿美据悉将于6月向亚洲炼油厂额外出售更多原油，印度炼油商预计将每日获得至多20万桶的额外原油供…...
2024/5/6 9:21:00 - 【外汇早评】日本央行会议纪要不改日元强势
原标题：【外汇早评】日本央行会议纪要不改日元强势近两日日元大幅走强与近期市场风险情绪上升，避险资金回流日元有关，也与前一段时间的美日贸易谈判给日本缓冲期，日本方面对汇率问题也避免继续贬值有关。虽然今日早间日本央行公布的利率会议纪要仍然是支持宽松政策，但这符…...
2024/5/4 23:54:56 - 【原油贵金属早评】欧佩克稳定市场，填补伊朗问题的影响
原标题：【原油贵金属早评】欧佩克稳定市场，填补伊朗问题的影响近日伊朗局势升温，导致市场担忧影响原油供给，油价试图反弹。此时OPEC表态稳定市场。据消息人士透露，沙特6月石油出口料将低于700万桶/日，沙特已经收到石油消费国提出的6月份扩大出口的“适度要求”，沙特将满…...
2024/5/4 23:55:05 - 【外汇早评】美欲与伊朗重谈协议
原标题：【外汇早评】美欲与伊朗重谈协议美国对伊朗的制裁遭到伊朗的抗议，昨日伊朗方面提出将部分退出伊核协议。而此行为又遭到欧洲方面对伊朗的谴责和警告，伊朗外长昨日回应称，欧洲国家履行它们的义务，伊核协议就能保证存续。据传闻伊朗的导弹已经对准了以色列和美国的航…...
2024/5/4 23:54:56 - 【原油贵金属早评】波动率飙升，市场情绪动荡
原标题：【原油贵金属早评】波动率飙升，市场情绪动荡因中美贸易谈判不安情绪影响，金融市场各资产品种出现明显的波动。随着美国与中方开启第十一轮谈判之际，美国按照既定计划向中国2000亿商品征收25%的关税，市场情绪有所平复，已经开始接受这一事实。虽然波动率-恐慌指数VI…...
2024/5/4 23:55:16 - 【原油贵金属周评】伊朗局势升温，黄金多头跃跃欲试
原标题：【原油贵金属周评】伊朗局势升温，黄金多头跃跃欲试美国和伊朗的局势继续升温，市场风险情绪上升，避险黄金有向上突破阻力的迹象。原油方面稍显平稳，近期美国和OPEC加大供给及市场需求回落的影响，伊朗局势并未推升油价走强。近期中美贸易谈判摩擦再度升级，美国对中…...
2024/5/4 23:54:56 - 【原油贵金属早评】市场情绪继续恶化，黄金上破
原标题：【原油贵金属早评】市场情绪继续恶化，黄金上破周初中国针对于美国加征关税的进行的反制措施引发市场情绪的大幅波动，人民币汇率出现大幅的贬值动能，金融市场受到非常明显的冲击。尤其是波动率起来之后，对于股市的表现尤其不安。隔夜美国股市出现明显的下行走势，这…...
2024/5/6 1:40:42 - 【外汇早评】美伊僵持，风险情绪继续升温
原标题：【外汇早评】美伊僵持，风险情绪继续升温昨日沙特两艘油轮再次发生爆炸事件，导致波斯湾局势进一步恶化，市场担忧美伊可能会出现摩擦生火，避险品种获得支撑，黄金和日元大幅走强。美指受中美贸易问题影响而在低位震荡。继5月12日，四艘商船在阿联酋领海附近的阿曼湾、…...
2024/5/4 23:54:56 - 【原油贵金属早评】贸易冲突导致需求低迷，油价弱势
原标题：【原油贵金属早评】贸易冲突导致需求低迷，油价弱势近日虽然伊朗局势升温，中东地区几起油船被袭击事件影响，但油价并未走高，而是出于调整结构中。由于市场预期局势失控的可能性较低，而中美贸易问题导致的全球经济衰退风险更大，需求会持续低迷，因此油价调整压力较…...
2024/5/4 23:55:17 - 氧生福地 玩美北湖（上）——为时光守候两千年
原标题：氧生福地 玩美北湖（上）——为时光守候两千年一次说走就走的旅行，只有一张高铁票的距离～ 所以，湖南郴州，我来了～ 从广州南站出发，一个半小时就到达郴州西站了。在动车上，同时改票的南风兄和我居然被分到了一个车厢，所以一路非常愉快地聊了过来。 挺好，最起…...
2024/5/4 23:55:06 - 氧生福地 玩美北湖（中）——永春梯田里的美与鲜
原标题：氧生福地 玩美北湖（中）——永春梯田里的美与鲜一觉醒来，因为大家太爱“美”照，在柳毅山庄去寻找龙女而错过了早餐时间。近十点，向导坏坏还是带着饥肠辘辘的我们去吃郴州最富有盛名的“鱼头粉”。说这是“十二分推荐”，到郴州必吃的美食之一。 哇塞！那个味美香甜…...
2024/5/4 23:54:56 - 氧生福地 玩美北湖（下）——奔跑吧骚年！
原标题：氧生福地 玩美北湖（下）——奔跑吧骚年！让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 啊……啊……啊 两…...
2024/5/4 23:55:06 - 扒开伪装医用面膜，翻六倍价格宰客，小姐姐注意了！
原标题：扒开伪装医用面膜，翻六倍价格宰客，小姐姐注意了！扒开伪装医用面膜，翻六倍价格宰客！当行业里的某一品项火爆了，就会有很多商家蹭热度，装逼忽悠，最近火爆朋友圈的医用面膜，被沾上了污点，到底怎么回事呢？ “比普通面膜安全、效果好！痘痘、痘印、敏感肌都能用…...
2024/5/5 8:13:33 - 「发现」铁皮石斛仙草之神奇功效用于医用面膜
原标题：「发现」铁皮石斛仙草之神奇功效用于医用面膜丽彦妆铁皮石斛医用面膜|石斛多糖无菌修护补水贴19大优势： 1、铁皮石斛：自唐宋以来，一直被列为皇室贡品，铁皮石斛生于海拔1600米的悬崖峭壁之上，繁殖力差，产量极低，所以古代仅供皇室、贵族享用 2、铁皮石斛自古民间…...
2024/5/4 23:55:16 - 丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者
原标题：丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者【公司简介】 广州华彬企业隶属香港华彬集团有限公司，专注美业21年，其旗下品牌： 「圣茵美」私密荷尔蒙抗衰，产后修复 「圣仪轩」私密荷尔蒙抗衰，产后修复 「花茵莳」私密荷尔蒙抗衰，产后修复 「丽彦妆」专注医学护…...
2024/5/4 23:54:58 - 广州械字号面膜生产厂家OEM/ODM4项须知！
原标题：广州械字号面膜生产厂家OEM/ODM4项须知！广州械字号面膜生产厂家OEM/ODM流程及注意事项解读： 械字号医用面膜，其实在我国并没有严格的定义，通常我们说的医美面膜指的应该是一种「医用敷料」，也就是说，医用面膜其实算作「医疗器械」的一种，又称「医用冷敷贴」。 …...
2024/5/4 23:55:01 - 械字号医用眼膜缓解用眼过度到底有无作用？
原标题：械字号医用眼膜缓解用眼过度到底有无作用？医用眼膜/械字号眼膜/医用冷敷眼贴 凝胶层为亲水高分子材料，含70%以上的水分。体表皮肤温度传导到本产品的凝胶层，热量被凝胶内水分子吸收，通过水分的蒸发带走大量的热量，可迅速地降低体表皮肤局部温度，减轻局部皮肤的灼…...
2024/5/4 23:54:56 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示，配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下：1、长按电脑电源键直至关机，然后再按一次电源健重启电脑，按F8健进入安全模式2、安全模式下进入Windows系统桌面后，按住“winR”打开运行窗口，输入“services.msc”打开服务设置3、在服务界面，选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE，请勿更改元素数目。
%读入6幅图像（每一幅图像的大小是564*564） f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面，在等待界面中我们需要等待操作结束才能关机，虽然这比较麻烦，但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows，请勿关闭计算机”的提示，要过很久才能进入系统，有的用户甚至几个小时也无法进入，下面就教大家这个问题的解决方法。第一种方法：我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题，电脑时发现开机屏幕显现“正在配置Windows Update，请勿关机”(如下图所示)，而且还需求等大约5分钟才干进入系统。这是怎样回事呢？一切都是正常操作的，为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示，没过几秒后电脑自动重启，每次开机都这样无法进入系统，此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一：开机按下F8，在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况，就是电脑提示正在准备windows请勿关闭计算机，碰到这样的问题该怎么解决呢，现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法：1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后，每次关机的时候桌面上都会显示一个“配置Windows Update的界面，提示请勿关闭计算机”，每次停留好几分钟才能正常关机，导致什么情况引起的呢？出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着，别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚，只能是考虑备份数据后重装系统了。解决来方案一：管理员运行cmd：net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办？
原标题：电脑提示“配置Windows Update请勿关闭计算机”怎么办？win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢？一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ，然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ，然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间：2020-04-20 22:24:19 浏览次数：729次 区域： 南阳 > 卧龙 列举网提醒您：为保障您的权益，请不要提前支付任何费用！ 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于：钉钉，外勤365，红圈通，企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”，长时间没反应，无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了，具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面，长时间没反应，无法进入系统。这个问题原来帮其他同学也解决过，网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办？...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法，并在最后教给你1种保护系统安全的好方法，一起来看看！电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中，添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败，正在还原更改，请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候，开启电脑发现电脑显示：配置windows更新失败，正在还原更改，请勿关闭计算机。。.这要怎么办呢？下面小编就带着大家一起看看吧！如果能够正常进入系统，建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机，电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机，电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题，就是我们的win7系统在关机的时候，总是喜欢显示“准备配置windows，请勿关机”这样的一个页面，没有什么大碍，但是如果一直等着的话就要两个小时甚至更久都关不了机，非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时，一般是您正对windows进行升级，但是这个要是长时间没有反应，我们不能再傻等下去了。可能是电脑出了别的问题了，来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败，还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况，当我们打开电脑之后，发现一直停留在一个界面：“配置Windows Update失败，还原更改请勿关闭计算机”，等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57