大数据课程作业（1）

1、什么是云计算

云计算（cloud computing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内（几秒种）完成对数以万计的数据的处理，从而达到强大的网络服务。
云计算，像在每个不同地区开设不同的自来水公司，没有地域限制，优秀的云软件服务商，向世界每个角落提供软件服务——就像天空上的云一样，不论你身处何方，只要你抬头，就能看见！

2、云计算关键技术

⑴虚拟化技术：云计算的虚拟化技术不同于传统的单一虚拟化，它是涵盖整个IT架构的，包括资源、网络、应用和桌面在内的全系统虚拟化，它的优势在于能够把所有硬件设备、软件应用和数据隔离开来，打破硬件配置、软件部署和数据分布的界限，实现IT架构的动态化，实现资源集中管理，使应用能够动态地使用虚拟资源和物理资源，提高系统适应需求和环境的能力。　　
　　对于信息系统仿真，云计算虚拟化技术的应用意义并不仅仅在于提高资源利用率并降低 成本，更大的意义是提供强大的计算能力。众所周知，信息系统仿真系统是一种具有超大计算量的复杂系统，计算能力对于系统运行效率、精度和可靠性影响很大，而虚拟化技术可以将大量分散的、没有得到充分利用的计算能力，整合到计算高负荷的计算机或服务器上，实现全网资源统一调度使用，从而在存储、传输、运算等多个计算方面达到高效。　　
　　⑵分布式资源管理技术：信息系统仿真系统在大多数情况下会处在多节点并发执行环境中，要保证系统状态的正确性，必须保证分布数据的一致性。为了分布的一致性问题，计算机界的很多公司和研究人员提出了各种各样的协议，这些协议即是一些需要遵循的规则，也就是说，在云计算出现之前，解决分布的一致性问题是靠众多协议的。但对于大规模，甚至超大规模的分布式系统来说，无法保证各个分系统、子系统都使用同样的协议，也就无法保证分布的一致性问题得到解决。云计算中的分布式资源管理技术圆满解决了这一问题。Google公司的Chubby是最著名的分布式资源管理系统，该系统实现了Chubby服务锁机制，使得解决分布一致性问题的不再仅仅依赖一个协议或者是一个算法，而是有了一个统一的服务(service)。　　
　　⑶并行编程技术：云计算采用并行编程模式。在并行编程模式下，并发处理、容错、数据分布、负载均衡等细节都被抽象到一个函数库中，通过统一接口，用户大尺度的计算任务被自动并发和分布执行，即将一个任务自动分成多个子任务，并行地处理海量数据。　
　　对于信息系统仿真这种复杂系统的编程来说，并行编程模式是一种颠覆性的革命，它是在网络计算等一系列优秀成果上发展而来的，所以更加淋漓尽致地体现了面向服务的体系架构(SOA)技术。可以预见，如果将这一并行编程模式引入信息系统仿真领域，定会带来信息系统仿真软件建设的跨越式进步。

3、云计算特点

（1）超大规模
“云”具有相当的规模，Google云计算已经拥有100多万台服务器， Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。
（2）虚拟化
云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本电脑或者一部手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。
（3）高可靠性
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。
（4）通用性
云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。
（5）高可扩展性
“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。
（6）按需服务
“云”是一个庞大的资源池，你可按需购买；云可以像自来水、电、煤气那样计费。
（7）极其廉价
由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。
（8）潜在危险性
云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。
一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。
所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要的前提。

4、什么是集群技术

集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。
集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。

5、集群类型

scale on:纵向扩展
将服务器的内存容量调大和 CPU 数量增加些（简单说升级服务器硬件）。
缺点：在一定的范围之内它的性能是上升的趋势，但是超出范围之后就是下降的趋势。因为随着 CPU 的个数增加需要给 CPU 进行仲裁，而且随着 CPU 个数的增加资源竞争性越大。

scale out:横向扩展
一台服务器应付不过来，就再增加一台服务器。
优点：增减服务器很方便，而且没有向上扩展随着增加性能下降。
向外扩张的工作模式：当客户端向服务器端发送请求，服务器端只拿出来一台服务器来相应我们的客户端的请求。

LB:Load Balancing:负载均衡集群
负载均衡集群中有一个分发器或者叫调度器，称之为 Director，它处在多台服务器的上面，分发器根据内部锁定义的规则或调度方式从下面的服务器群中选择一个以此来响应客户端发送的请求。

HA:High Availability:高可用集群
高可用集群是服务的可用性比较高，当我们某台服务器死机后不会造成我们的服务不可用。其工作模式则是将一个具有故障的服务转交给一个正常工作的服务器，从而达到服务不会中断。一般来说我们集群中工作在前端（分发器）的服务器都会对我们的后端服务器做一个健康检查，如果发现我们服务器当机就不会对其在做转发。

6、什么是MPI

MPI是一个跨语言的通讯协议，用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口，包括协议和和语义说明，他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的主要模型。

7、什么是网格计算

网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”， 所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。

8、云计算、MPI与网格计算的区别

MPI计算是将计算切分，有主机从机，使用局域网
网格计算是将计算和数据切分混合使用
云计算是将数据切分

9、什么是计算切分/数据切分

计算分割通过存储向计算的迁移来实现的，也就是说系统先定位计算节点再将数据从集中存储设备通过网络读入计算程序所在的节点，在数据量不大时这种方法是可行的，但对于海量数据读取这种方式会很低效。
数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直（纵向）切分；另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。

10、云计算与大数据关系

大数据的对数据进行专业化处理的过程离不开云计算的支持。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要框架来向数十、数百或甚至数千的电脑分配工作。并且，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
简而言之，云计算作为计算资源的底层，支撑着上层的大数据处理。