欢迎访问 生活随笔！
TAG聚合

生活随笔

当前位置： 首页 > 编程资源 > 编程问答 >内容正文

编程问答

11.云计算平台（数据科学概论）

发布时间：2023/12/14 编程问答 63 豆豆
生活随笔 收集整理的这篇文章主要介绍了 11.云计算平台（数据科学概论） 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

前言：基于人大的《数据科学概论》第十一章。主要内容为云计算的概念与特点、云计算与大数据处理的关系、云计算类型与典型系统、虚拟化技术与数据中心、主流产品与特点、OpenStack开源虚拟化平台、主流厂商的云计算产品。

一、云计算的概念与特点

（1）云计算的概念

根据维基百科，云计算也称为按需计算，它是提供对可配置的、共享的计算资源池的按需存取的一种计算模型，这里的资源包括计算、存储、网络等硬件资源。

云计算并不是一种全新的计算模型，它是并行计算、分布式计算、以及网络计算发展的新阶段。

（2）云计算的特点

  • 虚拟化
  • 弹性
  • 成本低廉
  • 高度容错性和高度可靠性

    • （3）云计算与并行计算、分布式计算、集群计算、网格计算的区别和联系

    • 并行计算是相对于串行计算来讲的，可以分为时间上的并行和空间上的并行
    • 分布式计算通过把整个计算任务，分解成一系列的小任务，分布到各个节点（计算机）上分别执行，最后把结果合并，获得最终结果。分布式计算的侧重点，在于任务的划分。
    • 集群计算，通过高速网络把一组本来松散联系的节点（计算机），通过软件紧密联系起来，协作完成计算工作。
    • 我们把网格计算作为集群计算的一种类型。也可以看作是一类分布式计算。网络计算把大量异构计算节点的资源（CPU计算资源、磁盘存储资源）组织起来，构成一台虚拟的、大的计算机，为解决大规模的计算（包括数据处理）问题，提供计算平台的支持。

    云计算是上述技术发展的新阶段，其底层的核心技术是虚拟化，即把计算、存储、网络等硬件都进行虚拟化。在硬件资源基础之上，利用虚拟化技术，提供不同层次的对外服务，包括基础设施作为服务、平台作为服务、以及软件作为服务。

    二、云计算与大数据处理的关系

    大数据具有数据规模大、数据类型多样、数据生成速度快等几个主要的特点。

    • 把大数据分布到大量的节点上，通过各个节点的并行处理，才能实现大数据的快速有效处理。这是一种横向扩展的方式。
    • 云计算以其动态扩展能力、高度的容错性能和可靠性，成为大数据处理的理想平台。

    三、云计算类型与典型系统

    按照服务类型，云计算可以分为三类

    • 基础设施作为服务（Infrastructure as a Service，简称 laaS）
    • 平台作为服务（Platform as a Service，简称PaaS）
    • 软件作为服务（Software as a Service，简称SaaS）

    云计算与Hadoop、Spark是什么关系？

    • 一些大数据处理系统，可以安装到云计算平台的虚拟节点（或者虚拟集群上），以PaaS的形式提供对外服务。
    • 在此，我们认为把物理节点通过虚拟化技术，对外提供laaS服务，可以称为云计算。
    • 但是Hadoop或者Spark软件本身，不能称为云计算。他们是支持大数据处理的分布式软件系统，这些软件如果安装在物理机构成的集群上，那么就不能称为云计算了。

    四、虚拟化技术与数据中心

    云计算的核心技术是虚拟化技术

    （1）服务器虚拟化

    服务器虚拟化，指的是把一台物理服务器虚拟成若干个独立的逻辑服务器，各个逻辑服务器拥有自己的CPU、内存、以及I/O设备。服务器虚拟化可以采用两种形式，分别是寄居虚拟化以及裸机虚拟化。

    （2）存储虚拟化

    • 存储虚拟化，其目的是把分散的，异构的存储设备，想办法映射成一个统一的、连续编址的逻辑存储空间。
    • 存储虚拟化有三种不同的实现方式，分别是基于主机的存储虚拟化、基于存储设备的存储虚拟化、以及基于网络的存储虚拟化。

    （3）网络虚拟化

    网络虚拟化在不改变数据中心网络的物理拓扑和布线的情况下，可以虚拟出各层网络，并且实现互联，形成统一的交换架构。

    网络虚拟化，包括核心层、接入层、以及虚拟机网络虚拟化三个层次。

    （4）数据中心

    • 数据中心首先由Google、Facebook、Amazon等大型互联网公司，为适应其业务发展的需要而建设。大型的数据中心，可以集中超过10万台服务器。
    • 数据中心的主要特点和优势是，通过服务器虚拟化、存储虚拟化、网络虚拟化、应用虚拟化等技术，数据中心把各种硬件资源进行整合，对外提供服务，提高设备的利用率。
    • 数据中心一般采取了冗余、容错、容灾的设计，提供不间断的服务，满足业务连续性的要求

    五、主流产品及其特点

    • VMWare
    • Hyper-V
    • KVM
    • XEN

    六、OpenStack开源虚拟化平台

    Openstack是一款开源的虚拟化平台软件

    • OpenStack Dashboard(Horizon)，这是Openstack的Web用户管理界面
    • Openstack Compute(Nova)，Nova是虚拟机创建和管理模块
    • Openstack Image Management(Glance)，Glance是Openstack的虚拟机影像(Image)管理模块
    • Openstack Object Store(Swift)，Swift是对象存储管理器
    • Openstack Block Storage(Cinder)，Cinder是Openstack的磁盘块设备(Block Device)虚拟化软件模块
    • Openstack Network(Quantum)，Quantum提供了“网络连接作为服务”(Network Connectivity as a Service)的功能
    • Openstack Identity Service(Keystone)，Keystone模块负责管理用户，对用户进行身份认证(Authentication)和授权(Authorization)

    七、主流厂商的云计算产品和服务

    （1）Amazon

    • Dynamo
    • EC2
    • S3
    • SimpleDB
    • RDS
    • SQS
    • Amazon EMR

    （2）微软

    • Windows Azure
    • SQL Azure
    • Azure App Fabric

    （3）Google

    • GFS
    • MapReduce
    • Big Table
    • percolator
    • Pregel
    • …

    （4）阿里云

    • 弹性计算服务

    • 数据存储服务

    • 存储与CDN服务

    • 大规模计算服务

    • MapReduce

    • Big Table

    • percolator

    • Pregel

    • …

    （4）阿里云

    • 弹性计算服务
    • 数据存储服务
    • 存储与CDN服务
    • 大规模计算服务

    总结

    以上是生活随笔为你收集整理的11.云计算平台（数据科学概论）的全部内容，希望文章能够帮你解决所遇到的问题。

    如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。