产品概述

美团云云硬盘(Elastic Block Storage,EBS)为主机实例提供块级别的弹性存储卷服务。EBS 是网络连接的持久化独立存储设备,不受主机实例的生命周期影响。

EBS 创建在某个可用区中,大小限制在10GB 到 32TB之间(如有更大容量需求,可以发工单联系客服),可连接到同一可用区云主机上,连接成功之后,EBS 可以看作一个挂载的设备,和其它硬盘或块设备没有什么区别。云主机实例可以像操作本地磁盘一样使用,格式化磁盘为某种文件系统或者直接使用。

EBS 在某一时间段内只能挂载到一个云主机实例,但一个云主机实例可以挂载多个 EBS实例。这样用户可以在一个云主机实例上挂载多个 EBS实例,并将数据分散存储在这些盘上,以提升云主机的I/O和吞吐性能。这尤其适合数据库类型的应用,因为在数据集内有大量的随机读写操作。遇到特定的业务场景,比如云主机实例故障时,用户可以快速卸载EBS卷,并将其挂载到相同可用区的其它云主机实例上。

产品架构

现有分布式存储系统总体架构可以分为有master(元数据服务器)和无master两大类。美团EBS的总体架构使用有master的类型,有master架构在技术上较为简单清晰,块存储系统对master的性能压力不大。这一架构与Google FSHDFSMooseFS等系统的架构属于同一类型。

如图1所示,美团EBS系统包括M、S和C三个部分,分别代表Master、Chunk Server和Client。Master中记录的元数据包括3种:(1)关于volume的信息,如类型、大小、创建时间、包含哪些数据chunk等等;(2)关于chunk的信息,如大小、创建时间、所在位置等;(3)关于Chunk Server的信息,如IP地址、端口、数据存储量、I/O负载、空间剩余量等。这3种信息当中,关于volume的信息是持久化保存的,其余两种均为暂存信息,通过Chunk Server上报。

                                 图美团EBS系统总体架构

Client通过Master创建/修改关于volume的信息,或者从Master获取关于volume的信息,以及关于chunk的信息和关于Chunk Server的信息,然后直接与Chunk Server建立连接,并传输卷内的用户数据。系统中C-M以及C-S之间的连接均为按需建立,而S-M之间的连接则需要长期保持,并定期发送心跳数据,以保持相互之间的信息更新。

1.Master

 

                       图2  Master的组成

如图2所示,对于持久化存储的volume元数据,masterriak分布式数据库来存储,同时利用riak在数据可靠性、可用性方面的能力来保证volume元数据服务的可靠性和可用性。对于非持久化存储的chunkChunk Server信息,master采用redis来进行存储

2.Chunk Server 

Chunk Server是存储节点,负责管理分配数据块,保存用户数据。Chunk Server一方面主动向Master发送心跳并更新Chunk信息,另一方面被动地对外提供chunk数据访问服务。Chunk Server对外提供一系列chunk操作命令,如创建、读取、写入、删除等等。美团云EBS采用每份数据冗余三份的方式来保存用户数据以保障数据安全。

3.Client

Client端按照功能层次自底向上可以划分为:chunk层、volume层和cache层(可选)。Chunk访问层向上提供单个chunk的创建、删除、维护以及读写访问等功能。Volume向上提供volume的创建、删除、快照、维护以及读写访问等功能。volume层需要从Master获取卷的结构和组成信息,或者操作、更新这些信息,并回写至Master。在读写访问卷的时候,volume层根据上述信息将请求转换成为多个chunk层的访问请求。Cache层提供本地的持久化缓存功能,以降低I/O延迟、网络通信开销以及服务端I/O开销。  

产品对比

优势
云硬盘EBS
传统SAN存储
开源社区方案
扩展性

用户可以自由配置存储容量,按需扩容,且无须中断业务

单卷实例容量为10-32000GB,单云主机累计可挂载6块云硬盘,累计达192TB的存储,EBS集群存储容量无上限,高效应对TB/PB级数据的大数据处理场景

存储硬件采购时间长,机房机位扩展限制等影响快速扩容能力

开源方案无法做到存储容量的无限扩容,自己维护分布式存储集群费时费力

性能

针对不同的业务场景,美团云EBS提供不同性能的产品服务

IO优化型卷:单卷提供24000随机IOPS,320MB/s吞吐,适用于同时需要高IO和高吞吐的业务场景

普通型卷:单卷提供4500随机IO,150MB/s吞吐,能满足一般业务的吞吐和IO场景

容量型卷:单卷1000随机IO,100MB/s吞吐。非常适用于性能要求不高,但存储可靠性要求高的业务

需要购买IBM、EMC等厂商的高端存储,价格高昂

开源分布式架构中的replicia副本算法,在集群新增、删除服务器节点时,会引发全局的数据重新均衡,引起性能、可靠性的急剧下降

可靠性

EBS采用分布式存储策略,三副本数据全部落盘,才会返回写入成功。后台数据复制机制能够保证任何一个副本故障时快速进行数据迁移恢复,时刻保证用户数据3份副本可用,美团云EBS提供99.9999999%的可靠性,处于业界领先水平,保障您的核心数据安全

本地数据盘RAID方案、本地阵列冗余机制,存在数据单点问题,数据丢失之后无法回溯;EMC、IBM厂商提供的存储方案,需要购买昂贵的物理设备和服务,运行维护成本非常高

数据可靠性与性能无法兼顾;开源社区的持续更新、迭代有限,无法满足企业级存储服务的要求

易用性

简单的界面操作实现挂载、卸载云硬盘。EBS卷可以看成一个原始的、未格式化的块设备

需要运维人员人工管理硬盘、存储池、LUN、目标器、启动器、CHAP等,操作复杂且易出错

开源社区方案种类繁多,没有统一标准,使用成本较高

质优价廉

美团云EBS是业界极具性价比的存储服务,采用按需付费方式,根据业务需要购买相应容量磁盘,最大程度降低使用成本

需要购买高端SAN存储,价格高昂

质量无法保证,运维成本高

产品性能

项目 IO优化型云硬盘 吞吐优化型卷(即将推出) 普通型云硬盘 容量型云硬盘
产品描述

专用于对延迟敏感的交易型工作负载的最高性能 SSD 卷

专用于拥有大型数据集和 I/O 且会频繁访问的吞吐量密集型工作负载 I/O 和吞吐性能均衡的超高性价比 HDD 盘

专用于非频繁访问的工作负载的最低成本 HDD 盘

细分场景

适用于 I/O 密集型应用。

适用于 I/O 密集型 NoSQL 数据库和关系数据库,提供稳定的高随机 IOPS 性能。

适应于吞吐密集型应用

适用于绝大多数的 I/O 场景,在同类型产品中性能卓越、价格低廉,是性价比之选;

适用于数据库、 Web 服务器等,提供长期的稳定 I/O 性能输出能力。

价格低廉,具有与“普通型云硬盘”相同的数据持久性,可用作重要业务的冷数据备份及归档;

适用于大文件顺序读写场景,如数据备份、日志流水、流媒体服务、数据仓库等。可同时挂载多块硬盘,提升吞吐率。

产品规格

IOPS峰值:24000

吞吐峰值:320MBps

规格:10GB - 32TB

访问时延 :小于3ms

 

IOPS峰值:1000

吞吐峰值:500MBps

规格:10GB - 32TB

访问时延 :小于3ms

 

IOPS峰值:4500

吞吐峰值:150MBps

规格:10GB - 2TB

访问时延:小于3ms

IOPS峰值:数百 - 1000

吞吐峰值:100MBps

规格:10GB - 32TB

访问时延 :小于10ms

服务承诺  数据持久性:三副本实时落盘,持久性达99.9999999%  数据持久性:三副本实时落盘,持久性达99.9999999% 数据持久性:三副本实时落盘,持久性达99.9999999% 数据持久性:三副本实时落盘,持久性达99.9999999%
产品定价

按需计费:0.00139元/G/小时

按月折算:1.0元/G/月

待定 

按需计费:0.00042元/G/小时

按月折算:0.3元/G/月

按需计费:0.00021元/G/小时

按月折算:0.15元/G/月

产品可用性

美团云云硬盘采用分布式三副本服务可用性为99.95%,数据可靠性为99.9999999%。若服务可用性没有达到承诺,将按照服务赔偿条款进行赔付。

产品特性

安全可靠

EBS 采用分布式存储策略,三副本数据全部落盘,才会返回写入成功。后台数据复制机制能够保证任何一个副本故障时快速进行数据迁移恢复,时刻保证用户数据3份副本可用,美团云EBS提供99.9999999%的可靠性,处于业界领先水平,保障您的核心数据安全。

弹性扩展

无需中断业务,随时扩容磁盘,集群容量无上限,可充分满足PB级数据业务场景

批量部署

对既有云主机的系统盘创建系统盘镜像,同时对数据盘创建数据盘模板,利用系统盘的自定义镜像和数据盘的模板,可快速复制一个或多个与现有云主机相同的云主机实例,即将一台服务器上配好的服务也自动复制到新的服务器上,实现业务的快速批量部署。

简单易用

简单的界面操作实现挂载、卸载云硬盘。EBS 实例可以看成一个原始的、未格式化的块设备

质优价廉

采用按需付费方式,根据业务需要购买相应容量磁盘,最大程度降低成本

应用场景 

场景一、普通型卷应用场景

普通型卷适合为中等或突发 I/O 需求的应用提供存储服务。普通型实例支持的平均IOPS为2500至4500之间,吞吐量为150MBps。普通型实例适用于中小型数据库、web服务器等,提供长期的稳定IO性能输出。 

场景二、容量型卷应用场景

容量型卷价格低廉,具有与普通型卷相同的数据持久性,可用作重要业务的冷数据备份及归档,单磁盘容量达32TB;它非常适用于非频繁访问且拥有大型冷数据集的工作负载,在数据备份、数据仓储等业务场景下有非常好的适应性。

场景三、IO 优化型卷应用场景

IO优化型卷适用于 I/O 密集型业务,并提供超高的长期稳定的单磁盘性能;支持核心数据库业务、大型 OLTP 业务以及对 I/O 性能有极高要求的业务,如 Oracle、Mysql、Postgresql、MongoDB、SQL Server 等。

场景四、吞吐优化型卷应用场景(即将推出)

吞吐优化型卷是专用于频繁访问的吞吐量密集型工作负载的低成本 HDD 卷,适用于大文件顺序读写场景,如日志流水、流媒体业务,数据仓储等,满足hadoop框架下的TB级,海量数据离线分析的需求等。