阿里云大数据平台主要应用(阿里巴巴运用大数据包括什么)

介绍

大数据型实例规格族旨在解决大数据时代下海量业务数据的云上计算和存储难题，适用于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务对实例存储性能、容量和内网带宽等方面要求。

大数据型实例规格族适合有大数据计算与存储分析需求的行业客户，例如互联网行业、金融行业等。同时，结合以Hadoop为代表的分布式计算业务的高可用架构，大数据型实例采用本地存储的设计，保证海量存储空间、高存储性能。

特点

基于企业级架构提供稳定计算能力，为高效处理计算作业提供保障。

网络性能更高（包括单实例最大内网带宽和最大小包转发率），满足业务高峰期实例间的数据交互需求，例如MapReduce计算框架下的Shuffle过程。

单磁盘顺序读写性能达190 MB/s（首次创建实例时，磁盘需要预热才能达到最高性能），单实例存储吞吐能力最大5 GB/s，缩短HDFS文件读取和写入时间。

本地存储价格比SSD云盘降低97%，大大降低Hadoop集群建设成本。

使用大数据实例时请注意：

不支持变配和宕机迁移。

本地盘与特定规格的实例相绑定，本地盘的数量和容量由您选择的实例规格决定。不支持单独购买本地盘，不支持将本地盘卸载并挂载到另一台实例上使用。

本地盘不支持快照功能。如果您需要为本地盘实例创建包含系统盘和数据盘的镜像，建议通过组合系统盘快照和数据盘（仅限云盘）快照的方式来创建。

不支持基于实例ID创建包含系统盘和数据盘的镜像。

支持挂载SSD云盘，挂载的云盘支持扩容。

操作本地盘实例可能对本地盘数据产生影响，详情请参见实例操作对本地盘数据的影响。

大数据实例文件系统挂载最佳实践

使用ext4等文件系统，首次执行mount操作时需要初始化inode table。在Linux的2.6.37及更高的内核版本中，默认启用了lazyinit特性，导致inode table初始化会延迟到mount后，且本地盘在初始化时会占用较大吞吐量（例如30个本地盘的吞吐量可能高达600 MB/s），影响业务稳定性。4.x版本内核中增加了lazyinit并发度，可以缓解该问题，详情请参见社区。ECS推荐以下最佳实践，使您在相对较快的时间内完成初始化：

1. 获取所有SATA HDD本地盘列表。
2. 运行以下命令，为每个本地盘开启独立的后台初始化。

   本示例中，在设备名为/dev/vdb的本地盘上创建ext4文件系统。

   mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &

3. 等待所有本地盘完成初始化，并运行iostat -x 5，直至所有本地盘的I/O活动显示为0。
4. 批量执行mount操作。

大数据计算密集型实例规格族d3c

d3c的特点如下：

实例配备大容量、高吞吐本地盘，辅以最大32 Gbit/s实例间网络带宽

支持在线更换坏盘，支持热插拔坏盘，避免导致实例停机如果单块本地盘出现故障，您会收到系统事件，确认响应事件即可发起坏盘修复流程，更多说明请参见本地盘实例运维场景和系统事件。

注意 确认发起坏盘修复流程后，坏盘中的数据不可恢复。

计算：

处理器：采用第三代Intel ® Xeon ® 可扩展处理器（Ice Lake），主频2.7 GHz，全核睿频3.5 GHz，计算性能稳定

存储：

I/O优化实例

支持ESSD云盘、SSD云盘和高效云盘

网络：

支持IPv6

实例网络性能与计算规格对应（规格越高网络性能越强）

适用场景：

Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景

EMR JindoFS配合OOS实现大数据冷热数据分层和存储计算分离的场景

Spark内存计算、MLlib等机器学习场景

ElasticSearch、Kafka等搜索和日志数据处理场景

d3c包括的实例规格及指标数据如下表所示。

实例规格	vCPU	内存（GiB）	本地存储（GiB）	网络基础带宽/突发（Gbit/s）	网络收发包PPS（万）	多队列	弹性网卡	单网卡私有IP
ecs.d3c.3xlarge	14	56.0	1 * 16000	8/最高10	160	8	8	30
ecs.d3c.7xlarge	28	112.0	2 * 16000	16/最高25	250	16	8	30
ecs.d3c.14xlarge	56	224.0	4 * 16000	32/无	500	28	8	30
ecs.d3c.16xlarge	64	256.0	4 * 16000	32/无	500	32	8	30

大数据计算密集型实例规格族d2c

d2c的特点如下：

实例配备大容量、高吞吐SATA HDD本地盘，辅以最大35 Gbit/s实例间网络带宽

支持在线更换坏盘，支持热插拔坏盘，避免导致实例停机如果单块本地盘出现故障，您会收到系统事件，确认响应事件即可发起坏盘修复流程

注意 确认发起坏盘修复流程后，坏盘中的数据不可恢复。

计算：

处理器：2.5 GHz主频的Intel ® Xeon ® Platinum 8269CY（Cascade Lake）

存储：

I/O优化实例

支持ESSD云盘、SSD云盘和高效云盘

网络：

支持IPv6

实例网络性能与计算规格对应（规格越高网络性能越强）

适用场景：

Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景

EMR JindoFS配合OOS实现大数据冷热数据分层和存储计算分离的场景

Spark内存计算、MLlib等机器学习场景

ElasticSearch、Kafka等搜索和日志数据处理场景

d2c包括的实例规格及指标数据如下表所示。

实例规格	vCPU	内存（GiB）	本地存储（GiB）	网络带宽（Gbit/s）	网络收发包PPS（万）	多队列	弹性网卡	单网卡私有IP
ecs.d2c.6xlarge	24	88.0	3 * 4000	12.0	160	8	8	20
ecs.d2c.12xlarge	48	176.0	6 * 4000	20.0	200	16	8	20
ecs.d2c.24xlarge	96	352.0	12 * 4000	35.0	450	16	8	20

大数据存储密集型实例规格族d2s

d2s的特点如下：

实例配备大容量、高吞吐SATA HDD本地盘，辅以最大35 Gbit/s实例间网络带宽

支持在线更换坏盘，支持热插拔坏盘，避免导致实例停机如果单块本地盘出现故障，您会收到系统事件，确认响应事件即可发起坏盘修复流程，

注意 确认发起坏盘修复流程后，坏盘中的数据不可恢复。

计算：

处理器：2.5 GHz主频的Intel ® Xeon ® Platinum 8163（Skylake）

存储：

I/O优化实例

支持ESSD云盘、SSD云盘和高效云盘

网络：

支持IPv6

实例网络性能与计算规格对应（规格越高网络性能越强）

适用场景：

Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景

Spark内存计算、MLlib等机器学习场景

ElasticSearch、Kafka等搜索和日志数据处理场景

d2s包括的实例规格及指标数据如下表所示。

实例规格	vCPU	内存（GiB）	本地存储（GiB）	网络带宽（Gbit/s）	网络收发包PPS（万）	多队列	弹性网卡	单网卡私有IP
ecs.d2s.5xlarge	20	88.0	8 * 7300	12.0	160	8	8	20
ecs.d2s.10xlarge	40	176.0	15 * 7300	20.0	200	16	8	20
ecs.d2s.20xlarge	80	352.0	30 * 7300	35.0	450	32	8	20

大数据网络增强型实例规格族d1ne

d1ne的特点如下：

实例配备大容量、高吞吐SATA HDD本地盘，辅以最大35 Gbit/s实例间网络带宽

计算：

处理器与内存配比为1:4，为大数据场景设计

处理器：2.5 GHz主频的Intel ® Xeon ® E5-2682 v4（Broadwell）

存储：

I/O优化实例

仅支持SSD云盘和高效云盘

网络：

支持IPv6

实例网络性能与计算规格对应（规格越高网络性能越强）

适用场景：

Hadoop MapReduce、HDFS、Hive、Hbase等

Spark内存计算、MLlib等

ElasticSearch、日志等

d1ne包括的实例规格及指标数据如下表所示。

实例规格	vCPU	内存（GiB）	本地存储（GiB）	网络带宽（Gbit/s）	网络收发包PPS（万）	多队列	弹性网卡	单网卡私有IP
ecs.d1ne.2xlarge	8	32.0	4 * 5500	6.0	100	4	4	10
ecs.d1ne.4xlarge	16	64.0	8 * 5500	12.0	160	4	8	20
ecs.d1ne.6xlarge	24	96.0	12 * 5500	16.0	200	6	8	20
ecs.d1ne-c8d3.8xlarge	32	128.0	12 * 5500	20.0	200	6	8	20
ecs.d1ne.8xlarge	32	128.0	16 * 5500	20.0	250	8	8	20
ecs.d1ne-c14d3.14xlarge	56	160.0	12 * 5500	35.0	450	14	8	20
ecs.d1ne.14xlarge	56	224.0	28 * 5500	35.0	450	14	8	20

大数据型实例规格族d1

d1的特点如下：

实例配备大容量、高吞吐SATA HDD本地盘，辅以最大17 Gbit/s实例间网络带宽

计算：

处理器与内存配比为1:4，为大数据场景设计

处理器：2.5 GHz主频的Intel ® Xeon ® E5-2682 v4（Broadwell）

存储：

I/O优化实例

仅支持SSD云盘和高效云盘

网络：

实例网络性能与计算规格对应（规格越高网络性能越强）

适用场景：

Hadoop MapReduce、HDFS、Hive、Hbase等

Spark内存计算、MLlib等

互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和计算的业务场景

ElasticSearch、日志等

d1包括的实例规格及指标数据如下表所示。

实例规格	vCPU	内存（GiB）	本地存储（GiB）	网络带宽（Gbit/s）	网络收发包PPS（万）	多队列	弹性网卡	单网卡私有IP
ecs.d1.2xlarge	8	32.0	4 * 5500	3.0	30	1	4	10
ecs.d1.3xlarge	12	48.0	6 * 5500	4.0	40	1	6	10
ecs.d1.4xlarge	16	64.0	8 * 5500	6.0	60	2	8	20
ecs.d1.6xlarge	24	96.0	12 * 5500	8.0	80	2	8	20
ecs.d1-c8d3.8xlarge	32	128.0	12 * 5500	10.0	100	4	8	20
ecs.d1.8xlarge	32	128.0	16 * 5500	10.0	100	4	8	20
ecs.d1-c14d3.14xlarge	56	160.0	12 * 5500	17.0	180	6	8	20
ecs.d1.14xlarge	56	224.0	28 * 5500	17.0	180	6	8	20