栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop的存储策略

Hadoop的存储策略

Hadoop的存储策略
策略 ID策略名称块分布creationFallbacksreplicationFallbacks
15Lazy_PersistRAM_DISK: 1, DISK: n-1DISKDISK
12All_SSDSSD: nDISKDISK
10One_SSDSSD: 1, DISK: n-1SSD, DISKSSD, DISK
7Hot (default)DISK: n< none >ARCHIVE
5WarmDISK: 1, ARCHIVE: n-1ARCHIVE, DISKARCHIVE, DISK
2ColdARCHIVE:n< none >< none >

策略ID数值越大其存取速度越快

1、查看机器支持的异构存储策略
#查看机器支持的异构存储策略
hdfs storagepolicies -listPolicies
#----------------------------------------------------------------------------------------
Block Storage Policies:
	BlockStoragePolicy{PROVIDED:1, storageTypes=[PROVIDED, DISK], creationFallbacks=[PROVIDED, DISK], replicationFallbacks=[PROVIDED, DISK]}
	BlockStoragePolicy{COLD:2, storageTypes=[ARCHIVE], creationFallbacks=[], replicationFallbacks=[]}
	BlockStoragePolicy{WARM:5, storageTypes=[DISK, ARCHIVE], creationFallbacks=[DISK, ARCHIVE], replicationFallbacks=[DISK, ARCHIVE]}
	BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}
	BlockStoragePolicy{ONE_SSD:10, storageTypes=[SSD, DISK], creationFallbacks=[SSD, DISK], replicationFallbacks=[SSD, DISK]}
	BlockStoragePolicy{ALL_SSD:12, storageTypes=[SSD], creationFallbacks=[DISK], replicationFallbacks=[DISK]}
	BlockStoragePolicy{LAZY_PERSIST:15, storageTypes=[RAM_DISK, DISK], creationFallbacks=[DISK], replicationFallbacks=[DISK]}
#----------------------------------------------------------------------------------------
2、COLD

COLD存储策略主要用于存储冷数据,存储类型是ARCHIVE

BlockStoragePolicy{
    COLD:2,
    storageTypes=[ARCHIVE],
	creationFallbacks=[],
	replicationFallbacks=[]
}
3、Warm

Warm存储策略主要用于存储半热半冷数据,存储类型是DISK和ARCHIVE

BlockStoragePolicy{
	WARM:5, 
	storageTypes=[DISK, ARCHIVE], 
	creationFallbacks=[DISK, ARCHIVE], 
	replicationFallbacks=[DISK, ARCHIVE]
}
4、HOT

HOT存储策略主要用于存储热数据,存储类型是DISK

BlockStoragePolicy{
	HOT:7, 
	storageTypes=[DISK], 
	creationFallbacks=[], 
	replicationFallbacks=[ARCHIVE]
}
5、ONE_SSD

ONE_SSD的存储策略就是将一个主数据放在SSD介质上,其他备份文件放在DISK上。这是HDFS的默认数据存储策略

BlockStoragePolicy{
	ONE_SSD:10, 
	storageTypes=[SSD, DISK], 
	creationFallbacks=[SSD, DISK], 
	replicationFallbacks=[SSD, DISK]
}
6、ALL_SSD

这个数据的存储策略就是,将数据全部存储在SSD介质上,包括备份数据的数据,当SSD空间不足时才采取将数据放在DISK上

BlockStoragePolicy
	ALL_SSD:12, 
	storageTypes=[SSD], 
	creationFallbacks=[DISK], 
	replicationFallbacks=[DISK]
}
7、LAZY_PERSIST

LAZY_PERSIST的存储策略就是将新建的数据块放在RAM_DISK上,而备份的数据放在DISK上。RAM_DISK为随机读写磁盘,其是内存的主要构成单元,因此LAZY_PERSIST存储策略的数据其读写速度最快。

BlockStoragePolicy{
	LAZY_PERSIST:15, 
	storageTypes=[RAM_DISK, DISK], 
	creationFallbacks=[DISK], 
	replicationFallbacks=[DISK]
}
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/728281.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号