英特尔® 傲腾? 长期内存是一款革命性的长期内存产品,补齐了DRAM与磁盘之间的需求缺口,重构内存/存储条理架构,集大容量、经济性和长期性于一身,资助用户优化数据中心基础设施,满足大数据剖析、数据库、云与虚拟化、漫衍式存储等多种应用场景需求。为了资助用户通过傲腾长期内存来实现应用立异优化,助力企业业务系统实现性能突破,pg电子官网宣布了基于英特尔® 傲腾? 长期内存的多种场景计划,本计划是基于英特尔® 傲腾? 长期内存200系列的IPFS应用计划。
作为一种面向全球的点对点漫衍式文件系统,星际文件系统(Inter-Planetary File System,IPFS)凭借去中心化、开放、宁静性与透明性高等优势,已经成为一个流行的网络存储协议。它是一个类似 HTTP 协议的互联网底层协议,已被乐成应用于数据存储、文件传输、网络视频、社交媒体、去中心化交易等各个领域。在这些技术趋势的推动下,基于 IPFS 网络的相关 Filecoin(FIL)工业也在不绝壮大。
为了推动 IPFS 行业的生长,并助力 IPFS 效劳提供商获取更多的价值,pg电子官网与英特尔协作,推出了搭载第三代英特尔® 至强® 可扩展处理器、英特尔® 傲腾? 长期内存200系列的基于区块链的高算力漫衍式存储解决计划。该解决计划具备高性能、低总体拥有本钱(TCO)、高扩展性、高稳定性与可用性等优势,能够更高效地推动 IPFS 业务的拓展与应用。
挑战:化解 IPFS保存的性能瓶颈
数字技术的立异与数字经济的快速生长带来了存储需求的爆发式增长,这让基于 IPFS 的长期且漫衍式存储应用获得了巨大的增长空间。业界人士预计,目今 IPFS 在世界上拥有的总有效算力将在未来5-6年内,从2.959EiB提升到1ZiB。这意味着IPFS Filecoin业务在可预期的未来,将会带来高额且稳定的收益。
关于IPFS Filecoin业务,构建漫衍式盘算与存储集群至关重要。要满足此需求,效劳提供商不但需要安排性能强大、性价比突出的CPU、GPU、存储、内存等焦点硬件,还需要基于IPFS应用需求对系统进行深度优化与定制,以提供越发简化的运维,更高的稳定性与可用性,在提升IPFS Filecoin产出的同时,降低系统不可用所带来的损失。
其中效劳提供商在构建IPFS Filecoin解决计划的历程中,面临提供大容量且经济的内存池问题,IPFS Filecoin在进行数据读写时,数据将暂时存储在内存上, 因此内存容量的巨细将直接影响IPFS Filecoin的读写性能和整体产出。但与此同时,大规模的IPFS Filecoin集群意味着需要构建海量空间的内存池,将带来巨大的本钱压力。
英特尔® 傲腾? 长期内存立异性解决计划新增内存扩展方法专为突破效劳器内存容量限制而优化,补齐了DRAM内存与磁盘之间的需求缺口,打造高性能、大容量的长期内存层,有助于越发高效地挖掘数据的潜在价值。
图1:英特尔® 傲腾? 长期内存存储层
英特尔®傲腾?长期内存新一代产品200系列(Barlow Pass,即BPS)基于第三代英特尔®至强®可扩展处理器优化,容量有128GB、256GB和512GB三种。相关于上一代100系列产品,Ice Lake平台单颗CPU最大可支持到4TB容量,内存频率提升至3200MT/Sec,单通道平均性能提升25%。
英特尔®傲腾?长期内存200系列具有两种事情模式:内存模式(MM)和App Direct 模式(AD)
内存模式,CPU内存控制器将所有英特尔®傲腾?长期内存200系列视为易失性系统内存(无数据长期性),以更低的本钱提供更大的内存容量,无需更改应用,并且性能接近DRAM。
App Direct模式,能够实现较大内存容量和数据长期性,支持长期内存编程,软件和应用能够直接与英特尔®傲腾?长期内存通信,降低了货仓的庞大性,并充分利用缓存一致性的字节可寻址特性,将长期内存的使用扩展到外地节点之外;App Direct模式提供一致的低延迟,同时支持更大的数据集。
图2:英特尔®傲腾?长期内存事情模式
本计划使用英特尔® 傲腾? 数据中心级长期内存扩展内存容量,解决效劳器内存缺乏的问题,可以显著降低企业TCO。本计划接纳傲腾长期内存的内存模式,内存模式具有容量大、本钱低、易用性等特点。设备即插即用,不需要客户业务系统做任何修改。
计划验证:英特尔® 傲腾? 内存性能优势显著
pg电子官网针对业界主流的P2疏散架构(图3)进行计划验证,凭据每台效劳器P1阶段每天的64G扇区吞吐量作为权衡指标,选择3种配置计划进行比较(如表1),使用针对Intel cpu优化过的lotus进行压力测试,该版本是在开源版lotus基础上进行了优化。
图2:P2疏散架构
本次BPS计划测试分为2T DRAM计划、2T BPS计划和4T BPS计划,凭据Intel优化版,一个扇区任务需要3个焦点,且64G扇区在P1阶段需占用2倍内存,因此,P1阶段CPU焦点数和内存容量容易泛起瓶颈,2T BPS计划使用64G扇区14任务并行,此时占用42个焦点,需要在每颗CPU下均挂载2个NVMe。4T BPS计划使用64G扇区30任务并行,此时占用90个焦点。本次测试,使用单CPU模拟双路性能。
2T DRAM(基准) |
2T BPS |
4T BPS |
|
CPU |
Intel Icelake 6346*2 |
Intel Icelake 8358*2 |
|
Memory |
32*64GB DDR4 |
16*32GB DDR4 |
16*64GB DDR4 |
BPS |
- |
16*128GB BPS |
16*256GB BPS |
SSD |
4*7.6T KIOXIA CM6 |
||
GPU |
1*NV 3090 |
||
并行任务 |
64G 扇区14任务 |
64G 扇区14任务 |
64G 扇区30任务 |
表1:配置比照表
测试结果如下:
配置 |
2T DRAM |
2T BPS |
4T BPS |
P1耗时 |
370分钟 |
472分钟 |
472分钟 |
表2:测试结果表
使用每天每台效劳器封装的P1容量巨细进行3个计划横向比较,2T DRAM计划的每天P1封装吞吐量为(24h*60/370分钟)*64GB=3487GB, 2T BPS计划的每天P1封装吞吐量为(24h*60/409分钟)*64GB=3154.6GB,4T BPS计划的每天P1封装吞吐量为(24h*60/472分钟)*64GB=5,857.6GB。
图4:性能比照图
2T BPS计划性能是2T DRAM计划的90.5%,但2T BPS计划的整机价格却低于2T DRAM计划,具有明显的本钱优势。
4T BPS计划吞吐量是2T DRAM计划的168%,并且受限于DRAM容量巨细,双路AMD效劳器最大只有2T内存,要抵达4T内存只能使用2台双路效劳器,4T BPS计划在空间和能耗上比2T DRAM计划有更大优势,因此将带来更多的本钱节约,这在目今企业数据爆发式增长、在大数据方面的投入逐渐增大的配景下,显然具有重要意义。