hdfs架构,什么样的数据架构才能满足ZB时代数据存储需求

2019年，存储市场受到需求放缓、价格下跌、库存积压等不利因素的影响，但并不影响存储市场需求的持续增长和产品技术的不断提升。在近日于深圳举行的闪存市场峰会(CFMS 2019)上，西部数据公司高级副总裁兼中国区总经理Steven Craig发表了“ZB时代的数据存储核心架构——机遇、挑战与阶段”的主题演讲。史蒂文在演讲中还对存储市场的前景表示乐观，他认为NAND闪存市场将在年底恢复上升趋势。图1:西部数据公司高级副总裁兼中国区总经理Steven Craig认为n and闪存将重拾升势。存储技术之所以跟不上数据生成的速度，是因为他看到数据生成量在上升。2018年产生了约32ZB的数据。ZB的概念是什么？我们现在的手机存储容量一般是64GB，1ZB=1024 EB=10241024 Pb=10241024 TB=102410241024 GB，也就是1040GB，也就是1万亿GB左右。这是一个巨大的数字。到2023年，预计将产生103ZB的数据史蒂文克雷格进一步指出。这些数据主要来源于末端的边缘数据，边缘整合的数据，云端处理转换的智能信息。在史蒂文克雷格看来，这些看似庞大的数据，实际上只有一小部分会被存储。比如2018年数据存储容量约为5ZB，占生成数据的15%；预计到2023年，存储的数据约为12ZB，占生成数据的11%，其他数据将丢失，永远无法找回。保存的数据如此之少是有原因的。其中一个重要原因就是我们的存储技术和设备没有跟上数据增长的新趋势。因此，史蒂文克雷格指出，“我们必须改变思维模式，为未来更大规模的数据存储做准备，并准备好相关技术。”图2:2018年产生的数据为32ZB，存储的数据量为5ZB；预计2023年将产生103ZB的数据。主流的3D NAND闪存已经达到96层，还是不够。随着数据量的急剧增加，主流存储技术也在飞速进步。从2014年的24楼到2016年的48楼，到2017年的64楼，到2018年的96楼，再到明年的1XX楼，3D NAND闪存的技术更新越来越快。图3:快速发展的3:NAND闪存技术。但史蒂文克雷格在主题演讲中也提到，单纯增加楼层数看似简单，实际上并没有帮助生产企业降低成本，反而增加了更多的成本，可能会出现错误。增加层数意味着需要制造更多的晶片，这导致成本增加。他以48楼扩建到64楼为例，当时的造价约为每平方米8000美元。“当然，我们可以通过大规模生产来降低成本。”史蒂文克雷格指出。目前，扩展闪存容量的方法主要有三种：一种是增加存储空穴的密度；二是增加存储单元的密度；三是通过逻辑扩展增加位密度。图4:增加闪存容量的三个方面。在三个维度上增加容量的效果是不同的。“从64层扩展到96层时，储物孔密度增加了10%左右；存储单元的密度增加了68%；薄层色谱的位密度增加了65%。结合这三种方法，我们可以看到整个闪存容量的增长。”史蒂文克雷格在演讲中说道。在逻辑扩展方面，目前的主流技术是TLC，但下一代将是QLC，可以实现每个存储单元4位数据。他预计，到2025年，整个QLC的市场份额将增加到50%，包括企业、消费者和移动flash应用。图5:5:QLC和TLC之间增加的位密度的比较。虽然QLC具有可扩展性、成本/TCO效益、优秀的访问和读取性能等优势，未来可能会迅速崛起，但不会顺利成功TLC吗？这可能不是真的，因为QLC也面临着一些关键的挑战，比如写限制。

不仅QLC面临着写限制的挑战，SMR也是如此，它的制造工艺变化不大，但可以大大提高磁盘存储密度。SMR磁盘与磁盘上的数据磁道部分重叠，就像屋顶上的瓦片一样。SMR盘的读取行为虽然和普通盘一样，但是写入行为发生了很大的变化：不再支持随机写入和就地更新写入。这是因为SMR磁盘上新写入的磁道将覆盖所有与之重叠的磁道，从而破坏了磁盘上的数据。换句话说，与传统磁盘相比，SMR磁盘不再支持随机写入，只能执行顺序附加写入。写模式的限制给想要使用SMR磁盘的存储系统带来了巨大的挑战。分区存储解决了高容量存储磁盘的写限制挑战。为了应对QLC和SMR面临的写入限制挑战，我们不应停留在介质本身，而应着眼于整个数据的基础架构。因此，西部数据提出了开源的标准化分区存储技术。Steven Craig表示希望西部数据的分区存储架构能够赋能应用层、主机和存储。相互协调数据存储位置，充分利用SMR硬盘上可以实现的最大存储容量，并在集成了新兴分区命名空间(ZNS)标准的NVMe SSD上实现更好的耐用性、可预测的低延迟和QoS(服务质量)性能。图6:西部数据公司产品市场部副总裁朱。西部数据公司产品市场部副总裁朱表示，分区存储技术可以应对新兴应用带来的数据爆炸，帮助用户在ZB容量的存储时代保持有竞争力的总拥有成本，实现更大的规模经济。“自6月西部数据推出分区存储技术以来，我们已经与全球基本上所有大型云服务商和大型OEM系统厂商联手，实现了全系统层面的智能数据安全，可以帮助数据中心最大存储密度的QLC大规模部署。”朱在接受媒体群访时说。对于数据安全，他特别指出包括三方面的保障：一是从内存的固件来说，西数的固件提供了多种加密选项供系统厂商选择，如se、ISE、SED等，各种加密选择标准都能满足，可以很好的配合系统层甚至一些国家的规定，增加系统端存储软硬件的平滑加密。第二，在产品特性上，西数的产品都有主机锁。插系统或者拔系统，都有一个“握手”的过程。如果“握手”不成功，就根本没有办法获取数据。这是通过软件层面实现的。这项技术被称为SD卡上的主机锁和硬盘上的ATA。再次，从组件的健康管理来说，以硬盘为例，西数有两种健康管理。一种是基于设备的。西部数据可以根据设备上的上百个参数预测硬盘何时突破人工智能。这样，可以提前维护、替换或迁移数据。图7:西部数据提出的分区存储架构。在演讲中，Steven Craig还介绍了西部数据在分区存储技术生态系统中的两种硬盘。其15GB SMR HDD硬盘已经批量出货，其20TB SMR HDD预计明年正式上市。ZNS NVMe固态硬盘平台也推出了一款产品，DC SN340。Steven Craig认为，通过提供智能应用架构，SMR和ZNS将成为当前和未来ZB级数据时代的关键基石。图8:开源分区存储生态。三种全新的存储解决方案，满足各种物联网和工业应用场景的需求。除了分享闪存技术的发展趋势，西部数据在本次CFMS2019上还带来了三款专为工业4.0时代和物联网设备设计的全新解决方案：iNAND IX EM132嵌入式闪存盘、IX LD342 SD存储卡和IX QD342 microSD存储卡。图9:西部数据推出的三款工业和物联网应用新解决方案：iNAND IX EM132嵌入式闪存盘、IX LD342 SD存储卡和IX QD342 microSD存储卡。

在谈到这三款工业级产品发布的原因时，西部数据公司产品市场部总监张丹解释说，在对当前和未来ZB时代的数据进行分析判断后，他们发现数据有两个趋势：一是数据上云；第二是计算能力的分配。云上的数据很好理解。计算能力分配指的是边缘计算。未来会有越来越多的计算能力放在边缘，也就是说边缘的计算能力会越来越强。边缘计算增强后，会产生很多新的商业模式，比如自动笑脸、无人超市、智能安防、自动驾驶、智能工厂等等。这些不断变化的物联网和工业解决方案将实时产生海量数据。因此，“为了适应增强的计算能力以及这种计算能力所驱动的数据变化，我们推出了一些列匹配边缘计算的产品。”张丹指出。图10:西部数据公司产品市场部总监张丹在介绍西部数据的系列产品。虽然都是边缘存储的需求，但是因为物联网和工业的应用场景太多了，不同应用场景的存储需求其实是不一样的。根据存储需求的不同，张丹将物联网和工业的应用场景分为四类：一类是基于图像的，尤其是需要图像分析的应用场景，如安防、无人机、交通、可穿戴相机等。在这种情况下，内存的工作负载非常大。用高比特率数据流和图像流长时间连续写入。这对存储设备的带宽和写入寿命有一定的要求，或者说是非常严格的。二是工业网关、工业自动化和自动化楼宇应用场景。在这种场景下，可能没有高频的数据流写入，但要求高可靠性，因为存储设备的工作环境非常恶劣，设备能否适用于恶劣、潮湿或地震多发、高海拔等不可控、不可抗拒的，甚至特殊的应用场景，在设计中也要考虑覆盖这部分的应用需求。三是物联网模块、智慧医疗、自动售货、嵌入式数据等新兴应用场景。不知道这种应用场景未来会发展到什么程度，有太多未知的领域和数据链可能被探索。第四，数字标牌、销售点、管控平台等传统应用场景。这类应用场景需要满足可靠性、有效性、数据互操作性以及与平台的兼容性等要求。一般来说，为了满足物联网和工业在这些不同应用场景下的要求，存储产品需要满足温度、使用寿命和可靠性的要求。随后，张丹详细介绍了西部数据的工业级存储新品。其中，iNAND IX EM132嵌入式闪存盘是西部数据首款专门为工业和物联网设备应用设计的e.MMC嵌入式闪存盘。搭载西部数据高可靠性的64层3D NAND技术，最大容量提升至256GB。该产品有两个宽温度范围版本，即-25C至85C和-40C至85C.她特别提到，iNAND IX EM132嵌入式闪存盘是西部数据首款基于3D技术的工业级产品，前两代产品均基于2D MLC。虽然采用了3D TLC，但闪存盘延续了其2D产品要求的3000 PE周期，支持最新的e.MMC5.0标准，随机写入速度可达200 m/s以上.同时还支持高级健康管理、热量管理、智能分区、自动和手动读取刷新，并实现了JEDEC标准的数据保持。“经过我们的设计，TLC可以达到3000 PE次，但在对耐用性要求更高的新兴应用场景中，我们也可以通过智能分区特性，将部分或全部设备恢复到SLC，SLC的寿命或读写次数可以达到10万次/100k。”张丹进一步解释说：“智能分区的另一个优点是，在恢复SLC的过程中，纯物理分区

这两款产品都具有运行状态管理和热量管理的特性，同时在存储卡中有一个功能，就是主锁，可以在一定程度上保证数据的安全性，只有和主设备成功验密的主设备才能读取存储卡中的数据。这可以防止任何人读取存储在公共摄像机中的数据。产品展示上面提到的这些新产品都在闪存市场峰会的西部数据展台进行了展示。图11:西部数据展示的IX LD342 SD存储卡和IX QD342 microSD产品。这两款内存产品microSD卡只有食指指甲盖大小，最大厚度1.1 mm图12:与恩智浦合作的demo。该演示主要用于演示内存被写入的次数、最低温度、工作的最高温度以及当前运行的温度。它的使用寿命有多长，启动过多少次。图13:这是西部数据推出的ZNS固态硬盘。这款ZNS SSD主要针对分区存储生态。目前采用薄层色谱法，未来将采用QLC。

标签：数据产品西部数据

数据