登录/注册
沙巴体育结算平台在存储解决方案中的可扩展性.\n
第二个问题是，与人工智能行业常用的数据集相比，公开可用的数据集很小. 而MLCommons及其参与者可用的数据集可能高达150gb, 生产中使用的数据集通常是10到100 tb. 现代服务器可以轻松地拥有1到2 tb的DRAM，这可以在第一个训练epoch之后将小型基准测试数据集缓存到系统内存中，然后从DRAM中的数据执行后续运行. 但是由于生产数据集的大小，它们不会看到相同的行为.
\nMLPerf 存储通过模拟标准的基于cpu的服务器中的加速器来解决第一个问题. 在低水平上, MLPerf 存储使用与常用工作负载(pytorch)相同的AI框架, tensorflow, 等.)，但MLPerf通过“睡眠时间”绕过了平台的计算部分，这是通过在具有实际AI加速器的系统上运行实际工作负载的实验发现的.
\n仿真加速器和真实加速器的比较表明，它们的工作负载非常相似.
\nMLPerf 存储通过创建与实际类似的数据集解决了第二个问题, 生产数据集，但复制得更大. 该基准测试支持各种数据存储技术，如文件系统和对象存储，以及多种数据类型，如序列化numpy数组, TFRecord文件, HDF5文件, 和更多的.
\n除了解决这些问题， 在之前的一篇博文中 和John Mazzie, 我们表明，人工智能训练工作量比许多人预期的要复杂得多——工作量既突发又对延迟敏感.
\nMLPerf存储基准套件是一种很好的方法，可以在不需要昂贵的AI加速器的情况下，以一种代表真实AI训练工作负载的方式来测试存储系统，同时还支持代表真实数据集的数据集大小.
\n现在我们很自豪地宣布，美光9400 NVMe固态硬盘 在3D医学成像基准(Unet3D)中支持17倍加速器. 这相当于每秒41个样本或6个.1 GB/s的IO吞吐量.
\n有了这个易于运行且代表真实人工智能训练环境的基准测试，美光数据中心工作负载工程团队将展示跨存储设备和解决方案的数据，以便我们更好地了解如何调整和设计存储以提高加速器利用率.
\n"}}' id="text-383131f080">根据他们的网站, MLCommons成立于2018年，旨在加速机器学习创新并增加其对社会的积极影响...“今天, MLCommons维护并开发了6种不同的基准套件，并正在开发开放数据集，以支持未来最先进的模型开发. MLPerf存储基准套件是基准测试集合的最新成员.
作为MLCommons存储工作组的成员, 我帮助开发了基准规则和流程，以确保基准测试结果对研究人员来说是有意义的, 客户, 和供应商一样，我们只是 公布第一轮参赛作品 包括 美光9400固态硬盘.
但为什么我们需要一个专门针对人工智能工作负载的新基准实用程序呢?
表征人工智能训练系统的存储工作量面临着MLPerf存储基准套件旨在解决的两个独特挑战-人工智能加速器的成本和可用数据集的小尺寸.
第一点很明显, 人工智能加速器可能很昂贵, 复杂的计算系统和大多数存储供应商没有足够的人工智能系统来分析他们的沙巴体育结算平台在存储解决方案中的可扩展性.
第二个问题是，与人工智能行业常用的数据集相比，公开可用的数据集很小. 而MLCommons及其参与者可用的数据集可能高达150gb, 生产中使用的数据集通常是10到100 tb. 现代服务器可以轻松地拥有1到2 tb的DRAM，这可以在第一个训练epoch之后将小型基准测试数据集缓存到系统内存中，然后从DRAM中的数据执行后续运行. 但是由于生产数据集的大小，它们不会看到相同的行为.
MLPerf 存储通过模拟标准的基于cpu的服务器中的加速器来解决第一个问题. 在低水平上, MLPerf 存储使用与常用工作负载(pytorch)相同的AI框架, tensorflow, 等.)，但MLPerf通过“睡眠时间”绕过了平台的计算部分，这是通过在具有实际AI加速器的系统上运行实际工作负载的实验发现的.
仿真加速器和真实加速器的比较表明，它们的工作负载非常相似.
MLPerf 存储通过创建与实际类似的数据集解决了第二个问题, 生产数据集，但复制得更大. 该基准测试支持各种数据存储技术，如文件系统和对象存储，以及多种数据类型，如序列化numpy数组, TFRecord文件, HDF5文件, 和更多的.
除了解决这些问题， 在之前的一篇博文中 和John Mazzie, 我们表明，人工智能训练工作量比许多人预期的要复杂得多——工作量既突发又对延迟敏感.
MLPerf存储基准套件是一种很好的方法，可以在不需要昂贵的AI加速器的情况下，以一种代表真实AI训练工作负载的方式来测试存储系统，同时还支持代表真实数据集的数据集大小.
现在我们很自豪地宣布，美光9400 NVMe固态硬盘 在3D医学成像基准(Unet3D)中支持17倍加速器. 这相当于每秒41个样本或6个.1 GB/s的IO吞吐量.
有了这个易于运行且代表真实人工智能训练环境的基准测试，美光数据中心工作负载工程团队将展示跨存储设备和解决方案的数据，以便我们更好地了解如何调整和设计存储以提高加速器利用率.
微米 9400 NVMe 固态硬盘
