DataTurbo数据加速引擎，全力保障大模型高效训练
在大模型的数据应用全流程中，要想使训练效率达到极致，减少不必要的资源浪费，训练阶段的数据读写性能成为重中之重。而想要提升算力利用率、降低模型训练成本，必须要在数据存储性能上进行创新。
AS13000G7-N系列具备强大的端到端性能优化能力，这也是模型训练阶段最为核心的考量因素。浪潮信息基于计算和存储协同的理念，依托自研分布式文件系统构建了新一代数据加速引擎DataTurbo，在缓存优化、空间均衡、缩短GPU与存储读取路径等方面进行了全面升级。”

■ 智能缓存优化，保障大模型训练速度与质量
AS13000G7-N能够通过对大小IO的智能识别，进行分类治理，小文件采取聚合的操作，大文件采取切片的操作，所有数据以大小均衡的模式保存到全局缓存中，实现小文件性能提升5倍，大文件性能提升10倍。在模型训练中断后，从Checkpoint恢复数据过程中，AS13000G7-N通过缓存预读技术，提前识别数据的冷热程度，加速了重复样本数据的读取，训练加载速度提升10倍。无论是读操作还是写操作，AS13000G7-N采取了字节级（Byte）分布式锁机制，粒度是主流并行文件系统锁机制粒度的几十分之一，确保多个节点访问共享资源时能够安全、有序地进行操作，从而保持训练数据的强一致性和训练质量。