Samsung：SPDK 特性与进展更新

全文概览

本文着重讨论了SPDK项目的状态和进展，旨在探讨如何利用SPDK的技术优势来提高网络性能和可靠性，以满足现代数据中心的需求。

作者通过实验数据展示了SPDK的优势，并提出了未来的研究方向和发展计划。总体来说，本文为读者提供了关于SPDK技术的深入理解和相关应用领域的启示。

SPDK 背景知识

SPDK（Storage Performance Development Kit）是一个由 Intel 开发的开源工具集，旨在通过用户态（User Space）驱动程序和高效的编程模型优化存储性能。SPDK 主要用于提升存储和网络相关场景中的 I/O 性能，尤其是在高性能存储设备（如 NVMe SSD）和分布式存储系统中的应用。

1. SPDK 的核心价值

1. 极低延迟
   • SPDK 通过用户态驱动程序和轮询机制替代传统内核中断机制，显著降低 I/O 延迟。
2. 高性能
   • 直接访问硬件资源（如 NVMe SSD）并采用零拷贝技术，能够实现高达数百万 IOPS 的性能。

2. 应用场景

高性能存储系统

• 场景在企业级存储服务器、云数据中心或超融合架构中，需要处理大规模高并发的存储访问请求。
• 价值SPDK 通过直接访问 NVMe SSD，绕过内核 I/O 栈，降低延迟，提升吞吐量，使存储系统的性能接近硬件的理论极限。

分布式存储架构

• 场景分布式存储系统（如 Ceph 或 GlusterFS）需要优化底层 I/O 和数据传输，以满足大规模存储集群的性能需求。
• 价值SPDK 的低延迟和高吞吐能力非常适合用作分布式存储系统的基础，帮助减轻 I/O 瓶颈。

NVMe over Fabrics（NVMe-oF）

• 场景在现代数据中心中，存储资源通过网络共享和扩展，NVMe over Fabrics 是一种高效的网络存储协议。
• 价值SPDK 支持 NVMe-oF 的 Target 和 Initiator 实现，提供高性能和低延迟的数据传输能力，同时降低 CPU 资源消耗。

3. 技术难点与挑战

用户态存储模型的复杂性

难点：

• SPDK 的用户态驱动程序需要直接与硬件设备交互，这意味着需要绕过内核的标准 I/O 栈。
• 开发者需要深入理解硬件（如 NVMe 协议、PCIe 通信）的细节，增加了开发复杂度。

挑战：

• 用户态程序需要处理设备的初始化、DMA 映射、轮询机制等低级操作，对开发者的技术能力要求较高。
• 与不同硬件厂商的设备兼容性可能成为问题，需要额外适配。

生态系统兼容性

难点：

• SPDK 的用户态模型绕过了操作系统内核，与传统的软件生态（如标准文件系统）存在兼容性问题。
• 使用 SPDK 的应用通常需要重新设计或修改现有代码。

挑战：

• 现有存储应用程序可能难以直接迁移到 SPDK 平台，需要额外的开发工作。
• 与标准 POSIX 接口的兼容性有限，阻碍了部分传统应用的无缝集成。

NVMe over Fabrics 的部署复杂性

难点：

• NVMe over Fabrics（NVMe-oF）需要在网络上传输高性能 I/O 请求，既要保证延迟低，又要满足大规模分布式存储的需求。

挑战：

• 网络层的优化（如 RDMA 和 TCP/IP）需要高度专业的技术知识。
• 部署 NVMe-oF 需要额外的基础设施支持和软件适配工作。

• SPDK 代码库保持活跃
  • 自 2023 年 9 月发布以来已超过 1500 个补丁。
• SPDK 贡献者群体多样化
  • 来自 25+ 家公司的近 100 名贡献者。
• 主要开发领域（近期及正在进行中）
  • 加速器和内存域（Ben！）
  • 节能优化
  • NVMe over Fabrics
  • 逻辑卷和 RAID
  • 追踪（Tracing）
  • NUMA

节能

• 实现节能的两种途径
  • 调度器和治理器（Schedulers and Governors）
  • 中断模式（Interrupt Mode）
• 调度器和治理器
  • 更复杂的调度算法
  • 调度周期抢占
  • 更好地在多个 SPDK 线程间分摊 TCP 系统调用开销
• 中断模式
  • 为中断提供 SPDK 套接字层支持
  • 为 NVMe 目标（TCP，RDMA）添加中断支持
  • 为 SPDK NVMe 驱动添加 PCIe 设备中断支持
  • 为 bdev/nvme 模块添加中断支持

为什么节能会成为 SPDK 重点关注的问题？

背景

• SPDK 采用轮询（Polling）机制代替传统内核 I/O 的中断模式，这虽然降低了延迟，但会持续占用 CPU 核心。

挑战

• 高性能的代价是 CPU 的高占用率，尤其在 I/O 请求较少时，这种方式可能造成资源浪费。
• 在多任务环境中，需要设计合理的资源调度机制，避免轮询对其他任务的干扰。

对 NVMe 协议的最新支持

SPDK 在 NVMe over Fabrics（NVMe-oF）领域引入了多项关键功能，以提升安全性、灵活性和性能。新增的认证支持（v24.05）增强了数据传输的安全性，命名空间屏蔽功能允许基于主机名限定命名空间访问权限。发现引用和自定义保留处理程序优化了网络存储的管理和性能。此外，通过改进 NVMe 功能透传，进一步提高了对底层存储设备的监控和优化能力，这些功能将在不同版本（如 v24.05 和 v24.09）中逐步推出。

逻辑卷与RAID

• 逻辑卷（Logical Volumes）
  • 支持在运行时扩展逻辑卷存储（lvstore）
  • 改进 unmap 操作的支持
  • 浅层拷贝功能（Shallow copies）
• RAID
  • 向真正的 RAID 堆栈迈进
  • RAID-1（镜像）
  • RAID-5F（某种改进型 RAID-5 模式）
  • 支持磁盘上的元数据（On-disk metadata）
  • 重建功能（Rebuild）

SPDK 在逻辑卷和 RAID 的功能支持上持续优化，逻辑卷方面新增了运行时扩展存储能力、更好的 unmap 操作兼容性，以及浅层拷贝功能，提升了灵活性和存储效率。在 RAID 方面，正在开发更加成熟的 RAID 堆栈，包括支持 RAID-1 和改进型 RAID-5F，同时新增磁盘上的元数据支持和数据重建功能，为高性能存储和容错能力提供了更全面的解决方案。

与停机扩容相比，运行时扩容需要克服哪些难题？

数据一致性和完整性

难点：

• 在运行时扩展存储容量时，系统仍可能有活跃的读写操作。新增的存储空间需要与现有数据保持一致性，不能破坏现有数据的完整性。
• 扩容过程中，元数据（如分区表、文件系统元数据等）需要动态更新，同时防止并发操作引发冲突或数据损坏。

解决方法：

• 使用事务机制保证元数据的原子性更新。
• 引入并发控制机制，确保扩容过程中其他 I/O 操作不会干扰扩容操作。

I/O 操作的连续性

难点：

• 在扩容过程中，存储设备可能需要重新配置（如重新加载逻辑卷信息或映射新分区）。如果处理不当，可能导致服务短暂中断或性能下降。

解决方法：

• 使用动态 I/O 路由技术，在扩容时让现有 I/O 请求继续正常执行。
• 对扩容操作进行分阶段处理，确保新增资源逐步被引入系统，而不影响现有 I/O 流程。

扩容后数据分布的重平衡

难点：

• 扩容后，新增存储空间可能需要重分配现有数据，以保证数据分布的均衡性。
• 数据重平衡可能涉及大规模的数据迁移，容易造成性能瓶颈。

解决方法：

• 引入增量式重平衡算法，分阶段调整数据分布。
• 结合负载感知技术，优先重平衡高负载区域的数据。

多节点环境的同步问题

难点：

• 在分布式存储系统或多节点环境中，运行时扩容需要协调多个节点对新增资源的访问权限。
• 可能涉及全局锁、分布式一致性协议等复杂问题。

解决方法：

• 使用分布式锁管理和一致性协议（如 Paxos 或 Raft）协调节点间的扩容操作。
• 引入动态配置更新机制，确保每个节点及时获取扩容后的全局状态。

追踪/监控

SPDK 的追踪功能进一步增强，以支持对存储和网络事件的更精细化监控。新增的功能包括：

1. 能够将事件准确映射到特定的存储设备（如 bdev）或通信对象（如 TCP 连接、NVMe 队列），提升问题定位能力。
2. 支持对用户创建的 pthreads 进行追踪，增强对应用自定义线程的调试支持。
3. 引入新的追踪点和功能，包括队列深度的动态监控、TCP 层的事件追踪，以及事件与线程名称的关联，为系统性能分析和调优提供了更多细节和灵活性。

这些功能显著提升了 SPDK 在复杂环境中的可观测性和调试能力，使其更加适用于高性能存储和网络应用场景。

NUMA 优化

随着 Chiplet 硬件设计的普及和存储性能需求的增加，SPDK 开始更加重视 NUMA 优化。通过本地化内存分配和 socket 映射机制，SPDK 正在解决跨 NUMA 节点通信带来的延迟和带宽问题。这些改进包括为 NVMe 主机和目标控制器、本地存储设备（bdevs）、以及基准测试工具分配 socket 本地资源，从而降低延迟、提高性能。NUMA 优化将显著提升 SPDK 在多核和分布式环境中的表现，使其更适合高性能计算和存储场景