NVMe over Fabrics P2P ,如下图所示，黄色虚线是非P2P数据通信路径，绿色虚线是P2P的通信路径。

黄色路径非P2P路径，RDMA CX5网卡接后收到数据后，先写到主存DRAM中， NVME 设备驱动从主存读取数据再写入NVME SSD硬盘中。

绿色P2P路径， RDMA NIC网卡获取数据后直接写入NVME SSD硬盘。

P2P通信带来的收益:

  1. 减少了主存DRAM的使用
  2. 缩短了通信路径，提升了数据传输的效率

p2p操作序列

参考资料:

  1. Important new NVMe features for optimizing the data pipeline
  2. PCIe P2P
  3. NVMe Over Fabrics Offload video
  4. NVMe Over Fabrics Offload slides