本文将mark下TP(Tensor Parallelism)、PP(Pipeline Parallelism)和DP(Data Parallelism)的相关notes，本文内容转载自不是多卡，而是多种“切法”：一文讲透 TP、PP、DP。

本文将mark下INT(In-band Network Telemetry)的相关notes。

DPU Socket-Direct和Multi-host技术

本文将mark下CUDA Green Context的相关notes。

本文将mark下AI分布式训练通信原语的相关notes。

本文将mark下PIM(Processing-In-Memory)和PNM(Processing-Near-Memory)的相关notes。

简单来说，Flit Mode（Flow Control Unit）将传统模式下的不定长数据包，转变为固定长度（256字节）的数据包进行传输。

本文将mark下PCIe domain和segment的相关notes。

Prefill-as-a-Service

核心是将PD分离放在两个或多个Datacenter中的异构GPU集群。

本文将mark下Intel Flat Memory Mode (FMM) 的相关notes。