PCIe脱胎于PCI架构，是服务器主流总线解决方案

发布时间：2023-02-06　　来源：立鼎产业研究网　点击量： 785　

PCIe 标准之前，PC 上的系统总线由 PCI 和 AGP 组成，AGP 主要用于连接显卡，是在 PCI标准基础上针对 3D 应用拓展而来的，没有脱离 PCI 体系，其他的各种外接设备如网卡、独立声卡等，都连接在 PCI 总线上，高度共享同一带宽。随着新技术的不断发展，PCI总线的传输能力逐渐力不从心。2001 年提出的 PCIe 标准完全脱胎于 PCI 架构，采用点对点传输的串行方式，在时钟频率、传输带宽上具有明显优势，并且可以在软件层面与 PCI 兼容。

PCIe与 PCI总线技术对比

资料来源：公开资料

新兴总线标准层出不穷，但无法替代PCIe的主导地位。目前高性能 I/O 设备普遍采用 PCIe总线，但是随着数据 TB 级增长、异构计算发展快速，PCIe 在内存使用效率、延迟和数据吞吐量等方面存在一定局限性。一方面，PCIe 总线的拓扑呈现树形结构，设备 ID 号码数量有限，无法形成大规模网络；另一方面，PCIe 网络中的存储器地址空间存在隔离，并且 PCIe的事务层不支持 Cache Cohernecy 事务的处理，导致 PCIe 设备端每次都需要通过访问 HostRAM 来获取 CPU 地址域中的数据，访问延迟较高。为了解决该问题，实现设备内部高速高效的互联，IBM 最早推出了 CAPI（Coherent Accelerator Processor Interface）接口，该版本逐渐演化成为 OpenCAPI，该接口协议复用了 PCIe 物理层、链路层和事务层，将 CC 和CAPI 控制事务装进 PCIe 链路层数据包中传送，在 CPU 一侧增加解析处理模块进行逻辑处理。此后相继推出的 CXL、CCIX、Gen-Z 等新兴互联总线标准都为 PCIe 提供了替代方案。

1、OpenCAPI：OpenCAPI 是开放式一致性加速器接口标准，具有以下四点优势：1）高性能，其单通道的最高传输速率可达25Gbps。2）不占用 CPU 资源，允许外设在应用程序空间内不经内核参与地自主运行。3）兼容性好，支持各种硬件加速器、高性能 I/O设备和高性能存储设备的连接。4）完全开放。但 OpenCAPI 仅支持 CPU 直连，不支持 Switch 连接。

2、CCIX：CCIX是一种能够将两个或两个以上器件通过缓存一致性的方式来共享数据的片间互联。CCIX提供了一种平衡方法，通过创建由 CPU 和加速器组成的网状网络，使得所有计算单元有对等的能力为内存扩展器件和加速器提供高性能、低延时、芯片与芯片间的互联，最高连接速率升至 25GT/s。CCIX特别为应对未来数据中心、云计算、大数据及其它需要异构计算的应用的巨大挑战而设计，主要支持者是 Xilinx，目前已在 Xilinx和华为的产品中得到应用，联盟成员超过 50 个。

OpenCAPI系统设计

资料来源：OpenCAPI联盟

CCIX分层架构

资料来源：CCIX联盟

3、Gen-Z：Gen-Z 是一种内存语义架构，通过 OpCodes 和 OpClasses 定义了大量的内存语义操作，从而实现在不同组件的内存之间进行高效的数据传输。Gen-Z 具有如下技术优势：1）不仅使存储器件互联，也使得 CPU 和加速器互联，减轻了 CPU 的处理压力。2）能够重新配臵系统，因此在资源供应和共享方面更加灵活、响应更快。3）使用一种高带宽、低延迟和高效的协议来简化软硬件设计，降低了解决方案的成本和复杂性。

4、CXL：CXL（Compute Express Link）是开放式互联新标准，由Intel 在 2019 年提出，能够提供 CPU 和专用加速器以及高性能存储系统之间的接口，具备高效、高速、低延时的特点。CXL 现已演进到 2.0 版本，CXL2.0 基于 PCIe 5.0 的物理层，但仅支持 CPU 点对点直连拓扑。CXL 已应用于多个服务器产品，如 Intel 将于 2022 年下半年推出的 Sapphire Rapids 处理器，将支持 PCIe 5.0和 CXL 1.1，AMD 也宣布下一代 Epyc 处理器 Genoa 将支持 CXL。CPU 龙头的率先使用将推动其他组件设备商的跟进，完成自上而下的统合。2021 年 11 月，CXL 正式合并 Gen-Z ，将把所有 Gen-Z 规范转移给 CXL 联盟，双方联盟成员共同专注于 CXL 这唯一的互联标准。