莆田外贸网站建设保定市清苑区网站建设

莆田外贸网站建设,保定市清苑区网站建设,wordpress连接代码,软件工程开发师工资转自微信号#xff1a;Ai long cloud一、什么是InfiniBand网络InfiniBand#xff1a;即“无限带宽”技术#xff0c;缩写为IB#xff0c;是一种网络通信标准#xff0c;是RDMA技术的一种协议#xff0c;它采用高速差分信号技术和多通道并行传输机制#xff0c;主要目标是…转自微信号Ai long cloud一、什么是InfiniBand网络InfiniBand即“无限带宽”技术缩写为IB是一种网络通信标准是RDMA技术的一种协议它采用高速差分信号技术和多通道并行传输机制主要目标是提供高性能、低延迟和高可靠性。InfiniBand是致力于服务器端的高性能计算的互联技术具有极高的吞吐量和极低的时延用于计算机与计算机之间的数据互连(如复制分布式工作等)InfniBand也用作服务器与存储系统之间的直接或交换互连(如SAN和直接存储附件)以及存储系统之间的互连服务器和网络之间(比如LANWANs和the Interet)的通信。广泛用于数据中心、HPC高性能存储等领域。后面随着人工智能的兴起它被用作为GPU服务器互联的首选网络互连技术。二、InfiniBand发展历程上世纪90年代早期为了支持越来越多的外部设备英特尔公司率先在标准PC架构中引入PCI总线设计。但是随着CPU、内存、硬盘等部件都在快速升级PCI总线因升级速度缓慢成为整个系统的瓶颈。为了解决这个问题IT界巨头康柏戴尔Dell惠普HPIBMIntel微软和Sun等180多家公司共同发起成立IBTAInfiniBand Trade Association即InfiniBand行业协会。IBTA成立目的就是研究新的替代技术来取代PCl解决PCI总线传输瓶颈的问题。于是在2000年InfiniBand架构规范的1.0版本正式发布它引入了RDMA协议具有更低的延迟更大的带宽更高的可靠性可以实现更强大的I/O性能成为系统互连的新技术标准。提到InfiniBand就不得不提到一家以色列公司--Mellanox中文名为迈络思可简单记住“卖螺丝”。1999年5月几名从英特尔和伽利略技术公司离职的员工在以色列创立了Mellanox。Mellanox公司成立后随之加入了InfiniBand行业阵营2001年他们推出了自己的首款InfiniBand产品。2002年InfiniBand阵营突遭巨变。这一年英特尔公司“临阵脱逃”决定转向开发PCI Express也就是PCIe2004年推出。而另一家巨头微软也退出了InfiniBand的开发。尽管SUN和日立等公司仍选择坚持但InfiniBand的发展已然蒙上了阴影。2003年开始InfiniBand转向了一个新的应用领域那就是计算机集群互联。2005年InfiniBand又找到了一个新场景存储设备连接。2012年之后随着高性能计算HPC需求的不断增长InfiniBand技术继续高歌猛进市场份额不断提升。在InfiniBand技术逐渐崛起的过程中Mellanox也在不断壮大逐渐成为了InfiniBand市场的领导者。2010年Mellanox和Voltaire公司合并InfiniBand主要供应商只剩下了Mellanox2019年被英伟达收购和QLogic2012年被Intel收购。2013年Mellanox相继收购了硅光子技术公司Kotura和并行光互连芯片厂商IPtronics进一步完善了自身产业布局。2015年InfiniBand技术在TOP500榜单中的占比首次超过了50%。这标志着InfiniBand技术首次实现了对以太网技术的逆袭成为超级计算机最首选的集群互联技术。2015年Mellanox在全球InfiniBand市场上的占有率达到80%。他们的业务范围已经从芯片逐步延伸到网卡、交换机/网关、远程通信系统和线缆及模块全领域成为世界级网络提供商。2019年英伟达豪掷69亿美元收购了Mellanox老黄的说法是这是两家全球领先高性能计算公司的结合NVIDIA专注于加速计算而Mellanox专注于互联和存储。现在看来英伟达是非常有远见的大模型训练高度依赖高性能计算集群而InfiniBand网络则是高性能计算集群的最佳搭档。三、InfiniBand工作原理InfiniBand工作原理非网络专业的看起来比较深奥初学者可以简单了解一下或直接跳过。InfiniBand 协议同样采用了分层结构各层相互独立下层为上层提供服务其工作原理如下图所示物理层定义了在线路上如何将比特信号组成符号然后再组成帧、数据符号以及包之间的数据填充等详细说明了构建有效包的信令协议等。链路层定义了数据包的格式以及数据包操作的协议如流控、 路由选择、编码、解码等。网络层通过在数据包上添加一个40字节的全局的路由报头Global Route Header, GRH来进行路由的选择对数据进行转发。在转发的过程中路由器仅仅进行可变的CRC校验这样就保证了端到端的数据传输的完整性。Infiniband报文封装架构如下图所示传输层将数据包传送到某个指定的队列偶Queue Pair, QP中并指示QP如何去处理该数据包。InfiniBand网络的传输采用了基于信用的流控Credit-Based Flow Control, CBFC技术来确保数据传输的可靠性和效率。这种机制通过管理发送方和接收方之间的信用额度即接收方能够接收的数据量来避免数据包的丢失和拥塞。如下图所示QP是RDMA技术中通信的基本单元。队列偶就是一对队列SQSend Queue发送工作队列和 RQReceive Queue接收工作队列。用户调用API发送接收数据的时候实际上是将数据放入QP当中然后以轮询的方式将QP中的请求一条条的处理。CBFC技术的优势可以主要概括为三点避免拥塞通过动态调整信用额度、无损传输CBFC技术能够有效地避免网络拥塞和数据包丢失提高效率发送方可以在不等待确认的情况下连续发送数据直到信用额度耗尽从而提高了数据传输的效率。自动配置Infiniband设备在物理安装完成后流控机制即自动工作无需用户手动配置。可以看出InfiniBand 拥有自己定义的 1-4 层物理层、链路层、网络层、传输层格式是一个完整的网络协议。端到端流量控制是 InfiniBand 网络数据包发送和接收的基础可以很好的实现无损网络。当然InfiniBand高速无损网络还有类似Socket Direct、自适应路由Adaptive routing、Subnet Manager子网管理、网络分区、SHARP引擎网络优化等技术和功能共同组合来实现其高性能、低延迟和易扩展的特性。这里就不展开了。四、InfiniBand网卡端口、光模块演进InfiniBand的网络带宽通过技术发展和迭代从早期的SDR、DDR、QDR、FDR、EDR、HDR一路升级到NDR、XDR、GDR。其速度是基于 4x 链路速度。如下图所示该路线图详细阐述了1x、2x、4x和12x端口宽度的发展方向。1、InfiniBand网卡端口带宽演进InfiniBand接口速率对比最新的平台Quantum-X800 更是达到了InfiniBand 800G XDR。但是因XDR和GDR目前还在处于实验阶段并未推出并投入实际应用可能还需等等。2、光模块及其带宽的演进光模块的带宽是跟随光模块的封装技术演进而不断变大的目前QSFP-DD封装技术可以到达800G。光模块及带宽发展趋势五、常见的InfiniBand网络产品1、InfiniBand交换机现今在千卡集群搭建过程中如果部署IB网络一般都会要求到400G及其以上的网络因此NVIDIA Quantum-2 的 QM9700 和 QM9790两款交换机通常作为IB网络的首选。QM9700 正面图和背面图带管理功能标准机架式64口带管理模块NDR IB交换机单台可提供64个NDR 400Gb/s IB端口冗余风扇模块11冗余电源。具体参数可上英伟达的官网查看。QM9790正面图不带管理功能标准机架式64口NDR IB交换机单台可提供64个NDR 400Gb/s IB端口冗余风扇模块11冗余电源。但是QM9700是不带管理功能的。具体参数可上英伟达的官网查看。另外还有个特别需求关注的就是选择交换机的时候要选择好具体的型号需要根据机房及机柜部署方式选择不一样的交换机的进出风方向如果选择不对可能会对综合布线会带来非常大麻烦2、InfiniBand网卡因为目前的IB网络一般要求400G及其以上因此我们选择对应的网卡都是400G OSFP以下是英伟达原厂的ConnectX-7 400G OSFP网卡。ConnectX-7400G OSFP是一个 PCIe Gen5 x16 的矮卡。NVIDIA®ConnectX®-7 系列远程直接内存访问 (RDMA) 网络适配器支持 InfiniBand 和以太网协议以及高达 400Gb/s 的速度。 支持各种智能、可扩展且功能丰富的网络解决方案可满足传统企业的需求直至世界上最苛刻的人工智能、科学计算和超大规模云数据中心工作负载。3、InfiniBand光模块400G及以上的IB网络选择的光模块一般就是NDR光模块目前市面分别有400G的和800G的需要根据机房距离来选择使用多模还是单模的多模一般只能传输50m以内的距离。多模光模块——MMA4Z00-NS50m单模光模块——MMS4X00-NS100m、MMS4X00-NM500m。如MMA4Z00-NS 800G模块MA4Z00-NS InfiniBand NDR OSFP2x400G光模块 850nm 50mMMA4Z00-NS 是一款InfiniBand和以太网800Gb/s 2x400Gb/s 双端OSFP、2xSR4多模每通道速率为400Gb/s使用8 根多模光纤最大光纤传输距离为50米的光模块。主要用于Quantum-2InfiniBand 到两个400Gb/sConnectX-7 OSFP网卡如下图所示的连接方式。Spine-Leaf间布线方式以上就是IB交换机的Spine与Leaf之间的连接两端分别需要1个800G模块中间需要连接2条MPO线缆。Leaf-GPU服务器间的布线方式以上就是IB的Leaf交换机与GPU服务器之间的连接Leaf交换机侧只需要1个800G模块GPU服务器端可以连接2个400G光卡中间需要连接2条MPO线缆。4、InfiniBand线缆InfiniBand网络中使用的线缆区别于传统的以太网线缆和光纤线缆。一般需使用专用的InfiniBand线缆。InfiniBand线缆产品包括DAC高速铜缆、AOC有源线缆。DAC高速线缆也叫直连铜缆Direct Attach Copper cable。DAC高速线缆的功耗比较低但传输距离通常低于10米。价格方面相对便宜一些。AOC有源光缆Active Optial Cable功耗相对比较大些但传输的距离可达到100米但是价格比较昂贵。其实随着技术发展现在的IB网络的线缆不再局限以上2种线缆类型因为以上的2种线缆确实太贵现在800G和400G的光模块已经兼容普通的MPO线缆这里就不展开了感兴趣的可以私信我我们共同交流讨论。