广州凡科互联网科技有限公司

营业时间
MON-SAT 9:00-18:00

全国服务热线
18720358503

公司门店地址
广州市海珠区工业大道北67号凤凰创意园

InfiniBand构架和技术性实战演练总结

日期:2021-02-21 浏览:

OpenFabrics Enterprise Distribution (OFED)是1组开源系统手机软件驱动器、关键核心编码、正中间件和适用InfiniBand Fabric的客户级插口程序流程。

2005年由OpenFabrics  Alliance (OFA)公布第1个版本号。Mellanox OFED用于Linux,Windows (WinOF),包含各种各样确诊和特性专用工具,用于监控InfiniBand互联网的运作状况,包含监控传送带宽和监控Fabric內部的时延状况。

OpenFabrics Alliance (OFA)是1个根据开源系统的机构,它开发设计、检测、适用OpenFabrics公司发售版。该同盟的每日任务是开发设计并营销推广手机软件,根据将高效率信息、低延迟时间和最大带宽技术性构架立即运用到最少CPU花销的运用程序流程中,从而完成最大运用高效率。

该同盟创立于2004年6月,最开始是OpenIB同盟,致力于开发设计单独于供货商、根据Linux的InfiniBand手机软件栈。2005,同盟致力于适用Windows,此举将使手机软件栈真实混合开发。

2006年,该机构再度拓展其规章,包含对iWARP的适用,在2010年提升了对RoCE (RDMA over Converged)适用根据以太网交货高特性RDMA和核心旁路处理计划方案。2014年,伴随着OpenFabrics Interfaces工作中组的创建,同盟再度扩张,完成对别的高特性互联网的适用。

Mellanox OFED是1个单1的手机软件堆栈,包含驱动器、正中间件、客户插口,和1系列的规范协议书IPoIB、SDP、SRP、iSER、RDS、DAPL(Direct Access Programming Library),适用MPI、Lustre/NFS over RDMA等协议书,并出示Verbs程序编写插口;Mellanox OFED由开源系统OpenFabrics机构维护保养。

假如前面的手机软件堆栈逻辑性图过度繁杂,能够参照上面的简要详细介绍图。MLNX_OFED_LINUX (Mellanox OFED for Linux) 做为ISO映像出示,每一个Linux发售版,包含源码和2进制RPM包、固件、好用程序流程、安裝脚本制作和文本文档。

下面大家站在运用开发设计构架师或开发设计者的角度,剖析、讲解下 InfiniBand的构架和服务工作能力(简化的InfiniBand构架)。

InfiniBand的手机软件构架

InfiniBand手机软件栈的设计方案是以便简化运用布署。IP和TCP套接字运用程序流程能够运用InfiniBand特性,而不用对运作在以太在网上的现有运用程序流程开展任何变更。这一样可用于SCSI、iSCSI和文档系统软件运用程序流程。坐落于低层InfiniBand兼容器机器设备驱动器程序流程和机器设备单独API(也称为verbs)之上的顶层协议书出示了制造行业规范插口,能够无缝拼接布署现成的运用程序流程。

LinuxInfiniBand手机软件构架。该手机软件由1组核心控制模块合谐议构成。也有1些关系的客户方式共享资源库,这些库在图中沒有显示信息。在客户级实际操作的运用程序流程对最底层互连技术性维持全透明。本文的关键是探讨运用程序流程开发设计人员必须了解甚么,才可以使她们的IP、SCSI、iSCSI、套接字或根据文档系统软件的运用程序流程在InfiniBand上运作。

对协议书的实际操作、最底层关键和HCA驱动器程序流程的详尽探讨超过了本文的范畴。可是,以便详细起见,下面是核心级別的扼要简述,下面将详细介绍InfiniBand特殊控制模块合谐议。

核心编码逻辑性上分成3层: HCA驱动器程序流程、关键InfiniBand控制模块和顶层协议书。客户级浏览控制模块完成了必要的体制,容许从客户方式运用程序流程浏览InfiniBand硬件配置。关键InfiniBand控制模块包含InfiniBand机器设备的核心级正中间层,正中间层容许浏览好几个HCA NICs并出示1组公共性共享资源服务,包含:

正中间层关键作用

1.通讯主管(CM) --CM出示了容许顾客创建联接所需的服务。

2.SA顾客端——SA(子网管理方法员)顾客端出示了容许顾客端与子网管理方法员通讯的作用。SA包括创建联接所需的关键信息内容,如相对路径纪录。

3.SMA-子网管理方法器代理商回应子网管理方法包,容许子网管理方法器在每一个主机上查寻和配备机器设备。

4.PMA -特性管理方法代理商回应容许查找硬件配置特性计数器的管理方法包。

5.MAD服务——管理方法数据信息报(MAD)服务出示1组插口,容许顾客端浏览独特的InfiniBand序列对(QP), 0和1。

6.GSI -通用性服务插口(GSI)容许顾客端在独特QP1上推送和接受管理方法包。

7.序列对(QP)——重定项高层管理方法协议书,一般将共享资源对独特QP1的浏览重定项到专用QP。这是为带宽聚集型的高級管理方法协议书所必须的。

8.SMI -子网管理方法插口(SMI)容许顾客端在独特QP0上推送和接受数据信息包。这一般由子网管理方法器应用。

9.Verbs-对正中间层出示由HCA驱动器程序流程出示的Verbs浏览。InfiniBand管理体系构造标准界定了Vbers。Vbers是务必出示的涵数的词义叙述。正中间层将这些词义叙述变换为1组Linux核心运用程序流程程序编写插口(API)。

10.正中间层还负责在出现异常程序流程停止或顾客端关掉后,对沒有释放出来的已分派資源的資源追踪、引入计数和資源清除。

InfiniBand堆栈的最低层由HCA驱动器程序流程构成。每一个HCA机器设备都必须1个特殊于HCA的驱动器程序流程,该驱动器程序流程申请注册在正中间层,并出示InfiniBand Verbs。

如IPoIB,SRP,SDP,iSER等高級协议书,选用规范数据信息互联网,储存和文档系统软件运用在InfiniBand上实际操作。除IPoIB出示了InfiniBand上TCP/IP数据信息流的简易封裝外,别的更高級其他协议书全透明地适用更高的带宽、更低的延迟时间、更低的CPU运用率和端到端服务,应用历经当场认证的RDMA(远程控制DMA)和InfiniBand硬件配置的传送技术性。下面将探讨这些高級协议书,和怎样迅速开启现有的运用程序流程对InfiniBand开展实际操作。

IB对根据IP的运用适用

在InfiniBand上评定任何根据IP的运用程序流程的最简易方式是应用顶层协议书IP over IB (IPoIB)。在高带宽的InfiniBand兼容器上运作的IPoIB能够为任何根据ip的运用程序流程出示及时的特性提高。IPoIB适用在InfiniBand硬件配置上的(IP)隧道施工数据信息包。

以下图,在Linux中,协议书是做为规范的Linux互联网驱动器程序流程完成的,这容许任何应用规范Linux互联网服务的运用程序流程或核心驱动器程序流程在不改动的状况下应用InfiniBand传送。Linux核心2.6.11及以上版本号适用IPoIB协议书,并对InfiniBand关键层和根据Mellanox技术性企业HCA的HCA驱动器程序流程的适用。

这类在InfiniBand上开启IP运用程序流程的方式针对带宽和延迟时间不关键的管理方法、配备、设定或操纵平面有关数据信息是合理的。因为运用程序流程再次在规范TCP/IP互联网栈上运作,运用程序流程彻底不知道道最底层I/O硬件配置。但是,以便得到充足的特性并运用InfiniBand管理体系构造的1些高級特点,运用程序流程开发设计人员还可以应用套接字立即协议书(SDP)和有关的根据套接字的API。

InfiniBand不但对根据IP的运用出示了适用,另外对根据Socket、SCSI和iSCSI,和对NFS的运用程序流程出示了适用。

比如,在iSER协议书中,选用了SCSI正中间层的方式插进到Linux,iSER在附加的抽象性层(CMA,Connection Manager Abstraction layer)上工作中,完成对根据InfiniBand和iWARP的RDMA技术性的全透明实际操作。

这样使得选用LibC插口的客户运用程序流程和核心级选用Linux文档系统软件插口的运用程序流程的全透明化,不容易认知最底层应用的是甚么互连技术性。

InfiniBand手机软件合谐议在关键的Linux、Windows版本号和虚似机监管程序流程(Hypervisor)服务平台上获得了适用和适用。这包含Red Hat Enterprise Linux、SUSE Linux Enterprise Server、Microsoft Windows Server和Windows CCS (测算群集服务器)和VMware虚似基本设备服务平台。



新闻资讯

联系方式丨CONTACT

  • 全国热线:18720358503
  • 传真热线:18720358503
  • Q Q咨询:2639601583
  • 企业邮箱:2639601583@qq.com

首页
电话
短信
联系