ubuntu 14.04 安装infiniband网卡

[jdbyzfhy]

2. 詳細參閱
https://hasanmansur.com/2012/10/15/infi ... eshooting/
Infiniband Troubleshooting

按照其中的步骤不断排查，在这一步nfiniBand Software Installation Check发现问题，
admin1@admin:~$ rpm -q kernel-ib
未安装软件包 kernel-ib
admin1@admin:~$ rpm -q libibmad
未安装软件包 libibmad
admin1@admin:~$ rpm -q libibumad
未安装软件包 libibumad
admin1@admin:~$ rpm -q opensm-libs
未安装软件包 opensm-libs
admin1@admin:~$ rpm -q kernel-ib-scripts
未安装软件包 kernel-ib-scripts

这些软件包都没有

1. http://lists.openfabrics.org/pipermail/ ... 00391.html

admin1@admin:~$ lsmod | grep ib
ib_ucm 24576 0
ib_ipoib 139264 0
ib_cm 49152 3 rdma_cm,ib_ucm,ib_ipoib
ib_uverbs 77824 2 ib_ucm,rdma_ucm
ib_umad 24576 0
mlx5_ib 196608 0
mlx5_core 532480 1 mlx5_ib
mlx4_ib 200704 0
ib_sa 36864 5 rdma_cm,ib_cm,mlx4_ib,rdma_ucm,ib_ipoib
ib_mad 57344 4 ib_cm,ib_sa,mlx4_ib,ib_umad
ib_core 147456 12 rdma_cm,ib_cm,ib_sa,iw_cm,mlx4_ib,mlx5_ib,ib_mad,ib_ucm,ib_umad,ib_uverbs,rdma_ucm,ib_ipoib
ib_addr 20480 3 rdma_cm,ib_core,rdma_ucm
ib_netlink 16384 3 rdma_cm,iw_cm,ib_addr
mlx4_core 348160 2 mlx4_en,mlx4_ib
mlx_compat 16384 18 rdma_cm,ib_cm,ib_sa,iw_cm,mlx4_en,mlx4_ib,mlx5_ib,ib_mad,ib_ucm,ib_netlink,ib_addr,ib_core,ib_umad,ib_uverbs,mlx4_core,mlx5_core,rdma_ucm,ib_ipoib
libahci 32768 1 ahci

dmin1@admin:~$ lsmod | grep mlx
mlx5_ib 196608 0
mlx5_core 532480 1 mlx5_ib
mlx4_ib 200704 0
ib_sa 36864 5 rdma_cm,ib_cm,mlx4_ib,rdma_ucm,ib_ipoib
ib_mad 57344 4 ib_cm,ib_sa,mlx4_ib,ib_umad
ib_core 147456 12 rdma_cm,ib_cm,ib_sa,iw_cm,mlx4_ib,mlx5_ib,ib_mad,ib_ucm,ib_umad,ib_uverbs,rdma_ucm,ib_ipoib
mlx4_en 135168 0
vxlan 40960 2 mlx4_en,mlx5_core
ptp 20480 3 e1000e,mlx4_en,mlx5_core
mlx4_core 348160 2 mlx4_en,mlx4_ib
mlx_compat 16384 18 rdma_cm,ib_cm,ib_sa,iw_cm,mlx4_en,mlx4_ib,mlx5_ib,ib_mad,ib_ucm,ib_netlink,ib_addr,ib_core,ib_umad,ib_uverbs,mlx4_core,mlx5_core,rdma_ucm,ib_ipoib

其中mlx4_ib 为0

... 加多一個 d 訊息多一些

ibwarn: [2780] umad_init: umad_init
ibwarn: [2780] umad_get_cas_names: max 32
ibwarn: [2780] umad_get_cas_names: return 1 cas
ibwarn: [2780] umad_get_ca: ca_name mlx4_0
ibwarn: [2780] umad_get_ca: opened mlx4_0
多出的信息

[poloshiao]

一台是
address 172.1.1.201
gateway 172.1.1.203 (可以省略這一行）
另一台是
address 172.1.1.203
gateway 172.1.1.201 (可以省略這一行）

先試試硬件連通了沒

1. 一台是
address 172.1.1.201
把下面指令 複製 貼進終端機 執行
1-1. ping -c 3 127.0.0.1
1-2. ping -c 3 172.1.1.201
1-3. ping -c 3 172.1.1.203
把結果全部直接 選取/複製/貼上來

2. 另一台是
address 172.1.1.203
把下面指令 複製 貼進終端機 執行
2-1. ping -c 3 127.0.0.1
2-2. ping -c 3 172.1.1.203
2-3. ping -c 3 172.1.1.201
把結果全部直接 選取/複製/貼上來

3. 查一下 InfiniBand adapter 對於纜線的雙絞線標準 有沒有特別要求
https://zh.wikipedia.org/wiki/CAT-5#.E5 ... 3.E7.B5.90
雙絞線標準

[jdbyzfhy]

https://hasanmansur.com/2012/10/15/infi ... eshooting/
Infiniband Troubleshooting

通过这个网址的步骤一步步排查，发现有些安装包没有安装，现在已经可以相互ping通了
admin1@admin:~$ sudo ibstat
CA 'mlx4_0'
CA type: MT26428
Number of ports: 1
Firmware version: 2.9.1000
Hardware version: b0
Node GUID: 0x0002c903000d37fa
System image GUID: 0x0002c903000d37fd
Port 1:
State: Active
Physical state: LinkUp
Rate: 40
Base lid: 1
LMC: 0
SM lid: 1
Capability mask: 0x0251086a
Port GUID: 0x0002c903000d37fb
Link layer: InfiniBand

ib0 Link encap:未指定 硬件地址 A0-00-02-10-FE-80-00-00-00-00-00-00-00-00-00-00
inet 地址:10.0.0.1 广播:10.0.0.255 掩码:255.255.255.0
inet6 地址: fe80::202:c903:d:37fb/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:2044 跃点数:1
接收数据包:4 错误:0 丢弃:0 过载:0 帧数:0
发送数据包:47 错误:0 丢弃:0 过载:0 载波:0
碰撞:0 发送队列长度:256
接收字节:308 (308.0 B) 发送字节:6851 (6.8 KB)

非常感谢！！！

[jdbyzfhy]

2-1. 需要 IOMMU 支援

我在kvm使用infiniband网卡时看到需要使用IR-SOV虚拟化技术，其中需要iommu的支持,我上次按这个表查我的机器没有iommu，是否能自己配置呢？

admin1@admin:~$ dmesg | grep -e DMAR -e IOMMU
[ 0.000000] ACPI: DMAR 0x0000000087363188 000070 (v01 LENOVO TC-FW 000011F0 INTL 00000001)
[ 0.045354] dmar: IOMMU 0: reg_base_addr fed90000 ver 1:0 cap d2008c40660462 ecap f050da
[ 0.046605] IOAPIC id 2 under DRHD base 0xfed90000 IOMMU 0
[ 9.085699] AMD IOMMUv2 driver by Joerg Roedel <joerg.roedel@amd.com>
[ 9.085701] AMD IOMMUv2 functionality not available on this system
显示的我的机器有iommu吧

[poloshiao]

今天 剛好看到 對你不錯的消息
http://news.softpedia.com/news/linux-ke ... 0243.shtml
Linux Kernel 4.8.8 Improves IPv6 and IPv4 Support, Updates InfiniBand Drivers
as well as to update InfiniBand, Ethernet (Mellanox and Freescale), PTP, SCSI, and USB drivers.

目前 Ubuntu 16.10 預裝 4.8.0
http://packages.ubuntu.com/search?suite ... chon=names

有興趣 試試 4.8.8 請再貼文
https://www.kernel.org/pub/linux/kernel/v4.x/

也可以等待 Ubuntu 16.10 升級 Linux Kernel 到 4.8.8 以上

显示的我的机器有iommu吧

我的机器没有iommu，是否能自己配置呢？

http://us.informatiweb.net/tutorials/it ... -bios.html
Enable IOMMU for AMD CPU

[jdbyzfhy]

http://us.informatiweb.net/tutorials/it ... -bios.html
Enable IOMMU for AMD CPU

明白了，intel上就是VT-d
我想用kvm使用实机的infiniband网卡，是否只能用SR-IOV技术呢？

[poloshiao]

明白了，intel上就是VT-d

我想用kvm使用实机的infiniband网卡，是否只能用SR-IOV技术呢？

試試 VT-d
http://www.linux-kvm.org/page/How_to_as ... the_device
Assigning the device

[jdbyzfhy]

試試 VT-d
http://www.linux-kvm.org/page/How_to_as ... the_device
Assigning the device

在kvm的guest中执行 device_add pci-assign,host=04:00.0,id=mydevice显示命令找不到

[vickycq]

在kvm的guest中执行

如何执行的？按 Ctrl+Alt+2 进入命令列后执行

显示命令找不到

请提供具体错误提示

[jdbyzfhy]

如何执行的？按 Ctrl+Alt+2 进入命令列后执行

之前按Ctrl+Alt+2没有出来就在命令行里输入了。多按了几下出来了在命令列里输入了，但是执行lspci -n没有发现添加的pci设备，还是原先的几个