ubuntu 14.04 安装infiniband网卡

[poloshiao]

现在我ping 172.1.1.201能够ping通，但是172.1.1.203就不行了，这是什么原因？

viewtopic.php?p=3178740#p3178740
1-1. 把下面指令 複製 貼進終端機 執行
sudo route -nv
把結果全部直接 選取/複製/貼上來
要查為何沒有資料流使用 ib0

[jdbyzfhy]

172.1.1.201是根据网上的一个安装教程找的，随意设的一个地址

sudo route -nv

admin1@admin:~$ sudo route -nv
内核 IP 路由表
目标 网关 子网掩码 标志 跃点 引用 使用 接口
0.0.0.0 10.103.240.1 0.0.0.0 UG 0 0 0 eth0
10.103.240.0 0.0.0.0 255.255.240.0 U 1 0 0 eth0
169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 ib0
172.1.1.0 0.0.0.0 255.255.255.0 U 0 0 0 ib0
admin1@admin:~$

[poloshiao]

sudo route -nv
0.0.0.0 10.103.240.1 0.0.0.0 UG 0 0 0 eth0
10.103.240.0 0.0.0.0 255.255.240.0 U 1 0 0 eth0

1. 這是有效的 路由

169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 ib0
172.1.1.0 0.0.0.0 255.255.255.0 U 0 0 0 ib0

2. 這是無效的 路由
2-1. 這一行 需要移除
169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 ib0
2-2. 檢查一下 你在哪裡 設定這一行
2-3. 如果查不出來
使用 指令 sudo route del 可以一次性 移除 路由
使用 指令 sudo route add 可以一次性 增加 路由
參見
http://manpages.ubuntu.com/manpages/xen ... ute.8.html
route - show / manipulate the IP routing table
2-4. 先確定一次性有效路由 再來建立開機即生效的路由

[jdbyzfhy]

169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 ib0

跃点为1000是否因为我只将网卡连接在infiniband交换机上而没有连接路由器？
我的infiniband交换机只是用来做内网infiniband实验的，并没有连接以太网的卡口

[poloshiao]

我的infiniband交换机只是用来做内网infiniband实验的，并没有连接以太网的卡口

viewtopic.php?p=3178740#p3178740
2. 你這個網址 172.1.1.201
以及 這個網關 172.1.1.1
是參考哪裡的資料
請提供網址

[jdbyzfhy]

是參考哪裡的資料請提供網址

http://blog.csdn.net/u012386619/article ... s/46544791
找了下应该是这篇

[poloshiao]

http://blog.csdn.net/u012386619/article ... s/46544791
这样基本上就配置好了网卡信息，这里我们使用了一台路由器，所以网关配成了路由的IP.

viewtopic.php?p=3178729#p3178729
sudo cat /etc/network/interfaces
gateway 172.1.1.1

我的infiniband交换机

你這個 gateway 172.1.1.1
是 交換機 IP 嗎 ？
請確認

補充
交換機跟路由器不同

[jdbyzfhy]

補充交換機跟路由器不同

我驱动完网卡后直接连上交换机，并没有让交换机再连路由器

gateway 172.1.1.1

并不是交换机IP，我的应该是二层交换机，并不是三层交换机。
我要做的是让各个带有infiniband网卡的机器能够相互通信，不需要它们与外网通信，是否现在这样驱动后随意设置一个ip再连接交换机就可以了？

[poloshiao]

我要做的是让各个带有infiniband网卡的机器能够相互通信

现在我ping 172.1.1.201能够ping通，但是172.1.1.203就不行了

你要設定 ptop
試試
使用 netmask 255.255.255.255
gateway 可以不設 或 設為你要直接連通的網卡IP 例如 172.1.1.203

建議
測試期間 先把 eth0 從 Bios 關閉
等測試成功了 再啟開 eth0 試試

网卡后直接连上交换机

交換機 類似 集線器 （hub) 或 跳線纜線 連兩端網卡

[jdbyzfhy]

先把 eth0 從 Bios 關閉

使用 netmask 255.255.255.255
gateway 可以不設

按如上操作，如下
admin1@admin:~$ sudo ifconfig
[sudo] password for admin1:
ib0 Link encap:未指定 硬件地址 A0-00-02-10-FE-80-00-00-00-00-00-00-00-00-00-00
inet 地址:172.1.1.203 广播:172.1.1.203 掩码:255.255.255.255
UP BROADCAST MULTICAST MTU:4092 跃点数:1
接收数据包:0 错误:0 丢弃:0 过载:0 帧数:0
发送数据包:0 错误:0 丢弃:0 过载:0 载波:0
碰撞:0 发送队列长度:256
接收字节:0 (0.0 B) 发送字节:0 (0.0 B)

lo Link encap:本地环回
inet 地址:127.0.0.1 掩码:255.0.0.0
inet6 地址: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 跃点数:1
接收数据包:175 错误:0 丢弃:0 过载:0 帧数:0
发送数据包:175 错误:0 丢弃:0 过载:0 载波:0
碰撞:0 发送队列长度:0
接收字节:12449 (12.4 KB) 发送字节:12449 (12.4 KB)

admin1@admin:~$ ping 172.1.1.203
PING 172.1.1.203 (172.1.1.203) 56(84) bytes of data.
64 bytes from 172.1.1.203: icmp_seq=1 ttl=64 time=0.013 ms
64 bytes from 172.1.1.203: icmp_seq=2 ttl=64 time=0.016 ms
64 bytes from 172.1.1.203: icmp_seq=3 ttl=64 time=0.018 ms
^C
--- 172.1.1.203 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 1998ms
rtt min/avg/max/mdev = 0.013/0.015/0.018/0.005 ms
admin1@admin:~$ ping 172.1.1.202
connect: Network is unreachable
admin1@admin:~$ ping 172.1.1.204
connect: Network is unreachable

interface编写如下
# interfaces(5) file used by ifup(8) and ifdown(8)
auto lo
iface lo inet loopback

auto ib0
iface ib0 inet static
address 172.1.1.203
netmask 255.255.255.255

你要設定 ptop

不知道怎么设置，ptop是点对点？

[poloshiao]

address 172.1.1.203

如果你使用兩台電腦
一台是
address 172.1.1.201
gateway 172.1.1.203 (可以省略這一行）
另一台是
address 172.1.1.203
gateway 172.1.1.201 (可以省略這一行）

ptop 指 point-to-point
172.1.1.201 <---> 172.1.1.203
中間沒有經過其它 IP

[jdbyzfhy]

ptop 指 point-to-point
172.1.1.201 <---> 172.1.1.203

一台是
address 172.1.1.201
gateway 172.1.1.203 (可以省略這一行）
另一台是
address 172.1.1.203
gateway 172.1.1.201 (可以省略這一行）

这样设置之后我将两张网卡直接用网线连接，相互ping，没有成功Destination Host Unreachable

状态还是
admin1@admin:~$ sudo ibstat
CA 'mlx4_0'
CA type: MT26428
Number of ports: 1
Firmware version: 2.9.1000
Hardware version: b0
Node GUID: 0x0002c903000d37fa
System image GUID: 0x0002c903000d37fd
Port 1:
State: Initializing
Physical state: LinkUp
Rate: 40
Base lid: 0
LMC: 0
SM lid: 0
Capability mask: 0x02510868
Port GUID: 0x0002c903000d37fb
Link layer: InfiniBand
而且没有资料流使用ib0

[poloshiao]

这样设置之后我将两张网卡直接用网线连接，相互ping，没有成功Destination Host Unreachable

如果直接連接 需要使用 跳線纜線 (除非你的主板線路有自動識別跳線的智能功能)
https://zh.wikipedia.org/wiki/CAT-5
一般電腦與電腦連接，則需要以「交叉線」（又稱為跳線，crossover cables）連接。

http://www.twwiki.com/wiki/%E8%B7%B3%E7%B7%9A
跳線 -對接方法

如果暫時沒有跳線纜線 使用一般纜線插進 switch 或 hub 即可

这样设置之后我将两张网卡直接用网线连接

两张网卡必須分開在不同電腦

sudo ibstat

http://manpages.ubuntu.com/manpages/xen ... tat.8.html
ibstat [options] <ca_name> [portnum]
Debugging flags
-d raise the IB debugging level. May be used several times (-ddd
or -d -d -d).

[jdbyzfhy]

如果暫時沒有跳線纜線 使用一般纜線插進 switch 或 hub 即可

两张网卡必須分開在不同電腦

我使用infiniband网线将两张插入在不同电脑上的网卡相连

现在不知道该怎么去查错了，没有资料流使用ib0

[poloshiao]

现在不知道该怎么去查错了，没有资料流使用ib0

1. http://lists.openfabrics.org/pipermail/ ... 00391.html
InfiniBand Troubleshooting
試試
ibstat -d
ibstat -dd
ibstat -ddd
... 加多一個 d 訊息多一些
必要時 加 sudo 看看

2. 詳細參閱
https://hasanmansur.com/2012/10/15/infi ... eshooting/
Infiniband Troubleshooting