CentOS+LVM+Celerra iSCSI配置详解

Web、Mail、Ftp、DNS、Proxy、VPN、Samba、LDAP 等基础网络服务
回复
junewen
帖子: 4
注册时间: 2011-04-19 11:21
送出感谢: 0
接收感谢: 0

CentOS+LVM+Celerra iSCSI配置详解

#1

帖子 junewen » 2011-06-04 21:23

前日测试结果,与大家分享一下,详情参考存储人生-《http://www.storageonline.com.cn/storage ... -detailed/》,欢迎拍砖 :em01

测试环境:CentOS 5.3(RH 4.1.2-44) on VMware Workstartion 7.0, EMC Celerra G8(6.0.41-3)

测试目标:Celerra上分配5个100MB iSCSI LUN给CentOS,CentOS上配置LVM,在LVM上创建2个卷组,分别建立一个逻辑卷,1个为200MB,另一个为300MB。

CentOS上安装并配置iSCSI;
Celerra上分配5个iSCSI LUN给CentOS;
CentOS上能看到5个iSCSI LUN;
安装LVM及LVM图形管理程序system-config-lvm;
图形界面创建卷组和逻辑卷;
命令行创建卷组和逻辑卷;
简介:
LVM是逻辑盘卷管理(LogicalVolumeManager)的简称,它是Linux环境下对磁盘分区进行管理的一种机制,LVM是建立在硬盘和分区之上的一个逻辑层,来提高磁盘分区管理的灵活性。参见《通用线程: 学习 Linux LVM,第 1 部分》
常用术语:
物理存储介质(The Physical Media) :系统的存储设备:硬盘或硬盘上的分区,如:/dev/sda、/dev/hda等等,是存储系统底层的存储。
物理卷(PV)Physical Volume :硬盘分区或从逻辑上与硬盘分区具有同样功能的设备(如 RAID),是 LVM 的基本存储逻辑块,和基本的物理存储介质(如分、磁盘等)不同的是,其中包含有 LVM 管理参数。
卷组(VG)Volume Group :LVM 中的最高抽象层,由一个或多个物理卷组成。一个逻辑卷管理系统中可以只有一个卷组,也可以拥有多个卷组。
逻辑卷(LV)Logical Volume :逻辑卷(LV)在卷组上建立,相当于非 LVM 系统中的分区,可以在其上创建文件系统,如/home 或者 /var 等。系统中的多个逻辑卷可以属于同一个卷组,也可以属于不同的多个卷组。
物理区域(PE)Physical Extent :每一个物理卷被划分为大小相等的称为 PE(Physical Extents)的基本单元。物理区域是物理卷中可用于分配的最小存储单元,物理区域的大小可根据实际情况在建立物理卷时指定。物理区域大小一旦确定将不能更改,同一卷组中的所有物理卷的物理区域大小需要一致。 PE 的大小是可配置的,默认为4MB。
逻辑区域(LE)Logical Extent :逻辑卷也被划分为被称为 LE(Logical Extents)的可被寻址的基本单位。在同一个卷组中,LE的大小和 PE 是相同的,并且一一对应。
VGDA(卷组描述符区域) :和非 LVM 系统将包含分区信息的元数据保存在位于分区起始位置的分区表中一样,逻辑卷以及卷组相关的元数据被保存在位于物理卷起始处的 VGDA 中。VGDA 包括以下内容:PV 描述符、VG 描述符、LV 描述符、和一些 PE 描述符。系统启动 LVM 时激活 VG,并将 VGDA 加载至内存,来识别 LV 的实际物理存储位置。当系统进行 I/O 操作时,就会根据 VGDA 建立的映射机制来访问实际的物理位置。

1. 创建LVM过程
1. 在物理设备上创建物理分区,每个物理分区称为一个PE
2. 创建PV(Physical Volume 物理卷)
3. 使用vgcreate 将多个PV添加到一个VG(Volume Group 卷组)中,此时VG成为一个大磁盘
4. 在VG大磁盘上划分LV(Logical Volume 逻辑卷),将逻辑卷格式化后即可挂载使用



2. CentOS上安装并配置iSCSI
参考《VNX(BLOCK)初体验之iSCSI-从0开始》

3. Celerra上分配5个iSCSI LUN给CentOS
3.1 新建5个100MB的LUN:


3.2 给CentOS访问权限:
1
2
3
[nasadmin@G8_CS0 ~]$ server_iscsi server_2 -mask -set jonathan_t1
-initiator iqn.1994-05.com.centos:bba24c46667 -grant 7-11
server_2 : done



4. CentOS访问iSCSI LUN
4.1 fdisk -l 可以看到5块盘:


5. 安装LVM图形管理程序system-config-lvm
如果在系统安装时已经把system-config-lvm安装上了,那么我们就可以直接对LVM进行配置使用了。否则,可以通过Rat Het Enterprise Linux图形界面下的“添加/删除应用程序”工具进行安装。我是直接下载的rpm包:system-config-lvm-1.1.5-8.el5.noarch.rpm。

打开一个终端运行system-config-lvm即可,界面如下。第一次运行要好长时间:

6. 图形界面创建卷组和逻辑卷
6.1 创建和初始化物理卷(PV)


这里,我创建了2个PV,又要等20分钟才能重新load,晕死。从命令行也可以得出相同的信息:



6.2 添加物理卷到卷组(VG)
将2个PV加入新建的VG中:



6.3 在卷组上创建逻辑卷(LV)
我这里只创建一个lv,将上一步建立的vg空间都用掉,约为180MB:





7. 命令行创建卷组和逻辑卷
7.1 创建PV
1
2
3
[root@usgswhippt1d1c ~]# pvcreate /dev/sd[cd]1
Physical volume "/dev/sdc1" successfully created
Physical volume "/dev/sdd1" successfully created

7.2 查看PV:
1
2
3
4
5
6
7
[root@usgswhippt1d1c ~]# pvscan
PV /dev/hda2 VG VolGroup00 lvm2 [7.88 GB / 0 free]
PV /dev/sda1 VG volGroup02-GUI lvm2 [92.00 MB / 0 free]
PV /dev/sdb1 VG volGroup02-GUI lvm2 [92.00 MB / 0 free]
PV /dev/sdc1 lvm2 [94.10 MB]
PV /dev/sdd1 lvm2 [94.10 MB]
Total: 5 [8.24 GB] / in use: 3 [8.05 GB] / in no VG: 2 [188.20 MB]

7.3 创建VG
##-s 在创建时指定PE块的大小,默认是4M。

1
2
[root@usgswhippt1d1c ~]# vgcreate volGroup03-CLI -s 8M /dev/sd[cd]1
Volume group "volGroup03-CLI" successfully created

7.4 查看VG
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[root@usgswhippt1d1c /]# vgdisplay volGroup03-CLI
— Volume group —
VG Name volGroup03-CLI
System ID
Format lvm2
Metadata Areas 2
Metadata Sequence No 1
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 0
Open LV 0
Max PV 0
Cur PV 2
Act PV 2
VG Size 176.00 MB
PE Size 8.00 MB
Total PE 22
Alloc PE / Size 0 / 0
Free PE / Size 22 / 176.00 MB
VG UUID A2dRrr-tlki-APwi-6XVv-7Rup-gyG4-m3PiEP

7.5 划分LV
1
2
[root@usgswhippt1d1c ~]# lvcreate -L 176M -n volGroup03-CLI-LV01 volGroup03-CLI
Logical volume "volGroup03-CLI-LV01" created

7.6 查看LV
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[root@usgswhippt1d1c ~]# lvdisplay
— Logical volume —
LV Name /dev/volGroup03-CLI/volGroup03-CLI-LV01
VG Name volGroup03-CLI
LV UUID lxOfU2-uDhj-kxS4-qLPJ-0d5Z-RrQj-5F06ER
LV Write Access read/write
LV Status available
# open 0
LV Size 176.00 MB
Current LE 22
Segments 2
Allocation inherit
Read ahead sectors auto
– currently set to 256
Block device 253:3



7.7 格式化LV并挂载
1
2
3
4
[root@usgswhippt1d1c ~]# mkfs -t ext3 /dev/volGroup03-CLI/volGroup03-CLI-LV01

[root@usgswhippt1d1c ~]# mount /dev/volGroup03-CLI/volGroup03-CLI-LV01
/volGroup03-CLI-LV01

7.8 扩展VG,向VG中添加一个PV
1
2
3
4
[root@usgswhippt1d1c ~]# pvcreate /dev/sde1
Physical volume "/dev/sde1" successfully created
[root@usgswhippt1d1c ~]# vgextend volGroup03-CLI /dev/sde1
Volume group "volGroup03-CLI" successfully extended



7.9 扩大LV容量
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@usgswhippt1d1c ~]# lvextend -L 264M /dev/volGroup03-CLI/volGroup03-CLI-LV01
Extending logical volume volGroup03-CLI-LV01 to 264.00 MB
Logical volume volGroup03-CLI-LV01 successfully resized
[root@usgswhippt1d1c ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
7.2G 3.1G 3.8G 45% /
/dev/hda1 99M 12M 82M 13% /boot
tmpfs 125M 0 125M 0% /dev/shm
/dev/mapper/volGroup02–GUI-volGroup02–GUI–LV01
179M 5.6M 164M 4% /volGroup02-GUI-LV01
/dev/mapper/volGroup03–CLI-volGroup03–CLI–LV01
171M 5.6M 157M 4% /volGroup03-CLI-LV01
[root@usgswhippt1d1c ~]# resize2fs -p /dev/volGroup03-CLI/volGroup03-CLI-LV01
resize2fs 1.39 (29-May-2006)
Filesystem at /dev/volGroup03-CLI/volGroup03-CLI-LV01 is mounted on
/volGroup03-CLI-LV01; on-line resizing required
Performing an on-line resize of /dev/volGroup03-CLI/volGroup03-CLI-LV01
to 270336 (1k) blocks.
resize2fs: Invalid argument While trying to add group #25

这个报错貌似一个RH的bug:https://bugzilla.redhat.com/show_bug.cgi?id=443541,先不管了。

1
2
3
4
5
6
7
8
9
10
[root@usgswhippt1d1c ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
7.2G 3.1G 3.8G 45% /
/dev/hda1 99M 12M 82M 13% /boot
tmpfs 125M 0 125M 0% /dev/shm
/dev/mapper/volGroup02–GUI-volGroup02–GUI–LV01
179M 5.6M 164M 4% /volGroup02-GUI-LV01
/dev/mapper/volGroup03–CLI-volGroup03–CLI–LV01
194M 5.6M 179M 4% /volGroup03-CLI-LV01

8. 可以访问啦
回复

回到 “服务器基础应用”