mdadm模拟软raid、watch周期性执行命令

摘要：正在同步查看信息查看详细信息停止阵列或在以下版本可能稍微不同阵列停止后下次开机可能出现和，这个时候需要，，这样被占用的分区就可以使用了，否则被占用的分区不能使用资源繁忙。

【看本文需要的理论知识1.RAID是什么？ 2.RAID有哪些级别？ 3.为什么需要RAID技术？  4.硬RAID和软RAID？】

mdadm：将任何块设备做成RAID，在实际的工作中几乎都是硬RAID，软RAID用的很少，因为它是靠CPU和软件模拟实现的【硬RAID是一个控制接口实现的】，把数据按照RAID的等级实现的不同的分配。现在要用软RAID拿来做练习，它和硬RAID的理论是一样的，真正的软RAID也应该是在多块磁盘操作的，比如数据存入到磁盘的时候同时分到两块磁盘，这样速度提升一倍，但是现在是两个分区做的RAID，一个分区相当于一个磁盘，因为是同一块磁盘速度肯定也是和不用RAID一样，仅仅是为了学习知识，没必要装多块磁盘。

首先创建两个分区

[root@localhost ~]# fdisk  /dev/sdb

WARNING: DOS-compatible mode is deprecated. It"s strongly recommended to
         switch off the mode (command "c") and change display units to
         sectors (command "u").
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-1305, default 1): 
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-1305, default 1305): +1G

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 2
First cylinder (133-1305, default 133): 
Using default value 133
Last cylinder, +cylinders or +size{K,M,G} (133-1305, default 1305): +1G

Command (m for help): t【更改分区类型】
Partition number (1-4): 1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid autodetect)

Command (m for help): t
Partition number (1-4): 2
Hex code (type L to list codes): fd
Changed system type of partition 2 to fd (Linux raid autodetect)

Command (m for help): p

Disk /dev/sdb: 10.7 GB, 10737418240 bytes
255 heads, 63 sectors/track, 1305 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xd25c91c2

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1         132     1060258+  fd  Linux raid autodetect
/dev/sdb2             133         264     1060290   fd  Linux raid autodetect
Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: 设备或资源忙.
The kernel still uses the old table. The new table will be used at
the next reboot or after you run partprobe(8) or kpartx(8)
Syncing disks.

[root@localhost ~]# cat /proc/partitions
major minor  #blocks  name

   8        0   10485760 sda
   8        1     204800 sda1
   8        2    4194304 sda2
   8        3    2097152 sda3
   8        4          1 sda4
   8        5    3987456 sda5
   8       16   10485760 sdb
   8       17    1606468 sdb1
   8       18    2104515 sdb2
   8       19    1060290 sdb3
[root@localhost ~]# partprobe /dev/sdb【让内核识别，设备被占用，上一讲没有卸载】
Warning: WARNING: the kernel failed to re-read the partition table on /dev/sdb (设备或资源忙).  As a result, it may not reflect all of your changes until after reboot.
[root@localhost ~]# ls -l /mnt/test
总用量 16
drwx------. 2 root root 16384 4月  24 18:29 lost+found
[root@localhost ~]# umount /mnt/test 【卸载】
[root@localhost ~]# partprobe /dev/sdb【内核识别】
[root@localhost ~]# cat /proc/partitions【查看分区表，已经更改】
major minor  #blocks  name

   8        0   10485760 sda
   8        1     204800 sda1
   8        2    4194304 sda2
   8        3    2097152 sda3
   8        4          1 sda4
   8        5    3987456 sda5
   8       16   10485760 sdb
   8       17    1060258 sdb1
   8       18    1060290 sdb2

将任何块设备做成RAID，mdadm有多个模式

模式化的命令：

创建模式 -C，该模式下的选项

-l：RAID级别

-n #：设备个数

-a {yes|no}：是否自动为其创建设备文件

-c：CHUNK大小，2^n，默认64k；比如2块磁盘做RAID，当一个文件大于64k时才分配到第2个磁盘，否则一块磁盘就可以存放

-x #：指定空闲盘个数

创建raid0，2G每个盘1G，I/O提升2倍【也可以使用每个盘512M共4个盘I/O提升4倍】

创建md0：
[root@localhost ~]# mdadm -C /dev/md0 -a yes -l 0 -n 2 /dev/sdb{1,2}【md0】
mdadm: /dev/sdb1 appears to contain an ext2fs file system
       size=1606468K  mtime=Wed Apr 26 18:23:41 2017
Continue creating array? y【原来的文件系统有数据是否覆盖掉】
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
[root@localhost ~]# cat /proc/mdstat【该文件查看哪些raid设备启用】
Personalities : [raid0] 
md0 : active raid0 sdb2[1] sdb1[0]
      2117632 blocks super 1.2 512k chunks
      
unused devices: 


创建文件系统：
[root@localhost ~]# mke2fs -j /dev/md0
mke2fs 1.41.12 (17-May-2010)
文件系统标签=
操作系统:Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=128 blocks, Stripe width=256 blocks
132464 inodes, 529408 blocks
26470 blocks (5.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=545259520
17 block groups
32768 blocks per group, 32768 fragments per group
7792 inodes per group
Superblock backups stored on blocks: 
        32768, 98304, 163840, 229376, 294912

正在写入inode表: 完成                            
Creating journal (16384 blocks): 完成
Writing superblocks and filesystem accounting information: 完成

This filesystem will be automatically checked every 34 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

挂载：
[root@localhost ~]# mount /dev/md0 /mnt/test
[root@localhost ~]# ls -l /mnt/test
总用量 16
drwx------. 2 root root 16384 4月  29 14:58 lost+found

再创建一个raid1，两块磁盘，每个都是1G，一个是备份一个是存储，这样由于数据要读入两份所以输入速度减半，输出速度提升一倍

创建分区，然后指定分区类型，略！【看上面】
内核读取新分区遇到的问题：
[root@localhost ~]# partprobe /dev/sdb
Warning: WARNING: the kernel failed to re-read the partition table on /dev/sdb (设备或资源忙).  As a result, it may not reflect all of your changes until after reboot.
[root@localhost ~]# cat /proc/partitions
major minor  #blocks  name

   8        0   10485760 sda
   8        1     204800 sda1
   8        2    4194304 sda2
   8        3    2097152 sda3
   8        4          1 sda4
   8        5    3987456 sda5
   8       16   10485760 sdb
   8       17    1060258 sdb1
   8       18    1060290 sdb2
   9        0    2117632 md0

解决，redhat6会遇到：
[root@localhost ~]# partx -a /dev/sdb3 /dev/sdb
[root@localhost ~]# partx -a /dev/sdb5 /dev/sdb      
[root@localhost ~]# partx -a /dev/sdb6 /dev/sdb
[root@localhost ~]# cat /proc/partitions
major minor  #blocks  name

   8        0   10485760 sda
   8        1     204800 sda1
   8        2    4194304 sda2
   8        3    2097152 sda3
   8        4          1 sda4
   8        5    3987456 sda5
   8       16   10485760 sdb
   8       17    1060258 sdb1
   8       18    1060290 sdb2
   8       19    1060290 sdb3
   8       20         31 sdb4
   8       21    1060258 sdb5
   8       22    1060258 sdb6
   9        0    2117632 md0

创建raid1：
[root@localhost ~]# mdadm -C /dev/md1 -a yes -l 1 -n 2 /dev/sdb3 /dev/sdb5
mdadm: Note: this array has metadata at the start and
    may not be suitable as a boot device.  If you plan to
    store "/boot" on this device please ensure that
    your boot-loader understands md/v1.x metadata, or use
    --metadata=0.90
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md1 started.
[root@localhost ~]# cat /proc/mdstat
Personalities : [raid0] [raid1] 
md1 : active raid1 sdb5[1] sdb3[0]
      1059200 blocks super 1.2 [2/2] [UU]【发现这是1G】
      
md0 : active raid0 sdb2[1] sdb1[0]
      2117632 blocks super 1.2 512k chunks【发现是2G】
      
unused devices: 
[root@localhost ~]# mke2fs -j /dev/md1【创建文件系统】
[root@localhost mnt]# mount /dev/md1 /mnt/test1【挂载】
[root@localhost mnt]# ls -l /mnt/test1
总用量 16
drwx------. 2 root root 16384 4月  29 15:57 lost+found【挂载成功】

另外，上面-c指定了一个CHUNK大小，默认是64k，而我们的磁盘块大小默认是4k。在实际中每生成一个CHUNK就会计算一下它有多少个磁盘块，但是如果都是用默认值的话64/4是个定值16，不需要让它计算了，我们可以手动指定了这个值来减少计算量，提升性能。
-E选项代表指定带宽的stride = THUNK/磁盘块大小,现在我们手动指定了stride后就不会每次计算了

[root@localhost etc]# mke2fs -j -E stride=16 -b 4096 /dev/md0

--add：短选项-a，添加一块磁盘

--remove：短选项-r，移除某块磁盘

--fail：短选项-f，模拟损坏某块磁盘【如：mdadm /dev/md# --fail /dev/sdb3】

[root@localhost media]# mdadm /dev/md1 -f /dev/sdb3【模拟损坏sdb3】
mdadm: set /dev/sdb3 faulty in /dev/md1
[root@localhost media]# mdadm -D /dev/md1
/dev/md1:
        Version : 1.2
  Creation Time : Sat Apr 29 15:44:04 2017
     Raid Level : raid1
     Array Size : 1059200 (1034.55 MiB 1084.62 MB)
  Used Dev Size : 1059200 (1034.55 MiB 1084.62 MB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Sat Apr 29 17:37:57 2017
          State : clean, degraded 
 Active Devices : 1
Working Devices : 1
 Failed Devices : 1
  Spare Devices : 0

           Name : localhost.localdomain:1  (local to host localhost.localdomain)
           UUID : b19c3436:677585c7:9cf346ce:2dbc4908
         Events : 19

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       21        1      active sync   /dev/sdb5

       0       8       19        -      faulty   /dev/sdb3【sdb3损坏了】
       
[root@localhost media]# ls -l /mnt/test1【看看是否还能使用】
总用量 16
drwx------. 2 root root 16384 4月  29 15:57 lost+found

真实的情况是，磁盘坏了拆下来更换，但是现在是模拟的，所以应该用命令拆卸

[root@localhost media]# mdadm /dev/md1 -r /dev/sdb3 
mdadm: hot removed /dev/sdb3 from /dev/md1
[root@localhost media]# mdadm -D /dev/md1【再次查看一下】    
.....
....
           UUID : b19c3436:677585c7:9cf346ce:2dbc4908
         Events : 20

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       21        1      active sync   /dev/sdb5【只有一块盘了】

增加一块新盘，要求和原来的磁盘大小一样；只创建分区指定分区类型就行，不需要创建文件系统；还可以-a多加一块盘作为备用，当raid1中一块盘坏了自动就会顶上去，备份另一块盘的数据。

[root@localhost media]# mdadm /dev/md1 -a /dev/sdb6
mdadm: added /dev/sdb6
[root@localhost media]# cat /proc/mdstat           
Personalities : [raid0] [raid1] 
md1 : active raid1 sdb6[2] sdb5[1]
      1059200 blocks super 1.2 [2/1] [_U]
      [==============>......]  recovery = 73.9% (783168/1059200) finish=0.0min【正在同步】 speed=261056K/sec
      
md0 : active raid0 sdb2[1] sdb1[0]
      2117632 blocks super 1.2 512k chunks
      
unused devices: 

查看详细信息：mdadm -D /dev/md#【-D == --detial】

--scan【mdadm -D --scan】

[root@localhost mnt]# mdadm -D /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat Apr 29 09:12:13 2017
     Raid Level : raid0
     Array Size : 2117632 (2.02 GiB 2.17 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Sat Apr 29 09:12:13 2017
          State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

     Chunk Size : 512K

           Name : localhost.localdomain:0  (local to host localhost.localdomain)
           UUID : 8c6017f2:898580a7:f170e4b1:3e15c461
         Events : 0

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       18        1      active sync   /dev/sdb2

mdadm -S 或--stop /dev/md#【在redhat6以下版本可能稍微不同】阵列停止后下次开机可能出现/dev/md126和/dev/md127，这个时候需要mdadm -S /dev/md126，mdadm -S /dev/md127，这样被占用的分区就可以使用了，否则被占用的分区不能使用【资源繁忙】。最后就可以像普通分区那样使用了

[root@localhost media]# umount /mnt/test1
[root@localhost media]# mdadm -S /dev/md1
mdadm: stopped /dev/md1
[root@localhost etc]# mdadm -D --scan【查看一下】
ARRAY /dev/md0 metadata=1.2 name=localhost.localdomain:0 UUID=8c6017f2:898580a7:f170e4b1:3e15c461

-F 用的很少，略

-G

-A，一般使用情况是redhat6以下：mdamd -D --scan > /etc/mdadm.conf，然后mdadm -S /dev/md#停止该raid，下次直接mdamd -A /dev/mde#会自动读取配置文件装备上，如果没有mdamd.conf配置文件还要手动添加磁盘：mdadm /dev/md1 -a /dev/sdb6；在redhat6以上版本，mdamd -S 直接把设备就删除了，所以redhat6以上版本几乎不使用-A了
转：http://blog.csdn.net/lileizha...【 redhat6 创建raid，重启后md0变为md127 】
转：http://godben.blog.51cto.com/...【godben 的BLOG ：linux RHEL6 中md0重启后变为 md127的解决办法】

当停止阵列以后分区可能会自动就又被占用，如下面这种情况：Can"t open /dev/sdb6 exclusively.  Mounted filesystem?，这个时候再次mdadm -S 停止就行，为了不让它以后自动又被占用，直接先-f 模拟损坏，再停止阵列

[root@localhost ~]# pvcreate /dev/sdb6
  Can"t open /dev/sdb6 exclusively.  Mounted filesystem?
[root@localhost ~]# cat /proc/mdstat【怎么自动被raid占用了？？？】
Personalities : [raid1] [raid0] 
md1 : inactive sdb6[2](S)
      1059234 blocks super 1.2
       
md0 : active raid0 sdb2[1] sdb1[0]
      2117632 blocks super 1.2 512k chunks
      
unused devices: 
[root@localhost ~]# mdadm -S /dev/md0【停止阵列】
mdadm: stopped /dev/md0
[root@localhost ~]# mdadm -S /dev/md1
mdadm: stopped /dev/md1

watch：周期性执行指定命令，并以全屏方式显示结果

-n #：指定每个#秒执行指定命令一次，默认是2s【watch -n # "COMMAND"】

欢迎来我的博客：http://www.51aixue.cn/2017/04...