Centos8 中安装并配置 VDO 来优化存储空间

Centos8 中安装并配置 VDO 来优化存储空间

作者： 逄增宝 2021-05-19 07:59:35

云计算

虚拟化 虚拟数据优化器(VDO)是一种块虚拟化技术，可提供透明的数据重复删除功能。通过消除冗余的数据块，VDO可以大大减少实际使用的磁盘容量。

创新互联主营宜丰网站建设的网络公司,主营网站建设方案,成都app软件开发公司,宜丰h5成都微信小程序搭建,宜丰网站营销推广欢迎宜丰等地区企业咨询

虚拟数据优化器(VDO)是一种块虚拟化技术，可提供透明的数据重复删除功能。通过消除冗余的数据块，VDO可以大大减少实际使用的磁盘容量。

VDO由两个内核模块和两个命令组成：

由下面两个内核模块组成：

  • kvdo - 该模块加载到设备管理器层，提供用于重复数据删除的块存储卷。
  • uds - 该模块负责与VDO磁盘上的通用的重复数据删除索引进行通信。

包括两个命令行工具：

  • vdo - 用于创建，删除，启动和停止VDO卷，以及执行其他配置操作。
  • vdostats - 用于报告VDO卷的各个方面，包括有效的减少和物理卷的利用率。

系统环境

Centos8

安装VDO

下面命令安装vdo和相关依赖，安装完成之后重启系统：

  
 
 
 
       
  
  
  
  1. [root@localhost ~]# yum -y install vdo 
    2.    
  
  
  
  2. [root@localhost ~]# reboot 
    3.

创建一个VDO设备

确保有一个空余磁盘或分区可供VDO使用。尽管可以在LVM逻辑卷上面创建VDO卷，但是重新引导系统时会出现引导顺序问题。所以再裸盘上面创建vdo卷之后在它之上创建LVM逻辑卷。

下面使用一块20GB的磁盘，/dev/sda做vdo卷

下面创建vdo卷：

  
 
 
 
       
  
  
  
  1. [root@localhost ~]# vdo create --name=vdolvm --device /dev/sda --vdoLogicalSize 60G --writePolicy async  
    2.    
  
  
  
  2. Creating VDO vdolvm 
    3.    
  
  
  
  3.       The VDO volume can address 16 GB in 8 data slabs, each 2 GB. 
    4.    
  
  
  
  4.       It can grow to address at most 16 TB of physical storage in 8192 slabs. 
    5.    
  
  
  
  5.       If a larger maximum size might be needed, use bigger slabs. 
    6.    
  
  
  
  6. Starting VDO vdolvm 
    7.    
  
  
  
  7. Starting compression on VDO vdolvm 
    8.    
  
  
  
  8. VDO instance 0 volume is ready at /dev/mapper/vdolvm 
    9.

下面分解一下命令，看看所使用的选项：

--device - 指定在哪个硬盘上创建vdo卷

--vdoLogicalSize - 这里我们指定了容量大小为60G，比我们实际磁盘20G大了许多。假设我们将从重复数据删除中至少得到3:1的减少，对于大多数的数据，这是相当保守的，但如果你的数据没有很多重复的，那么比率应该是不同的。日志文件和其他纯文本文件通常可以很好地进行重复数据删除，可能会得到10:1甚至更高的重复数据删除率。但是二进制文件，如视频、音频或压缩包，将远远低于3:1，甚至在某些情况下1:1。这种情况下不建议使用vdo卷。

--writePolicy - vdo有三种写策略：

sync:只有在数据写入物理设备后，才会确认对VDO卷的写入。

async:在数据写入缓存后被确认。如果在设备故障或掉电之前没有刷新缓存，可能会导致数据丢失。

auto:在这种默认模式下，VDO将检查存储设备并确定它是否支持刷新。如果是这样，VDO将使用异步模式。如果没有，它将使用同步模式。

查看新建VDO卷相关的信息

正如我们在上一步的输出中看到的，VDO创建了一个名为/dev/mapper/vdolvm的新dm设备。当我们创建lvm卷组时，这就是我们将要使用的设备。

  
 
 
 
       
  
  
  
  1. [root@localhost ~]# ll /dev/mapper/vdolvm  
    2.    
  
  
  
  2. lrwxrwxrwx 1 root root 7 Mar  4 13:31 /dev/mapper/vdolvm -> ../dm-2 
    3.

让我们看看使用vdostats可以获得有关vdo卷的什么样的信息：

  
 
 
 
       
  
  
  
  1. [root@localhost ~]# vdostats --hu 
    2.    
  
  
  
  2. Device                    Size      Used Available Use% Space saving% 
    3.    
  
  
  
  3. /dev/mapper/vdolvm       20.0G      4.0G     16.0G  20%           N/A 
    4.

由于我们尚未将任何数据写入该卷，因此Space saving%字段为N/A。稍后我们将写一些数据时，在此处看到更多有用的信息。

可以看到上图中，我们还没有写任何数据，但是已经有4GB，20%的空间正在使用中了!这是因为“通用重复数据删除索引”已被写入磁盘。这基本上是一个数据库，用于记录slab指纹及其位置。这就是使重复数据删除成为可能的原因。

将VDO卷作为普通磁盘设备进行设置

现在我们已经创建了VDO设备，我们可以对其进行分区并格式化，或者在这个vod卷上面创建lvm逻辑卷。下面我们创建逻辑卷：

  
 
 
 
       
  
  
  
  1. # 创建物理卷 
    2.    
  
  
  
  2. [root@localhost ~]# pvcreate /dev/mapper/vdolvm  
    3.    
  
  
  
  3.   Physical volume "/dev/mapper/vdolvm" successfully created. 
    4.    
  
  
  
  4. # 创建卷组vdo_vg 
    5.    
  
  
  
  5. [root@localhost ~]# vgcreate vdo_vg /dev/mapper/vdolvm  
    6.    
  
  
  
  6.   Volume group "vdo_vg" successfully created 
    7.    
  
  
  
  7. # 查看vdo_vg卷组的信息 
    8.    
  
  
  
  8. [root@localhost ~]# vgdisplay vdo_vg  
    9.    
  
  
  
  9.   --- Volume group --- 
    10.    
  
  
  
  10.   VG Name               vdo_vg 
    11.    
  
  
  
  11.   System ID              
    12.    
  
  
  
  12.   Format                lvm2 
    13.    
  
  
  
  13.   Metadata Areas        1 
    14.    
  
  
  
  14.   Metadata Sequence No  1 
    15.    
  
  
  
  15.   VG Access             read/write 
    16.    
  
  
  
  16.   VG Status             resizable 
    17.    
  
  
  
  17.   MAX LV                0 
    18.    
  
  
  
  18.   Cur LV                0 
    19.    
  
  
  
  19.   Open LV               0 
    20.    
  
  
  
  20.   Max PV                0 
    21.    
  
  
  
  21.   Cur PV                1 
    22.    
  
  
  
  22.   Act PV                1 
    23.    
  
  
  
  23.   VG Size               <60.00 GiB 
    24.    
  
  
  
  24.   PE Size               4.00 MiB 
    25.    
  
  
  
  25.   Total PE              15359 
    26.    
  
  
  
  26.   Alloc PE / Size       0 / 0    
    27.    
  
  
  
  27.   Free  PE / Size       15359 / <60.00 GiB 
    28.    
  
  
  
  28.   VG UUID               qfPiH6-eMCU-Z6kr-eeCu-jd0J-8lmf-49daZX 
    29.

从上面可以看到，lvm认为我们的基础磁盘为120GB，尽管我们知道它只有40GB。由于LVM不知道VDO后端磁盘的大小。

现在，让我们创建几个逻辑卷吧：

  
 
 
 
       
  
  
  
  1. [root@localhost ~]# lvcreate -n vdo_lv01 -L 15G vdo_vg  
    2.    
  
  
  
  2. [root@localhost ~]# lvcreate -L 15G -n vdo_lv02 vdo_vg 
    3.    
  
  
  
  3. [root@localhost ~]# lvcreate -L 15G -n vdo_lv03 vdo_vg  
    4.    
  
  
  
  4. # 查看创建好的逻辑卷 
    5.    
  
  
  
  5. [root@localhost ~]# lvs -o +devices 
    6.

创建挂载点并挂载文件系统

通常，创建文件系统后，它将在设备上运行Trim操作。使用VDO时，这不是理想的选择，因为磁盘容量是按需分配的。因此，我们要告诉mkfs在文件系统创建过程中不要丢弃块。对于XFS，请使用-K选项。对于EXT4，请使用-E nodiscard。下面使用了一个for循环，将三个逻辑卷格式化为XFS文件系统：

  
 
 
 
       
  
  
  
  1. [root@localhost ~]# for i in `seq 1 3`; do mkfs.xfs -K /dev/vdo_vg/vdo_lv0$i ; done 
    2.    
  
  
  
  2. meta-data=/dev/vdo_vg/vdo_lv01   isize=512    agcount=4, agsize=983040 blks 
    3.    
  
  
  
  3.          =                       sectsz=4096  attr=2, projid32bit=1 
    4.    
  
  
  
  4.          =                       crc=1        finobt=1, sparse=1, rmapbt=0 
    5.    
  
  
  
  5.          =                       reflink=1 
    6.    
  
  
  
  6. data     =                       bsize=4096   blocks=3932160, imaxpct=25 
    7.    
  
  
  
  7.          =                       sunit=0      swidth=0 blks 
    8.    
  
  
  
  8. naming   =version 2              bsize=4096   ascii-ci=0, ftype=1 
    9.    
  
  
  
  9. log      =internal log           bsize=4096   blocks=2560, version=2 
    10.    
  
  
  
  10.          =                       sectsz=4096  sunit=1 blks, lazy-count=1 
    11.    
  
  
  
  11. realtime =none                   extsz=4096   blocks=0, rtextents=0 
    12.    
  
  
  
  12. meta-data=/dev/vdo_vg/vdo_lv02   isize=512    agcount=4, agsize=983040 blks 
    13.    
  
  
  
  13.          =                       sectsz=4096  attr=2, projid32bit=1 
    14.    
  
  
  
  14.          =                       crc=1        finobt=1, sparse=1, rmapbt=0 
    15.    
  
  
  
  15.          =                       reflink=1 
    16.    
  
  
  
  16. data     =                       bsize=4096   blocks=3932160, imaxpct=25 
    17.    
  
  
  
  17.          =                       sunit=0      swidth=0 blks 
    18.    
  
  
  
  18. naming   =version 2              bsize=4096   ascii-ci=0, ftype=1 
    19.    
  
  
  
  19. log      =internal log           bsize=4096   blocks=2560, version=2 
    20.    
  
  
  
  20.          =                       sectsz=4096  sunit=1 blks, lazy-count=1 
    21.    
  
  
  
  21. realtime =none                   extsz=4096   blocks=0, rtextents=0 
    22.    
  
  
  
  22. meta-data=/dev/vdo_vg/vdo_lv03   isize=512    agcount=4, agsize=983040 blks 
    23.    
  
  
  
  23.          =                       sectsz=4096  attr=2, projid32bit=1 
    24.    
  
  
  
  24.          =                       crc=1        finobt=1, sparse=1, rmapbt=0 
    25.    
  
  
  
  25.          =                       reflink=1 
    26.    
  
  
  
  26. data     =                       bsize=4096   blocks=3932160, imaxpct=25 
    27.    
  
  
  
  27.          =                       sunit=0      swidth=0 blks 
    28.    
  
  
  
  28. naming   =version 2              bsize=4096   ascii-ci=0, ftype=1 
    29.    
  
  
  
  29. log      =internal log           bsize=4096   blocks=2560, version=2 
    30.    
  
  
  
  30.          =                       sectsz=4096  sunit=1 blks, lazy-count=1 
    31.    
  
  
  
  31. realtime =none                   extsz=4096   blocks=0, rtextents=0 
    32.

当我们将新文件系统挂载到挂载点时，我们要告诉XFS放弃块，因为这将大大加快文件删除的速度。

  
 
 
 
       
  
  
  
  1. [root@localhost ~]# mkdir -p /data/{01..03} 
    2.    
  
  
  
  2. [root@localhost ~]# for i in `seq 1 3`; do mount -o discard /dev/vdo_vg/vdo_lv0$i /data/0$i; done 
    3.

现在，我们向设备写入了少量数据，我们可以再次检查VDO卷以查看情况是否已更改。

  
 
 
 
       
  
  
  
  1. [root@localhost ~]# vdostats --hu 
    2.    
  
  
  
  2. Device                    Size      Used Available Use% Space saving% 
    3.    
  
  
  
  3. /dev/mapper/vdolvm       20.0G      4.0G     16.0G  20%           86% 
    4.

设置为开机启动

下面将三个逻辑卷设置为开机启动，需要在fstab文件中添加x-systemd.device-timeout=0和x-systemd.requires=vdo.service。

使用blkid查看这三个逻辑卷的UUID。

使用上面获取到的UUID，添加在/etc/fstab文件中：

  
 
 
 
       
  
  
  
  1. [root@localhost systemd]# vim /etc/fstab  
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. UUID="bd2c1c61-4656-4065-b5a0-3ca53ef0f949" /data/01  xfs  defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0 
    4.    
  
  
  
  4. UUID="1e53579b-f1da-4f77-80e6-d61a40515525" /data/02  xfs  defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0 
    5.    
  
  
  
  5. UUID="d41bf7e2-bf75-4db7-b323-a923375f6a6e" /data/03  xfs  defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0 
    6.

本文转载自微信公众号「Linux就该这么学」，可以通过以下二维码关注。转载本文请联系Linux就该这么学公众号。

当前名称：Centos8 中安装并配置 VDO 来优化存储空间
分享URL：http://www.shufengxianlan.com/qtweb/news30/90730.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

网站改版知识

分类信息网

主动防护网　　 　自贡网站建设　　 　传美奇电气　　 　重庆教育培训网站建设　　 　四川和正源　　 　seo优化排名　　 　成都微信公众号开发　　 　乐山做网站　　 　成都移动服务器托管　　 　仿古建筑设计　　 　成都发电机维修　　 　中晴建设　　 　成都电信服务器托管　　 　达州主机托管　　 　快照排名　　 　成都广告制作　　 　网站推广公司　　 　自贡主机托管　　 　新津网站运维　　 　成都网站设计