deduplication karşılaştırması - zfs vs. vdo

zfs ve vdo yu karşılaştırma zamanı geldi diyerek karşılaştırmaya karar verdim.

Testlerde kullanabileceğim iki tane IBM power8 sunucu üzerine, zfs için RHEL 7, vdo için RHEL 8 kurarak karşılaştırdım.

Sonuç olarak vdo daha az kaynak, neredeyse yarı yarıya, ve ~%3 daha iyi deduplication gerçekleştirdi. RHEL 8 geldiğinde arşivleme sistemleri için vdo yu kullanabiliriz görünüyor.

Tabi her şey deduplication değil. snapshot, replikasyon vs. gibi ihtiyaçlar varsa zfs öne çıkmaya devam edecek gibi görünüyor.  


Test sistemi hakkında;

[root@Rhel8onPower8 ~]# lsb_release -a
LSB Version:    :core-4.1-noarch:core-4.1-ppc64le:cxx-4.1-noarch:cxx-4.1-ppc64le:desktop-4.1-noarch:desktop-4.1-ppc64le:languages-4.1-noarch:languages-4.1-ppc64le:printing-4.1-noarch:printing-4.1-ppc64le
Distributor ID: RedHatEnterprise
Description:    Red Hat Enterprise Linux release 8.0 Beta (Ootpa)
Release:        8.0
Codename:       Ootpa


[root@Rhel8onPower8 ~]# uname -a
Linux Rhel8onPower8 4.18.0-32.el8.ppc64le #1 SMP Sat Oct 27 18:35:17 UTC 2018 ppc64le ppc64le ppc64le GNU/Linux
[root@Rhel8onPower8 ~]#



[root@Rhel8onPower8 ~]# vdo printConfigFile
config: !Configuration
  vdos:
    vdoarsiv: !VDOService
      _operationState: finished
      ackThreads: 1
      activated: enabled
      bioRotationInterval: 64
      bioThreads: 4
      blockMapCacheSize: 128M
      blockMapPeriod: 16380
      compression: disabled
      cpuThreads: 2
      deduplication: enabled
      device: /dev/disk/by-id/dm-uuid-LVM-j8P9Uhbk5qFa5qYNCoQXvF5GQUyuQgAo6mXwjVUSakKfGix2UOYeLWGpku51YOwD
      hashZoneThreads: 1
      indexCfreq: 0
      indexMemory: 0.25
      indexSparse: disabled
      indexThreads: 0
      logicalBlockSize: 4096
      logicalSize: 30T
      logicalThreads: 1
      name: vdoarsiv
      physicalSize: 3T
      physicalThreads: 1
      readCache: disabled
      readCacheSize: 0M
      slabSize: 2G
      writePolicy: auto
  version: 538380551
filename: /etc/vdoconf.yml

[root@Rhel8onPower8 ~]#

[root@Rhel8onPower8 ~]# vdostats  --human-readable
Device                    Size      Used Available Use% Space saving%
/dev/mapper/vdoarsiv      3.0T    307.5G      2.7T  10%           77%
[root@Rhel8onPower8 ~]#

[root@Rhel8onPower8 ~]# yum info vdo
Updating Subscription Management repositories.
Last metadata expiration check: 0:41:53 ago on Tue 27 Nov 2018 11:59:03 PM EST.
Installed Packages
Name         : vdo
Version      : 6.2.0.239
Release      : 8.el8
Arch         : ppc64le
Size         : 5.0 M
Source       : vdo-6.2.0.239-8.el8.src.rpm
Repo         : @System
From repo    : localrepoBase
Summary      : Management tools for Virtual Data Optimizer
URL          : http://github.com/dm-vdo/vdo
License      : GPLv2
Description  : Virtual Data Optimizer (VDO) is a device mapper target that delivers
             : block-level deduplication, compression, and thin provisioning.
             :
             : This package provides the user-space management tools for VDO.

[root@Rhel8onPower8 ~]#



ZFSonLinux kurulu sistem;

[root@rhel7-on-s822l ~]# lsb_release
LSB Version:    :core-4.1-noarch:core-4.1-ppc64le:cxx-4.1-noarch:cxx-4.1-ppc64le:desktop-4.1-noarch:desktop-4.1-ppc64le:languages-4.1-noarch:languages-4.1-ppc64le:printing-4.1-noarch:printing-4.1-ppc64le
[root@rhel7-on-s822l ~]# lsb_release  -a
LSB Version:    :core-4.1-noarch:core-4.1-ppc64le:cxx-4.1-noarch:cxx-4.1-ppc64le:desktop-4.1-noarch:desktop-4.1-ppc64le:languages-4.1-noarch:languages-4.1-ppc64le:printing-4.1-noarch:printing-4.1-ppc64le
Distributor ID: RedHatEnterpriseServer
Description:    Red Hat Enterprise Linux Server release 7.6 (Maipo)
Release:        7.6
Codename:       Maipo
[root@rhel7-on-s822l ~]# uname -a
Linux rhel7-on-s822l 3.10.0-957.el7.ppc64le #1 SMP Thu Oct 4 20:51:36 UTC 2018 ppc64le ppc64le ppc64le GNU/Linux
[root@rhel7-on-s822l ~]#

[root@rhel7-on-s822l ~]# yum info zfs
Loaded plugins: product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
Installed Packages
Name        : zfs
Arch        : ppc64le
Version     : 0.8.0
Release     : rc1_102_gad796b8.el7
Size        : 1.8 M
Repo        : installed
Summary     : Commands to control the kernel modules and libraries
URL         : http://zfsonlinux.org/
License     : CDDL
Description : This package contains the ZFS command line utilities.

[root@rhel7-on-s822l ~]#
[root@rhel7-on-s822l ~]# zpool list
NAME      SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
alibaba   880G   339G   541G        -         -     9%    38%  3.98x  ONLINE  -
[root@rhel7-on-s822l ~]#

deduplication karşılaştırması - zfs vs. vdo

zfs ve vdo yu karşılaştırma zamanı geldi diyerek karşılaştırmaya karar verdim.



Testlerde kullanabileceğim iki tane IBM power8 sunucu üzerine, zfs için RHEL 7, vdo için RHEL 8 kurarak karşılaştırdım.



Sonuç olarak vdo daha az kaynak, neredeyse yarı yarıya, ve ~%3 daha iyi deduplication gerçekleştirdi. RHEL 8 geldiğinde arşivleme sistemleri için vdo yu kullanabiliriz görünüyor.



Tabi her şey deduplication değil. snapshot, replikasyon vs. gibi ihtiyaçlar varsa zfs öne çıkmaya devam edecek gibi görünüyor.  





Test sistemi hakkında;



[root@Rhel8onPower8 ~]# lsb_release -a
LSB Version:    :core-4.1-noarch:core-4.1-ppc64le:cxx-4.1-noarch:cxx-4.1-ppc64le:desktop-4.1-noarch:desktop-4.1-ppc64le:languages-4.1-noarch:languages-4.1-ppc64le:printing-4.1-noarch:printing-4.1-ppc64le
Distributor ID: RedHatEnterprise
Description:    Red Hat Enterprise Linux release 8.0 Beta (Ootpa)
Release:        8.0
Codename:       Ootpa





[root@Rhel8onPower8 ~]# uname -a
Linux Rhel8onPower8 4.18.0-32.el8.ppc64le #1 SMP Sat Oct 27 18:35:17 UTC 2018 ppc64le ppc64le ppc64le GNU/Linux
[root@Rhel8onPower8 ~]#







[root@Rhel8onPower8 ~]# vdo printConfigFile
config: !Configuration
  vdos:
    vdoarsiv: !VDOService
      _operationState: finished
      ackThreads: 1
      activated: enabled
      bioRotationInterval: 64
      bioThreads: 4
      blockMapCacheSize: 128M
      blockMapPeriod: 16380
      compression: disabled
      cpuThreads: 2
      deduplication: enabled
      device: /dev/disk/by-id/dm-uuid-LVM-j8P9Uhbk5qFa5qYNCoQXvF5GQUyuQgAo6mXwjVUSakKfGix2UOYeLWGpku51YOwD
      hashZoneThreads: 1
      indexCfreq: 0
      indexMemory: 0.25
      indexSparse: disabled
      indexThreads: 0
      logicalBlockSize: 4096
      logicalSize: 30T
      logicalThreads: 1
      name: vdoarsiv
      physicalSize: 3T
      physicalThreads: 1
      readCache: disabled
      readCacheSize: 0M
      slabSize: 2G
      writePolicy: auto
  version: 538380551
filename: /etc/vdoconf.yml

[root@Rhel8onPower8 ~]#



[root@Rhel8onPower8 ~]# vdostats  --human-readable
Device                    Size      Used Available Use% Space saving%
/dev/mapper/vdoarsiv      3.0T    307.5G      2.7T  10%           77%
[root@Rhel8onPower8 ~]#



[root@Rhel8onPower8 ~]# yum info vdo
Updating Subscription Management repositories.
Last metadata expiration check: 0:41:53 ago on Tue 27 Nov 2018 11:59:03 PM EST.
Installed Packages
Name         : vdo
Version      : 6.2.0.239
Release      : 8.el8
Arch         : ppc64le
Size         : 5.0 M
Source       : vdo-6.2.0.239-8.el8.src.rpm
Repo         : @System
From repo    : localrepoBase
Summary      : Management tools for Virtual Data Optimizer
URL          : http://github.com/dm-vdo/vdo
License      : GPLv2
Description  : Virtual Data Optimizer (VDO) is a device mapper target that delivers
             : block-level deduplication, compression, and thin provisioning.
             :
             : This package provides the user-space management tools for VDO.

[root@Rhel8onPower8 ~]#







ZFSonLinux kurulu sistem;



[root@rhel7-on-s822l ~]# lsb_release
LSB Version:    :core-4.1-noarch:core-4.1-ppc64le:cxx-4.1-noarch:cxx-4.1-ppc64le:desktop-4.1-noarch:desktop-4.1-ppc64le:languages-4.1-noarch:languages-4.1-ppc64le:printing-4.1-noarch:printing-4.1-ppc64le
[root@rhel7-on-s822l ~]# lsb_release  -a
LSB Version:    :core-4.1-noarch:core-4.1-ppc64le:cxx-4.1-noarch:cxx-4.1-ppc64le:desktop-4.1-noarch:desktop-4.1-ppc64le:languages-4.1-noarch:languages-4.1-ppc64le:printing-4.1-noarch:printing-4.1-ppc64le
Distributor ID: RedHatEnterpriseServer
Description:    Red Hat Enterprise Linux Server release 7.6 (Maipo)
Release:        7.6
Codename:       Maipo
[root@rhel7-on-s822l ~]# uname -a
Linux rhel7-on-s822l 3.10.0-957.el7.ppc64le #1 SMP Thu Oct 4 20:51:36 UTC 2018 ppc64le ppc64le ppc64le GNU/Linux
[root@rhel7-on-s822l ~]#



[root@rhel7-on-s822l ~]# yum info zfs
Loaded plugins: product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
Installed Packages
Name        : zfs
Arch        : ppc64le
Version     : 0.8.0
Release     : rc1_102_gad796b8.el7
Size        : 1.8 M
Repo        : installed
Summary     : Commands to control the kernel modules and libraries
URL         : http://zfsonlinux.org/
License     : CDDL
Description : This package contains the ZFS command line utilities.

[root@rhel7-on-s822l ~]#

[root@rhel7-on-s822l ~]# zpool list
NAME      SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
alibaba   880G   339G   541G        -         -     9%    38%  3.98x  ONLINE  -
[root@rhel7-on-s822l ~]#

deduplication karşılaştırması - zfs vs. vdo

zfs ve vdo yu karşılaştırma zamanı geldi diyerek karşılaştırmaya karar verdim.

Testlerde kullanabileceğim iki tane IBM power8 sunucu üzerine, zfs için RHEL 7, vdo için RHEL 8 kurarak karşılaştırdım.

Sonuç olarak vdo daha az kaynak, neredeyse yarı yarıya, ve ~%3 daha iyi deduplication gerçekleştirdi. RHEL 8 geldiğinde arşivleme sistemleri için vdo yu kullanabiliriz görünüyor.

Tabi her şey deduplication değil. snapshot, replikasyon vs. gibi ihtiyaçlar varsa zfs öne çıkmaya devam edecek gibi görünüyor.  


Test sistemi hakkında;

[root@Rhel8onPower8 ~]# lsb_release -a
LSB Version:    :core-4.1-noarch:core-4.1-ppc64le:cxx-4.1-noarch:cxx-4.1-ppc64le:desktop-4.1-noarch:desktop-4.1-ppc64le:languages-4.1-noarch:languages-4.1-ppc64le:printing-4.1-noarch:printing-4.1-ppc64le
Distributor ID: RedHatEnterprise
Description:    Red Hat Enterprise Linux release 8.0 Beta (Ootpa)
Release:        8.0
Codename:       Ootpa


[root@Rhel8onPower8 ~]# uname -a
Linux Rhel8onPower8 4.18.0-32.el8.ppc64le #1 SMP Sat Oct 27 18:35:17 UTC 2018 ppc64le ppc64le ppc64le GNU/Linux
[root@Rhel8onPower8 ~]#



[root@Rhel8onPower8 ~]# vdo printConfigFile
config: !Configuration
  vdos:
    vdoarsiv: !VDOService
      _operationState: finished
      ackThreads: 1
      activated: enabled
      bioRotationInterval: 64
      bioThreads: 4
      blockMapCacheSize: 128M
      blockMapPeriod: 16380
      compression: disabled
      cpuThreads: 2
      deduplication: enabled
      device: /dev/disk/by-id/dm-uuid-LVM-j8P9Uhbk5qFa5qYNCoQXvF5GQUyuQgAo6mXwjVUSakKfGix2UOYeLWGpku51YOwD
      hashZoneThreads: 1
      indexCfreq: 0
      indexMemory: 0.25
      indexSparse: disabled
      indexThreads: 0
      logicalBlockSize: 4096
      logicalSize: 30T
      logicalThreads: 1
      name: vdoarsiv
      physicalSize: 3T
      physicalThreads: 1
      readCache: disabled
      readCacheSize: 0M
      slabSize: 2G
      writePolicy: auto
  version: 538380551
filename: /etc/vdoconf.yml

[root@Rhel8onPower8 ~]#

[root@Rhel8onPower8 ~]# vdostats  --human-readable
Device                    Size      Used Available Use% Space saving%
/dev/mapper/vdoarsiv      3.0T    307.5G      2.7T  10%           77%
[root@Rhel8onPower8 ~]#

[root@Rhel8onPower8 ~]# yum info vdo
Updating Subscription Management repositories.
Last metadata expiration check: 0:41:53 ago on Tue 27 Nov 2018 11:59:03 PM EST.
Installed Packages
Name         : vdo
Version      : 6.2.0.239
Release      : 8.el8
Arch         : ppc64le
Size         : 5.0 M
Source       : vdo-6.2.0.239-8.el8.src.rpm
Repo         : @System
From repo    : localrepoBase
Summary      : Management tools for Virtual Data Optimizer
URL          : http://github.com/dm-vdo/vdo
License      : GPLv2
Description  : Virtual Data Optimizer (VDO) is a device mapper target that delivers
             : block-level deduplication, compression, and thin provisioning.
             :
             : This package provides the user-space management tools for VDO.

[root@Rhel8onPower8 ~]#



ZFSonLinux kurulu sistem;

[root@rhel7-on-s822l ~]# lsb_release
LSB Version:    :core-4.1-noarch:core-4.1-ppc64le:cxx-4.1-noarch:cxx-4.1-ppc64le:desktop-4.1-noarch:desktop-4.1-ppc64le:languages-4.1-noarch:languages-4.1-ppc64le:printing-4.1-noarch:printing-4.1-ppc64le
[root@rhel7-on-s822l ~]# lsb_release  -a
LSB Version:    :core-4.1-noarch:core-4.1-ppc64le:cxx-4.1-noarch:cxx-4.1-ppc64le:desktop-4.1-noarch:desktop-4.1-ppc64le:languages-4.1-noarch:languages-4.1-ppc64le:printing-4.1-noarch:printing-4.1-ppc64le
Distributor ID: RedHatEnterpriseServer
Description:    Red Hat Enterprise Linux Server release 7.6 (Maipo)
Release:        7.6
Codename:       Maipo
[root@rhel7-on-s822l ~]# uname -a
Linux rhel7-on-s822l 3.10.0-957.el7.ppc64le #1 SMP Thu Oct 4 20:51:36 UTC 2018 ppc64le ppc64le ppc64le GNU/Linux
[root@rhel7-on-s822l ~]#

[root@rhel7-on-s822l ~]# yum info zfs
Loaded plugins: product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
Installed Packages
Name        : zfs
Arch        : ppc64le
Version     : 0.8.0
Release     : rc1_102_gad796b8.el7
Size        : 1.8 M
Repo        : installed
Summary     : Commands to control the kernel modules and libraries
URL         : http://zfsonlinux.org/
License     : CDDL
Description : This package contains the ZFS command line utilities.

[root@rhel7-on-s822l ~]#
[root@rhel7-on-s822l ~]# zpool list
NAME      SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
alibaba   880G   339G   541G        -         -     9%    38%  3.98x  ONLINE  -
[root@rhel7-on-s822l ~]#

cobbler'e yeni bir sunucu tanımlamak

spacewalk sunucusu üzerinden networkten kurulum için cobbler kullanılıyor.
cobbler'e yeni bir sunucu tanıtmak için aşağıdaki scripti kullanıyorum.


[root@spacewalk ~]# cat sunucu-ekle.sh
#!/bin/bash

# sunucular biostan, ikinci interfaceden boot olacak sekilde ayarlanmali


hostname="oel6-test2.oel.local"

int1="eth0"
mac1="00:01:02:03:42:BD"
ipaddr1="192.168.254.152"

int2="eth1"
mac2="00:01:02:03:2A:D4"
ipaddr2="192.168.11.152"

profile="oel6kickstart:1:local"
cobbler system add --name=$hostname --hostname=$hostname --interface=$int1 --mac=$mac1 --ip-address=$ipaddr1 --interface=$int2 --mac=$mac2 --ip-address=$ipaddr2 --profile=$profile

cobbler sync
systemc restart dhcpd
systemctl restart named

cobbler system list
[root@spacewalk ~]#

Tabiki cobblerin ayarlanmış olması şart. cobbler için en azından /etc/cobbler dizini altındaki  aşağıdaki dosyaları düzenlemeniz gerekmektedir. Aksi durumda dhcp/dns tanımlamaları aksaklığa neden olur.

zone.template
named.template
dhcp.template
settings

cobbler'e yeni bir sunucu tanımlamak

spacewalk sunucusu üzerinden networkten kurulum için cobbler kullanılıyor.
cobbler'e yeni bir sunucu tanıtmak için aşağıdaki scripti kullanıyorum.


[root@spacewalk ~]# cat sunucu-ekle.sh
#!/bin/bash

# sunucular biostan, ikinci interfaceden boot olacak sekilde ayarlanmali


hostname="oel6-test2.oel.local"

int1="eth0"
mac1="00:01:02:03:42:BD"
ipaddr1="192.168.254.152"

int2="eth1"
mac2="00:01:02:03:2A:D4"
ipaddr2="192.168.11.152"

profile="oel6kickstart:1:local"
cobbler system add --name=$hostname --hostname=$hostname --interface=$int1 --mac=$mac1 --ip-address=$ipaddr1 --interface=$int2 --mac=$mac2 --ip-address=$ipaddr2 --profile=$profile

cobbler sync
systemc restart dhcpd
systemctl restart named

cobbler system list
[root@spacewalk ~]#

Tabiki cobblerin ayarlanmış olması şart. cobbler için en azından /etc/cobbler dizini altındaki  aşağıdaki dosyaları düzenlemeniz gerekmektedir. Aksi durumda dhcp/dns tanımlamaları aksaklığa neden olur.

zone.template
named.template
dhcp.template
settings

cobbler'e yeni bir sunucu tanımlamak

spacewalk sunucusu üzerinden networkten kurulum için cobbler kullanılıyor.
cobbler'e yeni bir sunucu tanıtmak için aşağıdaki scripti kullanıyorum.


[root@spacewalk ~]# cat sunucu-ekle.sh
#!/bin/bash

# sunucular biostan, ikinci interfaceden boot olacak sekilde ayarlanmali


hostname="oel6-test2.oel.local"

int1="eth0"
mac1="00:01:02:03:42:BD"
ipaddr1="192.168.254.152"

int2="eth1"
mac2="00:01:02:03:2A:D4"
ipaddr2="192.168.11.152"

profile="oel6kickstart:1:local"
cobbler system add --name=$hostname --hostname=$hostname --interface=$int1 --mac=$mac1 --ip-address=$ipaddr1 --interface=$int2 --mac=$mac2 --ip-address=$ipaddr2 --profile=$profile

cobbler sync
systemc restart dhcpd
systemctl restart named

cobbler system list
[root@spacewalk ~]#

Tabiki cobblerin ayarlanmış olması şart. cobbler için en azından /etc/cobbler dizini altındaki  aşağıdaki dosyaları düzenlemeniz gerekmektedir. Aksi durumda dhcp/dns tanımlamaları aksaklığa neden olur.

zone.template
named.template
dhcp.template
settings

Birazda bisiklet reklamı

Merhabalar,

Bu gün kişiye özel bisiklet yapımıyla ilgili reklam yapayım dedim.

Bisiklet sevenlerdenseniz, aşağıdaki linki ziyaret etmeniz iyi olur.

https://soulrider.bike/tr_TR/


Belki kendizine özel bir bisiklet istersiniz. :)