osakanataro – ページ 7 – OSAKANA TAROのメモ帳

2024年4月11日2024年4月11日

CVE-2022-38023対応後のsamba ADサーバに古いONTAPを参加させる

2023年7月のCVE-2022-38023関連対応後、古いONTAPシミュレーターは sambaで作ったActive Directory環境に参加できなくなった。

samba側の設定を変更し、セキュリティ的に問題がある接続でも受け付けるようにすればいいのかな、と試してみた。

sambaのCVE-2022-38023対応に関して書かれている「RC4/HMAC-MD5 NetLogon Secure Channel is weak and should be avoided」に、これまでのdefaultから変更した点がかかれているので、これの逆をやればいいのか、と以下を設定した。

1[global]
2        ＜略＞
3        allow nt4 crypto = yes
4        reject md5 clients = no
5        server reject md5 schannel = no
6        server schannel = yes
7        server schannel require seal = no
8 ＜略＞

拒否しない(rejectをno)のと、必須を解除(requireをno)にすればいいか、というレベルでの対応となる。

ドキュメントの「Cryptographic configuration」を見た感じだとこれで良さそう。

もちろんこれは過去のバージョンを動かす必要があって行うものであり、本来の運用で使用するものではない設定となる。

この設定を行い、sambaの再起動

NetAppのCIFS稼働のSVMでは、vserver cifs securityの項目にて「-smb2-enabled-for-dc-connections true」と「-is-aes-encryption-enabled true」の設定を行っている

エラーメッセージコレクション

ONTAP 9.1 シミュレーター(パッチ無し)

このバージョンではオプションの -smb2-enabled-for-dc-connections と -is-aes-encryption-enabled が存在していないので、エラー内容が結構違う。

1ontap91::> vserver cifs create -cifs-server svm91 -domain ADOSAKANA.LOCAL
2 
3In order to create an Active Directory machine account for the CIFS server, you
4must supply the name and password of a Windows account with sufficient
5privileges to add computers to the "CN=Computers" container within the
6"ADOSAKANA.LOCAL" domain.
7 
8Enter the user name: administrator
9 
10Enter the password:
11 
12Warning: An account by this name already exists in Active Directory at
13         CN=SVM91,CN=Computers,DC=adosakana,DC=local.
14         If there is an existing DNS entry for the name SVM91, it must be
15         removed. Data ONTAP cannot remove such an entry.
16         Use an external tool to remove it after this command completes.
17         Ok to reuse this account? {y|n}: y
18 
19Error: command failed: Failed to create CIFS server SVM91. Reason:
20       create_with_lug: RPC: Unable to receive; errno = Connection reset by
21       peer; netid=tcp fd=17 TO=600.0s TT=0.119s O=224b I=0b CN=113/3 VSID=-3
22       127.0.0.1:766.
23 
24ontap91::>

ONTAP 9.1P22 シミュレーター

1ontap91::> vserver cifs create -cifs-server svm91 -domain ADOSAKANA.LOCAL
2 
3In order to create an Active Directory machine account for the CIFS server, you
4must supply the name and password of a Windows account with sufficient
5privileges to add computers to the "CN=Computers" container within the
6"ADOSAKANA.LOCAL" domain.
7 
8Enter the user name: administrator
9 
10Enter the password:
11 
12Error: Machine account creation procedure failed
13  [    56] Loaded the preliminary configuration.
14  [    92] Successfully connected to ip 172.17.44.49, port 88 using
15           TCP
16  [   107] Successfully connected to ip 172.17.44.49, port 389 using
17           TCP
18  [   110] Unable to start TLS: Connect error
19  [   110]   Additional info:
20  [   110] Unable to connect to LDAP (Active Directory) service on
21           sambaad.ADOSAKANA.LOCAL
22**[   110] FAILURE: Unable to make a connection (LDAP (Active
23**         Directory):ADOSAKANA.LOCAL), result: 7652
24 
25Error: command failed: Failed to create the Active Directory machine account
26       "SVM91". Reason: LDAP Error: Cannot establish a connection to the
27       server.
28 
29ontap91::>

1ontap91::> vserver cifs create -cifs-server svm91 -domain ADOSAKANA.LOCAL
2 
3In order to create an Active Directory machine account for the CIFS server, you
4must supply the name and password of a Windows account with sufficient
5privileges to add computers to the "CN=Computers" container within the
6"ADOSAKANA.LOCAL" domain.
7 
8Enter the user name: administrator
9 
10Enter the password:
11 
12Error: Machine account creation procedure failed
13  [    61] Loaded the preliminary configuration.
14  [    99] Successfully connected to ip 172.17.44.49, port 88 using
15           TCP
16  [   168] Successfully connected to ip 172.17.44.49, port 389 using
17           TCP
18  [   168] Entry for host-address: 172.17.44.49 not found in the
19           current source: FILES. Ignoring and trying next available
20           source
21  [   172] Source: DNS unavailable. Entry for
22           host-address:172.17.44.49 not found in any of the
23           available sources
24**[   181] FAILURE: Unable to SASL bind to LDAP server using GSSAPI:
25**         Local error
26  [   181] Additional info: SASL(-1): generic failure: GSSAPI Error:
27           Unspecified GSS failure.  Minor code may provide more
28           information (Cannot determine realm for numeric host
29           address)
30  [   181] Unable to connect to LDAP (Active Directory) service on
31           sambaad.ADOSAKANA.LOCAL (Error: Local error)
32  [   181] Unable to make a connection (LDAP (Active
33           Directory):ADOSAKANA.LOCAL), result: 7643
34 
35Error: command failed: Failed to create the Active Directory machine account
36       "SVM91". Reason: LDAP Error: Local error occurred.
37 
38ontap91::>

1ontap91::> vserver cifs create -cifs-server svm91 -domain ADOSAKANA.LOCAL
2 
3In order to create an Active Directory machine account for the CIFS server, you
4must supply the name and password of a Windows account with sufficient
5privileges to add computers to the "CN=Computers" container within the
6"ADOSAKANA.LOCAL" domain.
7 
8Enter the user name: administrator
9 
10Enter the password:
11 
12Warning: An account by this name already exists in Active Directory at
13         CN=SVM91,CN=Computers,DC=adosakana,DC=local.
14         If there is an existing DNS entry for the name SVM91, it must be
15         removed. Data ONTAP cannot remove such an entry.
16         Use an external tool to remove it after this command completes.
17         Ok to reuse this account? {y|n}: y
18 
19Error: Machine account creation procedure failed
20  [    13] Loaded the preliminary configuration.
21  [    92] Created a machine account in the domain
22  [    93] SID to name translations of Domain Users and Admins
23           completed successfully
24  [   100] Modified account 'cn=SVM91,CN=Computers,dc=VM2,dc=ADOSAKANA
25           dc=LOCAL'
26  [   101] Successfully connected to ip 172.17.44.49, port 88 using
27           TCP
28  [   113] Successfully connected to ip 172.17.44.49, port 464 using
29           TCP
30  [   242] Kerberos password set for 'SVM91$@ADOSAKANA.LOCAL' succeeded
31  [   242] Set initial account password
32  [   277] Successfully connected to ip 172.17.44.49, port 445 using
33           TCP
34  [   312] Successfully connected to ip 172.17.44.49, port 88 using
35           TCP
36  [   346] Successfully authenticated with DC
37           sambaad.ADOSAKANA.LOCAL
38  [   366] Unable to connect to NetLogon service on
39           sambaad.ADOSAKANA.LOCAL (Error:
40           RESULT_ERROR_GENERAL_FAILURE)
41**[   366] FAILURE: Unable to make a connection
42**         (NetLogon:ADOSAKANA.LOCAL), result: 3
43  [   366] Unable to make a NetLogon connection to
44           sambaad.ADOSAKANA.LOCAL using the new machine account
45 
46Error: command failed: Failed to create the Active Directory machine account
47       "SVM91". Reason: general failure.
48 
49ontap91::>

2024年4月8日2024年5月7日

proxmox 8.1.4で適当にcephストレージ作ったらWARNINGが出た件の対処

proxmox 8.1.4でサーバを３台インストールして、cpehストレージ作ってみるかー、と適当に設定した。

基本は「Deploy Hyper-Converged Ceph Cluster」を見ながらやったんだけど、CephFSを作成するときに、手順だと「pveceph fs create –pg_num 128 –add-storage」と書いてあったんだけど、「pveceph fs create」だけで実行したらどうなるんだろ？と思ってやってみたところ、警告が出た

注:なお、結局のところ、指定しない場合のデフォルト値も128だった。

`1`	`HEALTH_WARN: 1 pools have too many placement groups`

`2`	`Pool storagepool has 128 placement groups, should have 32`

調べてみるとproxmoxのフォーラムに「CEPH pools have too many placement groups」という若干古め(2020年のpoxmox 6.3時代)のものが見つかった。

「pveceph pool ls」で現在の設定を確認

1root@zstack137:~# ceph -v
2ceph version 18.2.2 (e9fe820e7fffd1b7cde143a9f77653b73fcec748) reef (stable)
3root@zstack137:~# pveversion
4pve-manager/8.1.4/ec5affc9e41f1d79 (running kernel: 6.5.11-8-pve)
5root@zstack137:~# pveceph pool ls
6lqqqqqqqqqqqqqqqqqwqqqqqqwqqqqqqqqqqwqqqqqqqqwqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqk
7x Name            x Size x Min Size x PG Num x min. PG Num x Optimal PG Num x PG Autoscale Mode x PG Autoscale Target Size x PG Autoscale Target Ratio x Crush Rule Name x               %-Used x       Used x
8tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
9x .mgr            x    3 x        2 x      1 x           1 x              1 x on                x                          x                           x replicated_rule x 3.08950029648258e-06 x    1388544 x
10tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
11x cephfs_data     x    3 x        2 x     32 x             x             32 x on                x                          x                           x replicated_rule x                    0 x          0 x
12tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
13x cephfs_metadata x    3 x        2 x     32 x          16 x             16 x on                x                          x                           x replicated_rule x 4.41906962578287e-07 x     198610 x
14tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
15x storagepool     x    3 x        2 x    128 x             x             32 x warn              x                          x                           x replicated_rule x   0.0184257291257381 x 8436679796 x
16mqqqqqqqqqqqqqqqqqvqqqqqqvqqqqqqqqqqvqqqqqqqqvqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqj
17root@zstack137:~#

「ceph osd pool autoscale-status」

1root@zstack137:~# ceph osd pool autoscale-status
2POOL               SIZE  TARGET SIZE  RATE  RAW CAPACITY   RATIO  TARGET RATIO  EFFECTIVE RATIO  BIAS  PG_NUM  NEW PG_NUM  AUTOSCALE  BULK
3.mgr             452.0k                3.0        449.9G  0.0000                                  1.0       1              on         False
4cephfs_data          0                 3.0        449.9G  0.0000                                  1.0      32              on         False
5cephfs_metadata  66203                 3.0        449.9G  0.0000                                  4.0      32              on         False
6storagepool       2681M                3.0        449.9G  0.0175                                  1.0     128              warn       False
7root@zstack137:~#

そういえば、むかし、cephをテスト構築した時もなんかあったな、と思い出して確認してみると2018年に「CephのOSD毎のPlacement Groupの数を確認する」というメモを残していた。

「ceph health」を実行してみると状況は違うようだった。

1root@zstack137:~# ceph health
2HEALTH_WARN 1 pools have too many placement groups
3 
4root@zstack137:~# ceph health detail
5HEALTH_WARN 1 pools have too many placement groups
6[WRN] POOL_TOO_MANY_PGS: 1 pools have too many placement groups
7    Pool storagepool has 128 placement groups, should have 32
8root@zstack137:~#

1root@zstack137:~# ceph -s
2  cluster:
3    id:     9e085d6a-77f3-41f1-8f6d-71fadc9c011b
4    health: HEALTH_WARN
5            1 pools have too many placement groups
6 
7  services:
8    mon: 3 daemons, quorum zstack136,zstack135,zstack137 (age 3h)
9    mgr: zstack136(active, since 3h), standbys: zstack135
10    mds: 1/1 daemons up, 1 standby
11    osd: 9 osds: 9 up (since 3h), 9 in (since 3d)
12 
13  data:
14    volumes: 1/1 healthy
15    pools:   4 pools, 193 pgs
16    objects: 716 objects, 2.7 GiB
17    usage:   8.3 GiB used, 442 GiB / 450 GiB avail
18    pgs:     193 active+clean
19 
20root@zstack137:~#

とはいえ、「ceph pg dump」の出力結果を整形して表示する下記コマンドが実行できるか確認してみる。

1ceph pg dump | awk '
2BEGIN { IGNORECASE = 1 }
3 /^PG_STAT/ { col=1; while($col!="UP") {col++}; col++ }
4 /^[0-9a-f]+\.[0-9a-f]+/ { match($0,/^[0-9a-f]+/); pool=substr($0, RSTART, RLENGTH); poollist[pool]=0;
5 up=$col; i=0; RSTART=0; RLENGTH=0; delete osds; while(match(up,/[0-9]+/)>0) { osds[++i]=substr(up,RSTART,RLENGTH); up = substr(up, RSTART+RLENGTH) }
6 for(i in osds) {array[osds[i],pool]++; osdlist[osds[i]];}
7}
8END {
9 printf("\n");
10 printf("pool :\t"); for (i in poollist) printf("%s\t",i); printf("| SUM \n");
11 for (i in poollist) printf("--------"); printf("----------------\n");
12 for (i in osdlist) { printf("osd.%i\t", i); sum=0;
13   for (j in poollist) { printf("%i\t", array[i,j]); sum+=array[i,j]; sumpool[j]+=array[i,j] }; printf("| %i\n",sum) }
14 for (i in poollist) printf("--------"); printf("----------------\n");
15 printf("SUM :\t"); for (i in poollist) printf("%s\t",sumpool[i]); printf("|\n");
16}'

無事実行できた。

1root@zstack137:~# ceph pg dump | awk '
2BEGIN { IGNORECASE = 1 }
3 /^PG_STAT/ { col=1; while($col!="UP") {col++}; col++ }
4 /^[0-9a-f]+\.[0-9a-f]+/ { match($0,/^[0-9a-f]+/); pool=substr($0, RSTART, RLENGTH); poollist[pool]=0;
5 up=$col; i=0; RSTART=0; RLENGTH=0; delete osds; while(match(up,/[0-9]+/)>0) { osds[++i]=substr(up,RSTART,RLENGTH); up = substr(up, RSTART+RLENGTH) }
6 for(i in osds) {array[osds[i],pool]++; osdlist[osds[i]];}
7}
8END {
9 printf("\n");
10 printf("pool :\t"); for (i in poollist) printf("%s\t",i); printf("| SUM \n");
11 for (i in poollist) printf("--------"); printf("----------------\n");
12 for (i in osdlist) { printf("osd.%i\t", i); sum=0;
13   for (j in poollist) { printf("%i\t", array[i,j]); sum+=array[i,j]; sumpool[j]+=array[i,j] }; printf("| %i\n",sum) }
14 for (i in poollist) printf("--------"); printf("----------------\n");
15 printf("SUM :\t"); for (i in poollist) printf("%s\t",sumpool[i]); printf("|\n");
16}'
17dumped all
18 
19pool :  3       2       1       4       | SUM
20------------------------------------------------
21osd.3   4       5       1       13      | 23
22osd.8   4       6       0       12      | 22
23osd.6   2       4       0       15      | 21
24osd.5   6       4       0       16      | 26
25osd.2   3       3       0       15      | 21
26osd.1   4       3       0       10      | 17
27osd.4   1       1       0       16      | 18
28osd.0   5       2       0       10      | 17
29osd.7   3       4       0       21      | 28
30------------------------------------------------
31SUM :   32      32      1       128     |
32root@zstack137:~#

poolによって差がありすぎている？

中国語のページで「ceph使用问题积累」というところがあって「HEALTH_WARN：pools have too many placement groups」と「HEALTH_WARN： mons are allowing insecure global_id reclaim」についての対処方法が載っている。

前者については↑で出てきたproxmoxフォーラム記事を参照元として「ceph mgr module disable pg_autoscaler」を実行してauto scale機能を無効化する、とある

後者については「ceph config set mon auth_allow_insecure_global_id_reclaim false」となっていた。

module設定変える前に「ceph mgr module ls」で状態確認

1root@zstack137:~# ceph mgr module ls
2MODULE
3balancer           on (always on)
4crash              on (always on)
5devicehealth       on (always on)
6orchestrator       on (always on)
7pg_autoscaler      on (always on)
8progress           on (always on)
9rbd_support        on (always on)
10status             on (always on)
11telemetry          on (always on)
12volumes            on (always on)
13iostat             on
14nfs                on
15restful            on
16alerts             -
17influx             -
18insights           -
19localpool          -
20mirroring          -
21osd_perf_query     -
22osd_support        -
23prometheus         -
24selftest           -
25snap_schedule      -
26stats              -
27telegraf           -
28test_orchestrator  -
29zabbix             -
30root@zstack137:~#

SUSEのページにあるSUSE Enterprise Storage 7 DocumentationのAdministration and Operations Guide「12 Determine the cluster state」を見るといろいろな状態確認コマンドがあった。

1root@zstack137:~# ceph df
2--- RAW STORAGE ---
3CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
4hdd    450 GiB  442 GiB  8.3 GiB   8.3 GiB       1.85
5TOTAL  450 GiB  442 GiB  8.3 GiB   8.3 GiB       1.85
6 
7--- POOLS ---
8POOL             ID  PGS   STORED  OBJECTS     USED  %USED  MAX AVAIL
9.mgr              1    1  449 KiB        2  1.3 MiB      0    140 GiB
10cephfs_data       2   32      0 B        0      0 B      0    140 GiB
11cephfs_metadata   3   32   35 KiB       22  194 KiB      0    140 GiB
12storagepool       4  128  2.6 GiB      692  7.9 GiB   1.84    140 GiB
13root@zstack137:~#  ceph df detail
14--- RAW STORAGE ---
15CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
16hdd    450 GiB  442 GiB  8.3 GiB   8.3 GiB       1.85
17TOTAL  450 GiB  442 GiB  8.3 GiB   8.3 GiB       1.85
18 
19--- POOLS ---
20POOL             ID  PGS   STORED   (DATA)   (OMAP)  OBJECTS     USED   (DATA)   (OMAP)  %USED  MAX AVAIL  QUOTA OBJECTS  QUOTA BYTES  DIRTY  USED COMPR  UNDER COMPR
21.mgr              1    1  449 KiB  449 KiB      0 B        2  1.3 MiB  1.3 MiB      0 B      0    140 GiB            N/A          N/A    N/A         0 B          0 B
22cephfs_data       2   32      0 B      0 B      0 B        0      0 B      0 B      0 B      0    140 GiB            N/A          N/A    N/A         0 B          0 B
23cephfs_metadata   3   32   35 KiB   18 KiB   17 KiB       22  194 KiB  144 KiB   50 KiB      0    140 GiB            N/A          N/A    N/A         0 B          0 B
24storagepool       4  128  2.6 GiB  2.6 GiB  3.0 KiB      692  7.9 GiB  7.9 GiB  9.1 KiB   1.84    140 GiB            N/A          N/A    N/A         0 B          0 B
25root@zstack137:~# 

TOO_MANY_PGSの時の対処としていかが書かれている

TOO_MANY_PGS
The number of PGs in use is above the configurable threshold of mon_pg_warn_max_per_osd PGs per OSD. This can lead to higher memory usage for OSD daemons, slower peering after cluster state changes (for example OSD restarts, additions, or removals), and higher load on the Ceph Managers and Ceph Monitors.

While the pg_num value for existing pools cannot be reduced, the pgp_num value can. This effectively co-locates some PGs on the same sets of OSDs, mitigating some of the negative impacts described above. The pgp_num value can be adjusted with:

proxmox「Deploy Hyper-Converged Ceph Cluster」のあたりをみると PG Autoscale Modeはwarnで設定されるのが標準であるようだ。

cephのautomated scalingを見ると「ceph config set global mon_target_pg_per_osd 100」で値を設定することが書かれているが、現在値の確認方法が書いてない。

ceph config get <who> <key>というのはわかったのだが、whoの部分がなんなのかがわからなかった。(globalではなかった)

「ceph config dump」を実行したところ、いま標準値から変更されているところであろう設定が出てきて、whoに該当するものとしてmonがあった。であればmon_target_pg_per_osdのwhoはmonだろうと試すと現在値らしきものが確認できた。

1root@zstack137:~# ceph config dump
2WHO  MASK  LEVEL     OPTION                                 VALUE  RO
3mon        advanced  auth_allow_insecure_global_id_reclaim  false
4root@zstack137:~# ceph config get mon  mon_target_pg_per_osd
5100
6root@zstack137:~#

とりあえず、「ceph mgr module disable pg_autoscaler」を実行してみたのだが、変更不可だった

1root@zstack137:~# ceph mgr module disable pg_autoscaler
2Error EINVAL: module 'pg_autoscaler' cannot be disabled (always-on)
3root@zstack137:~#

じゃあ、「ceph osd pool set storagepool pgp_num 32」を実行してpgp_numを128から32に変更してみる

1root@zstack137:~# ceph osd pool stats
2pool .mgr id 1
3  nothing is going on
4 
5pool cephfs_data id 2
6  nothing is going on
7 
8pool cephfs_metadata id 3
9  nothing is going on
10 
11pool storagepool id 4
12  nothing is going on
13 
14root@zstack137:~# ceph osd pool get storagepool pgp_num
15pgp_num: 128
16root@zstack137:~# ceph osd pool set storagepool pgp_num 32
17set pool 4 pgp_num to 32
18root@zstack137:~# ceph osd pool get storagepool pgp_num
19pgp_num: 125
20root@zstack137:~# ceph osd pool get storagepool pgp_num
21pgp_num: 119
22root@zstack137:~#

徐々に変更されていく模様

1root@zstack137:~# ceph -s
2  cluster:
3    id:     9e085d6a-77f3-41f1-8f6d-71fadc9c011b
4    health: HEALTH_WARN
5            Reduced data availability: 1 pg peering
6            1 pools have too many placement groups
7            1 pools have pg_num > pgp_num
8 
9  services:
10    mon: 3 daemons, quorum zstack136,zstack135,zstack137 (age 5h)
11    mgr: zstack136(active, since 5h), standbys: zstack135
12    mds: 1/1 daemons up, 1 standby
13    osd: 9 osds: 9 up (since 5h), 9 in (since 3d); 2 remapped pgs
14 
15  data:
16    volumes: 1/1 healthy
17    pools:   4 pools, 193 pgs
18    objects: 716 objects, 2.7 GiB
19    usage:   8.4 GiB used, 442 GiB / 450 GiB avail
20    pgs:     0.518% pgs not active
21             16/2148 objects misplaced (0.745%)
22             190 active+clean
23             2   active+recovering
24             1   remapped+peering
25 
26  io:
27    recovery: 2.0 MiB/s, 0 objects/s
28 
29root@zstack137:~# ceph health
30HEALTH_WARN Reduced data availability: 1 pg peering; 1 pools have too many placement groups; 1 pools have pg_num > pgp_num
31root@zstack137:~# ceph health detail
32HEALTH_WARN 1 pools have too many placement groups; 1 pools have pg_num > pgp_num
33[WRN] POOL_TOO_MANY_PGS: 1 pools have too many placement groups
34    Pool storagepool has 128 placement groups, should have 32
35[WRN] SMALLER_PGP_NUM: 1 pools have pg_num > pgp_num
36    pool storagepool pg_num 128 > pgp_num 32
37root@zstack137:~#

ある程度時間が経過したあと

1root@zstack137:~# ceph health detail
2HEALTH_WARN 1 pools have too many placement groups; 1 pools have pg_num > pgp_num
3[WRN] POOL_TOO_MANY_PGS: 1 pools have too many placement groups
4    Pool storagepool has 128 placement groups, should have 32
5[WRN] SMALLER_PGP_NUM: 1 pools have pg_num > pgp_num
6    pool storagepool pg_num 128 > pgp_num 32
7root@zstack137:~# ceph pg dump | awk '
8BEGIN { IGNORECASE = 1 }
9 /^PG_STAT/ { col=1; while($col!="UP") {col++}; col++ }
10 /^[0-9a-f]+\.[0-9a-f]+/ { match($0,/^[0-9a-f]+/); pool=substr($0, RSTART, RLENGTH); poollist[pool]=0;
11 up=$col; i=0; RSTART=0; RLENGTH=0; delete osds; while(match(up,/[0-9]+/)>0) { osds[++i]=substr(up,RSTART,RLENGTH); up = substr(up, RSTART+RLENGTH) }
12 for(i in osds) {array[osds[i],pool]++; osdlist[osds[i]];}
13}
14END {
15 printf("\n");
16 printf("pool :\t"); for (i in poollist) printf("%s\t",i); printf("| SUM \n");
17 for (i in poollist) printf("--------"); printf("----------------\n");
18 for (i in osdlist) { printf("osd.%i\t", i); sum=0;
19   for (j in poollist) { printf("%i\t", array[i,j]); sum+=array[i,j]; sumpool[j]+=array[i,j] }; printf("| %i\n",sum) }
20 for (i in poollist) printf("--------"); printf("----------------\n");
21 printf("SUM :\t"); for (i in poollist) printf("%s\t",sumpool[i]); printf("|\n");
22}'
23dumped all
24 
25pool :  3       2       1       4       | SUM
26------------------------------------------------
27osd.3   4       5       1       15      | 25
28osd.8   4       6       0       16      | 26
29osd.6   2       4       0       16      | 22
30osd.5   6       4       0       4       | 14
31osd.2   3       3       0       11      | 17
32osd.1   4       3       0       13      | 20
33osd.4   1       1       0       17      | 19
34osd.0   5       2       0       20      | 27
35osd.7   3       4       0       16      | 23
36------------------------------------------------
37SUM :   32      32      1       128     |
38root@zstack137:~# ceph osd pool autoscale-status
39POOL               SIZE  TARGET SIZE  RATE  RAW CAPACITY   RATIO  TARGET RATIO  EFFECTIVE RATIO  BIAS  PG_NUM  NEW PG_NUM  AUTOSCALE  BULK
40.mgr             452.0k                3.0        449.9G  0.0000                                  1.0       1              on         False
41cephfs_data          0                 3.0        449.9G  0.0000                                  1.0      32              on         False
42cephfs_metadata  66203                 3.0        449.9G  0.0000                                  4.0      32              on         False
43storagepool       2681M                3.0        449.9G  0.0175                                  1.0     128              warn       False
44root@zstack137:~# pveceph pool ls
45lqqqqqqqqqqqqqqqqqwqqqqqqwqqqqqqqqqqwqqqqqqqqwqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqk
46x Name            x Size x Min Size x PG Num x min. PG Num x Optimal PG Num x PG Autoscale Mode x PG Autoscale Target Size x PG Autoscale Target Ratio x Crush Rule Name x               %-Used x       Used x
47tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
48x .mgr            x    3 x        2 x      1 x           1 x              1 x on                x                          x                           x replicated_rule x 3.09735719383752e-06 x    1388544 x
49tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
50x cephfs_data     x    3 x        2 x     32 x             x             32 x on                x                          x                           x replicated_rule x                    0 x          0 x
51tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
52x cephfs_metadata x    3 x        2 x     32 x          16 x             16 x on                x                          x                           x replicated_rule x 4.43030785390874e-07 x     198610 x
53tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
54x storagepool     x    3 x        2 x    128 x             x             32 x warn              x                          x                           x replicated_rule x    0.018471721559763 x 8436679796 x
55mqqqqqqqqqqqqqqqqqvqqqqqqvqqqqqqqqqqvqqqqqqqqvqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqj
56root@zstack137:~#

pg_numを減らせる？

1root@zstack137:~# ceph osd pool get storagepool pg_num
2pg_num: 128
3root@zstack137:~# ceph osd pool set storagepool pg_num 32
4set pool 4 pg_num to 32
5root@zstack137:~# ceph osd pool get storagepool pg_num
6pg_num: 128
7root@zstack137:~# ceph osd pool get storagepool pg_num
8pg_num: 124
9root@zstack137:~#

徐々に減ってる

ステータスはHEALTH_OLに変わった

1root@zstack137:~# ceph osd pool get storagepool pg_num
2pg_num: 119
3root@zstack137:~# ceph health detail
4HEALTH_OK
5root@zstack137:~# pveceph pool ls
6lqqqqqqqqqqqqqqqqqwqqqqqqwqqqqqqqqqqwqqqqqqqqwqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqk
7x Name            x Size x Min Size x PG Num x min. PG Num x Optimal PG Num x PG Autoscale Mode x PG Autoscale Target Size x PG Autoscale Target Ratio x Crush Rule Name x               %-Used x       Used x
8tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
9x .mgr            x    3 x        2 x      1 x           1 x              1 x on                x                          x                           x replicated_rule x 3.10063592223742e-06 x    1388544 x
10tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
11x cephfs_data     x    3 x        2 x     32 x             x             32 x on                x                          x                           x replicated_rule x                    0 x          0 x
12tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
13x cephfs_metadata x    3 x        2 x     32 x          16 x             16 x on                x                          x                           x replicated_rule x 4.43499772018185e-07 x     198610 x
14tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
15x storagepool     x    3 x        2 x    117 x             x             32 x warn              x                          x                           x replicated_rule x   0.0184909123927355 x 8436679796 x
16mqqqqqqqqqqqqqqqqqvqqqqqqvqqqqqqqqqqvqqqqqqqqvqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqj
17root@zstack137:~#

「ceph osd pool autoscale-status」の方のPG_NUMは即反映

1root@zstack137:~# ceph osd pool autoscale-status
2POOL               SIZE  TARGET SIZE  RATE  RAW CAPACITY   RATIO  TARGET RATIO  EFFECTIVE RATIO  BIAS  PG_NUM  NEW PG_NUM  AUTOSCALE  BULK
3.mgr             452.0k                3.0        449.9G  0.0000                                  1.0       1              on         False
4cephfs_data          0                 3.0        449.9G  0.0000                                  1.0      32              on         False
5cephfs_metadata  66203                 3.0        449.9G  0.0000                                  4.0      32              on         False
6storagepool       2705M                3.0        449.9G  0.0176                                  1.0      32              warn       False
7root@zstack137:~#

しばらく実行したらHEALTH_WARNになったときもあったが、比較的すぐにHEALTH_OKに戻ったりした。

1root@zstack137:~# ceph health detail
2HEALTH_WARN Reduced data availability: 2 pgs inactive, 2 pgs peering
3[WRN] PG_AVAILABILITY: Reduced data availability: 2 pgs inactive, 2 pgs peering
4    pg 4.22 is stuck peering for 2d, current state peering, last acting [6,5,2]
5    pg 4.62 is stuck peering for 6h, current state peering, last acting [6,5,2]
6root@zstack137:~#

しばらく時間がたって変更が終わったあとに状態をとってみた

1root@zstack137:~# ceph health detail
2HEALTH_OK
3root@zstack137:~# pveceph pool ls
4lqqqqqqqqqqqqqqqqqwqqqqqqwqqqqqqqqqqwqqqqqqqqwqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqqqqqqqqqqqwqqqqqqqqqqqqk
5x Name            x Size x Min Size x PG Num x min. PG Num x Optimal PG Num x PG Autoscale Mode x PG Autoscale Target Size x PG Autoscale Target Ratio x Crush Rule Name x               %-Used x       Used x
6tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
7x .mgr            x    3 x        2 x      1 x           1 x              1 x on                x                          x                           x replicated_rule x 3.13595910483855e-06 x    1388544 x
8tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
9x cephfs_data     x    3 x        2 x     32 x             x             32 x on                x                          x                           x replicated_rule x                    0 x          0 x
10tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
11x cephfs_metadata x    3 x        2 x     32 x          16 x             16 x on                x                          x                           x replicated_rule x  4.4855224246021e-07 x     198610 x
12tqqqqqqqqqqqqqqqqqnqqqqqqnqqqqqqqqqqnqqqqqqqqnqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqqqqqqqqqqqnqqqqqqqqqqqqu
13x storagepool     x    3 x        2 x     32 x             x             32 x warn              x                          x                           x replicated_rule x   0.0186976287513971 x 8436679796 x
14mqqqqqqqqqqqqqqqqqvqqqqqqvqqqqqqqqqqvqqqqqqqqvqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqqqqqqqqqqqvqqqqqqqqqqqqj
15root@zstack137:~# ceph -s
16  cluster:
17    id:     9e085d6a-77f3-41f1-8f6d-71fadc9c011b
18    health: HEALTH_OK
19 
20  services:
21    mon: 3 daemons, quorum zstack136,zstack135,zstack137 (age 6h)
22    mgr: zstack136(active, since 6h), standbys: zstack135
23    mds: 1/1 daemons up, 1 standby
24    osd: 9 osds: 9 up (since 6h), 9 in (since 3d)
25 
26  data:
27    volumes: 1/1 healthy
28    pools:   4 pools, 97 pgs
29    objects: 716 objects, 2.7 GiB
30    usage:   8.6 GiB used, 441 GiB / 450 GiB avail
31    pgs:     97 active+clean
32 
33root@zstack137:~# ceph df
34--- RAW STORAGE ---
35CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
36hdd    450 GiB  441 GiB  8.7 GiB   8.7 GiB       1.94
37TOTAL  450 GiB  441 GiB  8.7 GiB   8.7 GiB       1.94
38 
39--- POOLS ---
40POOL             ID  PGS   STORED  OBJECTS     USED  %USED  MAX AVAIL
41.mgr              1    1  449 KiB        2  1.3 MiB      0    137 GiB
42cephfs_data       2   32      0 B        0      0 B      0    137 GiB
43cephfs_metadata   3   32   35 KiB       22  194 KiB      0    137 GiB
44storagepool       4   32  2.7 GiB      692  8.0 GiB   1.89    137 GiB
45root@zstack137:~#

とりあえず対処できた模様？

2024年4月8日2024年12月13日

仮想サーバを構築するための基盤メモ 2024/03/28版

VMware/vSphereがあんなことになってしまったので問い合わせが多いのでメモ

2024/03/28 初版作成
2024/12/13 バージョン情報などをアップデート

VMware vSpere

VMware vSphere / ESXi はBrocadeに買収されたことで、アレな感じになって迷走中

Microsoft Hyper-V

Windows Serverにも含まれるHyper-V

Hyper-V Sevrer 2019という仮想基盤だけのやつは無料製品としてあるんだけど、2022版が出ていないまま、Windows Server 2025の時代になり、単品のHyper-V Serverはなくなった模様。

物理サーバ間を稼働中の仮想マシンを移動させることは、Windows Serverのフェイルオーバークラスタリング(MSFC/WSFC)、System Center Virtual Machine Managerを利用することで実現する。(ライブマイグレーションの概要)

Nutanix

VMware vSAN/HCI環境を似たような構成で移行しようとすると、Nutanixになる。(というか、NutanixをまねしたのがvSAN)

vSAN = AOS Storage
ESXi hypervisor=Nutanix Acropolis Hypervisor(AHV)
vCenter Server=Prism

単体AHVに標準でPrism Elementも含まれてて、これだけでもクラスタを組める

Prism Centralは、Prism Elementで作ったクラスタを複数まとめて管理したり、また、仮想マシンをSecure boot対応にする場合の暗号化キー管理などを行える。

RHEV/RHV → RedHat OpenShift Virtualization

RedHat Virtualization / RedHat Enterprise Virtualzation、RHEVというのがあったんだけど、これはRHEV4.4で終了したプロダクトとなる。

RHEV4.4はRHEL 8.xベースの上に構築する。

後継はRedHat OpenShift Virtualizationとなる。

旧ドキュメント: Product Documentation for Red Hat Virtualization 4.4

ドキュメント: OpenShift Container Platform → About OpenShift Virtualization

Proxmox VE

Proxmox Virtual Environment は最初はRHEL or Debianベースでコンテナを動かすやつだったものが、時代の流れでDebianベースのKVM/qemu仮想マシンとlxcコンテナを動かすやつに変わっていったもの

長く続くプロダクトなので、一通り使える Web GUIが備わっているし、複数物理サーバの一括管理や物理サーバ間の仮想マシン移動(Online Migration)やHA機能があるが、Webでは設定できずコマンド実行が必要な機能は多い。

debian 12ベースの上に構築されている。

一般向けドキュメント: Proxmox VE Documentation Index
旧来からの資料サイト: PVE wiki

Oracle OLVM

Oracle VM Server for x86 というのがあったんだけどOracle VM 3で終了になった。

後継として、Oracle LinuxのKVMベースで構築して、管理UIとして Oracle Linux Virtualization Manager を提供する、という形に変わっている。

oVirtを利用していて、そもそもRedHatVirtualization 4.xのOracle版がOLVM 4.xとなる

RedHatが4.4で提供をやめたので今後どうなるかなぁ、と思っていたら、OLVMの方は4.5を出してOracle Linux 9.x環境でも構築できるようになったので一安心

Oracle Linux 8.x, 9.x ベースで構築

oVirt

RHV/RHEV/OLVMで利用している元の技術 oVirt

RHVは4.4.xで止まっているが、oVirtの方は4.5.xが出ていて、Oracleから2024/7にOLVMも4.5が出た。

oVirt 4.5.4からはRHEL9.xベースで構築することが可能になった。

ドキュメント: oVirt documentation

Citrix Hypervisor(XenServer)

Linux KVMより歴史が古い仮想化技術 Xen を使用したもの。

2024/03/25にXenServer 8が出たばかり

vCenterに相当するものはXenCenterとなっている。

XCP-ng / Vates

XenServerのオープンソース版がXCP-ng だったんだけど、なんかいつの間にかXCP-ngの商用サポート版として Vates なるものが登場してる

Vatesの方にはHCIプロダクトとして、XOSTORなるものもあるようだ

サポートと価格について

Sangfor HCI

構成がよくわからんけど Sangfor HCI というのがあるらしい

ZStack Cloud

中国で開発されているZStack

インストール用ISO提供あり

中国産なのでopenEulerベースかと思ったら、CentOS 7ベースのh76c,h79cとRocky Linux 8ベースのh84r だった。また、ISOがリリースされているのはx86_64向けのみだけど、GUI的にはARM, 龍芯系(mips64el,loongarch)向けも想定されてる模様。

ドキュメント: ZStack Cloud Documentation
github: https://github.com/zstackio/zstack

参照先

vinchin How to Migrate RHV/RHEV VMs to Other Hosts?
この記事にRHEVからの乗り換え先として「VMware, Citrix Hypervisor/XenServer, XCP-ng, Oracle OLVM, oVirt, Sangfor HCI, OpenStack, ZStack, Huawei FusionCompute, and H3C CAS/UIS」と記載されていて、知らないのがあるな、というのが記事を書くきっかけ

Storware vProtect documentation Virtual Machines
バックアップソフトのマニュアルなんだけど、対応してる各仮想環境でどういう風にバックアップを取るのかという構成図がある。

2024年4月3日2024年6月12日

Zstack Cloudをインストールしてみた

VMware vSphere環境の代替プロダクトを探している途中に見つけたZstack Cloud / 中国語ページ

中国で開発されていて、KVMベースの仮想環境だとのこと。

開発は中国主体の https://gitee.com/zstackio/zstack が元で、このコピーを https://github.com/zstackio/zstack にもおいてある。

giteeの方は、5.1.0ツリーなどがあるがgithubにはない、などすべて同期されているわけではないようだ。

Community Editionがあるので導入できそうだが、Downloadリンクはユーザ情報を要求される。

ドキュメントサイトからInstallation and Deployment(ZStack Cloud 4.8.0 LTS)を見てみるとインストール用ISOは ZStack-Cloud-x86_64-DVD-4.8.0-h79c.iso というファイル名らしいので検索してみると中国語版の最新下载ページが出てくる。

・・・・・・・2024/03/29付けで新しい5.0.0がリリースされていて、4.8.0はダウンロードできなくなってますね。

Installation and Deployment(ZStack Cloud 5.0.0) を確認すると、いままで h76c/h79c/h84rと3種類のISOがあったものが h84rに一本化されたようなのだが、ところどころに古い記述も残っている。

インストール完了後に構成から確認できたことから察するに、h76c=Helix 7.6 based on CentOS、h79c=Helix 7.6 based on CentOS、h84r=Helix 8.4 based on RockyLinuxの略である模様。

ZStack-Cloud-x86_64-DVD-5.0.0-h84r.iso をダウンロードして、ISO読み込みやrufusなどを使ってUSBメモリに書き込んで起動して、インストールを行う。

サーバハードウェアの制約
・ZstackはSecure Bootは非対応なので無効化する
・UEFI/BIOSのどちらもとりあえずは対応
・システムディスクとして300GB以上を推奨
・NIC冗長化はRHEL同等。LACP/802.3adも設定可能

また、２種類のストレージを用意する必要がある。

Primary Storage=仮想マシンのディスクを置く場所
・サーバのローカルディスク(全ノードに対して一律に設定される。ディレクトリが無い場合は自動作成される)
・NFS共有(各ノードで同じパスでマウントされていること)
・何らかの共有ファイルシステム(各ノードで同じパスでマウントされていること)
・Ceph(構築済の環境)

Backup Storage=ISOイメージなどを置く場所
・sftp(構築済の環境)
・Ceph(構築済の環境)

やっかいなのが「Backup Storage」が必須、というところ。

しかも「sftp」という額面だけ見て、単純にssh/sftpでログインできる環境があればいいのかと思ったのですが、RockyLinux 8.9サーバを設定してみたところ、Zstackのパッケージを追加しようとしてコンフリクトが発生してエラーとなっていました。

エラーログを精査すると、Zstack 8.0.0が用意したパッケージバージョンと異なると駄目であるようなので、Zstack 8.0.0ベースの環境が必要でした。

少し使ってみた感想

vSphereやNutanixの代替になるかというと難しい。

どっちかというとOpenStackみたいなことを簡単にできるようにした感じがあるつくりになっている。

・Comminity Editionは機能制約が多すぎて使えない。proxmoxの方が良い
　OSのセキュリティアップデートが提供されていない
　管理サーバの冗長化が無い
　Guest OS Agentが提供されない

・RHEL系のLinux設定知識がないと設定できないところがある
　共有ディスクのマウントに関する設定(/etc/fstabを書く)
　LACP/bonding設定を設定ファイルで書く

・ベースRHELバージョンが8と古い
　2024年3月29日にリリースされた最新メジャーバージョンアップがRHEL8.4ベースだが、最新はRHEL8.9
　そしてRHEL8.xのフルサポート終了日は2024年5月31日、メンテナンスアップデート終了日は2029年5月31日
　ライフサイクル的にちょっと不安が？

あまり積極的に使ってみようかなぁ、という感じのものではなかった。

ノードのインストールについて

ZStack CloudのインストールISOでインストールできるモードについてマニュアルより

Mode	Scenario
Enterprise Management Node Mode	Applicable only to the installation of management nodes of the Enterprise edition.
Community Management Node Mode	Applicable only to the installation of management nodes of the Community edition.
Compute Node Mode	Applicable to the installation of all nodes except the management nodes, such asCompute nodeImageStore, Ceph backup storage node, and Ceph backup storage mount nodeCeph primary storage node, and Ceph primary storage mount nodePXE deployment server node, local backup server node, and remote backup server node in another data center
Expert Mode

Enterprise Management Node ModeとCommunity Management Node Modeの違いは「terms of the license type, which decides the features available on the Cloud」とのこと

複数ノードをセットアップする場合は、Management Node Modeを１台と、それ以外はCompute Node Modeでセットアップする。

管理機能の冗長化についてはEdition比較表にある「Management Node HA」が該当していると思われるがComminity Editionではサポートしていない模様。

ドキュメントも不備があり、v3.0時代のMaintenance Manualに「MN Maintenance – MN High Availability」があるがv5.0についてのドキュメントが閲覧可能状態にない。

v5.0についても ZStack-Multinode-HA-Suite.tar.gz が配布されているので、v3.0時代と同じく、targz展開してzsha2を実行してセットアップ、という形になるのだと思われる。

Zstack Cloud Communitiy Editionインストール

基本的にRedHat系と同じインストールUIになっている。

Software Selectionは、管理兼Computeノードとなる１台だけ「Managament Node」としてインストールし、あとはComputeノードとしてインストールする

ISOブートからのインストールが終わったあとの管理ノードについては初回ブート時は自動セットアップが行われる。

初期セットアップが終わるとログインプロンプトが表示される。

ZStack-Cloud-x86_64-DVD-5.0.0-h84r.iso でインストールした場合、kernelは 4.18.0-425.19.2.3.g75f4bb8fb9a9.el8.x86_64 となっていた。

また、レポジトリ構成を確認すると、Rocky Linux 8の中国内サーバを登録しているものの有効にしているのは、サーバローカルレポジトリのみ、という構成となっていた。

1[root@zstack131 ~]# uname -a
2Linux zstack131.adosakana.local 4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64 #1 SMP Wed Nov 15 21:30:37 EST 2023 x86_64 x86_64 x86_64 GNU/Linux
3[root@zstack131 ~]# rpm -qa|grep release
4helix-release-8.4r-36.el8.noarch
5zstack-release-h84r-1.h8.zstack.noarch
6[root@zstack131 ~]# dnf repolist --all
7repo id                repo name                                        status
8163base                Rocky-8 - Base - mirrors.163.com                 disabled
9163extras              Rocky-8 - Extras - mirrors.163.com               disabled
10163updates             Rocky-8 - Updates - mirrors.163.com              disabled
11alibase                Rocky-8 - Base - mirrors.aliyun.com              disabled
12aliepel                Extra Packages for Enterprise Linux 8 - $basearc disabled
13aliepel-modular        Extra Packages for Enterprise Linux Modular 8 -  disabled
14aliextras              Rocky-8 - Extras - mirrors.aliyun.com            disabled
15aliupdates             Rocky-8 - Updates - mirrors.aliyun.com           disabled
16ceph                   Ceph                                             disabled
17epel                   Extra Packages for Enterprise Linux 8 - $basearc disabled
18mariadb                MariaDB                                          disabled
19mlnx-ofed              Mellanox OFED Driver                             disabled
20qemu-kvm-ev            Qemu KVM EV                                      disabled
21qemu-kvm-ev-mn         qemu-kvm-ev-mn                                   disabled
22uek4-ocfs2             UEK4-OCFS2                                       disabled
23ustcepel               Extra Packages for Enterprise Linux 8 - x86_64 - disabled
24ustcepel-modular       Extra Packages for Enterprise Linux Modular 8 -  disabled
25virtio-win             virtio-win                                       disabled
26zops-local             zops-local                                       enabled
27zstack-experimental-mn zstack-experimental-mn                           disabled
28zstack-local           zstack-local                                     enabled
29zstack-mn              zstack-mn                                        disabled
30[root@zstack131 ~]#

レポジトリ設定ファイルを確認すると下記の内容になっていた。

1[root@zstack131 ~]# cd /etc/yum.repos.d/
2[root@zstack131 yum.repos.d]# ls
3ceph.repo            qemu-kvm-ev.repo     zstack-aliyun-yum.repo
4epel.repo            uek4-ocfs2.repo      zstack-experimental-mn.repo
5galera.repo          virtio-win.repo      zstack-local.repo
6mlnx-ofed.repo       zops-local.repo      zstack-mn.repo
7qemu-kvm-ev-mn.repo  zstack-163-yum.repo
8[root@zstack131 yum.repos.d]# for file in `pwd`/*; do echo === $file ===; cat
9$file; done
10=== /etc/yum.repos.d/ceph.repo ===
11[ceph]
12name=Ceph
13baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/ceph
14gpgcheck=0
15enabled=0
16module_hotfixes=true
17=== /etc/yum.repos.d/epel.repo ===
18[epel]
19name=Extra Packages for Enterprise Linux $releasever - $basearce - mirrors.aliyun.com
20mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-8&arch=$basearch
21enabled=0
22gpgcheck=0
23=== /etc/yum.repos.d/galera.repo ===
24[mariadb]
25name = MariaDB
26baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/galera
27gpgcheck=0
28enabled=0
29module_hotfixes=true
30=== /etc/yum.repos.d/mlnx-ofed.repo ===
31[mlnx-ofed]
32name=Mellanox OFED Driver
33baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/mlnx-ofed
34gpgcheck=0
35enabled=0
36=== /etc/yum.repos.d/qemu-kvm-ev-mn.repo ===
37[qemu-kvm-ev-mn]
38name=qemu-kvm-ev-mn
39baseurl=http://172.17.44.131:8080/zstack/static/zstack-repo/$basearch/$YUM0/Extra/qemu-kvm-ev/
40gpgcheck=0
41module_hotfixes=true
42enabled=0
43=== /etc/yum.repos.d/qemu-kvm-ev.repo ===
44[qemu-kvm-ev]
45name=Qemu KVM EV
46baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/qemu-kvm-ev
47gpgcheck=0
48enabled=0
49module_hotfixes=true
50=== /etc/yum.repos.d/uek4-ocfs2.repo ===
51[uek4-ocfs2]
52name=UEK4-OCFS2
53baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/uek4
54gpgcheck=0
55enabled=0
56module_hotfixes=true
57=== /etc/yum.repos.d/virtio-win.repo ===
58[virtio-win]
59name=virtio-win
60baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/virtio-win
61gpgcheck=0
62enabled=0
63module_hotfixes=true
64=== /etc/yum.repos.d/zops-local.repo ===
65[zops-local]
66name=zops-local
67baseurl=file:///opt/zops-rpm
68gpgcheck=0
69enabled=1
70module_hotfixes=true
71 
72=== /etc/yum.repos.d/zstack-163-yum.repo ===
73#163 base
74[163base]
75name=Rocky-$releasever - Base - mirrors.163.com
76baseurl=http://mirrors.163.com/rocky/$releasever/BaseOS/$basearch/os/
77gpgcheck=0
78enabled=0
79module_hotfixes=true
80 
81#released updates
82[163updates]
83name=Rocky-$releasever - Updates - mirrors.163.com
84baseurl=http://mirrors.163.com/rocky/$releasever/AppStream/$basearch/os/
85enabled=0
86gpgcheck=0
87module_hotfixes=true
88 
89#additional packages that may be useful
90[163extras]
91name=Rocky-$releasever - Extras - mirrors.163.com
92baseurl=http://mirrors.163.com/rocky/$releasever/extras/$basearch/os/
93enabled=0
94gpgcheck=0
95module_hotfixes=true
96 
97[ustcepel]
98name=Extra Packages for Enterprise Linux $releasever - $basearch - ustc
99baseurl=http://mirrors.ustc.edu.cn/epel/$releasever/Everything/$basearch
100enabled=0
101gpgcheck=0
102module_hotfixes=true
103 
104[ustcepel-modular]
105name=Extra Packages for Enterprise Linux Modular $releasever - $basearch - ustc
106baseurl=http://mirrors.ustc.edu.cn/epel/$releasever/Modular/$basearch
107enabled=0
108gpgcheck=0
109module_hotfixes=true
110=== /etc/yum.repos.d/zstack-aliyun-yum.repo ===
111#aliyun base
112[alibase]
113name=Rocky-$releasever - Base - mirrors.aliyun.com
114baseurl=https://mirrors.aliyun.com/rockylinux/$releasever/BaseOS/$basearch/os/
115gpgcheck=0
116enabled=0
117module_hotfixes=true
118 
119#released updates
120[aliupdates]
121name=Rocky-$releasever - Updates - mirrors.aliyun.com
122baseurl=http://mirrors.aliyun.com/rockylinux/$releasever/AppStream/$basearch/os/
123enabled=0
124gpgcheck=0
125module_hotfixes=true
126 
127[aliextras]
128name=Rocky-$releasever - Extras - mirrors.aliyun.com
129baseurl=https://mirrors.aliyun.com/rockylinux/$releasever/extras/$basearch/os/
130enabled=0
131gpgcheck=0
132module_hotfixes=true
133 
134[aliepel]
135name=Extra Packages for Enterprise Linux $releasever - $basearce - mirrors.aliyun.com
136baseurl=http://mirrors.aliyun.com/epel/$releasever/Everything/$basearch
137enabled=0
138gpgcheck=0
139module_hotfixes=true
140 
141[aliepel-modular]
142name=Extra Packages for Enterprise Linux Modular $releasever - $basearce - mirrors.aliyun.com
143baseurl=http://mirrors.aliyun.com/epel/$releasever/Modular/$basearch
144enabled=0
145gpgcheck=0
146module_hotfixes=true
147 
148=== /etc/yum.repos.d/zstack-experimental-mn.repo ===
149[zstack-experimental-mn]
150name=zstack-experimental-mn
151baseurl=http://172.17.44.131:8080/zstack/static/zstack-repo/$basearch/$YUM0/Extra/zstack-experimental/
152gpgcheck=0
153module_hotfixes=true
154enabled=0
155=== /etc/yum.repos.d/zstack-local.repo ===
156[zstack-local]
157name=zstack-local
158baseurl=file:///opt/zstack-dvd/$basearch/$YUM0
159gpgcheck=0
160enabled=1
161module_hotfixes=true
162=== /etc/yum.repos.d/zstack-mn.repo ===
163[zstack-mn]
164name=zstack-mn
165baseurl=http://172.17.44.131:8080/zstack/static/zstack-repo/$basearch/$YUM0/
166gpgcheck=0
167module_hotfixes=true
168enabled=0
169[root@zstack131 yum.repos.d]#

ちなみに、Rocky Linux 8.9のレポジトリ設定を持ってきて有効化すればセキュリティアップデートできるかな？と試してみたところ、コンフリクトエラーとなりました。

初期設定

設定はWeb管理画面にログインして行う。

http://＜ＩＰアドレス＞:5000 にアクセスする

初期値は admin / password となっている。

ログインすると、初期設定Wizardが開く

これは「Exit Wizard」で終了してもよい。

Wizardで設定する項目は以下の順番となる
1) Create Zone (拠点を設定)
2) Create Cluster (仕様/用途が同じサーバ群のまとまりを設定)
3) Add Host (上記で作成したClusterに実際のサーバを登録)
4) Add Backup Storage (ISOイメージなどを保存するストレージを登録)
5) Add Primary Storage (稼働する仮想マシンを保存するストレージを登録)
6) Create Instance Offering (仮想マシンに割り当てるCPU/メモリなどのテンプレートを登録)
7) Add an Image (ISOファイルやテンプレートqcow2ファイルを登録/ブラウザからのアップロード機能は無い)
8) Create an L2 Network (ネットワークを定義しNICやVLAN IDを設定)
9) Create an L3 Network (L3ルータを設定する場合に仮想ルータを設定)

基本的にはWizardを進めていけばいいのだが、Wizardでは設定できない項目が多々あるため、事前に準備が必要となる。

Zstack GUIで設定を行う前に必要となる設定

Zstack環境上で仮想マシンを動かすための設定を行うために用意・設定しておく必要があるものとして以下がある。

・Primary Storageの用意

仮想マシンを配置するためのディスク Primary Storageを用意します。

前述のように「サーバのローカルディスク」「NFS共有」「MooseFS, GlusterFS, OCFS2, GFS2といった共有ファイルシステム」「Ceph」が使用できます。

「サーバのローカルディスク」「NFS共有」「MooseFS, GlusterFS, OCFS2, GFS2といった共有ファイルシステム」については、１つのクラスタに所属する全ノードで同じくアクセスできるように/etc/fstabを手動で編集する必要があります。

また、サーバのローカルディスクを使用する場合は、全サーバで同じパスを使いますが、各サーバ間でデータの移動はできないので注意が必要です。(Storage Migration機能が無い)

・Backup Storageの用意

ISOイメージなどを置く場所としてBackup Storage を用意します。

“Backup Storage”という名前からデータ保護に使用する用途のように見えますが、仮想マシン作成時に使用する元イメージを置く場所です。

「sftp」と「Ceph」が使用できますが、sftpに関する要求がおかしいので注意が必要です。

sftpとして指定したLinuxサーバに対して、Zstackはzsatckレポジトリを追加し必要なソフトウェアのインストールを実施します。zstackレポジトリのパッケージ群は通常のRHEL/AlmaLinux/RockyLinuxパッケージと互換性がないためコンフリクトを起こして設定に失敗します。

v5.0.0段階で確認した限りでは、ZstackでインストールしたLinuxサーバでないと成功しませんでした。

なので、Zstackサーバ群の１台に対して設定する形が一番良さそうです。

・ノードのNIC構成

また、Linux上のNICインタフェース名が同じでないと駄目なようです。

設定画面をいろいろ確認しましたが、クラスタとしてNICインタフェースを設定する形となっており、各ノードごとに個別調整ができるようにはなっていませんでした。

なので、サーバごとに差異がある場合、NIC1個のみ登録したbondingデバイスを作成して、デバイス名を統一させた方がよさそうです。

LACPを含めたbondingの設定はZstack GUIでは行えないため、Linux OS階層で実施しておく必要があります。/etc/sysconfig/network-scripts/ifcfg-デバイス名のファイルを編集するやり方になります。

VLANの設定はZstack側で行う。

・ノードを接続するネットワークの用意

ノードを接続するネットワークは「普通のLAN(L2NoVlanNetwork)」「タグVLAN(L2VlanNetwork」「VxLanNetwork」の３種類がある。

タグVLANのVLAN ID設定やVxLan設定はZstack側の設定で行えるので、手動で設定する必要は無い。

Wizardを進める

事前準備をすませてからWizardを進めていく。

最初は

最初は「Create Zone」で、これはvSphere風ならデータセンター、OpenStack風ならavailability zone を設定する。

「Create cluster」でクラスタを設定する。所属するサーバすべてでマウントするパスやNICインタフェース名が同じである必要がある点に注意。

CPUアーキテクチャの指定にx86_64と64bit ARM以外に、mips64el/loongarch64と龍芯関連のアーキテクチャがあるというのが興味深いところです。

「Add Host」でZstackをインストールしたサーバを登録します。Wizardでは１台だけ追加できます。複数サーバある場合はWizard完了後に追加します。

「Next」をクリックすると、しばらーく、管理ソフトからノードのLinux側に対して登録処理のあれこれが行われます。

登録が完了すると「Add Backup Storage」になります。これはISOイメージなどの保管場所となります。

Zstackサーバの１台のローカルストレージに置く、というのが一番簡単なので、１台の情報をいれます。

Nextをクリックすると処理が行われ、指定したサーバに対してsshログインが行われ、必要な追加パッケージがインストールされていきます。

「Add Primary Storage」で仮想マシン用の仮想ディスク置き場を設定します。

同じクラスタに所属するサーバすべてから同じパスでアクセスできる必要があります。

「Create Instance Offering」で仮想マシンに割り当てるCPU/メモリサイズを定義します。OpenStack的に言えば「フレーバー」です

初期値はCPU 1コア/メモリ2GBだったんですが、ちょっと小さいかな、というので2コア/4GBに増量

「Add Image」で仮想マシンのOSインストールに使用するISOイメージを１つ登録します。ブラウザからファイルをアップロードすることはできず、http/https/ftp/sftp でファイルをとりにいく形になっています。

「Create L2 Network」で仮想マシンが使用するネットワークを定義します。

Wizardからだと「通常のLAN(L2NoVlanNetwork)」と「タグVLAN(L2VlanNetwork)」の２種類が設定できます。Wizard外だとVxLanも設定できます。

クラスタ単位で使うNICを指定します。このため、サーバごとでNICメーカが異なっていることでNIC名が変わってしまうような場合はそのままでは指定できないので注意が必要です。

「Create L3 Network」では、先のL2Networkで定義したネットワークで使用されるIPアドレス帯を指定します。標準設定のままではDHCPサーバーが有効化されて、仮想マシンに対してIPアドレスがdhcp経由で割り当てられるような形になっています。

以上でWizardは終了です。

Compute Node追加

Compute Node追加のスクショ

仮想マシンを作ってみる

「Launch console」をクリックすると別窓でVNCによるコンソール画面が表示されます。インストールISOを読み込ませている場合はISOから起動しているでしょう。

あとは普通にインストールしていきます。

ノードのプロセスとかいろいろ

1[root@zstack130 ~]# uname -a
2Linux zstack130.adosakana.local 4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64 #1 SMP Wed Nov 15 21:30:37 EST 2023 x86_64 x86_64 x86_64 GNU/Linux
3[root@zstack130 ~]# df -h
4Filesystem               Size  Used Avail Use% Mounted on
5devtmpfs                 9.7G   84K  9.7G   1% /dev
6tmpfs                    9.7G  4.0K  9.7G   1% /dev/shm
7tmpfs                    9.7G  1.5M  9.7G   1% /run
8tmpfs                    9.7G     0  9.7G   0% /sys/fs/cgroup
9/dev/mapper/zstack-root   89G   26G   64G  29% /
10/dev/sda2               1014M  194M  821M  20% /boot
11/dev/sda1                599M  5.8M  594M   1% /boot/efi
12tmpfs                    2.0G     0  2.0G   0% /run/user/1000
13overlay                   89G   26G   64G  29% /var/lib/docker/overlay2/a3acbf01e49fe69302ff3806052ce501c5a9e2c26ef15566e16e99cb920b9348/merged
14tmpfs                    2.0G     0  2.0G   0% /run/user/0
15/dev/sdb1                300G   31G  270G  11% /data
16[root@zstack130 ~]# ps -ef|cat
17UID          PID    PPID  C STIME TTY          TIME CMD
18root           1       0  0 Apr02 ?        00:00:18 /usr/lib/systemd/systemd --switched-root --system --deserialize 18
19root           2       0  0 Apr02 ?        00:00:00 [kthreadd]
20root           3       2  0 Apr02 ?        00:00:00 [rcu_gp]
21root           4       2  0 Apr02 ?        00:00:00 [rcu_par_gp]
22root           6       2  0 Apr02 ?        00:00:00 [kworker/0:0H-events_highpri]
23root           9       2  0 Apr02 ?        00:00:00 [mm_percpu_wq]
24root          10       2  0 Apr02 ?        00:00:00 [rcu_tasks_rude_]
25root          11       2  0 Apr02 ?        00:00:00 [rcu_tasks_trace]
26root          12       2  0 Apr02 ?        00:00:15 [ksoftirqd/0]
27root          13       2  0 Apr02 ?        00:00:48 [rcu_sched]
28root          14       2  0 Apr02 ?        00:00:01 [migration/0]
29root          15       2  0 Apr02 ?        00:00:00 [watchdog/0]
30root          16       2  0 Apr02 ?        00:00:00 [cpuhp/0]
31root          17       2  0 Apr02 ?        00:00:00 [cpuhp/1]
32root          18       2  0 Apr02 ?        00:00:00 [watchdog/1]
33root          19       2  0 Apr02 ?        00:00:01 [migration/1]
34root          20       2  0 Apr02 ?        00:00:21 [ksoftirqd/1]
35root          22       2  0 Apr02 ?        00:00:00 [kworker/1:0H-events_highpri]
36root          23       2  0 Apr02 ?        00:00:00 [cpuhp/2]
37root          24       2  0 Apr02 ?        00:00:00 [watchdog/2]
38root          25       2  0 Apr02 ?        00:00:01 [migration/2]
39root          26       2  0 Apr02 ?        00:00:15 [ksoftirqd/2]
40root          28       2  0 Apr02 ?        00:00:00 [kworker/2:0H-events_highpri]
41root          29       2  0 Apr02 ?        00:00:00 [cpuhp/3]
42root          30       2  0 Apr02 ?        00:00:00 [watchdog/3]
43root          31       2  0 Apr02 ?        00:00:01 [migration/3]
44root          32       2  0 Apr02 ?        00:00:19 [ksoftirqd/3]
45root          34       2  0 Apr02 ?        00:00:00 [kworker/3:0H-events_highpri]
46root          39       2  0 Apr02 ?        00:00:00 [kdevtmpfs]
47root          40       2  0 Apr02 ?        00:00:00 [netns]
48root          41       2  0 Apr02 ?        00:00:00 [kauditd]
49root          42       2  0 Apr02 ?        00:00:00 [khungtaskd]
50root          43       2  0 Apr02 ?        00:00:00 [oom_reaper]
51root          44       2  0 Apr02 ?        00:00:00 [writeback]
52root          45       2  0 Apr02 ?        00:00:00 [kcompactd0]
53root          46       2  0 Apr02 ?        00:00:00 [ksmd]
54root          47       2  0 Apr02 ?        00:00:03 [khugepaged]
55root          48       2  0 Apr02 ?        00:00:00 [crypto]
56root          49       2  0 Apr02 ?        00:00:00 [kintegrityd]
57root          50       2  0 Apr02 ?        00:00:00 [kblockd]
58root          51       2  0 Apr02 ?        00:00:00 [blkcg_punt_bio]
59root          52       2  0 Apr02 ?        00:00:00 [tpm_dev_wq]
60root          53       2  0 Apr02 ?        00:00:00 [md]
61root          54       2  0 Apr02 ?        00:00:00 [edac-poller]
62root          55       2  0 Apr02 ?        00:00:00 [watchdogd]
63root          57       2  0 Apr02 ?        00:00:07 [kworker/0:1H-kblockd]
64root          91       2  0 Apr02 ?        00:00:07 [kswapd0]
65root         193       2  0 Apr02 ?        00:00:00 [kthrotld]
66root         194       2  0 Apr02 ?        00:00:00 [irq/25-pciehp]
67root         195       2  0 Apr02 ?        00:00:00 [irq/26-pciehp]
68root         196       2  0 Apr02 ?        00:00:00 [irq/27-pciehp]
69root         197       2  0 Apr02 ?        00:00:00 [irq/28-pciehp]
70root         198       2  0 Apr02 ?        00:00:00 [irq/29-pciehp]
71root         199       2  0 Apr02 ?        00:00:00 [irq/30-pciehp]
72root         200       2  0 Apr02 ?        00:00:00 [irq/31-pciehp]
73root         201       2  0 Apr02 ?        00:00:00 [irq/32-pciehp]
74root         202       2  0 Apr02 ?        00:00:00 [irq/33-pciehp]
75root         203       2  0 Apr02 ?        00:00:00 [irq/34-pciehp]
76root         204       2  0 Apr02 ?        00:00:00 [irq/35-pciehp]
77root         205       2  0 Apr02 ?        00:00:00 [irq/36-pciehp]
78root         206       2  0 Apr02 ?        00:00:00 [irq/37-pciehp]
79root         207       2  0 Apr02 ?        00:00:00 [irq/38-pciehp]
80root         208       2  0 Apr02 ?        00:00:00 [irq/39-pciehp]
81root         209       2  0 Apr02 ?        00:00:00 [irq/40-pciehp]
82root         210       2  0 Apr02 ?        00:00:00 [irq/41-pciehp]
83root         211       2  0 Apr02 ?        00:00:00 [irq/42-pciehp]
84root         212       2  0 Apr02 ?        00:00:00 [irq/43-pciehp]
85root         213       2  0 Apr02 ?        00:00:00 [irq/44-pciehp]
86root         214       2  0 Apr02 ?        00:00:00 [irq/45-pciehp]
87root         215       2  0 Apr02 ?        00:00:00 [irq/46-pciehp]
88root         216       2  0 Apr02 ?        00:00:00 [irq/47-pciehp]
89root         217       2  0 Apr02 ?        00:00:00 [irq/48-pciehp]
90root         218       2  0 Apr02 ?        00:00:00 [irq/49-pciehp]
91root         219       2  0 Apr02 ?        00:00:00 [irq/50-pciehp]
92root         220       2  0 Apr02 ?        00:00:00 [irq/51-pciehp]
93root         221       2  0 Apr02 ?        00:00:00 [irq/52-pciehp]
94root         222       2  0 Apr02 ?        00:00:00 [irq/53-pciehp]
95root         223       2  0 Apr02 ?        00:00:00 [irq/54-pciehp]
96root         224       2  0 Apr02 ?        00:00:00 [irq/55-pciehp]
97root         225       2  0 Apr02 ?        00:00:00 [irq/56-pciehp]
98root         227       2  0 Apr02 ?        00:00:00 [acpi_thermal_pm]
99root         228       2  0 Apr02 ?        00:00:00 [kmpath_rdacd]
100root         229       2  0 Apr02 ?        00:00:00 [kaluad]
101root         231       2  0 Apr02 ?        00:00:00 [ipv6_addrconf]
102root         232       2  0 Apr02 ?        00:00:00 [kstrp]
103root         316       2  0 Apr02 ?        00:00:07 [kworker/1:1H-kblockd]
104root         346       2  0 Apr02 ?        00:00:08 [kworker/3:1H-xfs-log/dm-0]
105root         349       2  0 Apr02 ?        00:00:08 [kworker/2:1H-xfs-log/dm-0]
106root         547       2  0 Apr02 ?        00:00:00 [ata_sff]
107root         549       2  0 Apr02 ?        00:00:00 [scsi_eh_0]
108root         550       2  0 Apr02 ?        00:00:00 [scsi_tmf_0]
109root         551       2  0 Apr02 ?        00:00:00 [vmw_pvscsi_wq_0]
110root         552       2  0 Apr02 ?        00:00:00 [scsi_eh_1]
111root         553       2  0 Apr02 ?        00:00:00 [scsi_tmf_1]
112root         554       2  0 Apr02 ?        00:00:00 [scsi_eh_2]
113root         555       2  0 Apr02 ?        00:00:00 [scsi_tmf_2]
114root         557       2  0 Apr02 ?        00:00:00 [scsi_eh_3]
115root         558       2  0 Apr02 ?        00:00:00 [scsi_tmf_3]
116root         559       2  0 Apr02 ?        00:00:00 [scsi_eh_4]
117root         560       2  0 Apr02 ?        00:00:00 [scsi_tmf_4]
118root         561       2  0 Apr02 ?        00:00:00 [scsi_eh_5]
119root         562       2  0 Apr02 ?        00:00:00 [scsi_tmf_5]
120root         563       2  0 Apr02 ?        00:00:00 [scsi_eh_6]
121root         564       2  0 Apr02 ?        00:00:00 [scsi_tmf_6]
122root         566       2  0 Apr02 ?        00:00:00 [scsi_eh_7]
123root         567       2  0 Apr02 ?        00:00:00 [scsi_tmf_7]
124root         568       2  0 Apr02 ?        00:00:00 [scsi_eh_8]
125root         569       2  0 Apr02 ?        00:00:00 [scsi_tmf_8]
126root         570       2  0 Apr02 ?        00:00:00 [scsi_eh_9]
127root         571       2  0 Apr02 ?        00:00:00 [scsi_tmf_9]
128root         572       2  0 Apr02 ?        00:00:00 [scsi_eh_10]
129root         573       2  0 Apr02 ?        00:00:00 [scsi_tmf_10]
130root         574       2  0 Apr02 ?        00:00:00 [scsi_eh_11]
131root         575       2  0 Apr02 ?        00:00:00 [scsi_tmf_11]
132root         576       2  0 Apr02 ?        00:00:00 [scsi_eh_12]
133root         578       2  0 Apr02 ?        00:00:00 [scsi_tmf_12]
134root         579       2  0 Apr02 ?        00:00:00 [scsi_eh_13]
135root         580       2  0 Apr02 ?        00:00:00 [scsi_tmf_13]
136root         581       2  0 Apr02 ?        00:00:00 [scsi_eh_14]
137root         582       2  0 Apr02 ?        00:00:00 [scsi_tmf_14]
138root         584       2  0 Apr02 ?        00:00:00 [scsi_eh_15]
139root         585       2  0 Apr02 ?        00:00:00 [scsi_tmf_15]
140root         587       2  0 Apr02 ?        00:00:00 [scsi_eh_16]
141root         588       2  0 Apr02 ?        00:00:00 [scsi_tmf_16]
142root         589       2  0 Apr02 ?        00:00:00 [scsi_eh_17]
143root         590       2  0 Apr02 ?        00:00:00 [scsi_tmf_17]
144root         591       2  0 Apr02 ?        00:00:00 [scsi_eh_18]
145root         592       2  0 Apr02 ?        00:00:00 [scsi_tmf_18]
146root         593       2  0 Apr02 ?        00:00:00 [scsi_eh_19]
147root         594       2  0 Apr02 ?        00:00:00 [scsi_tmf_19]
148root         595       2  0 Apr02 ?        00:00:00 [scsi_eh_20]
149root         596       2  0 Apr02 ?        00:00:00 [scsi_tmf_20]
150root         598       2  0 Apr02 ?        00:00:00 [scsi_eh_21]
151root         599       2  0 Apr02 ?        00:00:00 [scsi_tmf_21]
152root         601       2  0 Apr02 ?        00:00:00 [scsi_eh_22]
153root         603       2  0 Apr02 ?        00:00:00 [scsi_tmf_22]
154root         604       2  0 Apr02 ?        00:00:02 [irq/16-vmwgfx]
155root         605       2  0 Apr02 ?        00:00:00 [scsi_eh_23]
156root         606       2  0 Apr02 ?        00:00:00 [card0-crtc0]
157root         607       2  0 Apr02 ?        00:00:00 [scsi_tmf_23]
158root         608       2  0 Apr02 ?        00:00:00 [card0-crtc1]
159root         609       2  0 Apr02 ?        00:00:00 [scsi_eh_24]
160root         610       2  0 Apr02 ?        00:00:00 [scsi_tmf_24]
161root         611       2  0 Apr02 ?        00:00:00 [card0-crtc2]
162root         612       2  0 Apr02 ?        00:00:00 [scsi_eh_25]
163root         613       2  0 Apr02 ?        00:00:00 [scsi_tmf_25]
164root         614       2  0 Apr02 ?        00:00:00 [card0-crtc3]
165root         615       2  0 Apr02 ?        00:00:00 [card0-crtc4]
166root         616       2  0 Apr02 ?        00:00:00 [card0-crtc5]
167root         617       2  0 Apr02 ?        00:00:00 [scsi_eh_26]
168root         618       2  0 Apr02 ?        00:00:00 [card0-crtc6]
169root         619       2  0 Apr02 ?        00:00:00 [scsi_tmf_26]
170root         620       2  0 Apr02 ?        00:00:00 [scsi_eh_27]
171root         621       2  0 Apr02 ?        00:00:00 [scsi_tmf_27]
172root         622       2  0 Apr02 ?        00:00:00 [scsi_eh_28]
173root         623       2  0 Apr02 ?        00:00:00 [scsi_tmf_28]
174root         624       2  0 Apr02 ?        00:00:00 [scsi_eh_29]
175root         625       2  0 Apr02 ?        00:00:00 [scsi_tmf_29]
176root         626       2  0 Apr02 ?        00:00:00 [scsi_eh_30]
177root         627       2  0 Apr02 ?        00:00:00 [scsi_tmf_30]
178root         628       2  0 Apr02 ?        00:00:00 [scsi_eh_31]
179root         629       2  0 Apr02 ?        00:00:00 [scsi_tmf_31]
180root         630       2  0 Apr02 ?        00:00:00 [scsi_eh_32]
181root         631       2  0 Apr02 ?        00:00:00 [scsi_tmf_32]
182root         661       2  0 Apr02 ?        00:00:00 [card0-crtc7]
183root         726       2  0 Apr02 ?        00:00:00 [kdmflush/253:0]
184root         737       2  0 Apr02 ?        00:00:00 [kdmflush/253:1]
185root         761       2  0 Apr02 ?        00:00:00 [xfsalloc]
186root         763       2  0 Apr02 ?        00:00:00 [xfs_mru_cache]
187root         764       2  0 Apr02 ?        00:00:00 [xfs-buf/dm-0]
188root         765       2  0 Apr02 ?        00:00:00 [xfs-conv/dm-0]
189root         766       2  0 Apr02 ?        00:00:00 [xfs-cil/dm-0]
190root         767       2  0 Apr02 ?        00:00:00 [xfs-reclaim/dm-]
191root         768       2  0 Apr02 ?        00:00:00 [xfs-gc/dm-0]
192root         770       2  0 Apr02 ?        00:00:00 [xfs-log/dm-0]
193root         771       2  0 Apr02 ?        00:00:10 [xfsaild/dm-0]
194root         915       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-udevd
195root         963       2  0 Apr02 ?        00:00:00 [xfs-buf/sda2]
196root         964       2  0 Apr02 ?        00:00:00 [xfs-conv/sda2]
197root         965       2  0 Apr02 ?        00:00:00 [xfs-cil/sda2]
198root         966       2  0 Apr02 ?        00:00:00 [xfs-reclaim/sda]
199root         967       2  0 Apr02 ?        00:00:00 [xfs-gc/sda2]
200root         971       2  0 Apr02 ?        00:00:00 [xfs-log/sda2]
201root         972       2  0 Apr02 ?        00:00:00 [xfsaild/sda2]
202root         973       2  0 Apr02 ?        00:00:00 [nfit]
203rpc         1014       1  0 Apr02 ?        00:00:00 /usr/bin/rpcbind -w -f
204root        1018       1  0 Apr02 ?        00:00:04 /sbin/auditd
205root        1020       2  0 Apr02 ?        00:00:00 [rpciod]
206root        1021       2  0 Apr02 ?        00:00:00 [xprtiod]
207root        1056       1  0 Apr02 ?        00:00:02 /usr/sbin/irqbalance --foreground
208dbus        1057       1  0 Apr02 ?        00:00:21 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation --syslog-only
209polkitd     1058       1  0 Apr02 ?        00:00:07 /usr/lib/polkit-1/polkitd --no-debug
210root        1063       1  0 Apr02 ?        00:00:04 /usr/lib/systemd/systemd-logind
211root        1076       1  0 Apr02 ?        00:00:00 /usr/bin/lttng-sessiond -d
212root        1077    1076  0 Apr02 ?        00:00:00 lttng-runas             -d
213root        1461       1  0 Apr02 ?        00:00:00 /usr/sbin/sshd -D -oCiphers=aes256-gcm@openssh.com,chacha20-poly1305@openssh.com,aes256-ctr,aes256-cbc,aes128-gcm@openssh.com,aes128-ctr,aes128-cbc -oMACs=hmac-sha2-256-etm@openssh.com,hmac-sha1-etm@openssh.com,umac-128-etm@openssh.com,hmac-sha2-512-etm@openssh.com,hmac-sha2-256,hmac-sha1,umac-128@openssh.com,hmac-sha2-512 -oGSSAPIKexAlgorithms=gss-curve25519-sha256-,gss-nistp256-sha256-,gss-group14-sha256-,gss-group16-sha512-,gss-gex-sha1-,gss-group14-sha1- -oKexAlgorithms=curve25519-sha256,curve25519-sha256@libssh.org,ecdh-sha2-nistp256,ecdh-sha2-nistp384,ecdh-sha2-nistp521,diffie-hellman-group-exchange-sha256,diffie-hellman-group14-sha256,diffie-hellman-group16-sha512,diffie-hellman-group18-sha512,diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1 -oHostKeyAlgorithms=ecdsa-sha2-nistp256,ecdsa-sha2-nistp256-cert-v01@openssh.com,ecdsa-sha2-nistp384,ecdsa-sha2-nistp384-cert-v01@openssh.com,ecdsa-sha2-nistp521,ecdsa-sha2-nistp521-cert-v01@openssh.com,ssh-ed25519,ssh-ed25519-cert-v01@openssh.com,rsa-sha2-256,rsa-sha2-256-cert-v01@openssh.com,rsa-sha2-512,rsa-sha2-512-cert-v01@openssh.com,ssh-rsa,ssh-rsa-cert-v01@openssh.com -oPubkeyAcceptedKeyTypes=ecdsa-sha2-nistp256,ecdsa-sha2-nistp256-cert-v01@openssh.com,ecdsa-sha2-nistp384,ecdsa-sha2-nistp384-cert-v01@openssh.com,ecdsa-sha2-nistp521,ecdsa-sha2-nistp521-cert-v01@openssh.com,ssh-ed25519,ssh-ed25519-cert-v01@openssh.com,rsa-sha2-256,rsa-sha2-256-cert-v01@openssh.com,rsa-sha2-512,rsa-sha2-512-cert-v01@openssh.com,ssh-rsa,ssh-rsa-cert-v01@openssh.com -oCASignatureAlgorithms=ecdsa-sha2-nistp256,ecdsa-sha2-nistp384,ecdsa-sha2-nistp521,ssh-ed25519,rsa-sha2-256,rsa-sha2-512,ssh-rsa
214root        1462       1  0 Apr02 ?        00:11:11 /usr/libexec/platform-python -Es /usr/sbin/tuned -l -P
215root        1470       1  0 Apr02 ?        00:00:00 /usr/sbin/gssproxy -D
216root        1480       1  0 Apr02 ?        00:00:00 /usr/sbin/crond -n
217root        1485       1  0 Apr02 tty2     00:00:00 /sbin/agetty --noclear tty2 linux
218chrony     33313       1  0 Apr02 ?        00:00:00 /usr/sbin/chronyd
219root       40901       1  0 Apr02 ?        00:02:17 /usr/local/zstack/zsn-agent/bin/zsn-agent -log-file /var/log/zstack/zsn-agent/zsn-agent.log -tmout 960 2>/tmp/zsn.error.log
220mysql      48667       1  0 Apr02 ?        00:07:09 /usr/libexec/mysqld --basedir=/usr
221zstack     49291       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd --user
222zstack     49293   49291  0 Apr02 ?        00:00:00 (sd-pam)
223zstack     50480       1  2 Apr02 ?        00:30:06 //bin/java -Djava.util.logging.config.file=/usr/local/zstack/apache-tomcat/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -Dorg.apache.catalina.security.SecurityListener.UMASK=0027 -Djdk.tls.trustNameService=true -Djava.net.preferIPv4Stack=true -Dcom.sun.management.jmxremote=true -Djava.security.egd=file:/dev/./urandom -XX:-OmitStackTraceInFastThrow -XX:MaxMetaspaceSize=512m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/usr/local/zstack/apache-tomcat/webapps/zstack/../../logs/heap.hprof -XX:+UseAltSigs -Dlog4j2.formatMsgNoLookups=true -Xms512M -Xmx12288M -Dignore.endorsed.dirs= -classpath /usr/local/zstack/apache-tomcat/bin/bootstrap.jar:/usr/local/zstack/apache-tomcat/bin/tomcat-juli.jar -Dcatalina.base=/usr/local/zstack/apache-tomcat -Dcatalina.home=/usr/local/zstack/apache-tomcat -Djava.io.tmpdir=/usr/local/zstack/apache-tomcat/temp org.apache.catalina.startup.Bootstrap -DappName=zstack start
224zstack     51983       1  0 Apr02 ?        00:00:13 /usr/local/zstack/apache-tomcat-8.5.99/webapps/zstack/WEB-INF/classes/tools/pushgateway --web.listen-address 172.17.44.130:9091 --persistence.file /var/lib/zstack/prometheus/pushgateway/persistence.data --persistence.interval 1m
225root       52672       1  2 Apr02 ?        00:38:28 /usr/local/zstack/apache-tomcat-8.5.99/webapps/zstack/WEB-INF/classes/tools/prometheus2 --web.enable-admin-api --web.listen-address 172.17.44.130:9090 --storage.tsdb.path /var/lib/zstack/prometheus/data2 --storage.tsdb.retention.time 4320h --storage.tsdb.retention.size 64GB --config.file /usr/local/zstack/prometheus/conf.yaml --storage.tsdb.min-block-duration 2h --query.max-concurrency 20 --query.timeout 2m
226zstack     54200       1  0 Apr02 ?        00:01:10 PM2 v5.2.2: God Daemon (/usr/local/zstack/.pm2)
227zstack     54226   54200  0 Apr02 ?        00:02:35 node /usr/local/zstack/.pm2/modules/pm2-logrotate/node_modules/pm2-logrotate/
228zstack     54237   54200  0 Apr02 ?        00:06:58 node /usr/local/zstack/zstack-ui/zstack-ui-server/src/main.js
229root       54263       1  0 Apr02 ?        00:00:00 nginx: master process /usr/sbin/nginx -c /usr/local/zstack/zstack-ui/configs/nginx.conf -p /usr/local/zstack/zstack-ui
230zstack     54266   54263  0 Apr02 ?        00:00:00 nginx: worker process
231zstack     54267   54263  0 Apr02 ?        00:00:02 nginx: worker process
232zstack     54268   54263  0 Apr02 ?        00:00:02 nginx: worker process
233zstack     54269   54263  0 Apr02 ?        00:00:02 nginx: worker process
234redis      54271       1  0 Apr02 ?        00:01:44 /usr/bin/redis-server *:6379
235root       56490       1  0 Apr02 ?        00:01:24 python -c from consoleproxy import cdaemon; cdaemon.main() start
236root       56825       1  0 Apr02 ?        00:00:38 /usr/lib/systemd/systemd-journald
237root       60864       1  0 Apr02 ?        00:00:12 /usr/bin/containerd
238root       60875       1  0 Apr02 ?        00:00:29 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
239root       62206   60864  0 Apr02 ?        00:00:05 containerd-shim -namespace moby -workdir /var/lib/containerd/io.containerd.runtime.v1.linux/moby/e85a2c10196ea40406422964be497502879bffb67e68e20f888fb58335822d2b -address /run/containerd/containerd.sock -containerd-binary /usr/bin/containerd -runtime-root /var/run/docker/runtime-runc
240root       62224   62206  0 Apr02 ?        00:00:00 /usr/sbin/init
241root       62251   62224  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-journald
242root       62314   62224  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-logind
243dbus       62317   62224  0 Apr02 ?        00:00:00 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation
244root       62320   62224  0 Apr02 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
245root       62563   62224  0 Apr02 ?        00:03:06 java -Dlog4j.configurationFile=/root/.zops/log4j2-server.xml -Dlog.location=/var/log/zops/zops-server.log -Xmx2048m -Xmn512m -XX:MaxDirectMemorySize=1024m -Xlog:gc*:/var/log/zops/zops.gc.log:time -jar /usr/local/lib/zops/zops-server start
246root       62774   62224  0 Apr02 ?        00:00:00 /usr/bin/python3 /webssh/run.py --port=8888 --xsrf=false --delay=3000 --fbidhttp=false
247root       62972   62224  0 Apr02 ?        00:00:07 python3 -m websockify --token-plugin TokenFile --token-source /var/lib/cobbler/kickstarts/token/ 26080
248root       63155       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd --user
249root       63158   63155  0 Apr02 ?        00:00:00 (sd-pam)
250root       63893       1  0 Apr02 ?        00:00:00 crond
251root       65492    1461  0 Apr02 ?        00:00:00 sshd: root [priv]
252root       65499   65492  0 Apr02 ?        00:00:00 sshd: root@notty
253root       70526       2  0 Apr02 ?        00:00:00 [xfs-buf/sdb1]
254root       70527       2  0 Apr02 ?        00:00:00 [xfs-conv/sdb1]
255root       70528       2  0 Apr02 ?        00:00:00 [xfs-cil/sdb1]
256root       70529       2  0 Apr02 ?        00:00:00 [xfs-reclaim/sdb]
257root       70530       2  0 Apr02 ?        00:00:00 [xfs-gc/sdb1]
258root       70532       2  0 Apr02 ?        00:00:00 [xfs-log/sdb1]
259root       70533       2  0 Apr02 ?        00:00:06 [xfsaild/sdb1]
260root       73761    1461  0 Apr02 ?        00:00:00 sshd: root [priv]
261root       73765   73761  0 Apr02 ?        00:00:00 sshd: root@notty
262root       76368       1  0 Apr02 ?        00:00:20 /usr/sbin/rsyslogd -n
263root       80285       2  0 Apr02 ?        00:00:00 [ipmi-msghandler]
264root      100676       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-machined
265root      100872       1  0 Apr02 ?        00:00:00 /usr/sbin/virtlogd
266root      107302       2  0 Apr02 ?        00:00:00 [uas]
267root      107342       1  0 Apr02 ?        00:01:04 /usr/sbin/libvirtd --listen
268root      107516       1  5 Apr02 ?        01:15:20 python -c from kvmagent import kdaemon; kdaemon.main() start
269root      108083       2  0 Apr02 ?        00:00:00 [kmpathd]
270root      108088       2  0 Apr02 ?        00:00:00 [kmpath_handlerd]
271root      108176       1  0 Apr02 ?        00:00:51 /sbin/multipathd -d -s
272root      120326       1  0 Apr02 ?        00:00:46 /usr/local/zstack/zsblk-agent/bin/zsblk-agent -free-space 5368709120 -increment 5368709120 -log-file /var/log/zstack/zsblk-agent/zsblk-agent.log -qmp-socket-dir /var/lib/libvirt/qemu/zstack/ -utilization-percent 85 -lk-helper-max-times 6 -lk-helper-scan-interval 15 -lk-helper-protection-period 1800 -verbose false
273root      123604       2  0 Apr02 ?        00:00:00 [nvme-wq]
274root      123606       2  0 Apr02 ?        00:00:00 [nvme-reset-wq]
275root      123607       2  0 Apr02 ?        00:00:00 [nvme-delete-wq]
276root      123702       1  0 Apr02 ?        00:00:00 collectdmon -- -C /var/lib/zstack/kvm/collectd.conf
277root      123703  123702  0 Apr02 ?        00:00:32 collectd -C /var/lib/zstack/kvm/collectd.conf -f
278root      123752       1  0 Apr02 ?        00:00:00 /bin/sh -c /var/lib/zstack/kvm/collectd_exporter  -collectd.listen-address :25826  > /var/lib/zstack/kvm/collectd_exporter.log 2>&1
279root      123753  123752  0 Apr02 ?        00:00:52 /var/lib/zstack/kvm/collectd_exporter -collectd.listen-address :25826
280root      123793       1  0 Apr02 ?        00:00:00 /bin/sh -c /var/lib/zstack/kvm/node_exporter  > /var/lib/zstack/kvm/node_exporter.log 2>&1
281root      123794  123793  0 Apr02 ?        00:03:47 /var/lib/zstack/kvm/node_exporter
282root      123828       1  0 Apr02 ?        00:00:00 /bin/sh -c /var/lib/zstack/kvm/pushgateway --persistence.file /var/lib/zstack/prometheus/host_pushgateway/persistence.data --persistence.interval 1m --web.listen-address :9092 --metric.timetolive 60s > /dev/null 2>&1
283root      123829  123828  0 Apr02 ?        00:00:13 /var/lib/zstack/kvm/pushgateway --persistence.file /var/lib/zstack/prometheus/host_pushgateway/persistence.data --persistence.interval 1m --web.listen-address :9092 --metric.timetolive 60s
284root      123905       2  0 Apr02 ?        00:00:00 [vfio-irqfd-clea]
285root      123999       1  0 Apr02 ?        00:00:00 /usr/sbin/lldpd
286lldpd     124008  123999  0 Apr02 ?        00:00:01 /usr/sbin/lldpd
287root      132072       1  0 Apr02 ?        00:01:25 python -c from sftpbackupstorage import sftpbackupstoragedaemon; sftpbackupstoragedaemon.main() start
288root      203816       1  0 Apr02 ?        00:00:00 lighttpd -f /var/lib/zstack/userdata/br_ens192_112818252d334d51938245d0ddb3e9c9/lighttpd.conf
289root      203817  203816  0 Apr02 ?        00:00:01 lighttpd -f /var/lib/zstack/userdata/br_ens192_112818252d334d51938245d0ddb3e9c9/lighttpd.conf
290root      226220       1  6 Apr02 ?        01:28:37 /usr/libexec/qemu-kvm -name guest=9140709d82b84199831c2899060939bc,debug-threads=on -S -object {"qom-type":"secret","id":"masterKey0","format":"raw","file":"/var/lib/libvirt/qemu/domain-2-9140709d82b84199831c/master-key.aes"} -blockdev {"driver":"file","filename":"/usr/share/edk2.git/ovmf-x64/OVMF_CODE-pure-efi.fd","node-name":"libvirt-pflash0-storage","auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-pflash0-format","read-only":true,"driver":"raw","file":"libvirt-pflash0-storage"} -blockdev {"driver":"file","filename":"/var/lib/libvirt/qemu/nvram/9140709d82b84199831c2899060939bc.fd","node-name":"libvirt-pflash1-storage","auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-pflash1-format","read-only":false,"driver":"raw","file":"libvirt-pflash1-storage"} -machine pc-q35-rhel8.6.0,usb=off,dump-guest-core=off,kernel_irqchip=on,pflash0=libvirt-pflash0-format,pflash1=libvirt-pflash1-format,memory-backend=pc.ram -accel kvm -cpu qemu64 -m 4096 -object {"qom-type":"memory-backend-ram","id":"pc.ram","size":4294967296} -overcommit mem-lock=off -smp 2,sockets=1,dies=1,cores=2,threads=1 -uuid 9140709d-82b8-4199-831c-2899060939bc -smbios type=1,serial=13e36eec-8352-4daa-a704-333d3623b6b2 -smbios type=3,manufacturer=,asset=www.zstack.io -no-user-config -nodefaults -chardev socket,id=charmonitor,fd=38,server=on,wait=off -mon chardev=charmonitor,id=monitor,mode=control -rtc base=utc -no-shutdown -global ICH9-LPC.disable_s3=1 -global ICH9-LPC.disable_s4=1 -boot menu=on,splash-time=3000,strict=on -device i82801b11-bridge,id=pci.1,bus=pcie.0,addr=0x1e -device pci-bridge,chassis_nr=2,id=pci.2,bus=pci.1,addr=0x0 -device pcie-root-port,port=16,chassis=3,id=pci.3,bus=pcie.0,multifunction=on,addr=0x2 -device pcie-root-port,port=17,chassis=4,id=pci.4,bus=pcie.0,addr=0x2.0x1 -device pcie-root-port,port=18,chassis=5,id=pci.5,bus=pcie.0,addr=0x2.0x2 -device pcie-root-port,port=19,chassis=6,id=pci.6,bus=pcie.0,addr=0x2.0x3 -device pcie-root-port,port=20,chassis=7,id=pci.7,bus=pcie.0,addr=0x2.0x4 -device pcie-root-port,port=21,chassis=8,id=pci.8,bus=pcie.0,addr=0x2.0x5 -device pcie-root-port,port=22,chassis=9,id=pci.9,bus=pcie.0,addr=0x2.0x6 -device pcie-root-port,port=23,chassis=10,id=pci.10,bus=pcie.0,addr=0x2.0x7 -device pcie-root-port,port=24,chassis=11,id=pci.11,bus=pcie.0,multifunction=on,addr=0x3 -device pcie-root-port,port=25,chassis=12,id=pci.12,bus=pcie.0,addr=0x3.0x1 -device pcie-root-port,port=26,chassis=13,id=pci.13,bus=pcie.0,addr=0x3.0x2 -device pcie-root-port,port=27,chassis=14,id=pci.14,bus=pcie.0,addr=0x3.0x3 -device pcie-root-port,port=28,chassis=15,id=pci.15,bus=pcie.0,addr=0x3.0x4 -device pcie-root-port,port=29,chassis=16,id=pci.16,bus=pcie.0,addr=0x3.0x5 -device pcie-root-port,port=30,chassis=17,id=pci.17,bus=pcie.0,addr=0x3.0x6 -device pcie-root-port,port=31,chassis=18,id=pci.18,bus=pcie.0,addr=0x3.0x7 -device pcie-root-port,port=32,chassis=19,id=pci.19,bus=pcie.0,multifunction=on,addr=0x4 -device pcie-root-port,port=33,chassis=20,id=pci.20,bus=pcie.0,addr=0x4.0x1 -device pcie-root-port,port=34,chassis=21,id=pci.21,bus=pcie.0,addr=0x4.0x2 -device pcie-root-port,port=35,chassis=22,id=pci.22,bus=pcie.0,addr=0x4.0x3 -device pcie-root-port,port=36,chassis=23,id=pci.23,bus=pcie.0,addr=0x4.0x4 -device pcie-root-port,port=37,chassis=24,id=pci.24,bus=pcie.0,addr=0x4.0x5 -device pcie-root-port,port=38,chassis=25,id=pci.25,bus=pcie.0,addr=0x4.0x6 -device pcie-root-port,port=39,chassis=26,id=pci.26,bus=pcie.0,addr=0x4.0x7 -device pcie-root-port,port=40,chassis=27,id=pci.27,bus=pcie.0,multifunction=on,addr=0x5 -device pcie-root-port,port=41,chassis=28,id=pci.28,bus=pcie.0,addr=0x5.0x1 -device pcie-root-port,port=42,chassis=29,id=pci.29,bus=pcie.0,addr=0x5.0x2 -device pcie-root-port,port=43,chassis=30,id=pci.30,bus=pcie.0,addr=0x5.0x3 -device piix3-usb-uhci,id=usb,bus=pci.2,addr=0x1 -device usb-ehci,id=usb1,bus=pci.2,addr=0x2 -device nec-usb-xhci,id=usb2,bus=pci.5,addr=0x0 -device usb-ehci,id=usb3,bus=pci.2,addr=0x3 -device nec-usb-xhci,id=usb4,bus=pci.6,addr=0x0 -device virtio-scsi-pci,id=scsi0,bus=pci.4,addr=0x0 -device virtio-serial-pci,id=virtio-serial0,bus=pci.7,addr=0x0 -blockdev {"driver":"file","filename":"/data/vms/rootVolumes/acct-36c27e8ff05c4780bf6d2fa65700f22e/vol-e964d0df55d341c6906c6170a70b40b8/e964d0df55d341c6906c6170a70b40b8.qcow2","node-name":"libvirt-2-storage","cache":{"direct":true,"no-flush":false},"auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-2-format","read-only":false,"discard":"unmap","cache":{"direct":true,"no-flush":false},"driver":"qcow2","file":"libvirt-2-storage","backing":null} -device virtio-blk-pci,bus=pci.8,addr=0x0,drive=libvirt-2-format,id=virtio-disk0,bootindex=1,write-cache=on,serial=e964d0df55d341c6906c6170a70b40b8 -blockdev {"driver":"file","filename":"/data/vms/imagecache/iso/3207956b4f6e4e188f1ec579af8e81bd/3207956b4f6e4e188f1ec579af8e81bd.iso","node-name":"libvirt-1-storage","auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-1-format","read-only":true,"driver":"raw","file":"libvirt-1-storage"} -device ide-cd,bus=ide.1,drive=libvirt-1-format,id=sata0-0-1,serial=8f42877912f7407cb1df915a283a78e7 -netdev tap,fds=39:41,id=hostnet0,vhost=on,vhostfds=42:43 -device virtio-net-pci,tx=bh,ioeventfd=on,event_idx=off,mq=on,vectors=6,rx_queue_size=1024,tx_queue_size=1024,host_mtu=1500,netdev=hostnet0,id=net0,mac=fa:cc:e2:61:19:00,bus=pci.3,addr=0x0 -chardev pty,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -chardev socket,id=charchannel0,fd=37,server=on,wait=off -device virtserialport,bus=virtio-serial0.0,nr=1,chardev=charchannel0,id=channel0,name=org.qemu.guest_agent.0 -device usb-tablet,id=input0,bus=usb.0,port=1 -audiodev {"id":"audio1","driver":"none"} -vnc 0.0.0.0:0,audiodev=audio1 -device virtio-vga,id=video0,max_outputs=1,bus=pcie.0,addr=0x1 -device virtio-balloon-pci,id=balloon0,bus=pci.9,addr=0x0 -qmp unix:/var/lib/libvirt/qemu/zstack/9140709d82b84199831c2899060939bc.sock,server,nowait -sandbox on,obsolete=deny,elevateprivileges=deny,spawn=deny,resourcecontrol=deny -msg timestamp=on
291root      226236       2  0 Apr02 ?        00:00:00 [kvm-nx-lpage-re]
292root      226239       2  0 Apr02 ?        00:00:04 [vhost-226220]
293root      226240       2  0 Apr02 ?        00:00:17 [vhost-226220]
294root      226249       2  0 Apr02 ?        00:00:00 [kvm-pit/226220]
295root      340876       1  0 Apr02 tty1     00:00:00 /sbin/agetty --noclear tty1 linux
296root     2908092       2  0 17:26 ?        00:00:00 [kworker/u8:2-xfs-gc/dm-0]
297root     2962605       2  0 17:53 ?        00:00:00 [kworker/1:3-rcu_gp]
298root     2963488       2  0 17:54 ?        00:00:00 [kworker/0:2-events_power_efficient]
299root     2965974       2  0 17:55 ?        00:00:00 [kworker/3:2-rcu_gp]
300root     2984473       2  0 18:05 ?        00:00:00 [kworker/u8:1-events_unbound]
301root     2996206       2  0 18:10 ?        00:00:00 [kworker/2:0-rcu_gp]
302root     3010049       2  0 18:17 ?        00:00:00 [kworker/1:2-rcu_gp]
303root     3017978       2  0 18:22 ?        00:00:00 [kworker/2:1-mm_percpu_wq]
304root     3026355       2  0 18:26 ?        00:00:00 [kworker/3:1-events_freezable_power_]
305root     3033339       2  0 18:29 ?        00:00:00 [kworker/1:0-rcu_gp]
306root     3034814       2  0 18:30 ?        00:00:00 [kworker/0:0-events]
307root     3036325       2  0 18:31 ?        00:00:00 [kworker/3:3-rcu_gp]
308root     3036784       2  0 18:31 ?        00:00:00 [kworker/2:3-rcu_gp]
309root     3041779    1461  0 18:34 ?        00:00:00 sshd: root [priv]
310root     3042013 3041779  0 18:34 ?        00:00:00 sshd: root@pts/1
311root     3042014 3042013  0 18:34 pts/1    00:00:00 -bash
312root     3043017       2  0 18:34 ?        00:00:00 [kworker/u8:0-events_unbound]
313root     3044762       2  0 18:35 ?        00:00:00 [kworker/1:1-events]
314root     3045332       2  0 18:35 ?        00:00:00 [kworker/0:1-events_power_efficient]
315root     3047308       2  0 18:36 ?        00:00:00 [kworker/2:2-events]
316root     3049130       2  0 18:37 ?        00:00:00 [kworker/u8:3-events_unbound]
317root     3049740       2  0 18:38 ?        00:00:00 [kworker/3:0-events]
318root     3051524 3042014  0 18:38 pts/1    00:00:00 ps -ef
319root     3051525 3042014  0 18:38 pts/1    00:00:00 cat
320[root@zstack130 ~]# lsmod
321Module                  Size  Used by
322xt_nat                 16384  1
323ebt_arp                16384  2
324ebt_dnat               16384  1
325ebt_ip                 16384  1
326veth                   32768  0
327xt_NFLOG               16384  1
328br_netfilter           24576  0
329vhost_net              28672  2
330vhost                  49152  1 vhost_net
331vhost_iotlb            16384  1 vhost
332tap                    28672  1 vhost_net
333vfio_pci               61440  0
334vfio_virqfd            16384  1 vfio_pci
335vfio_iommu_type1       36864  0
336vfio                   36864  2 vfio_iommu_type1,vfio_pci
337nvme                   45056  0
338nvme_core             139264  1 nvme
339dm_round_robin         16384  0
340dm_multipath           40960  1 dm_round_robin
341ebtable_filter         16384  1
342uas                    28672  0
343xt_CHECKSUM            16384  0
344ipt_MASQUERADE         16384  0
345ipmi_devintf           20480  0
346ipmi_msghandler       114688  1 ipmi_devintf
347tun                    49152  5 vhost_net
348kvm_intel             335872  2
349kvm                   954368  1 kvm_intel
350irqbypass              16384  12 vfio_pci,kvm
351bridge                290816  1 br_netfilter
352stp                    16384  1 bridge
353llc                    16384  2 bridge,stp
354nf_conntrack_netlink    53248  0
355nft_chain_nat          16384  8
356nf_nat                 45056  3 ipt_MASQUERADE,xt_nat,nft_chain_nat
357overlay               139264  1
358xt_state               16384  0
359xt_conntrack           16384  4
360nf_conntrack          172032  6 xt_conntrack,nf_nat,xt_state,ipt_MASQUERADE,xt_nat,nf_conntrack_netlink
361nf_defrag_ipv6         20480  1 nf_conntrack
362nf_defrag_ipv4         16384  1 nf_conntrack
363usb_storage            73728  1 uas
364ipt_REJECT             16384  1
365nf_reject_ipv4         16384  1 ipt_REJECT
366ebtable_nat            16384  1
367ebtables               36864  2 ebtable_nat,ebtable_filter
368nfnetlink_log          20480  2
369nft_counter            16384  35
370xt_comment             16384  14
371nft_compat             20480  37
372nf_tables             180224  89 nft_compat,nft_counter,nft_chain_nat
373nfnetlink              16384  6 nft_compat,nf_conntrack_netlink,nf_tables,nfnetlink_log
374sunrpc                577536  1
375vfat                   20480  1
376fat                    86016  1 vfat
377intel_rapl_msr         16384  0
378intel_rapl_common      24576  1 intel_rapl_msr
379isst_if_mbox_msr       16384  0
380isst_if_common         16384  1 isst_if_mbox_msr
381nfit                   65536  0
382libnvdimm             200704  1 nfit
383crct10dif_pclmul       16384  1
384crc32_pclmul           16384  0
385ghash_clmulni_intel    16384  0
386vmw_balloon            24576  0
387rapl                   20480  0
388pcspkr                 16384  0
389joydev                 24576  0
390i2c_piix4              24576  0
391vmw_vmci               86016  1 vmw_balloon
392nbd                    49152  0
393xfs                  1568768  3
394libcrc32c              16384  4 nf_conntrack,nf_nat,nf_tables,xfs
395sr_mod                 28672  0
396cdrom                  65536  1 sr_mod
397sd_mod                 53248  7
398t10_pi                 16384  2 sd_mod,nvme_core
399sg                     40960  0
400ata_generic            16384  0
401vmwgfx                372736  1
402drm_ttm_helper         16384  1 vmwgfx
403ttm                    73728  2 vmwgfx,drm_ttm_helper
404drm_kms_helper        176128  1 vmwgfx
405syscopyarea            16384  1 drm_kms_helper
406sysfillrect            16384  1 drm_kms_helper
407sysimgblt              16384  1 drm_kms_helper
408fb_sys_fops            16384  1 drm_kms_helper
409drm                   565248  5 vmwgfx,drm_kms_helper,drm_ttm_helper,ttm
410ahci                   40960  0
411libahci                40960  1 ahci
412ata_piix               36864  0
413serio_raw              16384  0
414libata                266240  4 ata_piix,libahci,ahci,ata_generic
415crc32c_intel           24576  1
416vmw_pvscsi             28672  6
417vmxnet3                65536  0
418dm_mirror              28672  0
419dm_region_hash         20480  1 dm_mirror
420dm_log                 20480  2 dm_region_hash,dm_mirror
421dm_mod                151552  12 dm_multipath,dm_log,dm_mirror
422[root@zstack130 ~]#

パッケージ

1[root@zstack130 ~]# rpm -qa|sort
2acl-2.2.53-1.el8.1.x86_64
3adwaita-cursor-theme-3.28.0-2.el8.noarch
4adwaita-icon-theme-3.28.0-2.el8.noarch
5alsa-firmware-1.0.29-6.el8.noarch
6alsa-lib-1.2.5-4.el8.x86_64
7alsa-tools-firmware-1.1.6-1.el8.x86_64
8annobin-9.72-1.el8_5.2.x86_64
9apr-1.6.3-12.el8.x86_64
10apr-util-1.6.1-6.el8.1.x86_64
11Arcconf-3.03-23668.x86_64
12atk-2.28.1-1.el8.x86_64
13at-spi2-atk-2.26.2-1.el8.x86_64
14at-spi2-core-2.28.0-1.el8.x86_64
15audit-3.0.7-4.el8.x86_64
16audit-libs-3.0.7-4.el8.x86_64
17augeas-libs-1.12.0-6.el8.x86_64
18authselect-1.2.2-3.el8.x86_64
19authselect-compat-1.2.2-3.el8.x86_64
20authselect-libs-1.2.2-3.el8.x86_64
21autoconf-2.69-29.el8.noarch
22autogen-libopts-5.18.12-8.el8.1.x86_64
23avahi-0.7-20.el8.x86_64
24avahi-libs-0.7-20.el8.x86_64
25avahi-tools-0.7-20.el8.x86_64
26basesystem-11-5.el8.noarch
27bash-4.4.20-2.el8.x86_64
28bash-completion-2.7-5.el8.noarch
29bc-1.07.1-5.el8.x86_64
30bind-export-libs-9.11.26-6.el8.x86_64
31binutils-2.30-108.el8_5.1.x86_64
32biosdevname-0.7.3-2.el8.x86_64
33blktrace-1.2.0-10.el8.x86_64
34boost-atomic-1.66.0-10.el8.x86_64
35boost-chrono-1.66.0-10.el8.x86_64
36boost-date-time-1.66.0-10.el8.x86_64
37boost-iostreams-1.66.0-10.el8.x86_64
38boost-program-options-1.66.0-10.el8.x86_64
39boost-random-1.66.0-10.el8.x86_64
40boost-regex-1.66.0-10.el8.x86_64
41boost-system-1.66.0-10.el8.x86_64
42boost-thread-1.66.0-10.el8.x86_64
43bridge-utils-1.7.1-2.el8.x86_64
44brotli-1.0.6-3.el8.x86_64
45bubblewrap-0.4.0-1.el8.x86_64
46bzip2-1.0.6-26.el8.x86_64
47bzip2-libs-1.0.6-26.el8.x86_64
48ca-certificates-2021.2.50-80.0.el8_4.noarch
49cairo-1.15.12-3.el8.x86_64
50cairo-gobject-1.15.12-3.el8.x86_64
51celt051-0.5.1.3-15.el8.x86_64
52checkpolicy-2.9-1.el8.x86_64
53chkconfig-1.19.1-1.el8.x86_64
54chrony-4.1-1.el8.x86_64
55collectd-5.9.0-5.el8.x86_64
56collectd-disk-5.9.0-5.el8.x86_64
57collectd-virt-5.9.0-5.el8.x86_64
58colord-libs-1.4.2-1.el8.x86_64
59conntrack-tools-1.4.4-10.el8.x86_64
60containerd.io-1.6.24-3.1.el8.x86_64
61container-selinux-2.205.0-2.module+el8.8.0+1265+fa25dd7a.noarch
62copy-jdk-configs-4.0-2.el8.noarch
63coreutils-8.30-12.el8.x86_64
64coreutils-common-8.30-12.el8.x86_64
65cpio-2.12-10.el8.x86_64
66cpp-8.5.0-4.el8_5.x86_64
67cracklib-2.9.6-15.el8.x86_64
68cracklib-dicts-2.9.6-15.el8.x86_64
69createrepo_c-0.17.2-3.el8.x86_64
70createrepo_c-libs-0.17.2-3.el8.x86_64
71cronie-1.5.2-4.el8.x86_64
72cronie-anacron-1.5.2-4.el8.x86_64
73crontabs-1.11-17.20190603git.el8.noarch
74crypto-policies-20210617-1.gitc776d3e.el8.noarch
75crypto-policies-scripts-20210617-1.gitc776d3e.el8.noarch
76cryptsetup-libs-2.3.3-4.el8_5.1.x86_64
77cups-libs-2.2.6-40.el8.x86_64
78curl-7.61.1-22.el8.x86_64
79cyrus-sasl-2.1.27-6.el8_5.x86_64
80cyrus-sasl-gssapi-2.1.27-6.el8_5.x86_64
81cyrus-sasl-lib-2.1.27-6.el8_5.x86_64
82cyrus-sasl-md5-2.1.27-6.el8_5.x86_64
83dbus-1.12.8-14.el8.x86_64
84dbus-common-1.12.8-14.el8.noarch
85dbus-daemon-1.12.8-14.el8.x86_64
86dbus-glib-0.110-2.el8.x86_64
87dbus-libs-1.12.8-14.el8.x86_64
88dbus-tools-1.12.8-14.el8.x86_64
89device-mapper-1.02.177-11.el8_5.x86_64
90device-mapper-event-1.02.177-11.el8_5.x86_64
91device-mapper-event-libs-1.02.177-11.el8_5.x86_64
92device-mapper-libs-1.02.177-11.el8_5.x86_64
93device-mapper-multipath-0.8.4-17.el8_5.1.x86_64
94device-mapper-multipath-libs-0.8.4-17.el8_5.1.x86_64
95device-mapper-persistent-data-0.9.0-4.el8.x86_64
96dhcp-client-4.3.6-45.el8.x86_64
97dhcp-common-4.3.6-45.el8.noarch
98dhcp-libs-4.3.6-45.el8.x86_64
99diffutils-3.6-6.el8.x86_64
100dlm-lib-4.1.0-1.el8.x86_64
101dmidecode-3.2-10.el8.x86_64
102dnf-4.7.0-4.el8.noarch
103dnf-data-4.7.0-4.el8.noarch
104dnf-plugins-core-4.0.21-4.el8_5.noarch
105dnsmasq-2.79-19.el8.x86_64
106docker-ce-19.03.13-3.el8.x86_64
107docker-ce-cli-24.0.6-1.el8.x86_64
108dosfstools-4.1-6.el8.x86_64
109dracut-049-191.git20210920.el8.x86_64
110dracut-config-rescue-049-191.git20210920.el8.x86_64
111dracut-network-049-191.git20210920.el8.x86_64
112dracut-squash-049-191.git20210920.el8.x86_64
113drpm-0.4.1-3.el8.x86_64
114dwz-0.12-10.el8.x86_64
115e2fsprogs-1.45.6-2.el8.x86_64
116e2fsprogs-libs-1.45.6-2.el8.x86_64
117ebtables-legacy-2.0.11-9.el8.1.x86_64
118edac-ctl-0.18-20.el8.x86_64
119edac-util-0.18-20.el8.x86_64
120edac-utils-0.18-20.el8.x86_64
121edk2.git-ovmf-x64-0-20190704.1178.g4ac8ceb5d6.noarch
122edk2-ovmf-20220126gitbb1bba3d77-3.el8.noarch
123efibootmgr-16-1.el8.x86_64
124efi-filesystem-3-3.el8.noarch
125efi-srpm-macros-3-3.el8.noarch
126efivar-libs-37-4.el8.x86_64
127elfutils-debuginfod-client-0.185-1.el8.x86_64
128elfutils-default-yama-scope-0.185-1.el8.noarch
129elfutils-libelf-0.185-1.el8.x86_64
130elfutils-libelf-devel-0.185-1.el8.x86_64
131elfutils-libs-0.185-1.el8.x86_64
132emacs-filesystem-26.1-7.el8.noarch
133ethtool-5.8-7.el8.x86_64
134expat-2.2.5-4.el8_5.3.x86_64
135expect-5.45.4-5.el8.x86_64
136file-5.33-20.el8.x86_64
137file-libs-5.33-20.el8.x86_64
138filesystem-3.8-6.el8.x86_64
139findutils-4.6.0-20.el8.x86_64
140firewalld-0.9.3-7.el8_5.1.noarch
141firewalld-filesystem-0.9.3-7.el8_5.1.noarch
142fontconfig-2.13.1-4.el8.x86_64
143fontpackages-filesystem-1.44-22.el8.noarch
144freetype-2.9.1-4.el8_3.1.x86_64
145fribidi-1.0.4-8.el8.x86_64
146fuse-2.9.7-17.el8.x86_64
147fuse-common-3.3.0-17.el8.x86_64
148fuse-libs-2.9.7-17.el8.x86_64
149fuse-sshfs-2.8-5.el8.x86_64
150fwupd-1.5.9-1.el8_5.0.1.x86_64
151fxload-2008_10_13-10.el8.x86_64
152gawk-4.2.1-2.el8.x86_64
153gcc-8.5.0-4.el8_5.x86_64
154gd-2.2.5-7.el8.x86_64
155gdbm-1.18-1.el8.x86_64
156gdbm-libs-1.18-1.el8.x86_64
157gdk-pixbuf2-2.36.12-5.el8.x86_64
158gdk-pixbuf2-modules-2.36.12-5.el8.x86_64
159genisoimage-1.1.11-39.el8.x86_64
160gettext-0.19.8.1-17.el8.x86_64
161gettext-libs-0.19.8.1-17.el8.x86_64
162ghc-srpm-macros-1.4.2-7.el8.noarch
163giflib-5.1.4-3.el8.x86_64
164git-2.27.0-1.el8.x86_64
165git-core-2.27.0-1.el8.x86_64
166git-core-doc-2.27.0-1.el8.noarch
167glib2-2.56.4-156.el8.x86_64
168glibc-2.28-164.el8_5.3.x86_64
169glibc-all-langpacks-2.28-164.el8_5.3.x86_64
170glibc-common-2.28-164.el8_5.3.x86_64
171glibc-devel-2.28-164.el8_5.3.x86_64
172glibc-headers-2.28-164.el8_5.3.x86_64
173glib-networking-2.56.1-1.1.el8.x86_64
174glusterfs-6.0-56.4.el8.x86_64
175glusterfs-api-6.0-56.4.el8.x86_64
176glusterfs-cli-6.0-56.4.el8.x86_64
177glusterfs-client-xlators-6.0-56.4.el8.x86_64
178glusterfs-libs-6.0-56.4.el8.x86_64
179gmp-6.1.2-10.el8.x86_64
180gnupg2-2.2.20-2.el8.x86_64
181gnutls-3.6.16-4.el8.x86_64
182gnutls-dane-3.6.16-4.el8.x86_64
183gnutls-utils-3.6.16-4.el8.x86_64
184gobject-introspection-1.56.1-1.el8.x86_64
185google-droid-sans-fonts-20120715-13.el8.noarch
186go-srpm-macros-2-17.el8.noarch
187gpgme-1.13.1-9.el8.x86_64
188gpm-libs-1.20.7-17.el8.x86_64
189grafana-7.5.9-5.el8_5.x86_64
190graphite2-1.3.10-10.el8.x86_64
191grep-3.1-6.el8.x86_64
192groff-base-1.22.3-18.el8.x86_64
193grub2-common-2.02-106.el8.0.2.noarch
194grub2-efi-x64-2.02-106.el8.0.2.x86_64
195grub2-tools-2.02-106.el8.0.2.x86_64
196grub2-tools-extra-2.02-106.el8.0.2.x86_64
197grub2-tools-minimal-2.02-106.el8.0.2.x86_64
198grubby-8.40-42.el8.x86_64
199gsettings-desktop-schemas-3.32.0-6.el8.x86_64
200gssproxy-0.8.0-19.el8.x86_64
201gstreamer1-1.16.1-2.el8.x86_64
202gstreamer1-plugins-base-1.16.1-2.el8.x86_64
203gtk2-2.24.32-5.el8.x86_64
204gtk3-3.22.30-8.el8.x86_64
205gtk-update-icon-cache-3.22.30-8.el8.x86_64
206gzip-1.9-13.el8_5.x86_64
207hardlink-1.3-6.el8.x86_64
208harfbuzz-1.7.5-3.el8.x86_64
209hdparm-9.54-4.el8.x86_64
210helix-gpg-keys-8.4r-36.el8.noarch
211helix-release-8.4r-36.el8.noarch
212helix-repos-8.4r-36.el8.noarch
213hicolor-icon-theme-0.17-2.el8.noarch
214hostname-3.20-6.el8.x86_64
215httpd-2.4.37-43.module+el8.5.0+747+83fae388.3.x86_64
216httpd-filesystem-2.4.37-43.module+el8.5.0+747+83fae388.3.noarch
217httpd-tools-2.4.37-43.module+el8.5.0+747+83fae388.3.x86_64
218hwdata-0.314-8.10.el8.noarch
219ima-evm-utils-1.3.2-12.el8.x86_64
220info-6.5-6.el8.x86_64
221initscripts-10.00.18-1.el8.x86_64
222ipcalc-0.2.4-4.el8.x86_64
223ipmitool-1.8.18-18.el8.x86_64
224iproute-5.12.0-4.el8.x86_64
225iproute-tc-5.12.0-4.el8.x86_64
226iprutils-2.4.19-1.el8.x86_64
227ipset-7.1-1.el8.x86_64
228ipset-libs-7.1-1.el8.x86_64
229iptables-1.8.4-20.el8.x86_64
230iptables-libs-1.8.4-20.el8.x86_64
231iptables-services-1.8.4-20.el8.x86_64
232iputils-20180629-7.el8.x86_64
233ipxe-roms-qemu-20181214-8.git133f4c47.el8.noarch
234irqbalance-1.4.0-6.el8.x86_64
235iscsi-initiator-utils-6.2.1.4-4.git095f59c.el8.x86_64
236iscsi-initiator-utils-iscsiuio-6.2.1.4-4.git095f59c.el8.x86_64
237isl-0.16.1-6.el8.x86_64
238isns-utils-libs-0.99-1.el8.x86_64
239iso-codes-3.79-2.el8.noarch
240iwl1000-firmware-39.31.5.1-104.el8_5.1.noarch
241iwl100-firmware-39.31.5.1-104.el8_5.1.noarch
242iwl105-firmware-18.168.6.1-104.el8_5.1.noarch
243iwl135-firmware-18.168.6.1-104.el8_5.1.noarch
244iwl2000-firmware-18.168.6.1-104.el8_5.1.noarch
245iwl2030-firmware-18.168.6.1-104.el8_5.1.noarch
246iwl3160-firmware-25.30.13.0-104.el8_5.1.noarch
247iwl3945-firmware-15.32.2.9-104.el8_5.1.noarch
248iwl4965-firmware-228.61.2.24-104.el8_5.1.noarch
249iwl5000-firmware-8.83.5.1_1-104.el8_5.1.noarch
250iwl5150-firmware-8.24.2.2-104.el8_5.1.noarch
251iwl6000-firmware-9.221.4.1-104.el8_5.1.noarch
252iwl6000g2a-firmware-18.168.6.1-104.el8_5.1.noarch
253iwl6000g2b-firmware-18.168.6.1-104.el8_5.1.noarch
254iwl6050-firmware-41.28.5.1-104.el8_5.1.noarch
255iwl7260-firmware-25.30.13.0-104.el8_5.1.noarch
256jansson-2.11-3.el8.x86_64
257jasper-libs-2.0.14-5.el8.x86_64
258java-11-openjdk-11.0.22.0.7-2.el8.x86_64
259java-11-openjdk-devel-11.0.22.0.7-2.el8.x86_64
260java-11-openjdk-headless-11.0.22.0.7-2.el8.x86_64
261java-1.8.0-openjdk-1.8.0.332.b09-1.el8_5.x86_64
262java-1.8.0-openjdk-devel-1.8.0.332.b09-1.el8_5.x86_64
263java-1.8.0-openjdk-headless-1.8.0.332.b09-1.el8_5.x86_64
264javapackages-filesystem-5.3.0-2.module+el8.3.0+125+5da1ae29.noarch
265jbigkit-libs-2.1-14.el8.x86_64
266json-c-0.13.1-2.el8.x86_64
267json-glib-1.4.4-1.el8.x86_64
268kbd-2.0.4-10.el8.x86_64
269kbd-legacy-2.0.4-10.el8.noarch
270kbd-misc-2.0.4-10.el8.noarch
271kernel-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
272kernel-core-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
273kernel-devel-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
274kernel-headers-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
275kernel-modules-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
276kernel-tools-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
277kernel-tools-libs-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
278kexec-tools-2.0.20-57.el8_5.1.x86_64
279keyutils-1.5.10-9.el8.x86_64
280keyutils-libs-1.5.10-9.el8.x86_64
281keyutils-libs-devel-1.5.10-9.el8.x86_64
282kmod-25-18.el8.x86_64
283kmod-libs-25-18.el8.x86_64
284kpartx-0.8.4-17.el8_5.1.x86_64
285krb5-devel-1.18.2-14.el8.x86_64
286krb5-libs-1.18.2-14.el8.x86_64
287lcms2-2.9-2.el8.x86_64
288less-530-1.el8.x86_64
289leveldb-1.22-1.el8.x86_64
290libacl-2.2.53-1.el8.1.x86_64
291libaio-0.3.112-1.el8.x86_64
292libarchive-3.3.3-3.el8_5.x86_64
293libassuan-2.5.1-3.el8.x86_64
294libattr-2.4.48-3.el8.x86_64
295libbabeltrace-1.5.4-3.el8.x86_64
296libbasicobjects-0.1.1-39.el8.x86_64
297libblkid-2.32.1-28.el8.x86_64
298libbpf-0.4.0-1.el8.x86_64
299libcap-2.26-5.el8.x86_64
300libcap-ng-0.7.11-1.el8.x86_64
301libcbd-v1.2.6-148.g69bd873f.el8.x86_64
302libcgroup-0.41-19.el8.x86_64
303libcollection-0.7.0-39.el8.x86_64
304libcom_err-1.45.6-2.el8.x86_64
305libcom_err-devel-1.45.6-2.el8.x86_64
306libcomps-0.1.16-2.el8.x86_64
307libcroco-0.6.12-4.el8_2.1.x86_64
308libcurl-7.61.1-22.el8.x86_64
309libdaemon-0.14-15.el8.x86_64
310libdatrie-0.2.9-7.el8.x86_64
311libdb-5.3.28-42.el8_4.x86_64
312libdb-utils-5.3.28-42.el8_4.x86_64
313libdnf-0.63.0-3.el8.x86_64
314libdrm-2.4.106-2.el8.x86_64
315libedac-0.18-20.el8.x86_64
316libedit-3.1-23.20170329cvs.el8.x86_64
317libepoxy-1.5.8-1.el8.x86_64
318libestr-0.1.10-1.el8.x86_64
319libevent-2.1.8-5.el8.x86_64
320libfastjson-0.99.9-1.el8.x86_64
321libfdisk-2.32.1-28.el8.x86_64
322libfdt-1.6.0-1.el8.x86_64
323libffi-3.1-22.el8.x86_64
324libffi-devel-3.1-22.el8.x86_64
325libfontenc-1.1.3-8.el8.x86_64
326libgcab1-1.1-1.el8.x86_64
327libgcc-8.5.0-4.el8_5.x86_64
328libgcrypt-1.8.5-6.el8.x86_64
329libglvnd-1.3.2-1.el8.x86_64
330libglvnd-egl-1.3.2-1.el8.x86_64
331libglvnd-gles-1.3.2-1.el8.x86_64
332libglvnd-glx-1.3.2-1.el8.x86_64
333libgomp-8.5.0-4.el8_5.x86_64
334libgpg-error-1.31-1.el8.x86_64
335libgudev-232-4.el8.x86_64
336libgusb-0.3.0-1.el8.x86_64
337libibverbs-35.0-1.el8.x86_64
338libicu-60.3-2.el8_1.x86_64
339libidn2-2.2.0-1.el8.x86_64
340libini_config-1.3.1-39.el8.x86_64
341libiscsi-1.18.0-8.module+el8.4.0+534+4680a14e.x86_64
342libjpeg-turbo-1.5.3-12.el8.x86_64
343libkadm5-1.18.2-14.el8.x86_64
344libkcapi-1.2.0-2.el8.x86_64
345libkcapi-hmaccalc-1.2.0-2.el8.x86_64
346libksba-1.3.5-7.el8.x86_64
347libmaxminddb-1.2.0-10.el8.x86_64
348libmbim-1.20.2-1.el8.x86_64
349libmetalink-0.1.3-7.el8.x86_64
350libmnl-1.0.4-6.el8.x86_64
351libmodman-2.0.1-17.el8.x86_64
352libmodulemd-2.13.0-1.el8.x86_64
353libmount-2.32.1-28.el8.x86_64
354libmpc-1.1.0-9.1.el8.x86_64
355libnetfilter_conntrack-1.0.6-5.el8.x86_64
356libnetfilter_cthelper-1.0.0-15.el8.x86_64
357libnetfilter_cttimeout-1.0.0-11.el8.x86_64
358libnetfilter_queue-1.0.4-3.el8.x86_64
359libnfnetlink-1.0.1-13.el8.x86_64
360libnfsidmap-2.3.3-46.el8.x86_64
361libnftnl-1.1.5-4.el8.x86_64
362libnghttp2-1.33.0-3.el8_3.1.x86_64
363libnl3-3.5.0-1.el8.x86_64
364libnsl2-1.2.0-2.20180605git4a062cf.el8.x86_64
365libogg-1.3.2-10.el8.x86_64
366libpath_utils-0.2.1-39.el8.x86_64
367libpcap-1.9.1-5.el8.x86_64
368libpciaccess-0.14-1.el8.x86_64
369libpipeline-1.5.0-2.el8.x86_64
370libpkgconf-1.4.2-1.el8.x86_64
371libpmem-1.6.1-1.el8.x86_64
372libpng-1.6.34-5.el8.x86_64
373libproxy-0.4.15-5.2.el8.x86_64
374libpsl-0.20.2-6.el8.x86_64
375libpwquality-1.4.4-3.el8.x86_64
376libqmi-1.24.0-3.el8.x86_64
377librados2-12.2.7-9.el8.x86_64
378librbd1-12.2.7-9.el8.x86_64
379librdmacm-35.0-1.el8.x86_64
380libref_array-0.1.5-39.el8.x86_64
381librepo-1.14.0-2.el8.x86_64
382libreport-filesystem-2.9.5-15.el8.rocky.6.3.x86_64
383libseccomp-2.5.1-1.el8.x86_64
384libsecret-0.18.6-1.el8.0.2.x86_64
385libselinux-2.9-5.el8.x86_64
386libselinux-devel-2.9-5.el8.x86_64
387libselinux-python-2.9-2.1.module+el8.4.0+532+c114ce35.x86_64
388libselinux-utils-2.9-5.el8.x86_64
389libsemanage-2.9-9.el8_6.x86_64
390libsepol-2.9-3.el8.x86_64
391libsepol-devel-2.9-3.el8.x86_64
392libsigsegv-2.11-5.el8.x86_64
393libsmartcols-2.32.1-28.el8.x86_64
394libsmbios-2.4.1-2.el8.x86_64
395libsolv-0.7.19-1.el8.x86_64
396libsoup-2.62.3-2.el8.x86_64
397libss-1.45.6-2.el8.x86_64
398libssh-0.9.4-3.el8.x86_64
399libssh-config-0.9.4-3.el8.noarch
400libsss_idmap-2.5.2-2.el8_5.4.x86_64
401libsss_nss_idmap-2.5.2-2.el8_5.4.x86_64
402libstdc++-8.5.0-4.el8_5.x86_64
403libsysfs-2.1.0-24.el8.x86_64
404libtasn1-4.13-3.el8.x86_64
405libthai-0.1.27-2.el8.x86_64
406libtheora-1.1.1-21.el8.x86_64
407libtiff-4.0.9-20.el8.x86_64
408libtirpc-1.1.4-5.el8.x86_64
409libtomcrypt-1.18.2-5.el8.x86_64
410libtommath-1.1.0-1.el8.x86_64
411libtpms-0.9.1-2.20211126git1ff6fe1f43.module+el8.8.0+1279+230c2115.x86_64
412libunistring-0.9.9-3.el8.x86_64
413libusal-1.1.11-39.el8.x86_64
414libusbx-1.0.23-4.el8.x86_64
415libuser-0.62-23.el8.x86_64
416libutempter-1.1.6-14.el8.x86_64
417libuuid-2.32.1-28.el8.x86_64
418libverto-0.3.0-5.el8.x86_64
419libverto-devel-0.3.0-5.el8.x86_64
420libverto-libevent-0.3.0-5.el8.x86_64
421libvirt-8.0.0-78.g0606ea2633.el8.x86_64
422libvirt-client-8.0.0-78.g0606ea2633.el8.x86_64
423libvirt-daemon-8.0.0-78.g0606ea2633.el8.x86_64
424libvirt-daemon-config-network-8.0.0-78.g0606ea2633.el8.x86_64
425libvirt-daemon-config-nwfilter-8.0.0-78.g0606ea2633.el8.x86_64
426libvirt-daemon-driver-interface-8.0.0-78.g0606ea2633.el8.x86_64
427libvirt-daemon-driver-network-8.0.0-78.g0606ea2633.el8.x86_64
428libvirt-daemon-driver-nodedev-8.0.0-78.g0606ea2633.el8.x86_64
429libvirt-daemon-driver-nwfilter-8.0.0-78.g0606ea2633.el8.x86_64
430libvirt-daemon-driver-qemu-8.0.0-78.g0606ea2633.el8.x86_64
431libvirt-daemon-driver-secret-8.0.0-78.g0606ea2633.el8.x86_64
432libvirt-daemon-driver-storage-8.0.0-78.g0606ea2633.el8.x86_64
433libvirt-daemon-driver-storage-core-8.0.0-78.g0606ea2633.el8.x86_64
434libvirt-daemon-driver-storage-disk-8.0.0-78.g0606ea2633.el8.x86_64
435libvirt-daemon-driver-storage-gluster-8.0.0-78.g0606ea2633.el8.x86_64
436libvirt-daemon-driver-storage-iscsi-8.0.0-78.g0606ea2633.el8.x86_64
437libvirt-daemon-driver-storage-iscsi-direct-8.0.0-78.g0606ea2633.el8.x86_64
438libvirt-daemon-driver-storage-logical-8.0.0-78.g0606ea2633.el8.x86_64
439libvirt-daemon-driver-storage-mpath-8.0.0-78.g0606ea2633.el8.x86_64
440libvirt-daemon-driver-storage-rbd-8.0.0-78.g0606ea2633.el8.x86_64
441libvirt-daemon-driver-storage-scsi-8.0.0-78.g0606ea2633.el8.x86_64
442libvirt-daemon-kvm-8.0.0-78.g0606ea2633.el8.x86_64
443libvirt-libs-8.0.0-78.g0606ea2633.el8.x86_64
444libvirt-python-4.9.0-1.el7.x86_64
445libvisual-0.4.0-25.el8.x86_64
446libvorbis-1.3.6-2.el8.x86_64
447libwayland-client-1.19.0-1.el8.x86_64
448libwayland-cursor-1.19.0-1.el8.x86_64
449libwayland-egl-1.19.0-1.el8.x86_64
450libwayland-server-1.19.0-1.el8.x86_64
451libwebp-1.0.0-5.el8.x86_64
452libX11-1.6.8-5.el8.x86_64
453libX11-common-1.6.8-5.el8.noarch
454libX11-xcb-1.6.8-5.el8.x86_64
455libXau-1.0.9-3.el8.x86_64
456libxcb-1.13.1-1.el8.x86_64
457libXcomposite-0.4.4-14.el8.x86_64
458libxcrypt-4.1.1-6.el8.x86_64
459libxcrypt-devel-4.1.1-6.el8.x86_64
460libXcursor-1.1.15-3.el8.x86_64
461libXdamage-1.1.4-14.el8.x86_64
462libXext-1.3.4-1.el8.x86_64
463libXfixes-5.0.3-7.el8.x86_64
464libXft-2.3.3-1.el8.x86_64
465libXi-1.7.10-1.el8.x86_64
466libXinerama-1.1.4-1.el8.x86_64
467libxkbcommon-0.9.1-1.el8.x86_64
468libxml2-2.9.7-12.el8_5.x86_64
469libxmlb-0.1.15-1.el8.x86_64
470libXpm-3.5.12-8.el8.x86_64
471libXrandr-1.5.2-1.el8.x86_64
472libXrender-0.9.10-7.el8.x86_64
473libxshmfence-1.3-2.el8.x86_64
474libxslt-1.1.32-6.el8.x86_64
475libXtst-1.2.3-7.el8.x86_64
476libXv-1.0.11-7.el8.x86_64
477libXxf86vm-1.1.4-9.el8.x86_64
478libyaml-0.1.7-5.el8.x86_64
479libzstd-1.4.4-1.el8.x86_64
480lighttpd-1.4.67-1.el8.x86_64
481lighttpd-filesystem-1.4.67-1.el8.noarch
482lighttpd-mod_authn_ldap-1.4.67-1.el8.x86_64
483lighttpd-mod_deflate-1.4.67-1.el8.x86_64
484lighttpd-mod_magnet-1.4.67-1.el8.x86_64
485lighttpd-mod_openssl-1.4.67-1.el8.x86_64
486lighttpd-mod_vhostdb_ldap-1.4.67-1.el8.x86_64
487lighttpd-mod_webdav-1.4.67-1.el8.x86_64
488linux-firmware-20210702-104.gitd79c2677.el8_5.noarch
489lksctp-tools-1.0.18-3.el8.x86_64
490lldpd-1.0.1-2.el8.x86_64
491llvm-libs-12.0.1-2.module+el8.5.0+692+8756646f.x86_64
492lm_sensors-libs-3.4.0-23.20180522git70f7e08.el8.x86_64
493logrotate-3.14.0-4.el8.x86_64
494lsof-4.93.2-1.el8.x86_64
495lsscsi-0.32-3.el8.x86_64
496lttng-tools-2.8.8-1.el8.x86_64
497lttng-ust-2.8.1-11.el8.x86_64
498lua-5.3.4-12.el8.x86_64
499lua-libs-5.3.4-12.el8.x86_64
500lvm2-2.03.12-11.el8_5.x86_64
501lvm2-libs-2.03.12-11.el8_5.x86_64
502lvm2-lockd-2.03.12-11.el8_5.x86_64
503lz4-libs-1.8.3-3.el8_4.x86_64
504lzo-2.08-14.el8.x86_64
505lzop-1.03-20.el8.x86_64
506m4-1.4.18-7.el8.x86_64
507mailcap-2.1.48-3.el8.noarch
508make-4.2.1-10.el8.x86_64
509man-db-2.7.6.1-18.el8.x86_64
510mariadb-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
511mariadb-common-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
512mariadb-connector-c-3.1.11-2.el8_3.x86_64
513mariadb-connector-c-config-3.1.11-2.el8_3.noarch
514mariadb-errmsg-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
515mariadb-server-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
516mcelog-175-1.el8.x86_64
517mdevctl-1.1.0-2.el8.x86_64
518MegaCli-8.07.14-1.noarch
519mesa-dri-drivers-21.1.5-1.el8.0.x86_64
520mesa-filesystem-21.1.5-1.el8.0.x86_64
521mesa-libEGL-21.1.5-1.el8.0.x86_64
522mesa-libgbm-21.1.5-1.el8.0.x86_64
523mesa-libGL-21.1.5-1.el8.0.x86_64
524mesa-libglapi-21.1.5-1.el8.0.x86_64
525microcode_ctl-20210608-1.20220207.1.el8_5.x86_64
526ModemManager-glib-1.10.8-4.el8.x86_64
527mod_http2-1.15.7-3.module+el8.5.0+695+1fa8055e.x86_64
528mokutil-0.3.0-11.el8.x86_64
529mozjs60-60.9.0-4.el8.x86_64
530mpfr-3.1.6-1.el8.x86_64
531mtools-4.0.18-14.el8.x86_64
532ncurses-6.1-9.20180224.el8.x86_64
533ncurses-base-6.1-9.20180224.el8.noarch
534ncurses-libs-6.1-9.20180224.el8.x86_64
535netcf-libs-0.2.8-12.module+el8.4.0+534+4680a14e.x86_64
536net-snmp-agent-libs-5.8-22.el8.x86_64
537net-snmp-libs-5.8-22.el8.x86_64
538nettle-3.4.1-7.el8.x86_64
539net-tools-2.0-0.52.20160912git.el8.x86_64
540network-scripts-10.00.18-1.el8.x86_64
541nfs-utils-2.3.3-46.el8.x86_64
542nftables-0.9.3-21.el8.x86_64
543nginx-1.24.0-1.el8.x86_64
544nginx-all-modules-1.24.0-1.el8.noarch
545nginx-filesystem-1.24.0-1.el8.noarch
546nginx-mod-http-image-filter-1.24.0-1.el8.x86_64
547nginx-mod-http-perl-1.24.0-1.el8.x86_64
548nginx-mod-http-xslt-filter-1.24.0-1.el8.x86_64
549nginx-mod-mail-1.24.0-1.el8.x86_64
550nginx-mod-stream-1.24.0-1.el8.x86_64
551nmap-7.70-6.el8.x86_64
552nmap-ncat-7.70-6.el8.x86_64
553nodejs-14.21.1-2.module+el8.7.0+1116+bd2a84b4.x86_64
554npth-1.5-4.el8.x86_64
555nspr-4.32.0-1.el8_4.x86_64
556nss-3.67.0-7.el8_5.x86_64
557nss-softokn-3.67.0-7.el8_5.x86_64
558nss-softokn-freebl-3.67.0-7.el8_5.x86_64
559nss-sysinit-3.67.0-7.el8_5.x86_64
560nss-util-3.67.0-7.el8_5.x86_64
561numactl-libs-2.0.12-13.el8.x86_64
562numad-0.5-26.20150602git.el8.x86_64
563nvme-cli-1.14-3.el8.x86_64
564ocaml-srpm-macros-5-4.el8.noarch
565openblas-srpm-macros-2-2.el8.noarch
566OpenIPMI-modalias-2.0.23-2.el7.x86_64
567openldap-2.4.46-18.el8.x86_64
568openssh-8.0p1-19.el8_8.x86_64
569openssh-clients-8.0p1-19.el8_8.x86_64
570openssh-server-8.0p1-19.el8_8.x86_64
571openssl-1.1.1k-9.el8_7.x86_64
572openssl-devel-1.1.1k-9.el8_7.x86_64
573openssl-libs-1.1.1k-9.el8_7.x86_64
574opus-1.3-0.4.beta.el8.x86_64
575orc-0.4.28-3.el8.x86_64
576os-prober-1.74-9.el8.x86_64
577p11-kit-0.23.22-1.el8.x86_64
578p11-kit-trust-0.23.22-1.el8.x86_64
579pam-1.3.1-15.el8.x86_64
580pango-1.42.4-8.el8.x86_64
581parted-3.2-39.el8.x86_64
582passwd-0.80-3.el8.x86_64
583pciutils-3.7.0-1.el8.x86_64
584pciutils-libs-3.7.0-1.el8.x86_64
585pcre2-10.32-2.el8.x86_64
586pcre2-devel-10.32-2.el8.x86_64
587pcre2-utf16-10.32-2.el8.x86_64
588pcre2-utf32-10.32-2.el8.x86_64
589pcre-8.42-6.el8.x86_64
590perl-Carp-1.42-396.el8.noarch
591perl-constant-1.33-396.el8.noarch
592perl-Data-Dumper-2.167-399.el8.x86_64
593perl-Digest-1.17-395.el8.noarch
594perl-Digest-MD5-2.55-396.el8.x86_64
595perl-Encode-2.97-3.el8.x86_64
596perl-Errno-1.28-420.el8.x86_64
597perl-Error-0.17025-2.el8.noarch
598perl-Exporter-5.72-396.el8.noarch
599perl-File-Path-2.15-2.el8.noarch
600perl-File-Temp-0.230.600-1.el8.noarch
601perl-Getopt-Long-2.50-4.el8.noarch
602perl-Git-2.27.0-1.el8.noarch
603perl-HTTP-Tiny-0.074-1.el8.noarch
604perl-interpreter-5.26.3-420.el8.x86_64
605perl-IO-1.38-420.el8.x86_64
606perl-IO-Socket-IP-0.39-5.el8.noarch
607perl-IO-Socket-SSL-2.066-4.module+el8.4.0+512+d4f0fc54.noarch
608perl-libnet-3.11-3.el8.noarch
609perl-libs-5.26.3-420.el8.x86_64
610perl-macros-5.26.3-420.el8.x86_64
611perl-MIME-Base64-3.15-396.el8.x86_64
612perl-Net-SSLeay-1.88-1.module+el8.4.0+512+d4f0fc54.x86_64
613perl-parent-0.237-1.el8.noarch
614perl-PathTools-3.74-1.el8.x86_64
615perl-Pod-Escapes-1.07-395.el8.noarch
616perl-podlators-4.11-1.el8.noarch
617perl-Pod-Perldoc-3.28-396.el8.noarch
618perl-Pod-Simple-3.35-395.el8.noarch
619perl-Pod-Usage-1.69-395.el8.noarch
620perl-Scalar-List-Utils-1.49-2.el8.x86_64
621perl-Socket-2.027-3.el8.x86_64
622perl-srpm-macros-1-25.el8.noarch
623perl-Storable-3.11-3.el8.x86_64
624perl-Term-ANSIColor-4.06-396.el8.noarch
625perl-Term-Cap-1.17-395.el8.noarch
626perl-TermReadKey-2.37-7.el8.x86_64
627perl-Text-ParseWords-3.30-395.el8.noarch
628perl-Text-Tabs+Wrap-2013.0523-395.el8.noarch
629perl-threads-2.21-2.el8.x86_64
630perl-threads-shared-1.58-2.el8.x86_64
631perl-Time-Local-1.280-1.el8.noarch
632perl-Unicode-Normalize-1.25-396.el8.x86_64
633perl-URI-1.73-3.el8.noarch
634pinentry-1.1.0-2.el8.x86_64
635pixman-0.38.4-1.el8.x86_64
636pkgconf-1.4.2-1.el8.x86_64
637pkgconf-m4-1.4.2-1.el8.noarch
638pkgconf-pkg-config-1.4.2-1.el8.x86_64
639platform-python-3.6.8-41.el8.rocky.0.x86_64
640platform-python-pip-9.0.3-20.el8.rocky.0.noarch
641platform-python-setuptools-39.2.0-6.el8.noarch
642plymouth-0.9.4-10.20200615git1e36e30.el8_5.1.x86_64
643plymouth-core-libs-0.9.4-10.20200615git1e36e30.el8_5.1.x86_64
644plymouth-scripts-0.9.4-10.20200615git1e36e30.el8_5.1.x86_64
645policycoreutils-2.9-24.el8.x86_64
646policycoreutils-python-utils-2.9-24.el8.noarch
647polkit-0.115-13.el8_5.2.x86_64
648polkit-libs-0.115-13.el8_5.2.x86_64
649polkit-pkla-compat-0.1-12.el8.x86_64
650popt-1.18-1.el8.x86_64
651postfix-3.5.8-2.el8.x86_64
652procps-ng-3.3.15-6.el8.x86_64
653psmisc-23.1-5.el8.x86_64
654publicsuffix-list-dafsa-20180723-1.el8.noarch
655pv-1.6.6-7.el8.x86_64
656pyparted-3.11.4-4.el8.x86_64
657python2-2.7.18-7.module+el8.5.0+718+67e45b5f.rocky.0.2.x86_64
658python2-backports-1.0-16.module+el8.4.0+403+9ae17a31.x86_64
659python2-backports-ssl_match_hostname-3.5.0.1-12.module+el8.4.0+403+9ae17a31.noarch
660python2-crypto-2.6.1-28.1.el8.x86_64
661python2-devel-2.7.18-7.module+el8.5.0+718+67e45b5f.rocky.0.2.x86_64
662python2-ipaddress-1.0.18-6.module+el8.4.0+403+9ae17a31.noarch
663python2-libs-2.7.18-7.module+el8.5.0+718+67e45b5f.rocky.0.2.x86_64
664python2-pip-9.0.3-18.module+el8.4.0+403+9ae17a31.noarch
665python2-pip-wheel-9.0.3-18.module+el8.4.0+403+9ae17a31.noarch
666python2-PyMySQL-0.8.0-10.module+el8.5.0+706+735ec4b3.noarch
667python2-rpm-macros-3-38.module+el8.4.0+403+9ae17a31.noarch
668python2-setuptools-39.0.1-13.module+el8.4.0+403+9ae17a31.noarch
669python2-setuptools-wheel-39.0.1-13.module+el8.4.0+403+9ae17a31.noarch
670python36-3.6.8-38.module+el8.5.0+671+195e4563.x86_64
671python3-audit-3.0.7-4.el8.x86_64
672python3-configobj-5.0.6-11.el8.noarch
673python3-dateutil-2.6.1-6.el8.noarch
674python3-dbus-1.2.4-15.el8.x86_64
675python3-decorator-4.2.1-2.el8.noarch
676python3-dnf-4.7.0-4.el8.noarch
677python3-dnf-plugins-core-4.0.21-4.el8_5.noarch
678python3-firewall-0.9.3-7.el8_5.1.noarch
679python3-gobject-base-3.28.3-2.el8.x86_64
680python3-gpg-1.13.1-9.el8.x86_64
681python3-hawkey-0.63.0-3.el8.x86_64
682python3-libcomps-0.1.16-2.el8.x86_64
683python3-libdnf-0.63.0-3.el8.x86_64
684python3-libs-3.6.8-41.el8.rocky.0.x86_64
685python3-libselinux-2.9-5.el8.x86_64
686python3-libsemanage-2.9-9.el8_6.x86_64
687python3-linux-procfs-0.6.3-1.el8.noarch
688python3-nftables-0.9.3-21.el8.x86_64
689python3-perf-4.18.0-348.23.1.2.g50e329dc22ea.el8.x86_64
690python3-pip-9.0.3-20.el8.rocky.0.noarch
691python3-pip-wheel-9.0.3-20.el8.rocky.0.noarch
692python3-policycoreutils-2.9-24.el8.noarch
693python3-pyasn1-0.3.7-6.el8.noarch
694python3-pyudev-0.21.0-7.el8.noarch
695python3-pyyaml-3.12-12.el8.x86_64
696python3-rpm-4.14.3-19.el8_5.2.x86_64
697python3-rpm-generators-5-7.el8.noarch
698python3-rpm-macros-3-41.el8.noarch
699python3-rsa-4.8-1.el8.noarch
700python3-setools-4.3.0-3.el8.x86_64
701python3-setuptools-39.2.0-6.el8.noarch
702python3-setuptools-wheel-39.2.0-6.el8.noarch
703python3-six-1.11.0-8.el8.noarch
704python3-slip-0.6.4-11.el8.noarch
705python3-slip-dbus-0.6.4-11.el8.noarch
706python3-syspurpose-1.28.21-5.el8_5.x86_64
707python-pyudev-0.15-9.el7.noarch
708python-rpm-macros-3-41.el8.noarch
709python-srpm-macros-3-41.el8.noarch
710qemu-img-6.2.0-220.gd86cb318e7.el8.x86_64
711qemu-kvm-6.2.0-220.gd86cb318e7.el8.x86_64
712qemu-kvm-block-cbd-6.2.0-220.gd86cb318e7.el8.x86_64
713qemu-kvm-block-curl-6.2.0-220.gd86cb318e7.el8.x86_64
714qemu-kvm-block-gluster-6.2.0-220.gd86cb318e7.el8.x86_64
715qemu-kvm-block-iscsi-6.2.0-220.gd86cb318e7.el8.x86_64
716qemu-kvm-block-rbd-6.2.0-220.gd86cb318e7.el8.x86_64
717qemu-kvm-block-ssh-6.2.0-220.gd86cb318e7.el8.x86_64
718qemu-kvm-common-6.2.0-220.gd86cb318e7.el8.x86_64
719qemu-kvm-core-6.2.0-220.gd86cb318e7.el8.x86_64
720qemu-kvm-docs-6.2.0-220.gd86cb318e7.el8.x86_64
721qemu-kvm-hw-usbredir-6.2.0-220.gd86cb318e7.el8.x86_64
722qemu-kvm-ui-opengl-6.2.0-220.gd86cb318e7.el8.x86_64
723qemu-kvm-ui-spice-6.2.0-220.gd86cb318e7.el8.x86_64
724qt5-srpm-macros-5.15.2-1.el8.0.1.noarch
725quota-4.04-14.el8.x86_64
726quota-nls-4.04-14.el8.noarch
727rdma-core-35.0-1.el8.x86_64
728readline-7.0-10.el8.x86_64
729redhat-rpm-config-125-1.el8.noarch
730redis-5.0.3-5.module+el8.5.0+657+2674830e.x86_64
731rest-0.8.1-2.el8.x86_64
732rocky-logos-85.0-3.el8.x86_64
733rocky-logos-httpd-85.0-3.el8.noarch
734rootfiles-8.1-22.el8.noarch
735rpcbind-1.2.5-8.el8.x86_64
736rpm-4.14.3-19.el8_5.2.x86_64
737rpm-build-libs-4.14.3-19.el8_5.2.x86_64
738rpm-libs-4.14.3-19.el8_5.2.x86_64
739rpm-plugin-selinux-4.14.3-19.el8_5.2.x86_64
740rsync-3.1.3-12.el8.x86_64
741rsyslog-8.2102.0-5.el8.x86_64
742rust-srpm-macros-5-2.el8.noarch
743sanlock-3.8.4-2.el8_5.x86_64
744sanlock-lib-3.8.4-2.el8_5.x86_64
745seabios-bin-1.13.0-2.module+el8.4.0+534+4680a14e.noarch
746seavgabios-bin-1.13.0-2.module+el8.4.0+534+4680a14e.noarch
747sed-4.5-2.el8.x86_64
748selinux-policy-3.14.3-117.el8_8.2.noarch
749selinux-policy-targeted-3.14.3-117.el8_8.2.noarch
750setup-2.12.2-6.el8.noarch
751sg3_utils-1.44-6.el8.x86_64
752sg3_utils-libs-1.44-6.el8.x86_64
753sgabios-bin-0.20170427git-3.module+el8.4.0+534+4680a14e.noarch
754shadow-utils-4.6-14.el8.x86_64
755shared-mime-info-1.9-3.el8.x86_64
756shim-x64-15.4-2.el8_5.2.rocky.x86_64
757smartmontools-7.1-1.el8.x86_64
758snappy-1.1.8-3.el8.x86_64
759spice-server-0.14.3-4.el8.x86_64
760sqlite-3.26.0-15.el8.x86_64
761sqlite-libs-3.26.0-15.el8.x86_64
762squashfs-tools-4.3-20.el8.x86_64
763sshpass-1.09-4.el8.x86_64
764sssd-client-2.5.2-2.el8_5.4.x86_64
765storcli-007.1804.0000.0000-1.noarch
766sudo-1.8.29-7.el8_4.1.x86_64
767swtpm-0.7.0-4.20211109gitb79fd91.module+el8.8.0+1279+230c2115.x86_64
768swtpm-libs-0.7.0-4.20211109gitb79fd91.module+el8.8.0+1279+230c2115.x86_64
769swtpm-tools-0.7.0-4.20211109gitb79fd91.module+el8.8.0+1279+230c2115.x86_64
770sysfsutils-2.1.0-24.el8.x86_64
771syslinux-6.04-5.el8.x86_64
772syslinux-nonlinux-6.04-5.el8.noarch
773sysstat-11.7.3-6.el8.x86_64
774systemd-239-51.el8_5.5.x86_64
775systemd-container-239-51.el8_5.5.x86_64
776systemd-libs-239-51.el8_5.5.x86_64
777systemd-pam-239-51.el8_5.5.x86_64
778systemd-udev-239-51.el8_5.5.x86_64
779tar-1.30-5.el8.x86_64
780tcl-8.6.8-2.el8.x86_64
781telnet-0.17-76.el8.x86_64
782tpm2-tss-2.3.2-4.el8.x86_64
783traceroute-2.1.0-6.el8.x86_64
784tree-1.7.0-15.el8.x86_64
785trousers-0.3.15-1.el8.x86_64
786trousers-lib-0.3.15-1.el8.x86_64
787ttmkfdir-3.0.9-54.el8.x86_64
788tuned-2.16.0-1.el8.noarch
789tzdata-2024a-1.el8.noarch
790tzdata-java-2024a-1.el8.noarch
791unbound-libs-1.7.3-17.el8.x86_64
792unzip-6.0-45.el8_4.x86_64
793usbredir-0.12.0-2.el8.x86_64
794usbredir-server-0.12.0-2.el8.x86_64
795usbutils-010-3.el8.x86_64
796userspace-rcu-0.10.1-4.el8.x86_64
797util-linux-2.32.1-28.el8.x86_64
798vim-common-8.0.1763-16.el8_5.13.x86_64
799vim-enhanced-8.0.1763-16.el8_5.13.x86_64
800vim-filesystem-8.0.1763-16.el8_5.13.noarch
801vim-minimal-8.0.1763-16.el8_5.13.x86_64
802virt-what-1.18-12.el8.x86_64
803vsftpd-3.0.3-34.el8.x86_64
804wget-1.19.5-10.el8.x86_64
805which-2.21-16.el8.x86_64
806xfsprogs-5.0.0-9.el8.x86_64
807xkeyboard-config-2.28-1.el8.noarch
808xml-common-0.6.3-50.el8.noarch
809xorg-x11-fonts-Type1-7.5-19.el8.noarch
810xorg-x11-font-utils-7.5-41.el8.x86_64
811xz-5.2.4-3.el8.1.x86_64
812xz-libs-5.2.4-3.el8.1.x86_64
813yajl-2.1.0-10.el8.x86_64
814yum-4.7.0-4.el8.noarch
815yum-utils-4.0.21-4.el8_5.noarch
816zip-3.0-23.el8.x86_64
817zlib-1.2.11-18.el8_5.x86_64
818zlib-devel-1.2.11-18.el8_5.x86_64
819zs-forecast-capacity-1.0-1.1.x86_64
820zstack-manager-5.0.0-1.h8.zstack.noarch
821zstack-release-h84r-1.h8.zstack.noarch
822[root@zstack130 ~]#

2024年1月30日2024年4月4日

Windows Serverによるファイルサーバー移行のメモ

Windows Serverを移行する時に現状の設定を確認する必要がある。

その際に確認しといた方が良さそうな項目についてのメモ

1) ネットワーク設定

Active Directoryに参加するだろうからある程度はなんとかなるだろうけど・・・

DNSサーバの順序あたりは確認しておいた方がいい

`1`	`「ipconfig /all」`

`2`	`「netsh interface ipv4 show config」`

NICチーミング設定がされてるかどうか、されている場合は「チーミングモード」「負荷分散モード」と「スタンバイアダプターの設定有無」を確認

2) Windowsファイアウォール設定

これもActive Directory側から操作されてるかもしれないけど確認

「受信の規則」にある追加されたっぽい設定を確認

コマンドの場合

1「netsh advfirewall show allprofiles」でプロファイル確認
2「netsh advfirewall show currentprofile」で現在有効になってるプロファイル確認
3「netsh advfirewall firewall show rule name=all」で設定出力

3) 共有設定

コンピュータの管理を起動して共有確認
　「コンピュータの管理」の[システムツール]-[共有フォルダー]-[共有]の内容を確認
　各共有のプロパティを開き、「共有のアクセス許可」と「セキュリティ」を確認

`1`	`「net share」で共有一覧を表示`

`2`	`「net share 共有名」で各共有の詳細を確認`

1「Get-SmbShare」で共有一覧表示
2「Get-SmbShare|Get-SmbShareAccess」で各共有のアクセス権限表示
3「Get-SmbShare|Format-List」共有一覧の詳細出力
4「Get-SmbShare|Get-SmbShareAccess|Format-List」アクセス権限表示の詳細出力

共有をコマンドで設定する場合

`1`	`net share "share"="D:\share" /GRANT:"BUILTIN\Administrators,FULL" /GRANT:"Everyone,FULL"`

4) クォータ設定

クォータ設定は２種類あるので注意が必要

ファイルサーバーリソースマネージャを起動して「クォータ」の内容を確認
　対象ディレクトリと適用されている”クォータテンプレート”の内容
　　制限値, ハード/ソフト, 通知設定

1「dirquota template list」でテンプレート一覧を表示
2「dirquota template list /list-n」でテンプレートを通知設定込みで表示
3「dirquota autoquota list」で自動適用クォータを確認

ドライブプロパティのクォータ設定を確認
　各ドライブのプロパティを開き、クォータタブの内容を確認

`1`	`「fsutil volume list」でドライブ名を確認`

`2`	`「fsutil quota query ドライブ名」で確認`

コマンドで設定する場合
旧サーバでtemplateをexportして、新サーバでimportして、各quotaを設定

1dirquota template export /file:ファイル名
2dirquota template import /file:ファイル名
3dirquota quota add /Path:"D:\share" /sourcetemplate:"10 GB 制限"

5) シャドウコピー設定

ドライブプロパティのシャドウコピー設定を確認
　各ドライブのプロパティを開き、シャドウコピータブの内容を確認

コマンドの場合、スケジュール実行についてはタスクスケジューラで行っているのでschtasksコマンドでの確認が必要になることに注意

1「vssadmin list shadows」で現在存在しているシャドウコピーを確認
2「vssadmin list shadowstorage」でシャドウコピーの保存先を確認
3「vssadmin list volumes」でディスクのIDを確認
4「schtasks /query /xml」で一覧をXML形式で出力し、名前が"ShadowCopyVolume～"のものの内容を確認

6) タスクスケジューラ設定

タスクスケジューラを起動して設定を確認
　タスクスケジューラライブラリに登録されているタスク一覧を確認
　それぞれのタスクの詳細を確認

`1`	`「schtasks /query /fo list」で一覧を表示`

`2`	`「schtasks /query /xml」で一覧をXML形式で表示`

rocobopyでのファイル同期

robocopyのオプション

「/mir /copyall /R:1 /W:1」でいける場合が多い

EFSRAW対応の場合は「/COPYALL /MIR /B /EFSRAW /R:1 /W:1」

Windowsサーバ上で監査設定があって、コピー先が監査非対応の場合は「/E /B /copy:DATSO /R:1 /W:1」かなぁ？

「 /NP」オプションを付けて進捗表示なしにしてもよい

最初は「/MIR」ではなく「/B /E」で実行して、指定誤りによる誤削除がないようにする、というのも１つの手。

これは /MIR か /PURGE を指定すると、コピー元にないファイルは削除されるが、コピー先のディレクトリ指定を誤って既存データのあるディレクトリを指定してしまうと削除されるため。

robocopyを実行するバッチファイルの作成例(注: 0時～9時に実行するとLOGDATEが期待通りに動作しないかもしれないので注意

1@echo off
2set TIME2=%TIME: =0%
3set LOGDATE=%DATE:~0,4%%DATE:~5,2%%DATE:~8,2%-%TIME2:~0,2%%TIME2:~3,2%
4 
5robocopy \\旧FS\share  \\新FS\share /mir /copyall /R:0 /W:0 /LOG+:D:\LOGS\share-%LOGDATE%.txt

代表的なrobocopyエラーコードと対処一覧

エラー 2 (0x00000002)→指定したフォルダが存在しない
エラー 5 (0x00000005)→アクセス権がない。robocopyに/Bオプションを付ける
エラー 31 (0x0000001F)→コピー先に元と同じNTFSセキュリティ設定が行えない(OS制約などの可能性)
エラー 32 (0x00000020)→ファイルがアプリケーションからロックされているのでアプリを閉じる
エラー 64 (0x00000040)→指定した共有にアクセスできない
エラー 87 (0x00000057)→指定した共有にアクセスするためのユーザ名/パスワード指定が誤っている
エラー 112(0x00000070)→コピー先容量が足らない