27ヶ月前に設定した Oracle VM Manager が動かなくなった件

久しぶりに稼働させたOracle VM環境を操作するため、Oracle VM Managerにブラウザからログインしようとしたら応答がない・・・

Oracle VM Managerを稼働させているLinuxにログインして「systemctl status」を実行してもサービスの起動に失敗しているわけでもなさそうだ。

「systemctl status ovmm」でも特にコレといったものはない。

/var/log 以下にそれっぽいログがないので、ドキュメントを確認・・・Oracle VM 管理者ガイド「13.3 Oracle VM Managerのトラブルシューティング」に /u01/app/oracle/ovm-manager-3/domains/ovm_domain/servers/AdminServer/logs ディレクトリにログが出力されている、ということなので確認

ざらざらーっと、AdminServer.log ログを見ていくと、「com.oracle.appfw.ovm.coreinferface.ventprocessing.EventPollerTask」で「com.sun.jersey.api.client.ClientHandlerException: jav a.net.ConnectException: 接続を拒否されました (Connection refused)」といったものが多数見受けられる。

おそらくなにかサービスがうまく動作していないんだろうなぁ、とさらに見ていくと、SSL証明書を読み込んだログのあたりで「Identity certificate has expired:」とか「Signature: ~ の期限が切れています。」といったものが・・・

お?これが問題か?とさらに深掘り

Oracle VM 管理者ガイド「2.2.2 証明書構成の表示」に/u01/app/oracle/ovm-manager-3/ovm_upgrade/bin/ovmkeytool.sh show コマンドで状態確認などができる、ということがわかった。

続いて「Oracle VM Manager SSL Certificates ReGeneration with ovmkeytool.sh」に、SSL証明書の更新を行うという、そのものの手順があることを見つけた。

しかし・・・試してみると、ovmkeytool.shの実行にはOracle VM Managerインストール時にweblogicユーザに対して設定したパスワードが必要とのことだった。

Oracle VM管理者ガイド「4.2 Oracle VM Managerのユーザー・パスワードの変更」にあるように、通常は、Oracle VM Managerのadminアカウントと一緒にしてることが多いらしい

が・・・それを使ってみても接続できなかった。

weblogicユーザのパスワードを初期化する方法がないかを確認していたところ、WebLogicを自動起動させる仕組みで使われているAESで暗号化されたユーザ名とパスワード文字列がかかれたテキストファイルを利用すると、設定されているパスワードがなんであるのかを確認できる、ということがわかった。

How to Decrypt/Encrypt WebLogic and Datasource Password via WLSDM?

上記はweblogic汎用の手順になっているので、Oracle VM Managerの場合に即した手順で確認していく。

まず、WebLogic Scripting Tool(WLST)を起動する必要があるので、そのパスを確認する。

[root@ovm security]# find /u01 -print |grep wlst.sh
/u01/app/oracle/Middleware/oracle_common/common/bin/wlst.sh
/u01/app/oracle/Middleware/wlserver/common/bin/wlst.sh
/u01/app/oracle/ovm-manager-3/ovm_wlst/bin/wlst.sh
[root@ovm security]#

3種類出てきたが、ovm-manager-3以下にあるやつだろう、とそれを使う

また、WebLogic起動時に読み込まれているファイルは /u01/app/oracle/ovm-manager-3/domains/ovm_domain/servers/AdminServer/security/boot.properties なので、その内容を確認

[root@ovm security]# cat /u01/app/oracle/ovm-manager-3/domains/ovm_domain/servers/AdminServer/security/boot.properties
# Generated by Configuration Wizard on Fri May 28 17:13:40 JST 2021
username={AES}<文字列>=
password={AES}<文字列>=
[root@ovm security]#

WLSTは環境変数MW_HOMEを設定する必要があるので、/u01/app/oracle/Middlewareと設定して起動

[root@ovm security]# export  MW_HOME=/u01/app/oracle/Middleware
[root@ovm security]# echo  $MW_HOME
/u01/app/oracle/Middleware
[root@ovm security]# /u01/app/oracle/ovm-manager-3/ovm_wlst/bin/wlst.sh

WebLogic Scripting Tool(WLST)を初期化しています...

WebLogic Server Administration Scripting Shellへようこそ

使用可能なコマンドに関するヘルプを表示するには、help()と入力してください

wls:/offline> 

Oracle VM Managerではdomainに相当するディレクトリは /u01/app/oracle/ovm-manager-3/domains/ovm_domain であるようなので、以下を設定

wls:/offline> domain="/u01/app/oracle/ovm-manager-3/domains/ovm_domain"
wls:/offline> service = weblogic.security.internal.SerializedSystemIni.getEncryptionService(domain)
wls:/offline> 

最後に暗号化文字列を埋め込んでrintコマンドを実行

wls:/offline> print "Weblogic server Admin password : %s" %encryption.decrypt("{AES}<文字列>=")
Weblogic server Admin password : Password123
wls:/offline>

え・・・なんでPassword123 なんて設定してんの???と疑問がわきつつも、とりあえずweblogicユーザのパスワード解読に成功


続いて本題のSSL証明書の更新を実施

証明書関連ファイルは下記に配置されているようだ
 /u01/app/oracle/ovm-manager-3/domains/ovm_domain/security
 /u01/app/oracle/ovm-manager-3/domains/ovm_domain/config

更新は「/u01/app/oracle/ovm-manager-3/ovm_upgrade/bin/ovmkeytool.sh check」を実行して行う

基本的に標準値でよいのだが、いくつか気をつけるべきポイントがあった。

[root@ovm security]# /u01/app/oracle/ovm-manager-3/ovm_upgrade/bin/ovmkeytool.sh setup
6 12, 2024 1:22:41 午後 oracle.security.jps.JpsStartup start
情報: JPSの初期化中です。
6 12, 2024 1:22:42 午後 oracle.security.jps.JpsStartup start
情報: Jpsが開始されました。
Oracle VM Manager is currently configured to use CA keystore at:
        /u01/app/oracle/ovm-manager-3/domains/ovm_domain/security/ovmca.jks
Do you wish to generate a new key and/or specify a different keystore? [yes]
Generate new CA keystore (as opposed to specifying an existing keystore)? [yes]
Path for CA keystore: [/u01/app/oracle/ovm-manager-3/domains/ovm_domain/security/ovmca.jks]
A file already exists at the path /u01/app/oracle/ovm-manager-3/domains/ovm_domain/security/ovmca.jks
Is it ok to ovewrite this file with your new keystore? [no] yes

1個目が↑の既存ファイルを置き換えるか、というもの

置き換えるので「yes」と入力

Oracle VM Manager is currently configured to use the SSL Trust-store at:
        /u01/app/oracle/ovm-manager-3/domains/ovm_domain/security/ovmtrust.jks
Do you wish to use this existing trust-store location? [yes]
Validity in months: [120]
Key distinguished name is "CN=OVM CA 0004fb0000010000615876ff13b9da0d, OU=Oracle VM Manager, O=Oracle Corporation, L=Redwood City, ST=California, C=US".  Use these values? [yes]
You may either specify passwords or use random passwords.
If you choose to use a random password, only WebLogic, the Oracle VM Manager,
and this application will have access to the information stored in this
keystore.
Use random passwords? [yes]
Generating CA key and certificate and persisting them to the keystore...

Oracle VM Manager is currently configured to use SSL keystore at:
        /u01/app/oracle/ovm-manager-3/domains/ovm_domain/security/ovmssl.jks
Do you wish to generate a new key and/or specify a different keystore? [yes]
Generate new SSL keystore (as opposed to specifying an existing keystore)? [yes]
Path for SSL keystore: [/u01/app/oracle/ovm-manager-3/domains/ovm_domain/security/ovmssl.jks]
A file already exists at the path /u01/app/oracle/ovm-manager-3/domains/ovm_domain/security/ovmssl.jks
Is it ok to ovewrite this file with your new keystore? [no] yes

2個目も上書きするか、なので「yes」

The hostname should be the fully qualified hostname of the system
(this is the hostname you'd use to access this system from outside the
local domain).  Depending on your machine setup the value below may not be
correct.
Fully qualified hostname: [ovm]
Validity in months: [27] 120

で、3つ目が最大の罠でした。

証明書の有効期限、初期値が「27ヶ月」でした。

これを設定した関係者に聞くと、あー、たしかにそれくらいの時期にインストールしてたな、とのこと・・・

このせいで止まってたのか。

とりあえず120ヶ月を指定して進めた

Key distinguished name is "CN=ovm, OU=Oracle VM Manager, O=Oracle Corporation, L=Redwood City, ST=California, C=US".  Use these values? [yes]
Alternate hostnames (separated by commas): [ovm]
Generating SSL key and certificate and persisting them to the keystore...

Updating keystore information in WebLogic
Oracle MiddleWare Home (MW_HOME): [/u01/app/oracle/Middleware]
WebLogic domain directory: [/u01/app/oracle/ovm-manager-3/domains/ovm_domain]
WebLogic server name: [AdminServer]
WebLogic username: [weblogic]
WebLogic password: [********]
WLST session logged at: /tmp/wlst-session138870891195064865.log

[root@ovm security]#

これで証明書更新に成功

Oracle VM Managerを再起動

[root@ovm security]# systemctl stop ovmm
[root@ovm security]# systemctl start ovmm
[root@ovm security]# 

再起動後、WebLogicとアプリケーション間でいろいろ設定が必要なようで、用意されている証明書更新スクリプトを実行 /u01/app/oracle/ovm-manager-3/bin/configure_client_cert_login.sh

[root@ovm logs]# /u01/app/oracle/ovm-manager-3/bin/configure_client_cert_login.sh

WebLogic Scripting Tool(WLST)を初期化しています...

WebLogic Server Administration Scripting Shellへようこそ

使用可能なコマンドに関するヘルプを表示するには、help()と入力してください

2024-06-12 13:30:12,297 [main] INFO  ovm.wlst.commands - Connecting using URL t3://localhost:7001

ロケーションがserverRuntimeツリーに移動しました。これは、DomainMBeanをルートとする読取り専用のツリーです。
詳細は、help('domainConfig')を使用してください

2024-06-12 13:30:13,823 [main] INFO  ovm.wlst.commands - Undeploying ovm_console
アプリケーションovm_consoleをアンデプロイしています ...
<2024/06/12 13時30分14秒 JST> <Info> <J2EE Deployment SPI> <BEA-260121> <アプリケーションovm_console [アーカイブ: null]のundeploy操作をAdminServer に初期化しています。>
.アプリケーションのアンデプロイメントが完了しました(ステータスcompleted)
現在のデプロイメント・ステータス:
デプロイメント・コマンドのタイプ: undeploy
デプロイメント状態: completed
デプロイメント・メッセージ: メッセージなし
すでにドメイン構成ツリーを参照しています

2024-06-12 13:30:17,654 [main] INFO  ovm.wlst.commands - Undeploying ovm_core
アプリケーションovm_coreをアンデプロイしています ...
<2024/06/12 13時30分17秒 JST> <Info> <J2EE Deployment SPI> <BEA-260121> <アプリケーションovm_core [アーカイブ: null]のundeploy操作をAdminServer に初期 化しています。>
........アプリケーションのアンデプロイメントが完了しました(ステータスcompleted)
現在のデプロイメント・ステータス:
デプロイメント・コマンドのタイプ: undeploy
デプロイメント状態: completed
デプロイメント・メッセージ: メッセージなし
2024-06-12 13:30:42,942 [main] INFO  ovm.wlst.domainbuilder.Domain - Stopping AdminServer...
Stopping Weblogic Server...

WebLogic Scripting Tool(WLST)を初期化しています...

WebLogic Server Administration Scripting Shellへようこそ

使用可能なコマンドに関するヘルプを表示するには、help()と入力してください

ユーザーID weblogicでt3://localhost:7001に接続しています ...
ドメイン"ovm_domain"に属する管理サーバー"AdminServer"に。が正常に接続されました

警告: サーバーへの接続に安全でないプロトコルが使用
されました。通信セキュリティを確保するには、かわりにSSLポートまたは
管理ポートを使用する必要があります。

AdminServerへの接続中にサーバーAdminServerをforce=falseで停止しています...
WebLogic Serverから切断されました: AdminServer
WLSTからWebLogic Serverへの接続が失われました。
これは、サーバーが停止されたか、または分離された場合に
発生することがあります。サーバーが使用可能になったら再接続する必要が
あります。
WebLogic Serverから切断されました: AdminServer


WebLogic Scripting Toolを終了しています。

Done
Stopping Derby Server...
WLSTからWebLogic Serverへの接続が失われました。
これは、サーバーが停止されたか、または分離された場合に
発生することがあります。サーバーが使用可能になったら再接続する必要が
あります。
Derby server stopped.
WebLogic Serverから切断されました: AdminServer
2024-06-12 13:30:48,511 [main] INFO  ovm.wlst.domainbuilder.Domain - Starting AdminServer...
2024-06-12 13:30:48,516 [main] INFO  ovm.wlst.domainbuilder.Domain - Trying to connect to t3://localhost:7001...
2024-06-12 13:30:58,591 [main] INFO  ovm.wlst.domainbuilder.Domain - Trying to connect to t3://localhost:7001...
2024-06-12 13:31:09,546 [main] INFO  ovm.wlst.domainbuilder.Domain - Trying to connect to t3://localhost:7001...
2024-06-12 13:31:20,692 [main] INFO  ovm.wlst.domainbuilder.Domain - Trying to connect to t3://localhost:7001...

2024-06-12 13:31:21,695 [main] INFO  ovm.wlst.domainbuilder.Domain - Connected.
2024-06-12 13:31:21,799 [main] INFO  ovm.wlst.domainbuilder.Domain - AdminServer state is RUNNING
2024-06-12 13:31:21,799 [main] INFO  ovm.wlst.commands - Deploying ovm_core
/u01/app/oracle/ovm-manager-3/ovm_wlst/deploy/ovm_core/app/ovm_core_3.4.7.244.earのアプリケーションをターゲットAdminServerにデプロイしています(upload=false) ...
<2024/06/12 13時31分22秒 JST> <Info> <J2EE Deployment SPI> <BEA-260121> <アプリケーションovm_core [アーカイブ: /u01/app/oracle/ovm-manager-3/ovm_wlst/deploy/ovm_core/app/ovm_core_3.4.7.244.ear]のdeploy操作をAdminServer に初期化しています。>
...アプリケーションのデプロイメントが完了しました(ステータスcompleted)
現在のデプロイメント・ステータス:
デプロイメント・コマンドのタイプ: deploy
デプロイメント状態: completed
デプロイメント・メッセージ: メッセージなし
すでにドメイン構成ツリーを参照しています


すでにドメイン構成ツリーを参照しています


2024-06-12 13:31:32,213 [main] INFO  ovm.wlst.domainbuilder.Domain - Created a user named appframework
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/u01/app/oracle/ovm-manager-3/ovm_cli/lib/slf4j-log4j12.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/u01/app/oracle/Middleware/wlserver/modules/features/weblogic.server.merged.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
6 12, 2024 1:31:32 午後 oracle.security.jps.JpsStartup start
情報: JPSの初期化中です。
6 12, 2024 1:31:34 午後 oracle.security.jps.JpsStartup start
情報: Jpsが開始されました。
2024-06-12 13:31:35,978 [main] INFO  com.oracle.appfw.ovm.ws.client.KeytoolHelper - Writing cacert.pem
2024-06-12 13:31:35,979 [main] INFO  com.oracle.appfw.ovm.ws.client.KeytoolHelper - Importing cacert.pem with alias ovmca
2024-06-12 13:31:36,350 [main] INFO  com.oracle.appfw.ovm.ws.client.KeytoolHelper - Generating key pair for appframework in /u01/app/oracle/ovm-manager-3/domains/ovm_domain/security/ovmclient.jks
2024-06-12 13:31:37,016 [main] INFO  com.oracle.appfw.ovm.ws.client.KeytoolHelper - Exporting clientcert.pem from /u01/app/oracle/ovm-manager-3/domains/ovm_domain/security/ovmclient.jks
2024-06-12 13:31:37,238 [main] INFO  com.oracle.appfw.ovm.ws.client.KeytoolHelper - Reading clientcert.pem
2024-06-12 13:31:37,239 [main] INFO  com.oracle.appfw.ovm.ws.client.SSLClientUtil - Signing certificate
2024-06-12 13:31:37,321 [main] INFO  com.oracle.appfw.ovm.ws.client.KeytoolHelper - Writing clientcert.pem
2024-06-12 13:31:37,321 [main] INFO  com.oracle.appfw.ovm.ws.client.KeytoolHelper - Importing clientcert.pem with alias appframework
2024-06-12 13:31:37,991 [main] INFO  com.oracle.appfw.ovm.ws.client.SSLClientUtil - Deleting cacert.pem
2024-06-12 13:31:37,991 [main] INFO  com.oracle.appfw.ovm.ws.client.SSLClientUtil - Deleting clientcert.pem
2024-06-12 13:31:38,004 [main] INFO  ovm.wlst.commands - Deploying ovm_console
/u01/app/oracle/ovm-manager-3/ovm_wlst/deploy/ovm_console/app/ovm_console_3.4.7.244.earのアプリケーションをターゲットAdminServerにデプロイしています(upload=false) ...
<2024/06/12 13時31分38秒 JST> <Info> <J2EE Deployment SPI> <BEA-260121> <アプリケーションovm_console [アーカイブ: /u01/app/oracle/ovm-manager-3/ovm_wlst/deploy/ovm_console/app/ovm_console_3.4.7.244.ear]のdeploy操作をAdminServer に初期化しています。>
..........アプリケーションのデプロイメントが完了しました(ステータスcompleted)
現在のデプロイメント・ステータス:
デプロイメント・コマンドのタイプ: deploy
デプロイメント状態: completed
デプロイメント・メッセージ: メッセージなし
<2024/06/12 13時32分08秒 JST> <Warning> <JNDI> <BEA-050001> <WLContext.close()が作成されたスレッドとは別のスレッドで呼び出されました。>

Client certificate login configuration complete

[root@ovm logs]#

これで、更新がおわったようで、Oracle VM ManagerのWeb管理画面にログインできるようになりました。

仮想サーバを構築するための基盤メモ 2024/03/28版

VMware/vSphereがあんなことになってしまったので問い合わせが多いのでメモ

2024/03/28 初版作成
2024/12/13 バージョン情報などをアップデート

VMware vSpere

VMware vSphere / ESXi はBrocadeに買収されたことで、アレな感じになって迷走中

Microsoft Hyper-V

Windows Serverにも含まれるHyper-V

Hyper-V Sevrer 2019という仮想基盤だけのやつは無料製品としてあるんだけど、2022版が出ていないまま、Windows Server 2025の時代になり、単品のHyper-V Serverはなくなった模様。

物理サーバ間を稼働中の仮想マシンを移動させることは、Windows Serverのフェイルオーバークラスタリング(MSFC/WSFC)、System Center Virtual Machine Managerを利用することで実現する。(ライブマイグレーションの概要)

Nutanix

VMware vSAN/HCI環境を似たような構成で移行しようとすると、Nutanixになる。(というか、NutanixをまねしたのがvSAN)

vSAN = AOS Storage
ESXi hypervisor=Nutanix Acropolis Hypervisor(AHV)
vCenter Server=Prism

単体AHVに標準でPrism Elementも含まれてて、これだけでもクラスタを組める

Prism Centralは、Prism Elementで作ったクラスタを複数まとめて管理したり、また、仮想マシンをSecure boot対応にする場合の暗号化キー管理などを行える。

RHEV/RHV → RedHat OpenShift Virtualization

RedHat Virtualization / RedHat Enterprise Virtualzation、RHEVというのがあったんだけど、これはRHEV4.4で終了したプロダクトとなる。

RHEV4.4はRHEL 8.xベースの上に構築する。

後継はRedHat OpenShift Virtualizationとなる。

旧ドキュメント: Product Documentation for Red Hat Virtualization 4.4

ドキュメント: OpenShift Container PlatformAbout OpenShift Virtualization

Proxmox VE

Proxmox Virtual Environment は最初はRHEL or Debianベースでコンテナを動かすやつだったものが、時代の流れでDebianベースのKVM/qemu仮想マシンとlxcコンテナを動かすやつに変わっていったもの

長く続くプロダクトなので、一通り使える Web GUIが備わっているし、複数物理サーバの一括管理物理サーバ間の仮想マシン移動(Online Migration)HA機能があるが、Webでは設定できずコマンド実行が必要な機能は多い。

debian 12ベースの上に構築されている。

一般向けドキュメント: Proxmox VE Documentation Index
旧来からの資料サイト: PVE wiki

Oracle OLVM

Oracle VM Server for x86 というのがあったんだけどOracle VM 3で終了になった。

後継として、Oracle LinuxのKVMベースで構築して、管理UIとして Oracle Linux Virtualization Manager を提供する、という形に変わっている。

oVirtを利用していて、そもそもRedHatVirtualization 4.xのOracle版がOLVM 4.xとなる

RedHatが4.4で提供をやめたので今後どうなるかなぁ、と思っていたら、OLVMの方は4.5を出してOracle Linux 9.x環境でも構築できるようになったので一安心

Oracle Linux 8.x, 9.x ベースで構築

oVirt

RHV/RHEV/OLVMで利用している元の技術 oVirt

RHVは4.4.xで止まっているが、oVirtの方は4.5.xが出ていて、Oracleから2024/7にOLVMも4.5が出た。

oVirt 4.5.4からはRHEL9.xベースで構築することが可能になった。

ドキュメント: oVirt documentation

Citrix Hypervisor(XenServer)

Linux KVMより歴史が古い仮想化技術 Xen を使用したもの。

2024/03/25にXenServer 8が出たばかり

vCenterに相当するものはXenCenterとなっている。

XCP-ng / Vates

XenServerのオープンソース版がXCP-ng だったんだけど、なんかいつの間にかXCP-ngの商用サポート版として Vates なるものが登場してる

Vatesの方にはHCIプロダクトとして、XOSTORなるものもあるようだ

サポートと価格について

Sangfor HCI

構成がよくわからんけど Sangfor HCI というのがあるらしい

ZStack Cloud

中国で開発されているZStack

インストール用ISO提供あり

中国産なのでopenEulerベースかと思ったら、CentOS 7ベースのh76c,h79cとRocky Linux 8ベースのh84r だった。また、ISOがリリースされているのはx86_64向けのみだけど、GUI的にはARM, 龍芯系(mips64el,loongarch)向けも想定されてる模様。

ドキュメント: ZStack Cloud Documentation
github: https://github.com/zstackio/zstack

参照先

vinchin How to Migrate RHV/RHEV VMs to Other Hosts?
この記事にRHEVからの乗り換え先として「VMware, Citrix Hypervisor/XenServer, XCP-ng, Oracle OLVM, oVirt, Sangfor HCI, OpenStack, ZStack, Huawei FusionCompute, and H3C CAS/UIS」と記載されていて、知らないのがあるな、というのが記事を書くきっかけ

Storware vProtect documentation Virtual Machines
バックアップソフトのマニュアルなんだけど、対応してる各仮想環境でどういう風にバックアップを取るのかという構成図がある。

Zstack Cloudをインストールしてみた

VMware vSphere環境の代替プロダクトを探している途中に見つけたZstack Cloud / 中国語ページ

中国で開発されていて、KVMベースの仮想環境だとのこと。

開発は中国主体の https://gitee.com/zstackio/zstack が元で、このコピーを https://github.com/zstackio/zstack にもおいてある。

giteeの方は、5.1.0ツリーなどがあるがgithubにはない、などすべて同期されているわけではないようだ。

Community Editionがあるので導入できそうだが、Downloadリンクはユーザ情報を要求される。

ドキュメントサイトからInstallation and Deployment(ZStack Cloud 4.8.0 LTS)を見てみるとインストール用ISOは ZStack-Cloud-x86_64-DVD-4.8.0-h79c.iso というファイル名らしいので検索してみると 中国語版の 最新下载ページが出てくる。

・・・・・・・2024/03/29付けで新しい5.0.0がリリースされていて、4.8.0はダウンロードできなくなってますね。

Installation and Deployment(ZStack Cloud 5.0.0) を確認すると、いままで h76c/h79c/h84rと3種類のISOがあったものが h84rに一本化されたようなのだが、ところどころに古い記述も残っている。

インストール完了後に構成から確認できたことから察するに、h76c=Helix 7.6 based on CentOS、h79c=Helix 7.6 based on CentOS、h84r=Helix 8.4 based on RockyLinuxの略である模様。

ZStack-Cloud-x86_64-DVD-5.0.0-h84r.iso をダウンロードして、ISO読み込みやrufusなどを使ってUSBメモリに書き込んで起動して、インストールを行う。

サーバハードウェアの制約
・ZstackはSecure Bootは非対応なので無効化する
・UEFI/BIOSのどちらもとりあえずは対応
・システムディスクとして300GB以上を推奨
・NIC冗長化はRHEL同等。LACP/802.3adも設定可能

また、2種類のストレージを用意する必要がある。

Primary Storage=仮想マシンのディスクを置く場所
・サーバのローカルディスク(全ノードに対して一律に設定される。ディレクトリが無い場合は自動作成される)
・NFS共有(各ノードで同じパスでマウントされていること)
・何らかの共有ファイルシステム(各ノードで同じパスでマウントされていること)
・Ceph(構築済の環境)

Backup Storage=ISOイメージなどを置く場所
・sftp(構築済の環境)
・Ceph(構築済の環境)

やっかいなのが「Backup Storage」が必須、というところ。

しかも「sftp」という額面だけ見て、単純にssh/sftpでログインできる環境があればいいのかと思ったのですが、RockyLinux 8.9サーバを設定してみたところ、Zstackのパッケージを追加しようとしてコンフリクトが発生してエラーとなっていました。

エラーログを精査すると、Zstack 8.0.0が用意したパッケージバージョンと異なると駄目であるようなので、Zstack 8.0.0ベースの環境が必要でした。

少し使ってみた感想

vSphereやNutanixの代替になるかというと難しい。

どっちかというとOpenStackみたいなことを簡単にできるようにした感じがあるつくりになっている。

・Comminity Editionは機能制約が多すぎて使えない。proxmoxの方が良い
 OSのセキュリティアップデートが提供されていない
 管理サーバの冗長化が無い
 Guest OS Agentが提供されない

・RHEL系のLinux設定知識がないと設定できないところがある
 共有ディスクのマウントに関する設定(/etc/fstabを書く)
 LACP/bonding設定を設定ファイルで書く

・ベースRHELバージョンが8と古い
 2024年3月29日にリリースされた最新メジャーバージョンアップがRHEL8.4ベースだが、最新はRHEL8.9
 そしてRHEL8.xのフルサポート終了日は2024年5月31日、メンテナンスアップデート終了日は2029年5月31日
 ライフサイクル的にちょっと不安が?

あまり積極的に使ってみようかなぁ、という感じのものではなかった。


ノードのインストールについて

ZStack CloudのインストールISOでインストールできるモードについてマニュアルより

ModeScenario
Enterprise Management Node ModeApplicable only to the installation of management nodes of the Enterprise edition.
Community Management Node ModeApplicable only to the installation of management nodes of the Community edition.
Compute Node ModeApplicable to the installation of all nodes except the management nodes, such asCompute nodeImageStore, Ceph backup storage node, and Ceph backup storage mount nodeCeph primary storage node, and Ceph primary storage mount nodePXE deployment server node, local backup server node, and remote backup server node in another data center
Expert Mode

Enterprise Management Node ModeとCommunity Management Node Modeの違いは「terms of the license type, which decides the features available on the Cloud」とのこと

複数ノードをセットアップする場合は、Management Node Modeを1台と、それ以外はCompute Node Modeでセットアップする。

管理機能の冗長化についてはEdition比較表にある「Management Node HA」が該当していると思われるがComminity Editionではサポートしていない模様。

ドキュメントも不備があり、v3.0時代のMaintenance Manualに「MN Maintenance – MN High Availability」があるがv5.0についてのドキュメントが閲覧可能状態にない。

v5.0についても ZStack-Multinode-HA-Suite.tar.gz が配布されているので、v3.0時代と同じく、targz展開してzsha2を実行してセットアップ、という形になるのだと思われる。

Zstack Cloud Communitiy Editionインストール

基本的にRedHat系と同じインストールUIになっている。

Software Selectionは、管理兼Computeノードとなる1台だけ「Managament Node」としてインストールし、あとはComputeノードとしてインストールする

ISOブートからのインストールが終わったあとの管理ノードについては初回ブート時は自動セットアップが行われる。

初期セットアップが終わるとログインプロンプトが表示される。

ZStack-Cloud-x86_64-DVD-5.0.0-h84r.iso でインストールした場合、kernelは 4.18.0-425.19.2.3.g75f4bb8fb9a9.el8.x86_64 となっていた。

また、レポジトリ構成を確認すると、Rocky Linux 8の中国内サーバを登録しているものの有効にしているのは、サーバローカルレポジトリのみ、という構成となっていた。

[root@zstack131 ~]# uname -a
Linux zstack131.adosakana.local 4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64 #1 SMP Wed Nov 15 21:30:37 EST 2023 x86_64 x86_64 x86_64 GNU/Linux
[root@zstack131 ~]# rpm -qa|grep release
helix-release-8.4r-36.el8.noarch
zstack-release-h84r-1.h8.zstack.noarch
[root@zstack131 ~]# dnf repolist --all
repo id                repo name                                        status
163base                Rocky-8 - Base - mirrors.163.com                 disabled
163extras              Rocky-8 - Extras - mirrors.163.com               disabled
163updates             Rocky-8 - Updates - mirrors.163.com              disabled
alibase                Rocky-8 - Base - mirrors.aliyun.com              disabled
aliepel                Extra Packages for Enterprise Linux 8 - $basearc disabled
aliepel-modular        Extra Packages for Enterprise Linux Modular 8 -  disabled
aliextras              Rocky-8 - Extras - mirrors.aliyun.com            disabled
aliupdates             Rocky-8 - Updates - mirrors.aliyun.com           disabled
ceph                   Ceph                                             disabled
epel                   Extra Packages for Enterprise Linux 8 - $basearc disabled
mariadb                MariaDB                                          disabled
mlnx-ofed              Mellanox OFED Driver                             disabled
qemu-kvm-ev            Qemu KVM EV                                      disabled
qemu-kvm-ev-mn         qemu-kvm-ev-mn                                   disabled
uek4-ocfs2             UEK4-OCFS2                                       disabled
ustcepel               Extra Packages for Enterprise Linux 8 - x86_64 - disabled
ustcepel-modular       Extra Packages for Enterprise Linux Modular 8 -  disabled
virtio-win             virtio-win                                       disabled
zops-local             zops-local                                       enabled
zstack-experimental-mn zstack-experimental-mn                           disabled
zstack-local           zstack-local                                     enabled
zstack-mn              zstack-mn                                        disabled
[root@zstack131 ~]#

レポジトリ設定ファイルを確認すると下記の内容になっていた。

[root@zstack131 ~]# cd /etc/yum.repos.d/
[root@zstack131 yum.repos.d]# ls
ceph.repo            qemu-kvm-ev.repo     zstack-aliyun-yum.repo
epel.repo            uek4-ocfs2.repo      zstack-experimental-mn.repo
galera.repo          virtio-win.repo      zstack-local.repo
mlnx-ofed.repo       zops-local.repo      zstack-mn.repo
qemu-kvm-ev-mn.repo  zstack-163-yum.repo
[root@zstack131 yum.repos.d]# for file in `pwd`/*; do echo === $file ===; cat
$file; done
=== /etc/yum.repos.d/ceph.repo ===
[ceph]
name=Ceph
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/ceph
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/epel.repo ===
[epel]
name=Extra Packages for Enterprise Linux $releasever - $basearce - mirrors.aliyun.com
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-8&arch=$basearch
enabled=0
gpgcheck=0
=== /etc/yum.repos.d/galera.repo ===
[mariadb]
name = MariaDB
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/galera
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/mlnx-ofed.repo ===
[mlnx-ofed]
name=Mellanox OFED Driver
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/mlnx-ofed
gpgcheck=0
enabled=0
=== /etc/yum.repos.d/qemu-kvm-ev-mn.repo ===
[qemu-kvm-ev-mn]
name=qemu-kvm-ev-mn
baseurl=http://172.17.44.131:8080/zstack/static/zstack-repo/$basearch/$YUM0/Extra/qemu-kvm-ev/
gpgcheck=0
module_hotfixes=true
enabled=0
=== /etc/yum.repos.d/qemu-kvm-ev.repo ===
[qemu-kvm-ev]
name=Qemu KVM EV
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/qemu-kvm-ev
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/uek4-ocfs2.repo ===
[uek4-ocfs2]
name=UEK4-OCFS2
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/uek4
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/virtio-win.repo ===
[virtio-win]
name=virtio-win
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/virtio-win
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/zops-local.repo ===
[zops-local]
name=zops-local
baseurl=file:///opt/zops-rpm
gpgcheck=0
enabled=1
module_hotfixes=true

=== /etc/yum.repos.d/zstack-163-yum.repo ===
#163 base
[163base]
name=Rocky-$releasever - Base - mirrors.163.com
baseurl=http://mirrors.163.com/rocky/$releasever/BaseOS/$basearch/os/
gpgcheck=0
enabled=0
module_hotfixes=true

#released updates
[163updates]
name=Rocky-$releasever - Updates - mirrors.163.com
baseurl=http://mirrors.163.com/rocky/$releasever/AppStream/$basearch/os/
enabled=0
gpgcheck=0
module_hotfixes=true

#additional packages that may be useful
[163extras]
name=Rocky-$releasever - Extras - mirrors.163.com
baseurl=http://mirrors.163.com/rocky/$releasever/extras/$basearch/os/
enabled=0
gpgcheck=0
module_hotfixes=true

[ustcepel]
name=Extra Packages for Enterprise Linux $releasever - $basearch - ustc
baseurl=http://mirrors.ustc.edu.cn/epel/$releasever/Everything/$basearch
enabled=0
gpgcheck=0
module_hotfixes=true

[ustcepel-modular]
name=Extra Packages for Enterprise Linux Modular $releasever - $basearch - ustc
baseurl=http://mirrors.ustc.edu.cn/epel/$releasever/Modular/$basearch
enabled=0
gpgcheck=0
module_hotfixes=true
=== /etc/yum.repos.d/zstack-aliyun-yum.repo ===
#aliyun base
[alibase]
name=Rocky-$releasever - Base - mirrors.aliyun.com
baseurl=https://mirrors.aliyun.com/rockylinux/$releasever/BaseOS/$basearch/os/
gpgcheck=0
enabled=0
module_hotfixes=true

#released updates
[aliupdates]
name=Rocky-$releasever - Updates - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/rockylinux/$releasever/AppStream/$basearch/os/
enabled=0
gpgcheck=0
module_hotfixes=true

[aliextras]
name=Rocky-$releasever - Extras - mirrors.aliyun.com
baseurl=https://mirrors.aliyun.com/rockylinux/$releasever/extras/$basearch/os/
enabled=0
gpgcheck=0
module_hotfixes=true

[aliepel]
name=Extra Packages for Enterprise Linux $releasever - $basearce - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/epel/$releasever/Everything/$basearch
enabled=0
gpgcheck=0
module_hotfixes=true

[aliepel-modular]
name=Extra Packages for Enterprise Linux Modular $releasever - $basearce - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/epel/$releasever/Modular/$basearch
enabled=0
gpgcheck=0
module_hotfixes=true

=== /etc/yum.repos.d/zstack-experimental-mn.repo ===
[zstack-experimental-mn]
name=zstack-experimental-mn
baseurl=http://172.17.44.131:8080/zstack/static/zstack-repo/$basearch/$YUM0/Extra/zstack-experimental/
gpgcheck=0
module_hotfixes=true
enabled=0
=== /etc/yum.repos.d/zstack-local.repo ===
[zstack-local]
name=zstack-local
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0
gpgcheck=0
enabled=1
module_hotfixes=true
=== /etc/yum.repos.d/zstack-mn.repo ===
[zstack-mn]
name=zstack-mn
baseurl=http://172.17.44.131:8080/zstack/static/zstack-repo/$basearch/$YUM0/
gpgcheck=0
module_hotfixes=true
enabled=0
[root@zstack131 yum.repos.d]#

ちなみに、Rocky Linux 8.9のレポジトリ設定を持ってきて有効化すればセキュリティアップデートできるかな?と試してみたところ、コンフリクトエラーとなりました。

初期設定

設定はWeb管理画面にログインして行う。

http://<IPアドレス>:5000 にアクセスする

初期値は admin / password となっている。

ログインすると、初期設定Wizardが開く

これは「Exit Wizard」で終了してもよい。

Wizardで設定する項目は以下の順番となる
1) Create Zone (拠点を設定)
2) Create Cluster (仕様/用途が同じサーバ群のまとまりを設定)
3) Add Host (上記で作成したClusterに実際のサーバを登録)
4) Add Backup Storage (ISOイメージなどを保存するストレージを登録)
5) Add Primary Storage (稼働する仮想マシンを保存するストレージを登録)
6) Create Instance Offering (仮想マシンに割り当てるCPU/メモリなどのテンプレートを登録)
7) Add an Image (ISOファイルやテンプレートqcow2ファイルを登録/ブラウザからのアップロード機能は無い)
8) Create an L2 Network (ネットワークを定義しNICやVLAN IDを設定)
9) Create an L3 Network (L3ルータを設定する場合に仮想ルータを設定)

基本的にはWizardを進めていけばいいのだが、Wizardでは設定できない項目が多々あるため、事前に準備が必要となる。

Zstack GUIで設定を行う前に必要となる設定

Zstack環境上で仮想マシンを動かすための設定を行うために用意・設定しておく必要があるものとして以下がある。

・Primary Storageの用意

仮想マシンを配置するためのディスク Primary Storageを用意します。

前述のように「サーバのローカルディスク」「NFS共有」「MooseFS, GlusterFS, OCFS2, GFS2といった共有ファイルシステム」「Ceph」が使用できます。

「サーバのローカルディスク」「NFS共有」「MooseFS, GlusterFS, OCFS2, GFS2といった共有ファイルシステム」については、1つのクラスタに所属する全ノードで同じくアクセスできるように/etc/fstabを手動で編集する必要があります。

また、サーバのローカルディスクを使用する場合は、全サーバで同じパスを使いますが、各サーバ間でデータの移動はできないので注意が必要です。(Storage Migration機能が無い)

・Backup Storageの用意

ISOイメージなどを置く場所としてBackup Storage を用意します。

“Backup Storage”という名前からデータ保護に使用する用途のように見えますが、仮想マシン作成時に使用する元イメージを置く場所です。

「sftp」と「Ceph」が使用できますが、sftpに関する要求がおかしいので注意が必要です。

sftpとして指定したLinuxサーバに対して、Zstackはzsatckレポジトリを追加し必要なソフトウェアのインストールを実施します。zstackレポジトリのパッケージ群は通常のRHEL/AlmaLinux/RockyLinuxパッケージと互換性がないためコンフリクトを起こして設定に失敗します。

v5.0.0段階で確認した限りでは、ZstackでインストールしたLinuxサーバでないと成功しませんでした。

なので、Zstackサーバ群の1台に対して設定する形が一番良さそうです。

・ノードのNIC構成

また、Linux上のNICインタフェース名が同じでないと駄目なようです。

設定画面をいろいろ確認しましたが、クラスタとしてNICインタフェースを設定する形となっており、各ノードごとに個別調整ができるようにはなっていませんでした。

なので、サーバごとに差異がある場合、NIC1個のみ登録したbondingデバイスを作成して、デバイス名を統一させた方がよさそうです。

LACPを含めたbondingの設定はZstack GUIでは行えないため、Linux OS階層で実施しておく必要があります。/etc/sysconfig/network-scripts/ifcfg-デバイス名 のファイルを編集するやり方になります。

VLANの設定はZstack側で行う。

・ノードを接続するネットワークの用意

ノードを接続するネットワークは「普通のLAN(L2NoVlanNetwork)」「タグVLAN(L2VlanNetwork」「VxLanNetwork」の3種類がある。

タグVLANのVLAN ID設定やVxLan設定はZstack側の設定で行えるので、手動で設定する必要は無い。

Wizardを進める

事前準備をすませてからWizardを進めていく。

最初は

最初は「Create Zone」で、これはvSphere風ならデータセンター、OpenStack風ならavailability zone を設定する。

「Create cluster」でクラスタを設定する。所属するサーバすべてでマウントするパスやNICインタフェース名が同じである必要がある点に注意。

CPUアーキテクチャの指定にx86_64と64bit ARM以外に、mips64el/loongarch64と龍芯関連のアーキテクチャがあるというのが興味深いところです。

「Add Host」でZstackをインストールしたサーバを登録します。Wizardでは1台だけ追加できます。複数サーバある場合はWizard完了後に追加します。

「Next」をクリックすると、しばらーく、管理ソフトからノードのLinux側に対して登録処理のあれこれが行われます。

登録が完了すると「Add Backup Storage」になります。これはISOイメージなどの保管場所となります。

Zstackサーバの1台のローカルストレージに置く、というのが一番簡単なので、1台の情報をいれます。

Nextをクリックすると処理が行われ、指定したサーバに対してsshログインが行われ、必要な追加パッケージがインストールされていきます。

「Add Primary Storage」で仮想マシン用の仮想ディスク置き場を設定します。

同じクラスタに所属するサーバすべてから同じパスでアクセスできる必要があります。

「Create Instance Offering」で仮想マシンに割り当てるCPU/メモリサイズを定義します。OpenStack的に言えば「フレーバー」です

初期値はCPU 1コア/メモリ2GBだったんですが、ちょっと小さいかな、というので2コア/4GBに増量

「Add Image」で仮想マシンのOSインストールに使用するISOイメージを1つ登録します。ブラウザからファイルをアップロードすることはできず、http/https/ftp/sftp でファイルをとりにいく形になっています。

「Create L2 Network」で仮想マシンが使用するネットワークを定義します。

Wizardからだと「通常のLAN(L2NoVlanNetwork)」と「タグVLAN(L2VlanNetwork)」の2種類が設定できます。Wizard外だとVxLanも設定できます。

クラスタ単位で使うNICを指定します。このため、サーバごとでNICメーカが異なっていることでNIC名が変わってしまうような場合はそのままでは指定できないので注意が必要です。

「Create L3 Network」では、先のL2Networkで定義したネットワークで使用されるIPアドレス帯を指定します。標準設定のままではDHCPサーバーが有効化されて、仮想マシンに対してIPアドレスがdhcp経由で割り当てられるような形になっています。

以上でWizardは終了です。

Compute Node追加

Compute Node追加のスクショ

仮想マシンを作ってみる

「Launch console」をクリックすると別窓でVNCによるコンソール画面が表示されます。インストールISOを読み込ませている場合はISOから起動しているでしょう。

あとは普通にインストールしていきます。


ノードのプロセスとかいろいろ

[root@zstack130 ~]# uname -a
Linux zstack130.adosakana.local 4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64 #1 SMP Wed Nov 15 21:30:37 EST 2023 x86_64 x86_64 x86_64 GNU/Linux
[root@zstack130 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 9.7G   84K  9.7G   1% /dev
tmpfs                    9.7G  4.0K  9.7G   1% /dev/shm
tmpfs                    9.7G  1.5M  9.7G   1% /run
tmpfs                    9.7G     0  9.7G   0% /sys/fs/cgroup
/dev/mapper/zstack-root   89G   26G   64G  29% /
/dev/sda2               1014M  194M  821M  20% /boot
/dev/sda1                599M  5.8M  594M   1% /boot/efi
tmpfs                    2.0G     0  2.0G   0% /run/user/1000
overlay                   89G   26G   64G  29% /var/lib/docker/overlay2/a3acbf01e49fe69302ff3806052ce501c5a9e2c26ef15566e16e99cb920b9348/merged
tmpfs                    2.0G     0  2.0G   0% /run/user/0
/dev/sdb1                300G   31G  270G  11% /data
[root@zstack130 ~]# ps -ef|cat
UID          PID    PPID  C STIME TTY          TIME CMD
root           1       0  0 Apr02 ?        00:00:18 /usr/lib/systemd/systemd --switched-root --system --deserialize 18
root           2       0  0 Apr02 ?        00:00:00 [kthreadd]
root           3       2  0 Apr02 ?        00:00:00 [rcu_gp]
root           4       2  0 Apr02 ?        00:00:00 [rcu_par_gp]
root           6       2  0 Apr02 ?        00:00:00 [kworker/0:0H-events_highpri]
root           9       2  0 Apr02 ?        00:00:00 [mm_percpu_wq]
root          10       2  0 Apr02 ?        00:00:00 [rcu_tasks_rude_]
root          11       2  0 Apr02 ?        00:00:00 [rcu_tasks_trace]
root          12       2  0 Apr02 ?        00:00:15 [ksoftirqd/0]
root          13       2  0 Apr02 ?        00:00:48 [rcu_sched]
root          14       2  0 Apr02 ?        00:00:01 [migration/0]
root          15       2  0 Apr02 ?        00:00:00 [watchdog/0]
root          16       2  0 Apr02 ?        00:00:00 [cpuhp/0]
root          17       2  0 Apr02 ?        00:00:00 [cpuhp/1]
root          18       2  0 Apr02 ?        00:00:00 [watchdog/1]
root          19       2  0 Apr02 ?        00:00:01 [migration/1]
root          20       2  0 Apr02 ?        00:00:21 [ksoftirqd/1]
root          22       2  0 Apr02 ?        00:00:00 [kworker/1:0H-events_highpri]
root          23       2  0 Apr02 ?        00:00:00 [cpuhp/2]
root          24       2  0 Apr02 ?        00:00:00 [watchdog/2]
root          25       2  0 Apr02 ?        00:00:01 [migration/2]
root          26       2  0 Apr02 ?        00:00:15 [ksoftirqd/2]
root          28       2  0 Apr02 ?        00:00:00 [kworker/2:0H-events_highpri]
root          29       2  0 Apr02 ?        00:00:00 [cpuhp/3]
root          30       2  0 Apr02 ?        00:00:00 [watchdog/3]
root          31       2  0 Apr02 ?        00:00:01 [migration/3]
root          32       2  0 Apr02 ?        00:00:19 [ksoftirqd/3]
root          34       2  0 Apr02 ?        00:00:00 [kworker/3:0H-events_highpri]
root          39       2  0 Apr02 ?        00:00:00 [kdevtmpfs]
root          40       2  0 Apr02 ?        00:00:00 [netns]
root          41       2  0 Apr02 ?        00:00:00 [kauditd]
root          42       2  0 Apr02 ?        00:00:00 [khungtaskd]
root          43       2  0 Apr02 ?        00:00:00 [oom_reaper]
root          44       2  0 Apr02 ?        00:00:00 [writeback]
root          45       2  0 Apr02 ?        00:00:00 [kcompactd0]
root          46       2  0 Apr02 ?        00:00:00 [ksmd]
root          47       2  0 Apr02 ?        00:00:03 [khugepaged]
root          48       2  0 Apr02 ?        00:00:00 [crypto]
root          49       2  0 Apr02 ?        00:00:00 [kintegrityd]
root          50       2  0 Apr02 ?        00:00:00 [kblockd]
root          51       2  0 Apr02 ?        00:00:00 [blkcg_punt_bio]
root          52       2  0 Apr02 ?        00:00:00 [tpm_dev_wq]
root          53       2  0 Apr02 ?        00:00:00 [md]
root          54       2  0 Apr02 ?        00:00:00 [edac-poller]
root          55       2  0 Apr02 ?        00:00:00 [watchdogd]
root          57       2  0 Apr02 ?        00:00:07 [kworker/0:1H-kblockd]
root          91       2  0 Apr02 ?        00:00:07 [kswapd0]
root         193       2  0 Apr02 ?        00:00:00 [kthrotld]
root         194       2  0 Apr02 ?        00:00:00 [irq/25-pciehp]
root         195       2  0 Apr02 ?        00:00:00 [irq/26-pciehp]
root         196       2  0 Apr02 ?        00:00:00 [irq/27-pciehp]
root         197       2  0 Apr02 ?        00:00:00 [irq/28-pciehp]
root         198       2  0 Apr02 ?        00:00:00 [irq/29-pciehp]
root         199       2  0 Apr02 ?        00:00:00 [irq/30-pciehp]
root         200       2  0 Apr02 ?        00:00:00 [irq/31-pciehp]
root         201       2  0 Apr02 ?        00:00:00 [irq/32-pciehp]
root         202       2  0 Apr02 ?        00:00:00 [irq/33-pciehp]
root         203       2  0 Apr02 ?        00:00:00 [irq/34-pciehp]
root         204       2  0 Apr02 ?        00:00:00 [irq/35-pciehp]
root         205       2  0 Apr02 ?        00:00:00 [irq/36-pciehp]
root         206       2  0 Apr02 ?        00:00:00 [irq/37-pciehp]
root         207       2  0 Apr02 ?        00:00:00 [irq/38-pciehp]
root         208       2  0 Apr02 ?        00:00:00 [irq/39-pciehp]
root         209       2  0 Apr02 ?        00:00:00 [irq/40-pciehp]
root         210       2  0 Apr02 ?        00:00:00 [irq/41-pciehp]
root         211       2  0 Apr02 ?        00:00:00 [irq/42-pciehp]
root         212       2  0 Apr02 ?        00:00:00 [irq/43-pciehp]
root         213       2  0 Apr02 ?        00:00:00 [irq/44-pciehp]
root         214       2  0 Apr02 ?        00:00:00 [irq/45-pciehp]
root         215       2  0 Apr02 ?        00:00:00 [irq/46-pciehp]
root         216       2  0 Apr02 ?        00:00:00 [irq/47-pciehp]
root         217       2  0 Apr02 ?        00:00:00 [irq/48-pciehp]
root         218       2  0 Apr02 ?        00:00:00 [irq/49-pciehp]
root         219       2  0 Apr02 ?        00:00:00 [irq/50-pciehp]
root         220       2  0 Apr02 ?        00:00:00 [irq/51-pciehp]
root         221       2  0 Apr02 ?        00:00:00 [irq/52-pciehp]
root         222       2  0 Apr02 ?        00:00:00 [irq/53-pciehp]
root         223       2  0 Apr02 ?        00:00:00 [irq/54-pciehp]
root         224       2  0 Apr02 ?        00:00:00 [irq/55-pciehp]
root         225       2  0 Apr02 ?        00:00:00 [irq/56-pciehp]
root         227       2  0 Apr02 ?        00:00:00 [acpi_thermal_pm]
root         228       2  0 Apr02 ?        00:00:00 [kmpath_rdacd]
root         229       2  0 Apr02 ?        00:00:00 [kaluad]
root         231       2  0 Apr02 ?        00:00:00 [ipv6_addrconf]
root         232       2  0 Apr02 ?        00:00:00 [kstrp]
root         316       2  0 Apr02 ?        00:00:07 [kworker/1:1H-kblockd]
root         346       2  0 Apr02 ?        00:00:08 [kworker/3:1H-xfs-log/dm-0]
root         349       2  0 Apr02 ?        00:00:08 [kworker/2:1H-xfs-log/dm-0]
root         547       2  0 Apr02 ?        00:00:00 [ata_sff]
root         549       2  0 Apr02 ?        00:00:00 [scsi_eh_0]
root         550       2  0 Apr02 ?        00:00:00 [scsi_tmf_0]
root         551       2  0 Apr02 ?        00:00:00 [vmw_pvscsi_wq_0]
root         552       2  0 Apr02 ?        00:00:00 [scsi_eh_1]
root         553       2  0 Apr02 ?        00:00:00 [scsi_tmf_1]
root         554       2  0 Apr02 ?        00:00:00 [scsi_eh_2]
root         555       2  0 Apr02 ?        00:00:00 [scsi_tmf_2]
root         557       2  0 Apr02 ?        00:00:00 [scsi_eh_3]
root         558       2  0 Apr02 ?        00:00:00 [scsi_tmf_3]
root         559       2  0 Apr02 ?        00:00:00 [scsi_eh_4]
root         560       2  0 Apr02 ?        00:00:00 [scsi_tmf_4]
root         561       2  0 Apr02 ?        00:00:00 [scsi_eh_5]
root         562       2  0 Apr02 ?        00:00:00 [scsi_tmf_5]
root         563       2  0 Apr02 ?        00:00:00 [scsi_eh_6]
root         564       2  0 Apr02 ?        00:00:00 [scsi_tmf_6]
root         566       2  0 Apr02 ?        00:00:00 [scsi_eh_7]
root         567       2  0 Apr02 ?        00:00:00 [scsi_tmf_7]
root         568       2  0 Apr02 ?        00:00:00 [scsi_eh_8]
root         569       2  0 Apr02 ?        00:00:00 [scsi_tmf_8]
root         570       2  0 Apr02 ?        00:00:00 [scsi_eh_9]
root         571       2  0 Apr02 ?        00:00:00 [scsi_tmf_9]
root         572       2  0 Apr02 ?        00:00:00 [scsi_eh_10]
root         573       2  0 Apr02 ?        00:00:00 [scsi_tmf_10]
root         574       2  0 Apr02 ?        00:00:00 [scsi_eh_11]
root         575       2  0 Apr02 ?        00:00:00 [scsi_tmf_11]
root         576       2  0 Apr02 ?        00:00:00 [scsi_eh_12]
root         578       2  0 Apr02 ?        00:00:00 [scsi_tmf_12]
root         579       2  0 Apr02 ?        00:00:00 [scsi_eh_13]
root         580       2  0 Apr02 ?        00:00:00 [scsi_tmf_13]
root         581       2  0 Apr02 ?        00:00:00 [scsi_eh_14]
root         582       2  0 Apr02 ?        00:00:00 [scsi_tmf_14]
root         584       2  0 Apr02 ?        00:00:00 [scsi_eh_15]
root         585       2  0 Apr02 ?        00:00:00 [scsi_tmf_15]
root         587       2  0 Apr02 ?        00:00:00 [scsi_eh_16]
root         588       2  0 Apr02 ?        00:00:00 [scsi_tmf_16]
root         589       2  0 Apr02 ?        00:00:00 [scsi_eh_17]
root         590       2  0 Apr02 ?        00:00:00 [scsi_tmf_17]
root         591       2  0 Apr02 ?        00:00:00 [scsi_eh_18]
root         592       2  0 Apr02 ?        00:00:00 [scsi_tmf_18]
root         593       2  0 Apr02 ?        00:00:00 [scsi_eh_19]
root         594       2  0 Apr02 ?        00:00:00 [scsi_tmf_19]
root         595       2  0 Apr02 ?        00:00:00 [scsi_eh_20]
root         596       2  0 Apr02 ?        00:00:00 [scsi_tmf_20]
root         598       2  0 Apr02 ?        00:00:00 [scsi_eh_21]
root         599       2  0 Apr02 ?        00:00:00 [scsi_tmf_21]
root         601       2  0 Apr02 ?        00:00:00 [scsi_eh_22]
root         603       2  0 Apr02 ?        00:00:00 [scsi_tmf_22]
root         604       2  0 Apr02 ?        00:00:02 [irq/16-vmwgfx]
root         605       2  0 Apr02 ?        00:00:00 [scsi_eh_23]
root         606       2  0 Apr02 ?        00:00:00 [card0-crtc0]
root         607       2  0 Apr02 ?        00:00:00 [scsi_tmf_23]
root         608       2  0 Apr02 ?        00:00:00 [card0-crtc1]
root         609       2  0 Apr02 ?        00:00:00 [scsi_eh_24]
root         610       2  0 Apr02 ?        00:00:00 [scsi_tmf_24]
root         611       2  0 Apr02 ?        00:00:00 [card0-crtc2]
root         612       2  0 Apr02 ?        00:00:00 [scsi_eh_25]
root         613       2  0 Apr02 ?        00:00:00 [scsi_tmf_25]
root         614       2  0 Apr02 ?        00:00:00 [card0-crtc3]
root         615       2  0 Apr02 ?        00:00:00 [card0-crtc4]
root         616       2  0 Apr02 ?        00:00:00 [card0-crtc5]
root         617       2  0 Apr02 ?        00:00:00 [scsi_eh_26]
root         618       2  0 Apr02 ?        00:00:00 [card0-crtc6]
root         619       2  0 Apr02 ?        00:00:00 [scsi_tmf_26]
root         620       2  0 Apr02 ?        00:00:00 [scsi_eh_27]
root         621       2  0 Apr02 ?        00:00:00 [scsi_tmf_27]
root         622       2  0 Apr02 ?        00:00:00 [scsi_eh_28]
root         623       2  0 Apr02 ?        00:00:00 [scsi_tmf_28]
root         624       2  0 Apr02 ?        00:00:00 [scsi_eh_29]
root         625       2  0 Apr02 ?        00:00:00 [scsi_tmf_29]
root         626       2  0 Apr02 ?        00:00:00 [scsi_eh_30]
root         627       2  0 Apr02 ?        00:00:00 [scsi_tmf_30]
root         628       2  0 Apr02 ?        00:00:00 [scsi_eh_31]
root         629       2  0 Apr02 ?        00:00:00 [scsi_tmf_31]
root         630       2  0 Apr02 ?        00:00:00 [scsi_eh_32]
root         631       2  0 Apr02 ?        00:00:00 [scsi_tmf_32]
root         661       2  0 Apr02 ?        00:00:00 [card0-crtc7]
root         726       2  0 Apr02 ?        00:00:00 [kdmflush/253:0]
root         737       2  0 Apr02 ?        00:00:00 [kdmflush/253:1]
root         761       2  0 Apr02 ?        00:00:00 [xfsalloc]
root         763       2  0 Apr02 ?        00:00:00 [xfs_mru_cache]
root         764       2  0 Apr02 ?        00:00:00 [xfs-buf/dm-0]
root         765       2  0 Apr02 ?        00:00:00 [xfs-conv/dm-0]
root         766       2  0 Apr02 ?        00:00:00 [xfs-cil/dm-0]
root         767       2  0 Apr02 ?        00:00:00 [xfs-reclaim/dm-]
root         768       2  0 Apr02 ?        00:00:00 [xfs-gc/dm-0]
root         770       2  0 Apr02 ?        00:00:00 [xfs-log/dm-0]
root         771       2  0 Apr02 ?        00:00:10 [xfsaild/dm-0]
root         915       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-udevd
root         963       2  0 Apr02 ?        00:00:00 [xfs-buf/sda2]
root         964       2  0 Apr02 ?        00:00:00 [xfs-conv/sda2]
root         965       2  0 Apr02 ?        00:00:00 [xfs-cil/sda2]
root         966       2  0 Apr02 ?        00:00:00 [xfs-reclaim/sda]
root         967       2  0 Apr02 ?        00:00:00 [xfs-gc/sda2]
root         971       2  0 Apr02 ?        00:00:00 [xfs-log/sda2]
root         972       2  0 Apr02 ?        00:00:00 [xfsaild/sda2]
root         973       2  0 Apr02 ?        00:00:00 [nfit]
rpc         1014       1  0 Apr02 ?        00:00:00 /usr/bin/rpcbind -w -f
root        1018       1  0 Apr02 ?        00:00:04 /sbin/auditd
root        1020       2  0 Apr02 ?        00:00:00 [rpciod]
root        1021       2  0 Apr02 ?        00:00:00 [xprtiod]
root        1056       1  0 Apr02 ?        00:00:02 /usr/sbin/irqbalance --foreground
dbus        1057       1  0 Apr02 ?        00:00:21 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation --syslog-only
polkitd     1058       1  0 Apr02 ?        00:00:07 /usr/lib/polkit-1/polkitd --no-debug
root        1063       1  0 Apr02 ?        00:00:04 /usr/lib/systemd/systemd-logind
root        1076       1  0 Apr02 ?        00:00:00 /usr/bin/lttng-sessiond -d
root        1077    1076  0 Apr02 ?        00:00:00 lttng-runas             -d
root        1461       1  0 Apr02 ?        00:00:00 /usr/sbin/sshd -D -oCiphers=aes256-gcm@openssh.com,chacha20-poly1305@openssh.com,aes256-ctr,aes256-cbc,aes128-gcm@openssh.com,aes128-ctr,aes128-cbc -oMACs=hmac-sha2-256-etm@openssh.com,hmac-sha1-etm@openssh.com,umac-128-etm@openssh.com,hmac-sha2-512-etm@openssh.com,hmac-sha2-256,hmac-sha1,umac-128@openssh.com,hmac-sha2-512 -oGSSAPIKexAlgorithms=gss-curve25519-sha256-,gss-nistp256-sha256-,gss-group14-sha256-,gss-group16-sha512-,gss-gex-sha1-,gss-group14-sha1- -oKexAlgorithms=curve25519-sha256,curve25519-sha256@libssh.org,ecdh-sha2-nistp256,ecdh-sha2-nistp384,ecdh-sha2-nistp521,diffie-hellman-group-exchange-sha256,diffie-hellman-group14-sha256,diffie-hellman-group16-sha512,diffie-hellman-group18-sha512,diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1 -oHostKeyAlgorithms=ecdsa-sha2-nistp256,ecdsa-sha2-nistp256-cert-v01@openssh.com,ecdsa-sha2-nistp384,ecdsa-sha2-nistp384-cert-v01@openssh.com,ecdsa-sha2-nistp521,ecdsa-sha2-nistp521-cert-v01@openssh.com,ssh-ed25519,ssh-ed25519-cert-v01@openssh.com,rsa-sha2-256,rsa-sha2-256-cert-v01@openssh.com,rsa-sha2-512,rsa-sha2-512-cert-v01@openssh.com,ssh-rsa,ssh-rsa-cert-v01@openssh.com -oPubkeyAcceptedKeyTypes=ecdsa-sha2-nistp256,ecdsa-sha2-nistp256-cert-v01@openssh.com,ecdsa-sha2-nistp384,ecdsa-sha2-nistp384-cert-v01@openssh.com,ecdsa-sha2-nistp521,ecdsa-sha2-nistp521-cert-v01@openssh.com,ssh-ed25519,ssh-ed25519-cert-v01@openssh.com,rsa-sha2-256,rsa-sha2-256-cert-v01@openssh.com,rsa-sha2-512,rsa-sha2-512-cert-v01@openssh.com,ssh-rsa,ssh-rsa-cert-v01@openssh.com -oCASignatureAlgorithms=ecdsa-sha2-nistp256,ecdsa-sha2-nistp384,ecdsa-sha2-nistp521,ssh-ed25519,rsa-sha2-256,rsa-sha2-512,ssh-rsa
root        1462       1  0 Apr02 ?        00:11:11 /usr/libexec/platform-python -Es /usr/sbin/tuned -l -P
root        1470       1  0 Apr02 ?        00:00:00 /usr/sbin/gssproxy -D
root        1480       1  0 Apr02 ?        00:00:00 /usr/sbin/crond -n
root        1485       1  0 Apr02 tty2     00:00:00 /sbin/agetty --noclear tty2 linux
chrony     33313       1  0 Apr02 ?        00:00:00 /usr/sbin/chronyd
root       40901       1  0 Apr02 ?        00:02:17 /usr/local/zstack/zsn-agent/bin/zsn-agent -log-file /var/log/zstack/zsn-agent/zsn-agent.log -tmout 960 2>/tmp/zsn.error.log
mysql      48667       1  0 Apr02 ?        00:07:09 /usr/libexec/mysqld --basedir=/usr
zstack     49291       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd --user
zstack     49293   49291  0 Apr02 ?        00:00:00 (sd-pam)
zstack     50480       1  2 Apr02 ?        00:30:06 //bin/java -Djava.util.logging.config.file=/usr/local/zstack/apache-tomcat/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -Dorg.apache.catalina.security.SecurityListener.UMASK=0027 -Djdk.tls.trustNameService=true -Djava.net.preferIPv4Stack=true -Dcom.sun.management.jmxremote=true -Djava.security.egd=file:/dev/./urandom -XX:-OmitStackTraceInFastThrow -XX:MaxMetaspaceSize=512m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/usr/local/zstack/apache-tomcat/webapps/zstack/../../logs/heap.hprof -XX:+UseAltSigs -Dlog4j2.formatMsgNoLookups=true -Xms512M -Xmx12288M -Dignore.endorsed.dirs= -classpath /usr/local/zstack/apache-tomcat/bin/bootstrap.jar:/usr/local/zstack/apache-tomcat/bin/tomcat-juli.jar -Dcatalina.base=/usr/local/zstack/apache-tomcat -Dcatalina.home=/usr/local/zstack/apache-tomcat -Djava.io.tmpdir=/usr/local/zstack/apache-tomcat/temp org.apache.catalina.startup.Bootstrap -DappName=zstack start
zstack     51983       1  0 Apr02 ?        00:00:13 /usr/local/zstack/apache-tomcat-8.5.99/webapps/zstack/WEB-INF/classes/tools/pushgateway --web.listen-address 172.17.44.130:9091 --persistence.file /var/lib/zstack/prometheus/pushgateway/persistence.data --persistence.interval 1m
root       52672       1  2 Apr02 ?        00:38:28 /usr/local/zstack/apache-tomcat-8.5.99/webapps/zstack/WEB-INF/classes/tools/prometheus2 --web.enable-admin-api --web.listen-address 172.17.44.130:9090 --storage.tsdb.path /var/lib/zstack/prometheus/data2 --storage.tsdb.retention.time 4320h --storage.tsdb.retention.size 64GB --config.file /usr/local/zstack/prometheus/conf.yaml --storage.tsdb.min-block-duration 2h --query.max-concurrency 20 --query.timeout 2m
zstack     54200       1  0 Apr02 ?        00:01:10 PM2 v5.2.2: God Daemon (/usr/local/zstack/.pm2)
zstack     54226   54200  0 Apr02 ?        00:02:35 node /usr/local/zstack/.pm2/modules/pm2-logrotate/node_modules/pm2-logrotate/
zstack     54237   54200  0 Apr02 ?        00:06:58 node /usr/local/zstack/zstack-ui/zstack-ui-server/src/main.js
root       54263       1  0 Apr02 ?        00:00:00 nginx: master process /usr/sbin/nginx -c /usr/local/zstack/zstack-ui/configs/nginx.conf -p /usr/local/zstack/zstack-ui
zstack     54266   54263  0 Apr02 ?        00:00:00 nginx: worker process
zstack     54267   54263  0 Apr02 ?        00:00:02 nginx: worker process
zstack     54268   54263  0 Apr02 ?        00:00:02 nginx: worker process
zstack     54269   54263  0 Apr02 ?        00:00:02 nginx: worker process
redis      54271       1  0 Apr02 ?        00:01:44 /usr/bin/redis-server *:6379
root       56490       1  0 Apr02 ?        00:01:24 python -c from consoleproxy import cdaemon; cdaemon.main() start
root       56825       1  0 Apr02 ?        00:00:38 /usr/lib/systemd/systemd-journald
root       60864       1  0 Apr02 ?        00:00:12 /usr/bin/containerd
root       60875       1  0 Apr02 ?        00:00:29 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
root       62206   60864  0 Apr02 ?        00:00:05 containerd-shim -namespace moby -workdir /var/lib/containerd/io.containerd.runtime.v1.linux/moby/e85a2c10196ea40406422964be497502879bffb67e68e20f888fb58335822d2b -address /run/containerd/containerd.sock -containerd-binary /usr/bin/containerd -runtime-root /var/run/docker/runtime-runc
root       62224   62206  0 Apr02 ?        00:00:00 /usr/sbin/init
root       62251   62224  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-journald
root       62314   62224  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-logind
dbus       62317   62224  0 Apr02 ?        00:00:00 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation
root       62320   62224  0 Apr02 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
root       62563   62224  0 Apr02 ?        00:03:06 java -Dlog4j.configurationFile=/root/.zops/log4j2-server.xml -Dlog.location=/var/log/zops/zops-server.log -Xmx2048m -Xmn512m -XX:MaxDirectMemorySize=1024m -Xlog:gc*:/var/log/zops/zops.gc.log:time -jar /usr/local/lib/zops/zops-server start
root       62774   62224  0 Apr02 ?        00:00:00 /usr/bin/python3 /webssh/run.py --port=8888 --xsrf=false --delay=3000 --fbidhttp=false
root       62972   62224  0 Apr02 ?        00:00:07 python3 -m websockify --token-plugin TokenFile --token-source /var/lib/cobbler/kickstarts/token/ 26080
root       63155       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd --user
root       63158   63155  0 Apr02 ?        00:00:00 (sd-pam)
root       63893       1  0 Apr02 ?        00:00:00 crond
root       65492    1461  0 Apr02 ?        00:00:00 sshd: root [priv]
root       65499   65492  0 Apr02 ?        00:00:00 sshd: root@notty
root       70526       2  0 Apr02 ?        00:00:00 [xfs-buf/sdb1]
root       70527       2  0 Apr02 ?        00:00:00 [xfs-conv/sdb1]
root       70528       2  0 Apr02 ?        00:00:00 [xfs-cil/sdb1]
root       70529       2  0 Apr02 ?        00:00:00 [xfs-reclaim/sdb]
root       70530       2  0 Apr02 ?        00:00:00 [xfs-gc/sdb1]
root       70532       2  0 Apr02 ?        00:00:00 [xfs-log/sdb1]
root       70533       2  0 Apr02 ?        00:00:06 [xfsaild/sdb1]
root       73761    1461  0 Apr02 ?        00:00:00 sshd: root [priv]
root       73765   73761  0 Apr02 ?        00:00:00 sshd: root@notty
root       76368       1  0 Apr02 ?        00:00:20 /usr/sbin/rsyslogd -n
root       80285       2  0 Apr02 ?        00:00:00 [ipmi-msghandler]
root      100676       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-machined
root      100872       1  0 Apr02 ?        00:00:00 /usr/sbin/virtlogd
root      107302       2  0 Apr02 ?        00:00:00 [uas]
root      107342       1  0 Apr02 ?        00:01:04 /usr/sbin/libvirtd --listen
root      107516       1  5 Apr02 ?        01:15:20 python -c from kvmagent import kdaemon; kdaemon.main() start
root      108083       2  0 Apr02 ?        00:00:00 [kmpathd]
root      108088       2  0 Apr02 ?        00:00:00 [kmpath_handlerd]
root      108176       1  0 Apr02 ?        00:00:51 /sbin/multipathd -d -s
root      120326       1  0 Apr02 ?        00:00:46 /usr/local/zstack/zsblk-agent/bin/zsblk-agent -free-space 5368709120 -increment 5368709120 -log-file /var/log/zstack/zsblk-agent/zsblk-agent.log -qmp-socket-dir /var/lib/libvirt/qemu/zstack/ -utilization-percent 85 -lk-helper-max-times 6 -lk-helper-scan-interval 15 -lk-helper-protection-period 1800 -verbose false
root      123604       2  0 Apr02 ?        00:00:00 [nvme-wq]
root      123606       2  0 Apr02 ?        00:00:00 [nvme-reset-wq]
root      123607       2  0 Apr02 ?        00:00:00 [nvme-delete-wq]
root      123702       1  0 Apr02 ?        00:00:00 collectdmon -- -C /var/lib/zstack/kvm/collectd.conf
root      123703  123702  0 Apr02 ?        00:00:32 collectd -C /var/lib/zstack/kvm/collectd.conf -f
root      123752       1  0 Apr02 ?        00:00:00 /bin/sh -c /var/lib/zstack/kvm/collectd_exporter  -collectd.listen-address :25826  > /var/lib/zstack/kvm/collectd_exporter.log 2>&1
root      123753  123752  0 Apr02 ?        00:00:52 /var/lib/zstack/kvm/collectd_exporter -collectd.listen-address :25826
root      123793       1  0 Apr02 ?        00:00:00 /bin/sh -c /var/lib/zstack/kvm/node_exporter  > /var/lib/zstack/kvm/node_exporter.log 2>&1
root      123794  123793  0 Apr02 ?        00:03:47 /var/lib/zstack/kvm/node_exporter
root      123828       1  0 Apr02 ?        00:00:00 /bin/sh -c /var/lib/zstack/kvm/pushgateway --persistence.file /var/lib/zstack/prometheus/host_pushgateway/persistence.data --persistence.interval 1m --web.listen-address :9092 --metric.timetolive 60s > /dev/null 2>&1
root      123829  123828  0 Apr02 ?        00:00:13 /var/lib/zstack/kvm/pushgateway --persistence.file /var/lib/zstack/prometheus/host_pushgateway/persistence.data --persistence.interval 1m --web.listen-address :9092 --metric.timetolive 60s
root      123905       2  0 Apr02 ?        00:00:00 [vfio-irqfd-clea]
root      123999       1  0 Apr02 ?        00:00:00 /usr/sbin/lldpd
lldpd     124008  123999  0 Apr02 ?        00:00:01 /usr/sbin/lldpd
root      132072       1  0 Apr02 ?        00:01:25 python -c from sftpbackupstorage import sftpbackupstoragedaemon; sftpbackupstoragedaemon.main() start
root      203816       1  0 Apr02 ?        00:00:00 lighttpd -f /var/lib/zstack/userdata/br_ens192_112818252d334d51938245d0ddb3e9c9/lighttpd.conf
root      203817  203816  0 Apr02 ?        00:00:01 lighttpd -f /var/lib/zstack/userdata/br_ens192_112818252d334d51938245d0ddb3e9c9/lighttpd.conf
root      226220       1  6 Apr02 ?        01:28:37 /usr/libexec/qemu-kvm -name guest=9140709d82b84199831c2899060939bc,debug-threads=on -S -object {"qom-type":"secret","id":"masterKey0","format":"raw","file":"/var/lib/libvirt/qemu/domain-2-9140709d82b84199831c/master-key.aes"} -blockdev {"driver":"file","filename":"/usr/share/edk2.git/ovmf-x64/OVMF_CODE-pure-efi.fd","node-name":"libvirt-pflash0-storage","auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-pflash0-format","read-only":true,"driver":"raw","file":"libvirt-pflash0-storage"} -blockdev {"driver":"file","filename":"/var/lib/libvirt/qemu/nvram/9140709d82b84199831c2899060939bc.fd","node-name":"libvirt-pflash1-storage","auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-pflash1-format","read-only":false,"driver":"raw","file":"libvirt-pflash1-storage"} -machine pc-q35-rhel8.6.0,usb=off,dump-guest-core=off,kernel_irqchip=on,pflash0=libvirt-pflash0-format,pflash1=libvirt-pflash1-format,memory-backend=pc.ram -accel kvm -cpu qemu64 -m 4096 -object {"qom-type":"memory-backend-ram","id":"pc.ram","size":4294967296} -overcommit mem-lock=off -smp 2,sockets=1,dies=1,cores=2,threads=1 -uuid 9140709d-82b8-4199-831c-2899060939bc -smbios type=1,serial=13e36eec-8352-4daa-a704-333d3623b6b2 -smbios type=3,manufacturer=,asset=www.zstack.io -no-user-config -nodefaults -chardev socket,id=charmonitor,fd=38,server=on,wait=off -mon chardev=charmonitor,id=monitor,mode=control -rtc base=utc -no-shutdown -global ICH9-LPC.disable_s3=1 -global ICH9-LPC.disable_s4=1 -boot menu=on,splash-time=3000,strict=on -device i82801b11-bridge,id=pci.1,bus=pcie.0,addr=0x1e -device pci-bridge,chassis_nr=2,id=pci.2,bus=pci.1,addr=0x0 -device pcie-root-port,port=16,chassis=3,id=pci.3,bus=pcie.0,multifunction=on,addr=0x2 -device pcie-root-port,port=17,chassis=4,id=pci.4,bus=pcie.0,addr=0x2.0x1 -device pcie-root-port,port=18,chassis=5,id=pci.5,bus=pcie.0,addr=0x2.0x2 -device pcie-root-port,port=19,chassis=6,id=pci.6,bus=pcie.0,addr=0x2.0x3 -device pcie-root-port,port=20,chassis=7,id=pci.7,bus=pcie.0,addr=0x2.0x4 -device pcie-root-port,port=21,chassis=8,id=pci.8,bus=pcie.0,addr=0x2.0x5 -device pcie-root-port,port=22,chassis=9,id=pci.9,bus=pcie.0,addr=0x2.0x6 -device pcie-root-port,port=23,chassis=10,id=pci.10,bus=pcie.0,addr=0x2.0x7 -device pcie-root-port,port=24,chassis=11,id=pci.11,bus=pcie.0,multifunction=on,addr=0x3 -device pcie-root-port,port=25,chassis=12,id=pci.12,bus=pcie.0,addr=0x3.0x1 -device pcie-root-port,port=26,chassis=13,id=pci.13,bus=pcie.0,addr=0x3.0x2 -device pcie-root-port,port=27,chassis=14,id=pci.14,bus=pcie.0,addr=0x3.0x3 -device pcie-root-port,port=28,chassis=15,id=pci.15,bus=pcie.0,addr=0x3.0x4 -device pcie-root-port,port=29,chassis=16,id=pci.16,bus=pcie.0,addr=0x3.0x5 -device pcie-root-port,port=30,chassis=17,id=pci.17,bus=pcie.0,addr=0x3.0x6 -device pcie-root-port,port=31,chassis=18,id=pci.18,bus=pcie.0,addr=0x3.0x7 -device pcie-root-port,port=32,chassis=19,id=pci.19,bus=pcie.0,multifunction=on,addr=0x4 -device pcie-root-port,port=33,chassis=20,id=pci.20,bus=pcie.0,addr=0x4.0x1 -device pcie-root-port,port=34,chassis=21,id=pci.21,bus=pcie.0,addr=0x4.0x2 -device pcie-root-port,port=35,chassis=22,id=pci.22,bus=pcie.0,addr=0x4.0x3 -device pcie-root-port,port=36,chassis=23,id=pci.23,bus=pcie.0,addr=0x4.0x4 -device pcie-root-port,port=37,chassis=24,id=pci.24,bus=pcie.0,addr=0x4.0x5 -device pcie-root-port,port=38,chassis=25,id=pci.25,bus=pcie.0,addr=0x4.0x6 -device pcie-root-port,port=39,chassis=26,id=pci.26,bus=pcie.0,addr=0x4.0x7 -device pcie-root-port,port=40,chassis=27,id=pci.27,bus=pcie.0,multifunction=on,addr=0x5 -device pcie-root-port,port=41,chassis=28,id=pci.28,bus=pcie.0,addr=0x5.0x1 -device pcie-root-port,port=42,chassis=29,id=pci.29,bus=pcie.0,addr=0x5.0x2 -device pcie-root-port,port=43,chassis=30,id=pci.30,bus=pcie.0,addr=0x5.0x3 -device piix3-usb-uhci,id=usb,bus=pci.2,addr=0x1 -device usb-ehci,id=usb1,bus=pci.2,addr=0x2 -device nec-usb-xhci,id=usb2,bus=pci.5,addr=0x0 -device usb-ehci,id=usb3,bus=pci.2,addr=0x3 -device nec-usb-xhci,id=usb4,bus=pci.6,addr=0x0 -device virtio-scsi-pci,id=scsi0,bus=pci.4,addr=0x0 -device virtio-serial-pci,id=virtio-serial0,bus=pci.7,addr=0x0 -blockdev {"driver":"file","filename":"/data/vms/rootVolumes/acct-36c27e8ff05c4780bf6d2fa65700f22e/vol-e964d0df55d341c6906c6170a70b40b8/e964d0df55d341c6906c6170a70b40b8.qcow2","node-name":"libvirt-2-storage","cache":{"direct":true,"no-flush":false},"auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-2-format","read-only":false,"discard":"unmap","cache":{"direct":true,"no-flush":false},"driver":"qcow2","file":"libvirt-2-storage","backing":null} -device virtio-blk-pci,bus=pci.8,addr=0x0,drive=libvirt-2-format,id=virtio-disk0,bootindex=1,write-cache=on,serial=e964d0df55d341c6906c6170a70b40b8 -blockdev {"driver":"file","filename":"/data/vms/imagecache/iso/3207956b4f6e4e188f1ec579af8e81bd/3207956b4f6e4e188f1ec579af8e81bd.iso","node-name":"libvirt-1-storage","auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-1-format","read-only":true,"driver":"raw","file":"libvirt-1-storage"} -device ide-cd,bus=ide.1,drive=libvirt-1-format,id=sata0-0-1,serial=8f42877912f7407cb1df915a283a78e7 -netdev tap,fds=39:41,id=hostnet0,vhost=on,vhostfds=42:43 -device virtio-net-pci,tx=bh,ioeventfd=on,event_idx=off,mq=on,vectors=6,rx_queue_size=1024,tx_queue_size=1024,host_mtu=1500,netdev=hostnet0,id=net0,mac=fa:cc:e2:61:19:00,bus=pci.3,addr=0x0 -chardev pty,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -chardev socket,id=charchannel0,fd=37,server=on,wait=off -device virtserialport,bus=virtio-serial0.0,nr=1,chardev=charchannel0,id=channel0,name=org.qemu.guest_agent.0 -device usb-tablet,id=input0,bus=usb.0,port=1 -audiodev {"id":"audio1","driver":"none"} -vnc 0.0.0.0:0,audiodev=audio1 -device virtio-vga,id=video0,max_outputs=1,bus=pcie.0,addr=0x1 -device virtio-balloon-pci,id=balloon0,bus=pci.9,addr=0x0 -qmp unix:/var/lib/libvirt/qemu/zstack/9140709d82b84199831c2899060939bc.sock,server,nowait -sandbox on,obsolete=deny,elevateprivileges=deny,spawn=deny,resourcecontrol=deny -msg timestamp=on
root      226236       2  0 Apr02 ?        00:00:00 [kvm-nx-lpage-re]
root      226239       2  0 Apr02 ?        00:00:04 [vhost-226220]
root      226240       2  0 Apr02 ?        00:00:17 [vhost-226220]
root      226249       2  0 Apr02 ?        00:00:00 [kvm-pit/226220]
root      340876       1  0 Apr02 tty1     00:00:00 /sbin/agetty --noclear tty1 linux
root     2908092       2  0 17:26 ?        00:00:00 [kworker/u8:2-xfs-gc/dm-0]
root     2962605       2  0 17:53 ?        00:00:00 [kworker/1:3-rcu_gp]
root     2963488       2  0 17:54 ?        00:00:00 [kworker/0:2-events_power_efficient]
root     2965974       2  0 17:55 ?        00:00:00 [kworker/3:2-rcu_gp]
root     2984473       2  0 18:05 ?        00:00:00 [kworker/u8:1-events_unbound]
root     2996206       2  0 18:10 ?        00:00:00 [kworker/2:0-rcu_gp]
root     3010049       2  0 18:17 ?        00:00:00 [kworker/1:2-rcu_gp]
root     3017978       2  0 18:22 ?        00:00:00 [kworker/2:1-mm_percpu_wq]
root     3026355       2  0 18:26 ?        00:00:00 [kworker/3:1-events_freezable_power_]
root     3033339       2  0 18:29 ?        00:00:00 [kworker/1:0-rcu_gp]
root     3034814       2  0 18:30 ?        00:00:00 [kworker/0:0-events]
root     3036325       2  0 18:31 ?        00:00:00 [kworker/3:3-rcu_gp]
root     3036784       2  0 18:31 ?        00:00:00 [kworker/2:3-rcu_gp]
root     3041779    1461  0 18:34 ?        00:00:00 sshd: root [priv]
root     3042013 3041779  0 18:34 ?        00:00:00 sshd: root@pts/1
root     3042014 3042013  0 18:34 pts/1    00:00:00 -bash
root     3043017       2  0 18:34 ?        00:00:00 [kworker/u8:0-events_unbound]
root     3044762       2  0 18:35 ?        00:00:00 [kworker/1:1-events]
root     3045332       2  0 18:35 ?        00:00:00 [kworker/0:1-events_power_efficient]
root     3047308       2  0 18:36 ?        00:00:00 [kworker/2:2-events]
root     3049130       2  0 18:37 ?        00:00:00 [kworker/u8:3-events_unbound]
root     3049740       2  0 18:38 ?        00:00:00 [kworker/3:0-events]
root     3051524 3042014  0 18:38 pts/1    00:00:00 ps -ef
root     3051525 3042014  0 18:38 pts/1    00:00:00 cat
[root@zstack130 ~]# lsmod
Module                  Size  Used by
xt_nat                 16384  1
ebt_arp                16384  2
ebt_dnat               16384  1
ebt_ip                 16384  1
veth                   32768  0
xt_NFLOG               16384  1
br_netfilter           24576  0
vhost_net              28672  2
vhost                  49152  1 vhost_net
vhost_iotlb            16384  1 vhost
tap                    28672  1 vhost_net
vfio_pci               61440  0
vfio_virqfd            16384  1 vfio_pci
vfio_iommu_type1       36864  0
vfio                   36864  2 vfio_iommu_type1,vfio_pci
nvme                   45056  0
nvme_core             139264  1 nvme
dm_round_robin         16384  0
dm_multipath           40960  1 dm_round_robin
ebtable_filter         16384  1
uas                    28672  0
xt_CHECKSUM            16384  0
ipt_MASQUERADE         16384  0
ipmi_devintf           20480  0
ipmi_msghandler       114688  1 ipmi_devintf
tun                    49152  5 vhost_net
kvm_intel             335872  2
kvm                   954368  1 kvm_intel
irqbypass              16384  12 vfio_pci,kvm
bridge                290816  1 br_netfilter
stp                    16384  1 bridge
llc                    16384  2 bridge,stp
nf_conntrack_netlink    53248  0
nft_chain_nat          16384  8
nf_nat                 45056  3 ipt_MASQUERADE,xt_nat,nft_chain_nat
overlay               139264  1
xt_state               16384  0
xt_conntrack           16384  4
nf_conntrack          172032  6 xt_conntrack,nf_nat,xt_state,ipt_MASQUERADE,xt_nat,nf_conntrack_netlink
nf_defrag_ipv6         20480  1 nf_conntrack
nf_defrag_ipv4         16384  1 nf_conntrack
usb_storage            73728  1 uas
ipt_REJECT             16384  1
nf_reject_ipv4         16384  1 ipt_REJECT
ebtable_nat            16384  1
ebtables               36864  2 ebtable_nat,ebtable_filter
nfnetlink_log          20480  2
nft_counter            16384  35
xt_comment             16384  14
nft_compat             20480  37
nf_tables             180224  89 nft_compat,nft_counter,nft_chain_nat
nfnetlink              16384  6 nft_compat,nf_conntrack_netlink,nf_tables,nfnetlink_log
sunrpc                577536  1
vfat                   20480  1
fat                    86016  1 vfat
intel_rapl_msr         16384  0
intel_rapl_common      24576  1 intel_rapl_msr
isst_if_mbox_msr       16384  0
isst_if_common         16384  1 isst_if_mbox_msr
nfit                   65536  0
libnvdimm             200704  1 nfit
crct10dif_pclmul       16384  1
crc32_pclmul           16384  0
ghash_clmulni_intel    16384  0
vmw_balloon            24576  0
rapl                   20480  0
pcspkr                 16384  0
joydev                 24576  0
i2c_piix4              24576  0
vmw_vmci               86016  1 vmw_balloon
nbd                    49152  0
xfs                  1568768  3
libcrc32c              16384  4 nf_conntrack,nf_nat,nf_tables,xfs
sr_mod                 28672  0
cdrom                  65536  1 sr_mod
sd_mod                 53248  7
t10_pi                 16384  2 sd_mod,nvme_core
sg                     40960  0
ata_generic            16384  0
vmwgfx                372736  1
drm_ttm_helper         16384  1 vmwgfx
ttm                    73728  2 vmwgfx,drm_ttm_helper
drm_kms_helper        176128  1 vmwgfx
syscopyarea            16384  1 drm_kms_helper
sysfillrect            16384  1 drm_kms_helper
sysimgblt              16384  1 drm_kms_helper
fb_sys_fops            16384  1 drm_kms_helper
drm                   565248  5 vmwgfx,drm_kms_helper,drm_ttm_helper,ttm
ahci                   40960  0
libahci                40960  1 ahci
ata_piix               36864  0
serio_raw              16384  0
libata                266240  4 ata_piix,libahci,ahci,ata_generic
crc32c_intel           24576  1
vmw_pvscsi             28672  6
vmxnet3                65536  0
dm_mirror              28672  0
dm_region_hash         20480  1 dm_mirror
dm_log                 20480  2 dm_region_hash,dm_mirror
dm_mod                151552  12 dm_multipath,dm_log,dm_mirror
[root@zstack130 ~]#

パッケージ

[root@zstack130 ~]# rpm -qa|sort
acl-2.2.53-1.el8.1.x86_64
adwaita-cursor-theme-3.28.0-2.el8.noarch
adwaita-icon-theme-3.28.0-2.el8.noarch
alsa-firmware-1.0.29-6.el8.noarch
alsa-lib-1.2.5-4.el8.x86_64
alsa-tools-firmware-1.1.6-1.el8.x86_64
annobin-9.72-1.el8_5.2.x86_64
apr-1.6.3-12.el8.x86_64
apr-util-1.6.1-6.el8.1.x86_64
Arcconf-3.03-23668.x86_64
atk-2.28.1-1.el8.x86_64
at-spi2-atk-2.26.2-1.el8.x86_64
at-spi2-core-2.28.0-1.el8.x86_64
audit-3.0.7-4.el8.x86_64
audit-libs-3.0.7-4.el8.x86_64
augeas-libs-1.12.0-6.el8.x86_64
authselect-1.2.2-3.el8.x86_64
authselect-compat-1.2.2-3.el8.x86_64
authselect-libs-1.2.2-3.el8.x86_64
autoconf-2.69-29.el8.noarch
autogen-libopts-5.18.12-8.el8.1.x86_64
avahi-0.7-20.el8.x86_64
avahi-libs-0.7-20.el8.x86_64
avahi-tools-0.7-20.el8.x86_64
basesystem-11-5.el8.noarch
bash-4.4.20-2.el8.x86_64
bash-completion-2.7-5.el8.noarch
bc-1.07.1-5.el8.x86_64
bind-export-libs-9.11.26-6.el8.x86_64
binutils-2.30-108.el8_5.1.x86_64
biosdevname-0.7.3-2.el8.x86_64
blktrace-1.2.0-10.el8.x86_64
boost-atomic-1.66.0-10.el8.x86_64
boost-chrono-1.66.0-10.el8.x86_64
boost-date-time-1.66.0-10.el8.x86_64
boost-iostreams-1.66.0-10.el8.x86_64
boost-program-options-1.66.0-10.el8.x86_64
boost-random-1.66.0-10.el8.x86_64
boost-regex-1.66.0-10.el8.x86_64
boost-system-1.66.0-10.el8.x86_64
boost-thread-1.66.0-10.el8.x86_64
bridge-utils-1.7.1-2.el8.x86_64
brotli-1.0.6-3.el8.x86_64
bubblewrap-0.4.0-1.el8.x86_64
bzip2-1.0.6-26.el8.x86_64
bzip2-libs-1.0.6-26.el8.x86_64
ca-certificates-2021.2.50-80.0.el8_4.noarch
cairo-1.15.12-3.el8.x86_64
cairo-gobject-1.15.12-3.el8.x86_64
celt051-0.5.1.3-15.el8.x86_64
checkpolicy-2.9-1.el8.x86_64
chkconfig-1.19.1-1.el8.x86_64
chrony-4.1-1.el8.x86_64
collectd-5.9.0-5.el8.x86_64
collectd-disk-5.9.0-5.el8.x86_64
collectd-virt-5.9.0-5.el8.x86_64
colord-libs-1.4.2-1.el8.x86_64
conntrack-tools-1.4.4-10.el8.x86_64
containerd.io-1.6.24-3.1.el8.x86_64
container-selinux-2.205.0-2.module+el8.8.0+1265+fa25dd7a.noarch
copy-jdk-configs-4.0-2.el8.noarch
coreutils-8.30-12.el8.x86_64
coreutils-common-8.30-12.el8.x86_64
cpio-2.12-10.el8.x86_64
cpp-8.5.0-4.el8_5.x86_64
cracklib-2.9.6-15.el8.x86_64
cracklib-dicts-2.9.6-15.el8.x86_64
createrepo_c-0.17.2-3.el8.x86_64
createrepo_c-libs-0.17.2-3.el8.x86_64
cronie-1.5.2-4.el8.x86_64
cronie-anacron-1.5.2-4.el8.x86_64
crontabs-1.11-17.20190603git.el8.noarch
crypto-policies-20210617-1.gitc776d3e.el8.noarch
crypto-policies-scripts-20210617-1.gitc776d3e.el8.noarch
cryptsetup-libs-2.3.3-4.el8_5.1.x86_64
cups-libs-2.2.6-40.el8.x86_64
curl-7.61.1-22.el8.x86_64
cyrus-sasl-2.1.27-6.el8_5.x86_64
cyrus-sasl-gssapi-2.1.27-6.el8_5.x86_64
cyrus-sasl-lib-2.1.27-6.el8_5.x86_64
cyrus-sasl-md5-2.1.27-6.el8_5.x86_64
dbus-1.12.8-14.el8.x86_64
dbus-common-1.12.8-14.el8.noarch
dbus-daemon-1.12.8-14.el8.x86_64
dbus-glib-0.110-2.el8.x86_64
dbus-libs-1.12.8-14.el8.x86_64
dbus-tools-1.12.8-14.el8.x86_64
device-mapper-1.02.177-11.el8_5.x86_64
device-mapper-event-1.02.177-11.el8_5.x86_64
device-mapper-event-libs-1.02.177-11.el8_5.x86_64
device-mapper-libs-1.02.177-11.el8_5.x86_64
device-mapper-multipath-0.8.4-17.el8_5.1.x86_64
device-mapper-multipath-libs-0.8.4-17.el8_5.1.x86_64
device-mapper-persistent-data-0.9.0-4.el8.x86_64
dhcp-client-4.3.6-45.el8.x86_64
dhcp-common-4.3.6-45.el8.noarch
dhcp-libs-4.3.6-45.el8.x86_64
diffutils-3.6-6.el8.x86_64
dlm-lib-4.1.0-1.el8.x86_64
dmidecode-3.2-10.el8.x86_64
dnf-4.7.0-4.el8.noarch
dnf-data-4.7.0-4.el8.noarch
dnf-plugins-core-4.0.21-4.el8_5.noarch
dnsmasq-2.79-19.el8.x86_64
docker-ce-19.03.13-3.el8.x86_64
docker-ce-cli-24.0.6-1.el8.x86_64
dosfstools-4.1-6.el8.x86_64
dracut-049-191.git20210920.el8.x86_64
dracut-config-rescue-049-191.git20210920.el8.x86_64
dracut-network-049-191.git20210920.el8.x86_64
dracut-squash-049-191.git20210920.el8.x86_64
drpm-0.4.1-3.el8.x86_64
dwz-0.12-10.el8.x86_64
e2fsprogs-1.45.6-2.el8.x86_64
e2fsprogs-libs-1.45.6-2.el8.x86_64
ebtables-legacy-2.0.11-9.el8.1.x86_64
edac-ctl-0.18-20.el8.x86_64
edac-util-0.18-20.el8.x86_64
edac-utils-0.18-20.el8.x86_64
edk2.git-ovmf-x64-0-20190704.1178.g4ac8ceb5d6.noarch
edk2-ovmf-20220126gitbb1bba3d77-3.el8.noarch
efibootmgr-16-1.el8.x86_64
efi-filesystem-3-3.el8.noarch
efi-srpm-macros-3-3.el8.noarch
efivar-libs-37-4.el8.x86_64
elfutils-debuginfod-client-0.185-1.el8.x86_64
elfutils-default-yama-scope-0.185-1.el8.noarch
elfutils-libelf-0.185-1.el8.x86_64
elfutils-libelf-devel-0.185-1.el8.x86_64
elfutils-libs-0.185-1.el8.x86_64
emacs-filesystem-26.1-7.el8.noarch
ethtool-5.8-7.el8.x86_64
expat-2.2.5-4.el8_5.3.x86_64
expect-5.45.4-5.el8.x86_64
file-5.33-20.el8.x86_64
file-libs-5.33-20.el8.x86_64
filesystem-3.8-6.el8.x86_64
findutils-4.6.0-20.el8.x86_64
firewalld-0.9.3-7.el8_5.1.noarch
firewalld-filesystem-0.9.3-7.el8_5.1.noarch
fontconfig-2.13.1-4.el8.x86_64
fontpackages-filesystem-1.44-22.el8.noarch
freetype-2.9.1-4.el8_3.1.x86_64
fribidi-1.0.4-8.el8.x86_64
fuse-2.9.7-17.el8.x86_64
fuse-common-3.3.0-17.el8.x86_64
fuse-libs-2.9.7-17.el8.x86_64
fuse-sshfs-2.8-5.el8.x86_64
fwupd-1.5.9-1.el8_5.0.1.x86_64
fxload-2008_10_13-10.el8.x86_64
gawk-4.2.1-2.el8.x86_64
gcc-8.5.0-4.el8_5.x86_64
gd-2.2.5-7.el8.x86_64
gdbm-1.18-1.el8.x86_64
gdbm-libs-1.18-1.el8.x86_64
gdk-pixbuf2-2.36.12-5.el8.x86_64
gdk-pixbuf2-modules-2.36.12-5.el8.x86_64
genisoimage-1.1.11-39.el8.x86_64
gettext-0.19.8.1-17.el8.x86_64
gettext-libs-0.19.8.1-17.el8.x86_64
ghc-srpm-macros-1.4.2-7.el8.noarch
giflib-5.1.4-3.el8.x86_64
git-2.27.0-1.el8.x86_64
git-core-2.27.0-1.el8.x86_64
git-core-doc-2.27.0-1.el8.noarch
glib2-2.56.4-156.el8.x86_64
glibc-2.28-164.el8_5.3.x86_64
glibc-all-langpacks-2.28-164.el8_5.3.x86_64
glibc-common-2.28-164.el8_5.3.x86_64
glibc-devel-2.28-164.el8_5.3.x86_64
glibc-headers-2.28-164.el8_5.3.x86_64
glib-networking-2.56.1-1.1.el8.x86_64
glusterfs-6.0-56.4.el8.x86_64
glusterfs-api-6.0-56.4.el8.x86_64
glusterfs-cli-6.0-56.4.el8.x86_64
glusterfs-client-xlators-6.0-56.4.el8.x86_64
glusterfs-libs-6.0-56.4.el8.x86_64
gmp-6.1.2-10.el8.x86_64
gnupg2-2.2.20-2.el8.x86_64
gnutls-3.6.16-4.el8.x86_64
gnutls-dane-3.6.16-4.el8.x86_64
gnutls-utils-3.6.16-4.el8.x86_64
gobject-introspection-1.56.1-1.el8.x86_64
google-droid-sans-fonts-20120715-13.el8.noarch
go-srpm-macros-2-17.el8.noarch
gpgme-1.13.1-9.el8.x86_64
gpm-libs-1.20.7-17.el8.x86_64
grafana-7.5.9-5.el8_5.x86_64
graphite2-1.3.10-10.el8.x86_64
grep-3.1-6.el8.x86_64
groff-base-1.22.3-18.el8.x86_64
grub2-common-2.02-106.el8.0.2.noarch
grub2-efi-x64-2.02-106.el8.0.2.x86_64
grub2-tools-2.02-106.el8.0.2.x86_64
grub2-tools-extra-2.02-106.el8.0.2.x86_64
grub2-tools-minimal-2.02-106.el8.0.2.x86_64
grubby-8.40-42.el8.x86_64
gsettings-desktop-schemas-3.32.0-6.el8.x86_64
gssproxy-0.8.0-19.el8.x86_64
gstreamer1-1.16.1-2.el8.x86_64
gstreamer1-plugins-base-1.16.1-2.el8.x86_64
gtk2-2.24.32-5.el8.x86_64
gtk3-3.22.30-8.el8.x86_64
gtk-update-icon-cache-3.22.30-8.el8.x86_64
gzip-1.9-13.el8_5.x86_64
hardlink-1.3-6.el8.x86_64
harfbuzz-1.7.5-3.el8.x86_64
hdparm-9.54-4.el8.x86_64
helix-gpg-keys-8.4r-36.el8.noarch
helix-release-8.4r-36.el8.noarch
helix-repos-8.4r-36.el8.noarch
hicolor-icon-theme-0.17-2.el8.noarch
hostname-3.20-6.el8.x86_64
httpd-2.4.37-43.module+el8.5.0+747+83fae388.3.x86_64
httpd-filesystem-2.4.37-43.module+el8.5.0+747+83fae388.3.noarch
httpd-tools-2.4.37-43.module+el8.5.0+747+83fae388.3.x86_64
hwdata-0.314-8.10.el8.noarch
ima-evm-utils-1.3.2-12.el8.x86_64
info-6.5-6.el8.x86_64
initscripts-10.00.18-1.el8.x86_64
ipcalc-0.2.4-4.el8.x86_64
ipmitool-1.8.18-18.el8.x86_64
iproute-5.12.0-4.el8.x86_64
iproute-tc-5.12.0-4.el8.x86_64
iprutils-2.4.19-1.el8.x86_64
ipset-7.1-1.el8.x86_64
ipset-libs-7.1-1.el8.x86_64
iptables-1.8.4-20.el8.x86_64
iptables-libs-1.8.4-20.el8.x86_64
iptables-services-1.8.4-20.el8.x86_64
iputils-20180629-7.el8.x86_64
ipxe-roms-qemu-20181214-8.git133f4c47.el8.noarch
irqbalance-1.4.0-6.el8.x86_64
iscsi-initiator-utils-6.2.1.4-4.git095f59c.el8.x86_64
iscsi-initiator-utils-iscsiuio-6.2.1.4-4.git095f59c.el8.x86_64
isl-0.16.1-6.el8.x86_64
isns-utils-libs-0.99-1.el8.x86_64
iso-codes-3.79-2.el8.noarch
iwl1000-firmware-39.31.5.1-104.el8_5.1.noarch
iwl100-firmware-39.31.5.1-104.el8_5.1.noarch
iwl105-firmware-18.168.6.1-104.el8_5.1.noarch
iwl135-firmware-18.168.6.1-104.el8_5.1.noarch
iwl2000-firmware-18.168.6.1-104.el8_5.1.noarch
iwl2030-firmware-18.168.6.1-104.el8_5.1.noarch
iwl3160-firmware-25.30.13.0-104.el8_5.1.noarch
iwl3945-firmware-15.32.2.9-104.el8_5.1.noarch
iwl4965-firmware-228.61.2.24-104.el8_5.1.noarch
iwl5000-firmware-8.83.5.1_1-104.el8_5.1.noarch
iwl5150-firmware-8.24.2.2-104.el8_5.1.noarch
iwl6000-firmware-9.221.4.1-104.el8_5.1.noarch
iwl6000g2a-firmware-18.168.6.1-104.el8_5.1.noarch
iwl6000g2b-firmware-18.168.6.1-104.el8_5.1.noarch
iwl6050-firmware-41.28.5.1-104.el8_5.1.noarch
iwl7260-firmware-25.30.13.0-104.el8_5.1.noarch
jansson-2.11-3.el8.x86_64
jasper-libs-2.0.14-5.el8.x86_64
java-11-openjdk-11.0.22.0.7-2.el8.x86_64
java-11-openjdk-devel-11.0.22.0.7-2.el8.x86_64
java-11-openjdk-headless-11.0.22.0.7-2.el8.x86_64
java-1.8.0-openjdk-1.8.0.332.b09-1.el8_5.x86_64
java-1.8.0-openjdk-devel-1.8.0.332.b09-1.el8_5.x86_64
java-1.8.0-openjdk-headless-1.8.0.332.b09-1.el8_5.x86_64
javapackages-filesystem-5.3.0-2.module+el8.3.0+125+5da1ae29.noarch
jbigkit-libs-2.1-14.el8.x86_64
json-c-0.13.1-2.el8.x86_64
json-glib-1.4.4-1.el8.x86_64
kbd-2.0.4-10.el8.x86_64
kbd-legacy-2.0.4-10.el8.noarch
kbd-misc-2.0.4-10.el8.noarch
kernel-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-core-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-devel-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-headers-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-modules-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-tools-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-tools-libs-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kexec-tools-2.0.20-57.el8_5.1.x86_64
keyutils-1.5.10-9.el8.x86_64
keyutils-libs-1.5.10-9.el8.x86_64
keyutils-libs-devel-1.5.10-9.el8.x86_64
kmod-25-18.el8.x86_64
kmod-libs-25-18.el8.x86_64
kpartx-0.8.4-17.el8_5.1.x86_64
krb5-devel-1.18.2-14.el8.x86_64
krb5-libs-1.18.2-14.el8.x86_64
lcms2-2.9-2.el8.x86_64
less-530-1.el8.x86_64
leveldb-1.22-1.el8.x86_64
libacl-2.2.53-1.el8.1.x86_64
libaio-0.3.112-1.el8.x86_64
libarchive-3.3.3-3.el8_5.x86_64
libassuan-2.5.1-3.el8.x86_64
libattr-2.4.48-3.el8.x86_64
libbabeltrace-1.5.4-3.el8.x86_64
libbasicobjects-0.1.1-39.el8.x86_64
libblkid-2.32.1-28.el8.x86_64
libbpf-0.4.0-1.el8.x86_64
libcap-2.26-5.el8.x86_64
libcap-ng-0.7.11-1.el8.x86_64
libcbd-v1.2.6-148.g69bd873f.el8.x86_64
libcgroup-0.41-19.el8.x86_64
libcollection-0.7.0-39.el8.x86_64
libcom_err-1.45.6-2.el8.x86_64
libcom_err-devel-1.45.6-2.el8.x86_64
libcomps-0.1.16-2.el8.x86_64
libcroco-0.6.12-4.el8_2.1.x86_64
libcurl-7.61.1-22.el8.x86_64
libdaemon-0.14-15.el8.x86_64
libdatrie-0.2.9-7.el8.x86_64
libdb-5.3.28-42.el8_4.x86_64
libdb-utils-5.3.28-42.el8_4.x86_64
libdnf-0.63.0-3.el8.x86_64
libdrm-2.4.106-2.el8.x86_64
libedac-0.18-20.el8.x86_64
libedit-3.1-23.20170329cvs.el8.x86_64
libepoxy-1.5.8-1.el8.x86_64
libestr-0.1.10-1.el8.x86_64
libevent-2.1.8-5.el8.x86_64
libfastjson-0.99.9-1.el8.x86_64
libfdisk-2.32.1-28.el8.x86_64
libfdt-1.6.0-1.el8.x86_64
libffi-3.1-22.el8.x86_64
libffi-devel-3.1-22.el8.x86_64
libfontenc-1.1.3-8.el8.x86_64
libgcab1-1.1-1.el8.x86_64
libgcc-8.5.0-4.el8_5.x86_64
libgcrypt-1.8.5-6.el8.x86_64
libglvnd-1.3.2-1.el8.x86_64
libglvnd-egl-1.3.2-1.el8.x86_64
libglvnd-gles-1.3.2-1.el8.x86_64
libglvnd-glx-1.3.2-1.el8.x86_64
libgomp-8.5.0-4.el8_5.x86_64
libgpg-error-1.31-1.el8.x86_64
libgudev-232-4.el8.x86_64
libgusb-0.3.0-1.el8.x86_64
libibverbs-35.0-1.el8.x86_64
libicu-60.3-2.el8_1.x86_64
libidn2-2.2.0-1.el8.x86_64
libini_config-1.3.1-39.el8.x86_64
libiscsi-1.18.0-8.module+el8.4.0+534+4680a14e.x86_64
libjpeg-turbo-1.5.3-12.el8.x86_64
libkadm5-1.18.2-14.el8.x86_64
libkcapi-1.2.0-2.el8.x86_64
libkcapi-hmaccalc-1.2.0-2.el8.x86_64
libksba-1.3.5-7.el8.x86_64
libmaxminddb-1.2.0-10.el8.x86_64
libmbim-1.20.2-1.el8.x86_64
libmetalink-0.1.3-7.el8.x86_64
libmnl-1.0.4-6.el8.x86_64
libmodman-2.0.1-17.el8.x86_64
libmodulemd-2.13.0-1.el8.x86_64
libmount-2.32.1-28.el8.x86_64
libmpc-1.1.0-9.1.el8.x86_64
libnetfilter_conntrack-1.0.6-5.el8.x86_64
libnetfilter_cthelper-1.0.0-15.el8.x86_64
libnetfilter_cttimeout-1.0.0-11.el8.x86_64
libnetfilter_queue-1.0.4-3.el8.x86_64
libnfnetlink-1.0.1-13.el8.x86_64
libnfsidmap-2.3.3-46.el8.x86_64
libnftnl-1.1.5-4.el8.x86_64
libnghttp2-1.33.0-3.el8_3.1.x86_64
libnl3-3.5.0-1.el8.x86_64
libnsl2-1.2.0-2.20180605git4a062cf.el8.x86_64
libogg-1.3.2-10.el8.x86_64
libpath_utils-0.2.1-39.el8.x86_64
libpcap-1.9.1-5.el8.x86_64
libpciaccess-0.14-1.el8.x86_64
libpipeline-1.5.0-2.el8.x86_64
libpkgconf-1.4.2-1.el8.x86_64
libpmem-1.6.1-1.el8.x86_64
libpng-1.6.34-5.el8.x86_64
libproxy-0.4.15-5.2.el8.x86_64
libpsl-0.20.2-6.el8.x86_64
libpwquality-1.4.4-3.el8.x86_64
libqmi-1.24.0-3.el8.x86_64
librados2-12.2.7-9.el8.x86_64
librbd1-12.2.7-9.el8.x86_64
librdmacm-35.0-1.el8.x86_64
libref_array-0.1.5-39.el8.x86_64
librepo-1.14.0-2.el8.x86_64
libreport-filesystem-2.9.5-15.el8.rocky.6.3.x86_64
libseccomp-2.5.1-1.el8.x86_64
libsecret-0.18.6-1.el8.0.2.x86_64
libselinux-2.9-5.el8.x86_64
libselinux-devel-2.9-5.el8.x86_64
libselinux-python-2.9-2.1.module+el8.4.0+532+c114ce35.x86_64
libselinux-utils-2.9-5.el8.x86_64
libsemanage-2.9-9.el8_6.x86_64
libsepol-2.9-3.el8.x86_64
libsepol-devel-2.9-3.el8.x86_64
libsigsegv-2.11-5.el8.x86_64
libsmartcols-2.32.1-28.el8.x86_64
libsmbios-2.4.1-2.el8.x86_64
libsolv-0.7.19-1.el8.x86_64
libsoup-2.62.3-2.el8.x86_64
libss-1.45.6-2.el8.x86_64
libssh-0.9.4-3.el8.x86_64
libssh-config-0.9.4-3.el8.noarch
libsss_idmap-2.5.2-2.el8_5.4.x86_64
libsss_nss_idmap-2.5.2-2.el8_5.4.x86_64
libstdc++-8.5.0-4.el8_5.x86_64
libsysfs-2.1.0-24.el8.x86_64
libtasn1-4.13-3.el8.x86_64
libthai-0.1.27-2.el8.x86_64
libtheora-1.1.1-21.el8.x86_64
libtiff-4.0.9-20.el8.x86_64
libtirpc-1.1.4-5.el8.x86_64
libtomcrypt-1.18.2-5.el8.x86_64
libtommath-1.1.0-1.el8.x86_64
libtpms-0.9.1-2.20211126git1ff6fe1f43.module+el8.8.0+1279+230c2115.x86_64
libunistring-0.9.9-3.el8.x86_64
libusal-1.1.11-39.el8.x86_64
libusbx-1.0.23-4.el8.x86_64
libuser-0.62-23.el8.x86_64
libutempter-1.1.6-14.el8.x86_64
libuuid-2.32.1-28.el8.x86_64
libverto-0.3.0-5.el8.x86_64
libverto-devel-0.3.0-5.el8.x86_64
libverto-libevent-0.3.0-5.el8.x86_64
libvirt-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-client-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-config-network-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-config-nwfilter-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-interface-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-network-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-nodedev-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-nwfilter-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-qemu-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-secret-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-core-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-disk-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-gluster-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-iscsi-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-iscsi-direct-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-logical-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-mpath-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-rbd-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-scsi-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-kvm-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-libs-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-python-4.9.0-1.el7.x86_64
libvisual-0.4.0-25.el8.x86_64
libvorbis-1.3.6-2.el8.x86_64
libwayland-client-1.19.0-1.el8.x86_64
libwayland-cursor-1.19.0-1.el8.x86_64
libwayland-egl-1.19.0-1.el8.x86_64
libwayland-server-1.19.0-1.el8.x86_64
libwebp-1.0.0-5.el8.x86_64
libX11-1.6.8-5.el8.x86_64
libX11-common-1.6.8-5.el8.noarch
libX11-xcb-1.6.8-5.el8.x86_64
libXau-1.0.9-3.el8.x86_64
libxcb-1.13.1-1.el8.x86_64
libXcomposite-0.4.4-14.el8.x86_64
libxcrypt-4.1.1-6.el8.x86_64
libxcrypt-devel-4.1.1-6.el8.x86_64
libXcursor-1.1.15-3.el8.x86_64
libXdamage-1.1.4-14.el8.x86_64
libXext-1.3.4-1.el8.x86_64
libXfixes-5.0.3-7.el8.x86_64
libXft-2.3.3-1.el8.x86_64
libXi-1.7.10-1.el8.x86_64
libXinerama-1.1.4-1.el8.x86_64
libxkbcommon-0.9.1-1.el8.x86_64
libxml2-2.9.7-12.el8_5.x86_64
libxmlb-0.1.15-1.el8.x86_64
libXpm-3.5.12-8.el8.x86_64
libXrandr-1.5.2-1.el8.x86_64
libXrender-0.9.10-7.el8.x86_64
libxshmfence-1.3-2.el8.x86_64
libxslt-1.1.32-6.el8.x86_64
libXtst-1.2.3-7.el8.x86_64
libXv-1.0.11-7.el8.x86_64
libXxf86vm-1.1.4-9.el8.x86_64
libyaml-0.1.7-5.el8.x86_64
libzstd-1.4.4-1.el8.x86_64
lighttpd-1.4.67-1.el8.x86_64
lighttpd-filesystem-1.4.67-1.el8.noarch
lighttpd-mod_authn_ldap-1.4.67-1.el8.x86_64
lighttpd-mod_deflate-1.4.67-1.el8.x86_64
lighttpd-mod_magnet-1.4.67-1.el8.x86_64
lighttpd-mod_openssl-1.4.67-1.el8.x86_64
lighttpd-mod_vhostdb_ldap-1.4.67-1.el8.x86_64
lighttpd-mod_webdav-1.4.67-1.el8.x86_64
linux-firmware-20210702-104.gitd79c2677.el8_5.noarch
lksctp-tools-1.0.18-3.el8.x86_64
lldpd-1.0.1-2.el8.x86_64
llvm-libs-12.0.1-2.module+el8.5.0+692+8756646f.x86_64
lm_sensors-libs-3.4.0-23.20180522git70f7e08.el8.x86_64
logrotate-3.14.0-4.el8.x86_64
lsof-4.93.2-1.el8.x86_64
lsscsi-0.32-3.el8.x86_64
lttng-tools-2.8.8-1.el8.x86_64
lttng-ust-2.8.1-11.el8.x86_64
lua-5.3.4-12.el8.x86_64
lua-libs-5.3.4-12.el8.x86_64
lvm2-2.03.12-11.el8_5.x86_64
lvm2-libs-2.03.12-11.el8_5.x86_64
lvm2-lockd-2.03.12-11.el8_5.x86_64
lz4-libs-1.8.3-3.el8_4.x86_64
lzo-2.08-14.el8.x86_64
lzop-1.03-20.el8.x86_64
m4-1.4.18-7.el8.x86_64
mailcap-2.1.48-3.el8.noarch
make-4.2.1-10.el8.x86_64
man-db-2.7.6.1-18.el8.x86_64
mariadb-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
mariadb-common-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
mariadb-connector-c-3.1.11-2.el8_3.x86_64
mariadb-connector-c-config-3.1.11-2.el8_3.noarch
mariadb-errmsg-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
mariadb-server-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
mcelog-175-1.el8.x86_64
mdevctl-1.1.0-2.el8.x86_64
MegaCli-8.07.14-1.noarch
mesa-dri-drivers-21.1.5-1.el8.0.x86_64
mesa-filesystem-21.1.5-1.el8.0.x86_64
mesa-libEGL-21.1.5-1.el8.0.x86_64
mesa-libgbm-21.1.5-1.el8.0.x86_64
mesa-libGL-21.1.5-1.el8.0.x86_64
mesa-libglapi-21.1.5-1.el8.0.x86_64
microcode_ctl-20210608-1.20220207.1.el8_5.x86_64
ModemManager-glib-1.10.8-4.el8.x86_64
mod_http2-1.15.7-3.module+el8.5.0+695+1fa8055e.x86_64
mokutil-0.3.0-11.el8.x86_64
mozjs60-60.9.0-4.el8.x86_64
mpfr-3.1.6-1.el8.x86_64
mtools-4.0.18-14.el8.x86_64
ncurses-6.1-9.20180224.el8.x86_64
ncurses-base-6.1-9.20180224.el8.noarch
ncurses-libs-6.1-9.20180224.el8.x86_64
netcf-libs-0.2.8-12.module+el8.4.0+534+4680a14e.x86_64
net-snmp-agent-libs-5.8-22.el8.x86_64
net-snmp-libs-5.8-22.el8.x86_64
nettle-3.4.1-7.el8.x86_64
net-tools-2.0-0.52.20160912git.el8.x86_64
network-scripts-10.00.18-1.el8.x86_64
nfs-utils-2.3.3-46.el8.x86_64
nftables-0.9.3-21.el8.x86_64
nginx-1.24.0-1.el8.x86_64
nginx-all-modules-1.24.0-1.el8.noarch
nginx-filesystem-1.24.0-1.el8.noarch
nginx-mod-http-image-filter-1.24.0-1.el8.x86_64
nginx-mod-http-perl-1.24.0-1.el8.x86_64
nginx-mod-http-xslt-filter-1.24.0-1.el8.x86_64
nginx-mod-mail-1.24.0-1.el8.x86_64
nginx-mod-stream-1.24.0-1.el8.x86_64
nmap-7.70-6.el8.x86_64
nmap-ncat-7.70-6.el8.x86_64
nodejs-14.21.1-2.module+el8.7.0+1116+bd2a84b4.x86_64
npth-1.5-4.el8.x86_64
nspr-4.32.0-1.el8_4.x86_64
nss-3.67.0-7.el8_5.x86_64
nss-softokn-3.67.0-7.el8_5.x86_64
nss-softokn-freebl-3.67.0-7.el8_5.x86_64
nss-sysinit-3.67.0-7.el8_5.x86_64
nss-util-3.67.0-7.el8_5.x86_64
numactl-libs-2.0.12-13.el8.x86_64
numad-0.5-26.20150602git.el8.x86_64
nvme-cli-1.14-3.el8.x86_64
ocaml-srpm-macros-5-4.el8.noarch
openblas-srpm-macros-2-2.el8.noarch
OpenIPMI-modalias-2.0.23-2.el7.x86_64
openldap-2.4.46-18.el8.x86_64
openssh-8.0p1-19.el8_8.x86_64
openssh-clients-8.0p1-19.el8_8.x86_64
openssh-server-8.0p1-19.el8_8.x86_64
openssl-1.1.1k-9.el8_7.x86_64
openssl-devel-1.1.1k-9.el8_7.x86_64
openssl-libs-1.1.1k-9.el8_7.x86_64
opus-1.3-0.4.beta.el8.x86_64
orc-0.4.28-3.el8.x86_64
os-prober-1.74-9.el8.x86_64
p11-kit-0.23.22-1.el8.x86_64
p11-kit-trust-0.23.22-1.el8.x86_64
pam-1.3.1-15.el8.x86_64
pango-1.42.4-8.el8.x86_64
parted-3.2-39.el8.x86_64
passwd-0.80-3.el8.x86_64
pciutils-3.7.0-1.el8.x86_64
pciutils-libs-3.7.0-1.el8.x86_64
pcre2-10.32-2.el8.x86_64
pcre2-devel-10.32-2.el8.x86_64
pcre2-utf16-10.32-2.el8.x86_64
pcre2-utf32-10.32-2.el8.x86_64
pcre-8.42-6.el8.x86_64
perl-Carp-1.42-396.el8.noarch
perl-constant-1.33-396.el8.noarch
perl-Data-Dumper-2.167-399.el8.x86_64
perl-Digest-1.17-395.el8.noarch
perl-Digest-MD5-2.55-396.el8.x86_64
perl-Encode-2.97-3.el8.x86_64
perl-Errno-1.28-420.el8.x86_64
perl-Error-0.17025-2.el8.noarch
perl-Exporter-5.72-396.el8.noarch
perl-File-Path-2.15-2.el8.noarch
perl-File-Temp-0.230.600-1.el8.noarch
perl-Getopt-Long-2.50-4.el8.noarch
perl-Git-2.27.0-1.el8.noarch
perl-HTTP-Tiny-0.074-1.el8.noarch
perl-interpreter-5.26.3-420.el8.x86_64
perl-IO-1.38-420.el8.x86_64
perl-IO-Socket-IP-0.39-5.el8.noarch
perl-IO-Socket-SSL-2.066-4.module+el8.4.0+512+d4f0fc54.noarch
perl-libnet-3.11-3.el8.noarch
perl-libs-5.26.3-420.el8.x86_64
perl-macros-5.26.3-420.el8.x86_64
perl-MIME-Base64-3.15-396.el8.x86_64
perl-Net-SSLeay-1.88-1.module+el8.4.0+512+d4f0fc54.x86_64
perl-parent-0.237-1.el8.noarch
perl-PathTools-3.74-1.el8.x86_64
perl-Pod-Escapes-1.07-395.el8.noarch
perl-podlators-4.11-1.el8.noarch
perl-Pod-Perldoc-3.28-396.el8.noarch
perl-Pod-Simple-3.35-395.el8.noarch
perl-Pod-Usage-1.69-395.el8.noarch
perl-Scalar-List-Utils-1.49-2.el8.x86_64
perl-Socket-2.027-3.el8.x86_64
perl-srpm-macros-1-25.el8.noarch
perl-Storable-3.11-3.el8.x86_64
perl-Term-ANSIColor-4.06-396.el8.noarch
perl-Term-Cap-1.17-395.el8.noarch
perl-TermReadKey-2.37-7.el8.x86_64
perl-Text-ParseWords-3.30-395.el8.noarch
perl-Text-Tabs+Wrap-2013.0523-395.el8.noarch
perl-threads-2.21-2.el8.x86_64
perl-threads-shared-1.58-2.el8.x86_64
perl-Time-Local-1.280-1.el8.noarch
perl-Unicode-Normalize-1.25-396.el8.x86_64
perl-URI-1.73-3.el8.noarch
pinentry-1.1.0-2.el8.x86_64
pixman-0.38.4-1.el8.x86_64
pkgconf-1.4.2-1.el8.x86_64
pkgconf-m4-1.4.2-1.el8.noarch
pkgconf-pkg-config-1.4.2-1.el8.x86_64
platform-python-3.6.8-41.el8.rocky.0.x86_64
platform-python-pip-9.0.3-20.el8.rocky.0.noarch
platform-python-setuptools-39.2.0-6.el8.noarch
plymouth-0.9.4-10.20200615git1e36e30.el8_5.1.x86_64
plymouth-core-libs-0.9.4-10.20200615git1e36e30.el8_5.1.x86_64
plymouth-scripts-0.9.4-10.20200615git1e36e30.el8_5.1.x86_64
policycoreutils-2.9-24.el8.x86_64
policycoreutils-python-utils-2.9-24.el8.noarch
polkit-0.115-13.el8_5.2.x86_64
polkit-libs-0.115-13.el8_5.2.x86_64
polkit-pkla-compat-0.1-12.el8.x86_64
popt-1.18-1.el8.x86_64
postfix-3.5.8-2.el8.x86_64
procps-ng-3.3.15-6.el8.x86_64
psmisc-23.1-5.el8.x86_64
publicsuffix-list-dafsa-20180723-1.el8.noarch
pv-1.6.6-7.el8.x86_64
pyparted-3.11.4-4.el8.x86_64
python2-2.7.18-7.module+el8.5.0+718+67e45b5f.rocky.0.2.x86_64
python2-backports-1.0-16.module+el8.4.0+403+9ae17a31.x86_64
python2-backports-ssl_match_hostname-3.5.0.1-12.module+el8.4.0+403+9ae17a31.noarch
python2-crypto-2.6.1-28.1.el8.x86_64
python2-devel-2.7.18-7.module+el8.5.0+718+67e45b5f.rocky.0.2.x86_64
python2-ipaddress-1.0.18-6.module+el8.4.0+403+9ae17a31.noarch
python2-libs-2.7.18-7.module+el8.5.0+718+67e45b5f.rocky.0.2.x86_64
python2-pip-9.0.3-18.module+el8.4.0+403+9ae17a31.noarch
python2-pip-wheel-9.0.3-18.module+el8.4.0+403+9ae17a31.noarch
python2-PyMySQL-0.8.0-10.module+el8.5.0+706+735ec4b3.noarch
python2-rpm-macros-3-38.module+el8.4.0+403+9ae17a31.noarch
python2-setuptools-39.0.1-13.module+el8.4.0+403+9ae17a31.noarch
python2-setuptools-wheel-39.0.1-13.module+el8.4.0+403+9ae17a31.noarch
python36-3.6.8-38.module+el8.5.0+671+195e4563.x86_64
python3-audit-3.0.7-4.el8.x86_64
python3-configobj-5.0.6-11.el8.noarch
python3-dateutil-2.6.1-6.el8.noarch
python3-dbus-1.2.4-15.el8.x86_64
python3-decorator-4.2.1-2.el8.noarch
python3-dnf-4.7.0-4.el8.noarch
python3-dnf-plugins-core-4.0.21-4.el8_5.noarch
python3-firewall-0.9.3-7.el8_5.1.noarch
python3-gobject-base-3.28.3-2.el8.x86_64
python3-gpg-1.13.1-9.el8.x86_64
python3-hawkey-0.63.0-3.el8.x86_64
python3-libcomps-0.1.16-2.el8.x86_64
python3-libdnf-0.63.0-3.el8.x86_64
python3-libs-3.6.8-41.el8.rocky.0.x86_64
python3-libselinux-2.9-5.el8.x86_64
python3-libsemanage-2.9-9.el8_6.x86_64
python3-linux-procfs-0.6.3-1.el8.noarch
python3-nftables-0.9.3-21.el8.x86_64
python3-perf-4.18.0-348.23.1.2.g50e329dc22ea.el8.x86_64
python3-pip-9.0.3-20.el8.rocky.0.noarch
python3-pip-wheel-9.0.3-20.el8.rocky.0.noarch
python3-policycoreutils-2.9-24.el8.noarch
python3-pyasn1-0.3.7-6.el8.noarch
python3-pyudev-0.21.0-7.el8.noarch
python3-pyyaml-3.12-12.el8.x86_64
python3-rpm-4.14.3-19.el8_5.2.x86_64
python3-rpm-generators-5-7.el8.noarch
python3-rpm-macros-3-41.el8.noarch
python3-rsa-4.8-1.el8.noarch
python3-setools-4.3.0-3.el8.x86_64
python3-setuptools-39.2.0-6.el8.noarch
python3-setuptools-wheel-39.2.0-6.el8.noarch
python3-six-1.11.0-8.el8.noarch
python3-slip-0.6.4-11.el8.noarch
python3-slip-dbus-0.6.4-11.el8.noarch
python3-syspurpose-1.28.21-5.el8_5.x86_64
python-pyudev-0.15-9.el7.noarch
python-rpm-macros-3-41.el8.noarch
python-srpm-macros-3-41.el8.noarch
qemu-img-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-cbd-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-curl-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-gluster-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-iscsi-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-rbd-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-ssh-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-common-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-core-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-docs-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-hw-usbredir-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-ui-opengl-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-ui-spice-6.2.0-220.gd86cb318e7.el8.x86_64
qt5-srpm-macros-5.15.2-1.el8.0.1.noarch
quota-4.04-14.el8.x86_64
quota-nls-4.04-14.el8.noarch
rdma-core-35.0-1.el8.x86_64
readline-7.0-10.el8.x86_64
redhat-rpm-config-125-1.el8.noarch
redis-5.0.3-5.module+el8.5.0+657+2674830e.x86_64
rest-0.8.1-2.el8.x86_64
rocky-logos-85.0-3.el8.x86_64
rocky-logos-httpd-85.0-3.el8.noarch
rootfiles-8.1-22.el8.noarch
rpcbind-1.2.5-8.el8.x86_64
rpm-4.14.3-19.el8_5.2.x86_64
rpm-build-libs-4.14.3-19.el8_5.2.x86_64
rpm-libs-4.14.3-19.el8_5.2.x86_64
rpm-plugin-selinux-4.14.3-19.el8_5.2.x86_64
rsync-3.1.3-12.el8.x86_64
rsyslog-8.2102.0-5.el8.x86_64
rust-srpm-macros-5-2.el8.noarch
sanlock-3.8.4-2.el8_5.x86_64
sanlock-lib-3.8.4-2.el8_5.x86_64
seabios-bin-1.13.0-2.module+el8.4.0+534+4680a14e.noarch
seavgabios-bin-1.13.0-2.module+el8.4.0+534+4680a14e.noarch
sed-4.5-2.el8.x86_64
selinux-policy-3.14.3-117.el8_8.2.noarch
selinux-policy-targeted-3.14.3-117.el8_8.2.noarch
setup-2.12.2-6.el8.noarch
sg3_utils-1.44-6.el8.x86_64
sg3_utils-libs-1.44-6.el8.x86_64
sgabios-bin-0.20170427git-3.module+el8.4.0+534+4680a14e.noarch
shadow-utils-4.6-14.el8.x86_64
shared-mime-info-1.9-3.el8.x86_64
shim-x64-15.4-2.el8_5.2.rocky.x86_64
smartmontools-7.1-1.el8.x86_64
snappy-1.1.8-3.el8.x86_64
spice-server-0.14.3-4.el8.x86_64
sqlite-3.26.0-15.el8.x86_64
sqlite-libs-3.26.0-15.el8.x86_64
squashfs-tools-4.3-20.el8.x86_64
sshpass-1.09-4.el8.x86_64
sssd-client-2.5.2-2.el8_5.4.x86_64
storcli-007.1804.0000.0000-1.noarch
sudo-1.8.29-7.el8_4.1.x86_64
swtpm-0.7.0-4.20211109gitb79fd91.module+el8.8.0+1279+230c2115.x86_64
swtpm-libs-0.7.0-4.20211109gitb79fd91.module+el8.8.0+1279+230c2115.x86_64
swtpm-tools-0.7.0-4.20211109gitb79fd91.module+el8.8.0+1279+230c2115.x86_64
sysfsutils-2.1.0-24.el8.x86_64
syslinux-6.04-5.el8.x86_64
syslinux-nonlinux-6.04-5.el8.noarch
sysstat-11.7.3-6.el8.x86_64
systemd-239-51.el8_5.5.x86_64
systemd-container-239-51.el8_5.5.x86_64
systemd-libs-239-51.el8_5.5.x86_64
systemd-pam-239-51.el8_5.5.x86_64
systemd-udev-239-51.el8_5.5.x86_64
tar-1.30-5.el8.x86_64
tcl-8.6.8-2.el8.x86_64
telnet-0.17-76.el8.x86_64
tpm2-tss-2.3.2-4.el8.x86_64
traceroute-2.1.0-6.el8.x86_64
tree-1.7.0-15.el8.x86_64
trousers-0.3.15-1.el8.x86_64
trousers-lib-0.3.15-1.el8.x86_64
ttmkfdir-3.0.9-54.el8.x86_64
tuned-2.16.0-1.el8.noarch
tzdata-2024a-1.el8.noarch
tzdata-java-2024a-1.el8.noarch
unbound-libs-1.7.3-17.el8.x86_64
unzip-6.0-45.el8_4.x86_64
usbredir-0.12.0-2.el8.x86_64
usbredir-server-0.12.0-2.el8.x86_64
usbutils-010-3.el8.x86_64
userspace-rcu-0.10.1-4.el8.x86_64
util-linux-2.32.1-28.el8.x86_64
vim-common-8.0.1763-16.el8_5.13.x86_64
vim-enhanced-8.0.1763-16.el8_5.13.x86_64
vim-filesystem-8.0.1763-16.el8_5.13.noarch
vim-minimal-8.0.1763-16.el8_5.13.x86_64
virt-what-1.18-12.el8.x86_64
vsftpd-3.0.3-34.el8.x86_64
wget-1.19.5-10.el8.x86_64
which-2.21-16.el8.x86_64
xfsprogs-5.0.0-9.el8.x86_64
xkeyboard-config-2.28-1.el8.noarch
xml-common-0.6.3-50.el8.noarch
xorg-x11-fonts-Type1-7.5-19.el8.noarch
xorg-x11-font-utils-7.5-41.el8.x86_64
xz-5.2.4-3.el8.1.x86_64
xz-libs-5.2.4-3.el8.1.x86_64
yajl-2.1.0-10.el8.x86_64
yum-4.7.0-4.el8.noarch
yum-utils-4.0.21-4.el8_5.noarch
zip-3.0-23.el8.x86_64
zlib-1.2.11-18.el8_5.x86_64
zlib-devel-1.2.11-18.el8_5.x86_64
zs-forecast-capacity-1.0-1.1.x86_64
zstack-manager-5.0.0-1.h8.zstack.noarch
zstack-release-h84r-1.h8.zstack.noarch
[root@zstack130 ~]#