Zstack Cloudをインストールしてみた


VMware vSphere環境の代替プロダクトを探している途中に見つけたZstack Cloud / 中国語ページ

中国で開発されていて、KVMベースの仮想環境だとのこと。

開発は中国主体の https://gitee.com/zstackio/zstack が元で、このコピーを https://github.com/zstackio/zstack にもおいてある。

giteeの方は、5.1.0ツリーなどがあるがgithubにはない、などすべて同期されているわけではないようだ。

Community Editionがあるので導入できそうだが、Downloadリンクはユーザ情報を要求される。

ドキュメントサイトからInstallation and Deployment(ZStack Cloud 4.8.0 LTS)を見てみるとインストール用ISOは ZStack-Cloud-x86_64-DVD-4.8.0-h79c.iso というファイル名らしいので検索してみると 中国語版の 最新下载ページが出てくる。

・・・・・・・2024/03/29付けで新しい5.0.0がリリースされていて、4.8.0はダウンロードできなくなってますね。

Installation and Deployment(ZStack Cloud 5.0.0) を確認すると、いままで h76c/h79c/h84rと3種類のISOがあったものが h84rに一本化されたようなのだが、ところどころに古い記述も残っている。

インストール完了後に構成から確認できたことから察するに、h76c=Helix 7.6 based on CentOS、h79c=Helix 7.6 based on CentOS、h84r=Helix 8.4 based on RockyLinuxの略である模様。

ZStack-Cloud-x86_64-DVD-5.0.0-h84r.iso をダウンロードして、ISO読み込みやrufusなどを使ってUSBメモリに書き込んで起動して、インストールを行う。

サーバハードウェアの制約
・ZstackはSecure Bootは非対応なので無効化する
・UEFI/BIOSのどちらもとりあえずは対応
・システムディスクとして300GB以上を推奨
・NIC冗長化はRHEL同等。LACP/802.3adも設定可能

また、2種類のストレージを用意する必要がある。

Primary Storage=仮想マシンのディスクを置く場所
・サーバのローカルディスク(全ノードに対して一律に設定される。ディレクトリが無い場合は自動作成される)
・NFS共有(各ノードで同じパスでマウントされていること)
・何らかの共有ファイルシステム(各ノードで同じパスでマウントされていること)
・Ceph(構築済の環境)

Backup Storage=ISOイメージなどを置く場所
・sftp(構築済の環境)
・Ceph(構築済の環境)

やっかいなのが「Backup Storage」が必須、というところ。

しかも「sftp」という額面だけ見て、単純にssh/sftpでログインできる環境があればいいのかと思ったのですが、RockyLinux 8.9サーバを設定してみたところ、Zstackのパッケージを追加しようとしてコンフリクトが発生してエラーとなっていました。

エラーログを精査すると、Zstack 8.0.0が用意したパッケージバージョンと異なると駄目であるようなので、Zstack 8.0.0ベースの環境が必要でした。

少し使ってみた感想

vSphereやNutanixの代替になるかというと難しい。

どっちかというとOpenStackみたいなことを簡単にできるようにした感じがあるつくりになっている。

・Comminity Editionは機能制約が多すぎて使えない。proxmoxの方が良い
 OSのセキュリティアップデートが提供されていない
 管理サーバの冗長化が無い
 Guest OS Agentが提供されない

・RHEL系のLinux設定知識がないと設定できないところがある
 共有ディスクのマウントに関する設定(/etc/fstabを書く)
 LACP/bonding設定を設定ファイルで書く

・ベースRHELバージョンが8と古い
 2024年3月29日にリリースされた最新メジャーバージョンアップがRHEL8.4ベースだが、最新はRHEL8.9
 そしてRHEL8.xのフルサポート終了日は2024年5月31日、メンテナンスアップデート終了日は2029年5月31日
 ライフサイクル的にちょっと不安が?

あまり積極的に使ってみようかなぁ、という感じのものではなかった。


ノードのインストールについて

ZStack CloudのインストールISOでインストールできるモードについてマニュアルより

ModeScenario
Enterprise Management Node ModeApplicable only to the installation of management nodes of the Enterprise edition.
Community Management Node ModeApplicable only to the installation of management nodes of the Community edition.
Compute Node ModeApplicable to the installation of all nodes except the management nodes, such asCompute nodeImageStore, Ceph backup storage node, and Ceph backup storage mount nodeCeph primary storage node, and Ceph primary storage mount nodePXE deployment server node, local backup server node, and remote backup server node in another data center
Expert Mode

Enterprise Management Node ModeとCommunity Management Node Modeの違いは「terms of the license type, which decides the features available on the Cloud」とのこと

複数ノードをセットアップする場合は、Management Node Modeを1台と、それ以外はCompute Node Modeでセットアップする。

管理機能の冗長化についてはEdition比較表にある「Management Node HA」が該当していると思われるがComminity Editionではサポートしていない模様。

ドキュメントも不備があり、v3.0時代のMaintenance Manualに「MN Maintenance – MN High Availability」があるがv5.0についてのドキュメントが閲覧可能状態にない。

v5.0についても ZStack-Multinode-HA-Suite.tar.gz が配布されているので、v3.0時代と同じく、targz展開してzsha2を実行してセットアップ、という形になるのだと思われる。

Zstack Cloud Communitiy Editionインストール

基本的にRedHat系と同じインストールUIになっている。

Software Selectionは、管理兼Computeノードとなる1台だけ「Managament Node」としてインストールし、あとはComputeノードとしてインストールする

ISOブートからのインストールが終わったあとの管理ノードについては初回ブート時は自動セットアップが行われる。

初期セットアップが終わるとログインプロンプトが表示される。

ZStack-Cloud-x86_64-DVD-5.0.0-h84r.iso でインストールした場合、kernelは 4.18.0-425.19.2.3.g75f4bb8fb9a9.el8.x86_64 となっていた。

また、レポジトリ構成を確認すると、Rocky Linux 8の中国内サーバを登録しているものの有効にしているのは、サーバローカルレポジトリのみ、という構成となっていた。

[root@zstack131 ~]# uname -a
Linux zstack131.adosakana.local 4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64 #1 SMP Wed Nov 15 21:30:37 EST 2023 x86_64 x86_64 x86_64 GNU/Linux
[root@zstack131 ~]# rpm -qa|grep release
helix-release-8.4r-36.el8.noarch
zstack-release-h84r-1.h8.zstack.noarch
[root@zstack131 ~]# dnf repolist --all
repo id                repo name                                        status
163base                Rocky-8 - Base - mirrors.163.com                 disabled
163extras              Rocky-8 - Extras - mirrors.163.com               disabled
163updates             Rocky-8 - Updates - mirrors.163.com              disabled
alibase                Rocky-8 - Base - mirrors.aliyun.com              disabled
aliepel                Extra Packages for Enterprise Linux 8 - $basearc disabled
aliepel-modular        Extra Packages for Enterprise Linux Modular 8 -  disabled
aliextras              Rocky-8 - Extras - mirrors.aliyun.com            disabled
aliupdates             Rocky-8 - Updates - mirrors.aliyun.com           disabled
ceph                   Ceph                                             disabled
epel                   Extra Packages for Enterprise Linux 8 - $basearc disabled
mariadb                MariaDB                                          disabled
mlnx-ofed              Mellanox OFED Driver                             disabled
qemu-kvm-ev            Qemu KVM EV                                      disabled
qemu-kvm-ev-mn         qemu-kvm-ev-mn                                   disabled
uek4-ocfs2             UEK4-OCFS2                                       disabled
ustcepel               Extra Packages for Enterprise Linux 8 - x86_64 - disabled
ustcepel-modular       Extra Packages for Enterprise Linux Modular 8 -  disabled
virtio-win             virtio-win                                       disabled
zops-local             zops-local                                       enabled
zstack-experimental-mn zstack-experimental-mn                           disabled
zstack-local           zstack-local                                     enabled
zstack-mn              zstack-mn                                        disabled
[root@zstack131 ~]#

レポジトリ設定ファイルを確認すると下記の内容になっていた。

[root@zstack131 ~]# cd /etc/yum.repos.d/
[root@zstack131 yum.repos.d]# ls
ceph.repo            qemu-kvm-ev.repo     zstack-aliyun-yum.repo
epel.repo            uek4-ocfs2.repo      zstack-experimental-mn.repo
galera.repo          virtio-win.repo      zstack-local.repo
mlnx-ofed.repo       zops-local.repo      zstack-mn.repo
qemu-kvm-ev-mn.repo  zstack-163-yum.repo
[root@zstack131 yum.repos.d]# for file in `pwd`/*; do echo === $file ===; cat
$file; done
=== /etc/yum.repos.d/ceph.repo ===
[ceph]
name=Ceph
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/ceph
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/epel.repo ===
[epel]
name=Extra Packages for Enterprise Linux $releasever - $basearce - mirrors.aliyun.com
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-8&arch=$basearch
enabled=0
gpgcheck=0
=== /etc/yum.repos.d/galera.repo ===
[mariadb]
name = MariaDB
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/galera
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/mlnx-ofed.repo ===
[mlnx-ofed]
name=Mellanox OFED Driver
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/mlnx-ofed
gpgcheck=0
enabled=0
=== /etc/yum.repos.d/qemu-kvm-ev-mn.repo ===
[qemu-kvm-ev-mn]
name=qemu-kvm-ev-mn
baseurl=http://172.17.44.131:8080/zstack/static/zstack-repo/$basearch/$YUM0/Extra/qemu-kvm-ev/
gpgcheck=0
module_hotfixes=true
enabled=0
=== /etc/yum.repos.d/qemu-kvm-ev.repo ===
[qemu-kvm-ev]
name=Qemu KVM EV
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/qemu-kvm-ev
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/uek4-ocfs2.repo ===
[uek4-ocfs2]
name=UEK4-OCFS2
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/uek4
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/virtio-win.repo ===
[virtio-win]
name=virtio-win
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0/Extra/virtio-win
gpgcheck=0
enabled=0
module_hotfixes=true
=== /etc/yum.repos.d/zops-local.repo ===
[zops-local]
name=zops-local
baseurl=file:///opt/zops-rpm
gpgcheck=0
enabled=1
module_hotfixes=true

=== /etc/yum.repos.d/zstack-163-yum.repo ===
#163 base
[163base]
name=Rocky-$releasever - Base - mirrors.163.com
baseurl=http://mirrors.163.com/rocky/$releasever/BaseOS/$basearch/os/
gpgcheck=0
enabled=0
module_hotfixes=true

#released updates
[163updates]
name=Rocky-$releasever - Updates - mirrors.163.com
baseurl=http://mirrors.163.com/rocky/$releasever/AppStream/$basearch/os/
enabled=0
gpgcheck=0
module_hotfixes=true

#additional packages that may be useful
[163extras]
name=Rocky-$releasever - Extras - mirrors.163.com
baseurl=http://mirrors.163.com/rocky/$releasever/extras/$basearch/os/
enabled=0
gpgcheck=0
module_hotfixes=true

[ustcepel]
name=Extra Packages for Enterprise Linux $releasever - $basearch - ustc
baseurl=http://mirrors.ustc.edu.cn/epel/$releasever/Everything/$basearch
enabled=0
gpgcheck=0
module_hotfixes=true

[ustcepel-modular]
name=Extra Packages for Enterprise Linux Modular $releasever - $basearch - ustc
baseurl=http://mirrors.ustc.edu.cn/epel/$releasever/Modular/$basearch
enabled=0
gpgcheck=0
module_hotfixes=true
=== /etc/yum.repos.d/zstack-aliyun-yum.repo ===
#aliyun base
[alibase]
name=Rocky-$releasever - Base - mirrors.aliyun.com
baseurl=https://mirrors.aliyun.com/rockylinux/$releasever/BaseOS/$basearch/os/
gpgcheck=0
enabled=0
module_hotfixes=true

#released updates
[aliupdates]
name=Rocky-$releasever - Updates - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/rockylinux/$releasever/AppStream/$basearch/os/
enabled=0
gpgcheck=0
module_hotfixes=true

[aliextras]
name=Rocky-$releasever - Extras - mirrors.aliyun.com
baseurl=https://mirrors.aliyun.com/rockylinux/$releasever/extras/$basearch/os/
enabled=0
gpgcheck=0
module_hotfixes=true

[aliepel]
name=Extra Packages for Enterprise Linux $releasever - $basearce - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/epel/$releasever/Everything/$basearch
enabled=0
gpgcheck=0
module_hotfixes=true

[aliepel-modular]
name=Extra Packages for Enterprise Linux Modular $releasever - $basearce - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/epel/$releasever/Modular/$basearch
enabled=0
gpgcheck=0
module_hotfixes=true

=== /etc/yum.repos.d/zstack-experimental-mn.repo ===
[zstack-experimental-mn]
name=zstack-experimental-mn
baseurl=http://172.17.44.131:8080/zstack/static/zstack-repo/$basearch/$YUM0/Extra/zstack-experimental/
gpgcheck=0
module_hotfixes=true
enabled=0
=== /etc/yum.repos.d/zstack-local.repo ===
[zstack-local]
name=zstack-local
baseurl=file:///opt/zstack-dvd/$basearch/$YUM0
gpgcheck=0
enabled=1
module_hotfixes=true
=== /etc/yum.repos.d/zstack-mn.repo ===
[zstack-mn]
name=zstack-mn
baseurl=http://172.17.44.131:8080/zstack/static/zstack-repo/$basearch/$YUM0/
gpgcheck=0
module_hotfixes=true
enabled=0
[root@zstack131 yum.repos.d]#

ちなみに、Rocky Linux 8.9のレポジトリ設定を持ってきて有効化すればセキュリティアップデートできるかな?と試してみたところ、コンフリクトエラーとなりました。

初期設定

設定はWeb管理画面にログインして行う。

http://<IPアドレス>:5000 にアクセスする

初期値は admin / password となっている。

ログインすると、初期設定Wizardが開く

これは「Exit Wizard」で終了してもよい。

Wizardで設定する項目は以下の順番となる
1) Create Zone (拠点を設定)
2) Create Cluster (仕様/用途が同じサーバ群のまとまりを設定)
3) Add Host (上記で作成したClusterに実際のサーバを登録)
4) Add Backup Storage (ISOイメージなどを保存するストレージを登録)
5) Add Primary Storage (稼働する仮想マシンを保存するストレージを登録)
6) Create Instance Offering (仮想マシンに割り当てるCPU/メモリなどのテンプレートを登録)
7) Add an Image (ISOファイルやテンプレートqcow2ファイルを登録/ブラウザからのアップロード機能は無い)
8) Create an L2 Network (ネットワークを定義しNICやVLAN IDを設定)
9) Create an L3 Network (L3ルータを設定する場合に仮想ルータを設定)

基本的にはWizardを進めていけばいいのだが、Wizardでは設定できない項目が多々あるため、事前に準備が必要となる。

Zstack GUIで設定を行う前に必要となる設定

Zstack環境上で仮想マシンを動かすための設定を行うために用意・設定しておく必要があるものとして以下がある。

・Primary Storageの用意

仮想マシンを配置するためのディスク Primary Storageを用意します。

前述のように「サーバのローカルディスク」「NFS共有」「MooseFS, GlusterFS, OCFS2, GFS2といった共有ファイルシステム」「Ceph」が使用できます。

「サーバのローカルディスク」「NFS共有」「MooseFS, GlusterFS, OCFS2, GFS2といった共有ファイルシステム」については、1つのクラスタに所属する全ノードで同じくアクセスできるように/etc/fstabを手動で編集する必要があります。

また、サーバのローカルディスクを使用する場合は、全サーバで同じパスを使いますが、各サーバ間でデータの移動はできないので注意が必要です。(Storage Migration機能が無い)

・Backup Storageの用意

ISOイメージなどを置く場所としてBackup Storage を用意します。

“Backup Storage”という名前からデータ保護に使用する用途のように見えますが、仮想マシン作成時に使用する元イメージを置く場所です。

「sftp」と「Ceph」が使用できますが、sftpに関する要求がおかしいので注意が必要です。

sftpとして指定したLinuxサーバに対して、Zstackはzsatckレポジトリを追加し必要なソフトウェアのインストールを実施します。zstackレポジトリのパッケージ群は通常のRHEL/AlmaLinux/RockyLinuxパッケージと互換性がないためコンフリクトを起こして設定に失敗します。

v5.0.0段階で確認した限りでは、ZstackでインストールしたLinuxサーバでないと成功しませんでした。

なので、Zstackサーバ群の1台に対して設定する形が一番良さそうです。

・ノードのNIC構成

また、Linux上のNICインタフェース名が同じでないと駄目なようです。

設定画面をいろいろ確認しましたが、クラスタとしてNICインタフェースを設定する形となっており、各ノードごとに個別調整ができるようにはなっていませんでした。

なので、サーバごとに差異がある場合、NIC1個のみ登録したbondingデバイスを作成して、デバイス名を統一させた方がよさそうです。

LACPを含めたbondingの設定はZstack GUIでは行えないため、Linux OS階層で実施しておく必要があります。/etc/sysconfig/network-scripts/ifcfg-デバイス名 のファイルを編集するやり方になります。

VLANの設定はZstack側で行う。

・ノードを接続するネットワークの用意

ノードを接続するネットワークは「普通のLAN(L2NoVlanNetwork)」「タグVLAN(L2VlanNetwork」「VxLanNetwork」の3種類がある。

タグVLANのVLAN ID設定やVxLan設定はZstack側の設定で行えるので、手動で設定する必要は無い。

Wizardを進める

事前準備をすませてからWizardを進めていく。

最初は

最初は「Create Zone」で、これはvSphere風ならデータセンター、OpenStack風ならavailability zone を設定する。

「Create cluster」でクラスタを設定する。所属するサーバすべてでマウントするパスやNICインタフェース名が同じである必要がある点に注意。

CPUアーキテクチャの指定にx86_64と64bit ARM以外に、mips64el/loongarch64と龍芯関連のアーキテクチャがあるというのが興味深いところです。

「Add Host」でZstackをインストールしたサーバを登録します。Wizardでは1台だけ追加できます。複数サーバある場合はWizard完了後に追加します。

「Next」をクリックすると、しばらーく、管理ソフトからノードのLinux側に対して登録処理のあれこれが行われます。

登録が完了すると「Add Backup Storage」になります。これはISOイメージなどの保管場所となります。

Zstackサーバの1台のローカルストレージに置く、というのが一番簡単なので、1台の情報をいれます。

Nextをクリックすると処理が行われ、指定したサーバに対してsshログインが行われ、必要な追加パッケージがインストールされていきます。

「Add Primary Storage」で仮想マシン用の仮想ディスク置き場を設定します。

同じクラスタに所属するサーバすべてから同じパスでアクセスできる必要があります。

「Create Instance Offering」で仮想マシンに割り当てるCPU/メモリサイズを定義します。OpenStack的に言えば「フレーバー」です

初期値はCPU 1コア/メモリ2GBだったんですが、ちょっと小さいかな、というので2コア/4GBに増量

「Add Image」で仮想マシンのOSインストールに使用するISOイメージを1つ登録します。ブラウザからファイルをアップロードすることはできず、http/https/ftp/sftp でファイルをとりにいく形になっています。

「Create L2 Network」で仮想マシンが使用するネットワークを定義します。

Wizardからだと「通常のLAN(L2NoVlanNetwork)」と「タグVLAN(L2VlanNetwork)」の2種類が設定できます。Wizard外だとVxLanも設定できます。

クラスタ単位で使うNICを指定します。このため、サーバごとでNICメーカが異なっていることでNIC名が変わってしまうような場合はそのままでは指定できないので注意が必要です。

「Create L3 Network」では、先のL2Networkで定義したネットワークで使用されるIPアドレス帯を指定します。標準設定のままではDHCPサーバーが有効化されて、仮想マシンに対してIPアドレスがdhcp経由で割り当てられるような形になっています。

以上でWizardは終了です。

Compute Node追加

Compute Node追加のスクショ

仮想マシンを作ってみる

「Launch console」をクリックすると別窓でVNCによるコンソール画面が表示されます。インストールISOを読み込ませている場合はISOから起動しているでしょう。

あとは普通にインストールしていきます。


ノードのプロセスとかいろいろ

[root@zstack130 ~]# uname -a
Linux zstack130.adosakana.local 4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64 #1 SMP Wed Nov 15 21:30:37 EST 2023 x86_64 x86_64 x86_64 GNU/Linux
[root@zstack130 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 9.7G   84K  9.7G   1% /dev
tmpfs                    9.7G  4.0K  9.7G   1% /dev/shm
tmpfs                    9.7G  1.5M  9.7G   1% /run
tmpfs                    9.7G     0  9.7G   0% /sys/fs/cgroup
/dev/mapper/zstack-root   89G   26G   64G  29% /
/dev/sda2               1014M  194M  821M  20% /boot
/dev/sda1                599M  5.8M  594M   1% /boot/efi
tmpfs                    2.0G     0  2.0G   0% /run/user/1000
overlay                   89G   26G   64G  29% /var/lib/docker/overlay2/a3acbf01e49fe69302ff3806052ce501c5a9e2c26ef15566e16e99cb920b9348/merged
tmpfs                    2.0G     0  2.0G   0% /run/user/0
/dev/sdb1                300G   31G  270G  11% /data
[root@zstack130 ~]# ps -ef|cat
UID          PID    PPID  C STIME TTY          TIME CMD
root           1       0  0 Apr02 ?        00:00:18 /usr/lib/systemd/systemd --switched-root --system --deserialize 18
root           2       0  0 Apr02 ?        00:00:00 [kthreadd]
root           3       2  0 Apr02 ?        00:00:00 [rcu_gp]
root           4       2  0 Apr02 ?        00:00:00 [rcu_par_gp]
root           6       2  0 Apr02 ?        00:00:00 [kworker/0:0H-events_highpri]
root           9       2  0 Apr02 ?        00:00:00 [mm_percpu_wq]
root          10       2  0 Apr02 ?        00:00:00 [rcu_tasks_rude_]
root          11       2  0 Apr02 ?        00:00:00 [rcu_tasks_trace]
root          12       2  0 Apr02 ?        00:00:15 [ksoftirqd/0]
root          13       2  0 Apr02 ?        00:00:48 [rcu_sched]
root          14       2  0 Apr02 ?        00:00:01 [migration/0]
root          15       2  0 Apr02 ?        00:00:00 [watchdog/0]
root          16       2  0 Apr02 ?        00:00:00 [cpuhp/0]
root          17       2  0 Apr02 ?        00:00:00 [cpuhp/1]
root          18       2  0 Apr02 ?        00:00:00 [watchdog/1]
root          19       2  0 Apr02 ?        00:00:01 [migration/1]
root          20       2  0 Apr02 ?        00:00:21 [ksoftirqd/1]
root          22       2  0 Apr02 ?        00:00:00 [kworker/1:0H-events_highpri]
root          23       2  0 Apr02 ?        00:00:00 [cpuhp/2]
root          24       2  0 Apr02 ?        00:00:00 [watchdog/2]
root          25       2  0 Apr02 ?        00:00:01 [migration/2]
root          26       2  0 Apr02 ?        00:00:15 [ksoftirqd/2]
root          28       2  0 Apr02 ?        00:00:00 [kworker/2:0H-events_highpri]
root          29       2  0 Apr02 ?        00:00:00 [cpuhp/3]
root          30       2  0 Apr02 ?        00:00:00 [watchdog/3]
root          31       2  0 Apr02 ?        00:00:01 [migration/3]
root          32       2  0 Apr02 ?        00:00:19 [ksoftirqd/3]
root          34       2  0 Apr02 ?        00:00:00 [kworker/3:0H-events_highpri]
root          39       2  0 Apr02 ?        00:00:00 [kdevtmpfs]
root          40       2  0 Apr02 ?        00:00:00 [netns]
root          41       2  0 Apr02 ?        00:00:00 [kauditd]
root          42       2  0 Apr02 ?        00:00:00 [khungtaskd]
root          43       2  0 Apr02 ?        00:00:00 [oom_reaper]
root          44       2  0 Apr02 ?        00:00:00 [writeback]
root          45       2  0 Apr02 ?        00:00:00 [kcompactd0]
root          46       2  0 Apr02 ?        00:00:00 [ksmd]
root          47       2  0 Apr02 ?        00:00:03 [khugepaged]
root          48       2  0 Apr02 ?        00:00:00 [crypto]
root          49       2  0 Apr02 ?        00:00:00 [kintegrityd]
root          50       2  0 Apr02 ?        00:00:00 [kblockd]
root          51       2  0 Apr02 ?        00:00:00 [blkcg_punt_bio]
root          52       2  0 Apr02 ?        00:00:00 [tpm_dev_wq]
root          53       2  0 Apr02 ?        00:00:00 [md]
root          54       2  0 Apr02 ?        00:00:00 [edac-poller]
root          55       2  0 Apr02 ?        00:00:00 [watchdogd]
root          57       2  0 Apr02 ?        00:00:07 [kworker/0:1H-kblockd]
root          91       2  0 Apr02 ?        00:00:07 [kswapd0]
root         193       2  0 Apr02 ?        00:00:00 [kthrotld]
root         194       2  0 Apr02 ?        00:00:00 [irq/25-pciehp]
root         195       2  0 Apr02 ?        00:00:00 [irq/26-pciehp]
root         196       2  0 Apr02 ?        00:00:00 [irq/27-pciehp]
root         197       2  0 Apr02 ?        00:00:00 [irq/28-pciehp]
root         198       2  0 Apr02 ?        00:00:00 [irq/29-pciehp]
root         199       2  0 Apr02 ?        00:00:00 [irq/30-pciehp]
root         200       2  0 Apr02 ?        00:00:00 [irq/31-pciehp]
root         201       2  0 Apr02 ?        00:00:00 [irq/32-pciehp]
root         202       2  0 Apr02 ?        00:00:00 [irq/33-pciehp]
root         203       2  0 Apr02 ?        00:00:00 [irq/34-pciehp]
root         204       2  0 Apr02 ?        00:00:00 [irq/35-pciehp]
root         205       2  0 Apr02 ?        00:00:00 [irq/36-pciehp]
root         206       2  0 Apr02 ?        00:00:00 [irq/37-pciehp]
root         207       2  0 Apr02 ?        00:00:00 [irq/38-pciehp]
root         208       2  0 Apr02 ?        00:00:00 [irq/39-pciehp]
root         209       2  0 Apr02 ?        00:00:00 [irq/40-pciehp]
root         210       2  0 Apr02 ?        00:00:00 [irq/41-pciehp]
root         211       2  0 Apr02 ?        00:00:00 [irq/42-pciehp]
root         212       2  0 Apr02 ?        00:00:00 [irq/43-pciehp]
root         213       2  0 Apr02 ?        00:00:00 [irq/44-pciehp]
root         214       2  0 Apr02 ?        00:00:00 [irq/45-pciehp]
root         215       2  0 Apr02 ?        00:00:00 [irq/46-pciehp]
root         216       2  0 Apr02 ?        00:00:00 [irq/47-pciehp]
root         217       2  0 Apr02 ?        00:00:00 [irq/48-pciehp]
root         218       2  0 Apr02 ?        00:00:00 [irq/49-pciehp]
root         219       2  0 Apr02 ?        00:00:00 [irq/50-pciehp]
root         220       2  0 Apr02 ?        00:00:00 [irq/51-pciehp]
root         221       2  0 Apr02 ?        00:00:00 [irq/52-pciehp]
root         222       2  0 Apr02 ?        00:00:00 [irq/53-pciehp]
root         223       2  0 Apr02 ?        00:00:00 [irq/54-pciehp]
root         224       2  0 Apr02 ?        00:00:00 [irq/55-pciehp]
root         225       2  0 Apr02 ?        00:00:00 [irq/56-pciehp]
root         227       2  0 Apr02 ?        00:00:00 [acpi_thermal_pm]
root         228       2  0 Apr02 ?        00:00:00 [kmpath_rdacd]
root         229       2  0 Apr02 ?        00:00:00 [kaluad]
root         231       2  0 Apr02 ?        00:00:00 [ipv6_addrconf]
root         232       2  0 Apr02 ?        00:00:00 [kstrp]
root         316       2  0 Apr02 ?        00:00:07 [kworker/1:1H-kblockd]
root         346       2  0 Apr02 ?        00:00:08 [kworker/3:1H-xfs-log/dm-0]
root         349       2  0 Apr02 ?        00:00:08 [kworker/2:1H-xfs-log/dm-0]
root         547       2  0 Apr02 ?        00:00:00 [ata_sff]
root         549       2  0 Apr02 ?        00:00:00 [scsi_eh_0]
root         550       2  0 Apr02 ?        00:00:00 [scsi_tmf_0]
root         551       2  0 Apr02 ?        00:00:00 [vmw_pvscsi_wq_0]
root         552       2  0 Apr02 ?        00:00:00 [scsi_eh_1]
root         553       2  0 Apr02 ?        00:00:00 [scsi_tmf_1]
root         554       2  0 Apr02 ?        00:00:00 [scsi_eh_2]
root         555       2  0 Apr02 ?        00:00:00 [scsi_tmf_2]
root         557       2  0 Apr02 ?        00:00:00 [scsi_eh_3]
root         558       2  0 Apr02 ?        00:00:00 [scsi_tmf_3]
root         559       2  0 Apr02 ?        00:00:00 [scsi_eh_4]
root         560       2  0 Apr02 ?        00:00:00 [scsi_tmf_4]
root         561       2  0 Apr02 ?        00:00:00 [scsi_eh_5]
root         562       2  0 Apr02 ?        00:00:00 [scsi_tmf_5]
root         563       2  0 Apr02 ?        00:00:00 [scsi_eh_6]
root         564       2  0 Apr02 ?        00:00:00 [scsi_tmf_6]
root         566       2  0 Apr02 ?        00:00:00 [scsi_eh_7]
root         567       2  0 Apr02 ?        00:00:00 [scsi_tmf_7]
root         568       2  0 Apr02 ?        00:00:00 [scsi_eh_8]
root         569       2  0 Apr02 ?        00:00:00 [scsi_tmf_8]
root         570       2  0 Apr02 ?        00:00:00 [scsi_eh_9]
root         571       2  0 Apr02 ?        00:00:00 [scsi_tmf_9]
root         572       2  0 Apr02 ?        00:00:00 [scsi_eh_10]
root         573       2  0 Apr02 ?        00:00:00 [scsi_tmf_10]
root         574       2  0 Apr02 ?        00:00:00 [scsi_eh_11]
root         575       2  0 Apr02 ?        00:00:00 [scsi_tmf_11]
root         576       2  0 Apr02 ?        00:00:00 [scsi_eh_12]
root         578       2  0 Apr02 ?        00:00:00 [scsi_tmf_12]
root         579       2  0 Apr02 ?        00:00:00 [scsi_eh_13]
root         580       2  0 Apr02 ?        00:00:00 [scsi_tmf_13]
root         581       2  0 Apr02 ?        00:00:00 [scsi_eh_14]
root         582       2  0 Apr02 ?        00:00:00 [scsi_tmf_14]
root         584       2  0 Apr02 ?        00:00:00 [scsi_eh_15]
root         585       2  0 Apr02 ?        00:00:00 [scsi_tmf_15]
root         587       2  0 Apr02 ?        00:00:00 [scsi_eh_16]
root         588       2  0 Apr02 ?        00:00:00 [scsi_tmf_16]
root         589       2  0 Apr02 ?        00:00:00 [scsi_eh_17]
root         590       2  0 Apr02 ?        00:00:00 [scsi_tmf_17]
root         591       2  0 Apr02 ?        00:00:00 [scsi_eh_18]
root         592       2  0 Apr02 ?        00:00:00 [scsi_tmf_18]
root         593       2  0 Apr02 ?        00:00:00 [scsi_eh_19]
root         594       2  0 Apr02 ?        00:00:00 [scsi_tmf_19]
root         595       2  0 Apr02 ?        00:00:00 [scsi_eh_20]
root         596       2  0 Apr02 ?        00:00:00 [scsi_tmf_20]
root         598       2  0 Apr02 ?        00:00:00 [scsi_eh_21]
root         599       2  0 Apr02 ?        00:00:00 [scsi_tmf_21]
root         601       2  0 Apr02 ?        00:00:00 [scsi_eh_22]
root         603       2  0 Apr02 ?        00:00:00 [scsi_tmf_22]
root         604       2  0 Apr02 ?        00:00:02 [irq/16-vmwgfx]
root         605       2  0 Apr02 ?        00:00:00 [scsi_eh_23]
root         606       2  0 Apr02 ?        00:00:00 [card0-crtc0]
root         607       2  0 Apr02 ?        00:00:00 [scsi_tmf_23]
root         608       2  0 Apr02 ?        00:00:00 [card0-crtc1]
root         609       2  0 Apr02 ?        00:00:00 [scsi_eh_24]
root         610       2  0 Apr02 ?        00:00:00 [scsi_tmf_24]
root         611       2  0 Apr02 ?        00:00:00 [card0-crtc2]
root         612       2  0 Apr02 ?        00:00:00 [scsi_eh_25]
root         613       2  0 Apr02 ?        00:00:00 [scsi_tmf_25]
root         614       2  0 Apr02 ?        00:00:00 [card0-crtc3]
root         615       2  0 Apr02 ?        00:00:00 [card0-crtc4]
root         616       2  0 Apr02 ?        00:00:00 [card0-crtc5]
root         617       2  0 Apr02 ?        00:00:00 [scsi_eh_26]
root         618       2  0 Apr02 ?        00:00:00 [card0-crtc6]
root         619       2  0 Apr02 ?        00:00:00 [scsi_tmf_26]
root         620       2  0 Apr02 ?        00:00:00 [scsi_eh_27]
root         621       2  0 Apr02 ?        00:00:00 [scsi_tmf_27]
root         622       2  0 Apr02 ?        00:00:00 [scsi_eh_28]
root         623       2  0 Apr02 ?        00:00:00 [scsi_tmf_28]
root         624       2  0 Apr02 ?        00:00:00 [scsi_eh_29]
root         625       2  0 Apr02 ?        00:00:00 [scsi_tmf_29]
root         626       2  0 Apr02 ?        00:00:00 [scsi_eh_30]
root         627       2  0 Apr02 ?        00:00:00 [scsi_tmf_30]
root         628       2  0 Apr02 ?        00:00:00 [scsi_eh_31]
root         629       2  0 Apr02 ?        00:00:00 [scsi_tmf_31]
root         630       2  0 Apr02 ?        00:00:00 [scsi_eh_32]
root         631       2  0 Apr02 ?        00:00:00 [scsi_tmf_32]
root         661       2  0 Apr02 ?        00:00:00 [card0-crtc7]
root         726       2  0 Apr02 ?        00:00:00 [kdmflush/253:0]
root         737       2  0 Apr02 ?        00:00:00 [kdmflush/253:1]
root         761       2  0 Apr02 ?        00:00:00 [xfsalloc]
root         763       2  0 Apr02 ?        00:00:00 [xfs_mru_cache]
root         764       2  0 Apr02 ?        00:00:00 [xfs-buf/dm-0]
root         765       2  0 Apr02 ?        00:00:00 [xfs-conv/dm-0]
root         766       2  0 Apr02 ?        00:00:00 [xfs-cil/dm-0]
root         767       2  0 Apr02 ?        00:00:00 [xfs-reclaim/dm-]
root         768       2  0 Apr02 ?        00:00:00 [xfs-gc/dm-0]
root         770       2  0 Apr02 ?        00:00:00 [xfs-log/dm-0]
root         771       2  0 Apr02 ?        00:00:10 [xfsaild/dm-0]
root         915       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-udevd
root         963       2  0 Apr02 ?        00:00:00 [xfs-buf/sda2]
root         964       2  0 Apr02 ?        00:00:00 [xfs-conv/sda2]
root         965       2  0 Apr02 ?        00:00:00 [xfs-cil/sda2]
root         966       2  0 Apr02 ?        00:00:00 [xfs-reclaim/sda]
root         967       2  0 Apr02 ?        00:00:00 [xfs-gc/sda2]
root         971       2  0 Apr02 ?        00:00:00 [xfs-log/sda2]
root         972       2  0 Apr02 ?        00:00:00 [xfsaild/sda2]
root         973       2  0 Apr02 ?        00:00:00 [nfit]
rpc         1014       1  0 Apr02 ?        00:00:00 /usr/bin/rpcbind -w -f
root        1018       1  0 Apr02 ?        00:00:04 /sbin/auditd
root        1020       2  0 Apr02 ?        00:00:00 [rpciod]
root        1021       2  0 Apr02 ?        00:00:00 [xprtiod]
root        1056       1  0 Apr02 ?        00:00:02 /usr/sbin/irqbalance --foreground
dbus        1057       1  0 Apr02 ?        00:00:21 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation --syslog-only
polkitd     1058       1  0 Apr02 ?        00:00:07 /usr/lib/polkit-1/polkitd --no-debug
root        1063       1  0 Apr02 ?        00:00:04 /usr/lib/systemd/systemd-logind
root        1076       1  0 Apr02 ?        00:00:00 /usr/bin/lttng-sessiond -d
root        1077    1076  0 Apr02 ?        00:00:00 lttng-runas             -d
root        1461       1  0 Apr02 ?        00:00:00 /usr/sbin/sshd -D -oCiphers=aes256-gcm@openssh.com,chacha20-poly1305@openssh.com,aes256-ctr,aes256-cbc,aes128-gcm@openssh.com,aes128-ctr,aes128-cbc -oMACs=hmac-sha2-256-etm@openssh.com,hmac-sha1-etm@openssh.com,umac-128-etm@openssh.com,hmac-sha2-512-etm@openssh.com,hmac-sha2-256,hmac-sha1,umac-128@openssh.com,hmac-sha2-512 -oGSSAPIKexAlgorithms=gss-curve25519-sha256-,gss-nistp256-sha256-,gss-group14-sha256-,gss-group16-sha512-,gss-gex-sha1-,gss-group14-sha1- -oKexAlgorithms=curve25519-sha256,curve25519-sha256@libssh.org,ecdh-sha2-nistp256,ecdh-sha2-nistp384,ecdh-sha2-nistp521,diffie-hellman-group-exchange-sha256,diffie-hellman-group14-sha256,diffie-hellman-group16-sha512,diffie-hellman-group18-sha512,diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1 -oHostKeyAlgorithms=ecdsa-sha2-nistp256,ecdsa-sha2-nistp256-cert-v01@openssh.com,ecdsa-sha2-nistp384,ecdsa-sha2-nistp384-cert-v01@openssh.com,ecdsa-sha2-nistp521,ecdsa-sha2-nistp521-cert-v01@openssh.com,ssh-ed25519,ssh-ed25519-cert-v01@openssh.com,rsa-sha2-256,rsa-sha2-256-cert-v01@openssh.com,rsa-sha2-512,rsa-sha2-512-cert-v01@openssh.com,ssh-rsa,ssh-rsa-cert-v01@openssh.com -oPubkeyAcceptedKeyTypes=ecdsa-sha2-nistp256,ecdsa-sha2-nistp256-cert-v01@openssh.com,ecdsa-sha2-nistp384,ecdsa-sha2-nistp384-cert-v01@openssh.com,ecdsa-sha2-nistp521,ecdsa-sha2-nistp521-cert-v01@openssh.com,ssh-ed25519,ssh-ed25519-cert-v01@openssh.com,rsa-sha2-256,rsa-sha2-256-cert-v01@openssh.com,rsa-sha2-512,rsa-sha2-512-cert-v01@openssh.com,ssh-rsa,ssh-rsa-cert-v01@openssh.com -oCASignatureAlgorithms=ecdsa-sha2-nistp256,ecdsa-sha2-nistp384,ecdsa-sha2-nistp521,ssh-ed25519,rsa-sha2-256,rsa-sha2-512,ssh-rsa
root        1462       1  0 Apr02 ?        00:11:11 /usr/libexec/platform-python -Es /usr/sbin/tuned -l -P
root        1470       1  0 Apr02 ?        00:00:00 /usr/sbin/gssproxy -D
root        1480       1  0 Apr02 ?        00:00:00 /usr/sbin/crond -n
root        1485       1  0 Apr02 tty2     00:00:00 /sbin/agetty --noclear tty2 linux
chrony     33313       1  0 Apr02 ?        00:00:00 /usr/sbin/chronyd
root       40901       1  0 Apr02 ?        00:02:17 /usr/local/zstack/zsn-agent/bin/zsn-agent -log-file /var/log/zstack/zsn-agent/zsn-agent.log -tmout 960 2>/tmp/zsn.error.log
mysql      48667       1  0 Apr02 ?        00:07:09 /usr/libexec/mysqld --basedir=/usr
zstack     49291       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd --user
zstack     49293   49291  0 Apr02 ?        00:00:00 (sd-pam)
zstack     50480       1  2 Apr02 ?        00:30:06 //bin/java -Djava.util.logging.config.file=/usr/local/zstack/apache-tomcat/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -Dorg.apache.catalina.security.SecurityListener.UMASK=0027 -Djdk.tls.trustNameService=true -Djava.net.preferIPv4Stack=true -Dcom.sun.management.jmxremote=true -Djava.security.egd=file:/dev/./urandom -XX:-OmitStackTraceInFastThrow -XX:MaxMetaspaceSize=512m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/usr/local/zstack/apache-tomcat/webapps/zstack/../../logs/heap.hprof -XX:+UseAltSigs -Dlog4j2.formatMsgNoLookups=true -Xms512M -Xmx12288M -Dignore.endorsed.dirs= -classpath /usr/local/zstack/apache-tomcat/bin/bootstrap.jar:/usr/local/zstack/apache-tomcat/bin/tomcat-juli.jar -Dcatalina.base=/usr/local/zstack/apache-tomcat -Dcatalina.home=/usr/local/zstack/apache-tomcat -Djava.io.tmpdir=/usr/local/zstack/apache-tomcat/temp org.apache.catalina.startup.Bootstrap -DappName=zstack start
zstack     51983       1  0 Apr02 ?        00:00:13 /usr/local/zstack/apache-tomcat-8.5.99/webapps/zstack/WEB-INF/classes/tools/pushgateway --web.listen-address 172.17.44.130:9091 --persistence.file /var/lib/zstack/prometheus/pushgateway/persistence.data --persistence.interval 1m
root       52672       1  2 Apr02 ?        00:38:28 /usr/local/zstack/apache-tomcat-8.5.99/webapps/zstack/WEB-INF/classes/tools/prometheus2 --web.enable-admin-api --web.listen-address 172.17.44.130:9090 --storage.tsdb.path /var/lib/zstack/prometheus/data2 --storage.tsdb.retention.time 4320h --storage.tsdb.retention.size 64GB --config.file /usr/local/zstack/prometheus/conf.yaml --storage.tsdb.min-block-duration 2h --query.max-concurrency 20 --query.timeout 2m
zstack     54200       1  0 Apr02 ?        00:01:10 PM2 v5.2.2: God Daemon (/usr/local/zstack/.pm2)
zstack     54226   54200  0 Apr02 ?        00:02:35 node /usr/local/zstack/.pm2/modules/pm2-logrotate/node_modules/pm2-logrotate/
zstack     54237   54200  0 Apr02 ?        00:06:58 node /usr/local/zstack/zstack-ui/zstack-ui-server/src/main.js
root       54263       1  0 Apr02 ?        00:00:00 nginx: master process /usr/sbin/nginx -c /usr/local/zstack/zstack-ui/configs/nginx.conf -p /usr/local/zstack/zstack-ui
zstack     54266   54263  0 Apr02 ?        00:00:00 nginx: worker process
zstack     54267   54263  0 Apr02 ?        00:00:02 nginx: worker process
zstack     54268   54263  0 Apr02 ?        00:00:02 nginx: worker process
zstack     54269   54263  0 Apr02 ?        00:00:02 nginx: worker process
redis      54271       1  0 Apr02 ?        00:01:44 /usr/bin/redis-server *:6379
root       56490       1  0 Apr02 ?        00:01:24 python -c from consoleproxy import cdaemon; cdaemon.main() start
root       56825       1  0 Apr02 ?        00:00:38 /usr/lib/systemd/systemd-journald
root       60864       1  0 Apr02 ?        00:00:12 /usr/bin/containerd
root       60875       1  0 Apr02 ?        00:00:29 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
root       62206   60864  0 Apr02 ?        00:00:05 containerd-shim -namespace moby -workdir /var/lib/containerd/io.containerd.runtime.v1.linux/moby/e85a2c10196ea40406422964be497502879bffb67e68e20f888fb58335822d2b -address /run/containerd/containerd.sock -containerd-binary /usr/bin/containerd -runtime-root /var/run/docker/runtime-runc
root       62224   62206  0 Apr02 ?        00:00:00 /usr/sbin/init
root       62251   62224  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-journald
root       62314   62224  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-logind
dbus       62317   62224  0 Apr02 ?        00:00:00 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation
root       62320   62224  0 Apr02 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
root       62563   62224  0 Apr02 ?        00:03:06 java -Dlog4j.configurationFile=/root/.zops/log4j2-server.xml -Dlog.location=/var/log/zops/zops-server.log -Xmx2048m -Xmn512m -XX:MaxDirectMemorySize=1024m -Xlog:gc*:/var/log/zops/zops.gc.log:time -jar /usr/local/lib/zops/zops-server start
root       62774   62224  0 Apr02 ?        00:00:00 /usr/bin/python3 /webssh/run.py --port=8888 --xsrf=false --delay=3000 --fbidhttp=false
root       62972   62224  0 Apr02 ?        00:00:07 python3 -m websockify --token-plugin TokenFile --token-source /var/lib/cobbler/kickstarts/token/ 26080
root       63155       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd --user
root       63158   63155  0 Apr02 ?        00:00:00 (sd-pam)
root       63893       1  0 Apr02 ?        00:00:00 crond
root       65492    1461  0 Apr02 ?        00:00:00 sshd: root [priv]
root       65499   65492  0 Apr02 ?        00:00:00 sshd: root@notty
root       70526       2  0 Apr02 ?        00:00:00 [xfs-buf/sdb1]
root       70527       2  0 Apr02 ?        00:00:00 [xfs-conv/sdb1]
root       70528       2  0 Apr02 ?        00:00:00 [xfs-cil/sdb1]
root       70529       2  0 Apr02 ?        00:00:00 [xfs-reclaim/sdb]
root       70530       2  0 Apr02 ?        00:00:00 [xfs-gc/sdb1]
root       70532       2  0 Apr02 ?        00:00:00 [xfs-log/sdb1]
root       70533       2  0 Apr02 ?        00:00:06 [xfsaild/sdb1]
root       73761    1461  0 Apr02 ?        00:00:00 sshd: root [priv]
root       73765   73761  0 Apr02 ?        00:00:00 sshd: root@notty
root       76368       1  0 Apr02 ?        00:00:20 /usr/sbin/rsyslogd -n
root       80285       2  0 Apr02 ?        00:00:00 [ipmi-msghandler]
root      100676       1  0 Apr02 ?        00:00:00 /usr/lib/systemd/systemd-machined
root      100872       1  0 Apr02 ?        00:00:00 /usr/sbin/virtlogd
root      107302       2  0 Apr02 ?        00:00:00 [uas]
root      107342       1  0 Apr02 ?        00:01:04 /usr/sbin/libvirtd --listen
root      107516       1  5 Apr02 ?        01:15:20 python -c from kvmagent import kdaemon; kdaemon.main() start
root      108083       2  0 Apr02 ?        00:00:00 [kmpathd]
root      108088       2  0 Apr02 ?        00:00:00 [kmpath_handlerd]
root      108176       1  0 Apr02 ?        00:00:51 /sbin/multipathd -d -s
root      120326       1  0 Apr02 ?        00:00:46 /usr/local/zstack/zsblk-agent/bin/zsblk-agent -free-space 5368709120 -increment 5368709120 -log-file /var/log/zstack/zsblk-agent/zsblk-agent.log -qmp-socket-dir /var/lib/libvirt/qemu/zstack/ -utilization-percent 85 -lk-helper-max-times 6 -lk-helper-scan-interval 15 -lk-helper-protection-period 1800 -verbose false
root      123604       2  0 Apr02 ?        00:00:00 [nvme-wq]
root      123606       2  0 Apr02 ?        00:00:00 [nvme-reset-wq]
root      123607       2  0 Apr02 ?        00:00:00 [nvme-delete-wq]
root      123702       1  0 Apr02 ?        00:00:00 collectdmon -- -C /var/lib/zstack/kvm/collectd.conf
root      123703  123702  0 Apr02 ?        00:00:32 collectd -C /var/lib/zstack/kvm/collectd.conf -f
root      123752       1  0 Apr02 ?        00:00:00 /bin/sh -c /var/lib/zstack/kvm/collectd_exporter  -collectd.listen-address :25826  > /var/lib/zstack/kvm/collectd_exporter.log 2>&1
root      123753  123752  0 Apr02 ?        00:00:52 /var/lib/zstack/kvm/collectd_exporter -collectd.listen-address :25826
root      123793       1  0 Apr02 ?        00:00:00 /bin/sh -c /var/lib/zstack/kvm/node_exporter  > /var/lib/zstack/kvm/node_exporter.log 2>&1
root      123794  123793  0 Apr02 ?        00:03:47 /var/lib/zstack/kvm/node_exporter
root      123828       1  0 Apr02 ?        00:00:00 /bin/sh -c /var/lib/zstack/kvm/pushgateway --persistence.file /var/lib/zstack/prometheus/host_pushgateway/persistence.data --persistence.interval 1m --web.listen-address :9092 --metric.timetolive 60s > /dev/null 2>&1
root      123829  123828  0 Apr02 ?        00:00:13 /var/lib/zstack/kvm/pushgateway --persistence.file /var/lib/zstack/prometheus/host_pushgateway/persistence.data --persistence.interval 1m --web.listen-address :9092 --metric.timetolive 60s
root      123905       2  0 Apr02 ?        00:00:00 [vfio-irqfd-clea]
root      123999       1  0 Apr02 ?        00:00:00 /usr/sbin/lldpd
lldpd     124008  123999  0 Apr02 ?        00:00:01 /usr/sbin/lldpd
root      132072       1  0 Apr02 ?        00:01:25 python -c from sftpbackupstorage import sftpbackupstoragedaemon; sftpbackupstoragedaemon.main() start
root      203816       1  0 Apr02 ?        00:00:00 lighttpd -f /var/lib/zstack/userdata/br_ens192_112818252d334d51938245d0ddb3e9c9/lighttpd.conf
root      203817  203816  0 Apr02 ?        00:00:01 lighttpd -f /var/lib/zstack/userdata/br_ens192_112818252d334d51938245d0ddb3e9c9/lighttpd.conf
root      226220       1  6 Apr02 ?        01:28:37 /usr/libexec/qemu-kvm -name guest=9140709d82b84199831c2899060939bc,debug-threads=on -S -object {"qom-type":"secret","id":"masterKey0","format":"raw","file":"/var/lib/libvirt/qemu/domain-2-9140709d82b84199831c/master-key.aes"} -blockdev {"driver":"file","filename":"/usr/share/edk2.git/ovmf-x64/OVMF_CODE-pure-efi.fd","node-name":"libvirt-pflash0-storage","auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-pflash0-format","read-only":true,"driver":"raw","file":"libvirt-pflash0-storage"} -blockdev {"driver":"file","filename":"/var/lib/libvirt/qemu/nvram/9140709d82b84199831c2899060939bc.fd","node-name":"libvirt-pflash1-storage","auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-pflash1-format","read-only":false,"driver":"raw","file":"libvirt-pflash1-storage"} -machine pc-q35-rhel8.6.0,usb=off,dump-guest-core=off,kernel_irqchip=on,pflash0=libvirt-pflash0-format,pflash1=libvirt-pflash1-format,memory-backend=pc.ram -accel kvm -cpu qemu64 -m 4096 -object {"qom-type":"memory-backend-ram","id":"pc.ram","size":4294967296} -overcommit mem-lock=off -smp 2,sockets=1,dies=1,cores=2,threads=1 -uuid 9140709d-82b8-4199-831c-2899060939bc -smbios type=1,serial=13e36eec-8352-4daa-a704-333d3623b6b2 -smbios type=3,manufacturer=,asset=www.zstack.io -no-user-config -nodefaults -chardev socket,id=charmonitor,fd=38,server=on,wait=off -mon chardev=charmonitor,id=monitor,mode=control -rtc base=utc -no-shutdown -global ICH9-LPC.disable_s3=1 -global ICH9-LPC.disable_s4=1 -boot menu=on,splash-time=3000,strict=on -device i82801b11-bridge,id=pci.1,bus=pcie.0,addr=0x1e -device pci-bridge,chassis_nr=2,id=pci.2,bus=pci.1,addr=0x0 -device pcie-root-port,port=16,chassis=3,id=pci.3,bus=pcie.0,multifunction=on,addr=0x2 -device pcie-root-port,port=17,chassis=4,id=pci.4,bus=pcie.0,addr=0x2.0x1 -device pcie-root-port,port=18,chassis=5,id=pci.5,bus=pcie.0,addr=0x2.0x2 -device pcie-root-port,port=19,chassis=6,id=pci.6,bus=pcie.0,addr=0x2.0x3 -device pcie-root-port,port=20,chassis=7,id=pci.7,bus=pcie.0,addr=0x2.0x4 -device pcie-root-port,port=21,chassis=8,id=pci.8,bus=pcie.0,addr=0x2.0x5 -device pcie-root-port,port=22,chassis=9,id=pci.9,bus=pcie.0,addr=0x2.0x6 -device pcie-root-port,port=23,chassis=10,id=pci.10,bus=pcie.0,addr=0x2.0x7 -device pcie-root-port,port=24,chassis=11,id=pci.11,bus=pcie.0,multifunction=on,addr=0x3 -device pcie-root-port,port=25,chassis=12,id=pci.12,bus=pcie.0,addr=0x3.0x1 -device pcie-root-port,port=26,chassis=13,id=pci.13,bus=pcie.0,addr=0x3.0x2 -device pcie-root-port,port=27,chassis=14,id=pci.14,bus=pcie.0,addr=0x3.0x3 -device pcie-root-port,port=28,chassis=15,id=pci.15,bus=pcie.0,addr=0x3.0x4 -device pcie-root-port,port=29,chassis=16,id=pci.16,bus=pcie.0,addr=0x3.0x5 -device pcie-root-port,port=30,chassis=17,id=pci.17,bus=pcie.0,addr=0x3.0x6 -device pcie-root-port,port=31,chassis=18,id=pci.18,bus=pcie.0,addr=0x3.0x7 -device pcie-root-port,port=32,chassis=19,id=pci.19,bus=pcie.0,multifunction=on,addr=0x4 -device pcie-root-port,port=33,chassis=20,id=pci.20,bus=pcie.0,addr=0x4.0x1 -device pcie-root-port,port=34,chassis=21,id=pci.21,bus=pcie.0,addr=0x4.0x2 -device pcie-root-port,port=35,chassis=22,id=pci.22,bus=pcie.0,addr=0x4.0x3 -device pcie-root-port,port=36,chassis=23,id=pci.23,bus=pcie.0,addr=0x4.0x4 -device pcie-root-port,port=37,chassis=24,id=pci.24,bus=pcie.0,addr=0x4.0x5 -device pcie-root-port,port=38,chassis=25,id=pci.25,bus=pcie.0,addr=0x4.0x6 -device pcie-root-port,port=39,chassis=26,id=pci.26,bus=pcie.0,addr=0x4.0x7 -device pcie-root-port,port=40,chassis=27,id=pci.27,bus=pcie.0,multifunction=on,addr=0x5 -device pcie-root-port,port=41,chassis=28,id=pci.28,bus=pcie.0,addr=0x5.0x1 -device pcie-root-port,port=42,chassis=29,id=pci.29,bus=pcie.0,addr=0x5.0x2 -device pcie-root-port,port=43,chassis=30,id=pci.30,bus=pcie.0,addr=0x5.0x3 -device piix3-usb-uhci,id=usb,bus=pci.2,addr=0x1 -device usb-ehci,id=usb1,bus=pci.2,addr=0x2 -device nec-usb-xhci,id=usb2,bus=pci.5,addr=0x0 -device usb-ehci,id=usb3,bus=pci.2,addr=0x3 -device nec-usb-xhci,id=usb4,bus=pci.6,addr=0x0 -device virtio-scsi-pci,id=scsi0,bus=pci.4,addr=0x0 -device virtio-serial-pci,id=virtio-serial0,bus=pci.7,addr=0x0 -blockdev {"driver":"file","filename":"/data/vms/rootVolumes/acct-36c27e8ff05c4780bf6d2fa65700f22e/vol-e964d0df55d341c6906c6170a70b40b8/e964d0df55d341c6906c6170a70b40b8.qcow2","node-name":"libvirt-2-storage","cache":{"direct":true,"no-flush":false},"auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-2-format","read-only":false,"discard":"unmap","cache":{"direct":true,"no-flush":false},"driver":"qcow2","file":"libvirt-2-storage","backing":null} -device virtio-blk-pci,bus=pci.8,addr=0x0,drive=libvirt-2-format,id=virtio-disk0,bootindex=1,write-cache=on,serial=e964d0df55d341c6906c6170a70b40b8 -blockdev {"driver":"file","filename":"/data/vms/imagecache/iso/3207956b4f6e4e188f1ec579af8e81bd/3207956b4f6e4e188f1ec579af8e81bd.iso","node-name":"libvirt-1-storage","auto-read-only":true,"discard":"unmap"} -blockdev {"node-name":"libvirt-1-format","read-only":true,"driver":"raw","file":"libvirt-1-storage"} -device ide-cd,bus=ide.1,drive=libvirt-1-format,id=sata0-0-1,serial=8f42877912f7407cb1df915a283a78e7 -netdev tap,fds=39:41,id=hostnet0,vhost=on,vhostfds=42:43 -device virtio-net-pci,tx=bh,ioeventfd=on,event_idx=off,mq=on,vectors=6,rx_queue_size=1024,tx_queue_size=1024,host_mtu=1500,netdev=hostnet0,id=net0,mac=fa:cc:e2:61:19:00,bus=pci.3,addr=0x0 -chardev pty,id=charserial0 -device isa-serial,chardev=charserial0,id=serial0 -chardev socket,id=charchannel0,fd=37,server=on,wait=off -device virtserialport,bus=virtio-serial0.0,nr=1,chardev=charchannel0,id=channel0,name=org.qemu.guest_agent.0 -device usb-tablet,id=input0,bus=usb.0,port=1 -audiodev {"id":"audio1","driver":"none"} -vnc 0.0.0.0:0,audiodev=audio1 -device virtio-vga,id=video0,max_outputs=1,bus=pcie.0,addr=0x1 -device virtio-balloon-pci,id=balloon0,bus=pci.9,addr=0x0 -qmp unix:/var/lib/libvirt/qemu/zstack/9140709d82b84199831c2899060939bc.sock,server,nowait -sandbox on,obsolete=deny,elevateprivileges=deny,spawn=deny,resourcecontrol=deny -msg timestamp=on
root      226236       2  0 Apr02 ?        00:00:00 [kvm-nx-lpage-re]
root      226239       2  0 Apr02 ?        00:00:04 [vhost-226220]
root      226240       2  0 Apr02 ?        00:00:17 [vhost-226220]
root      226249       2  0 Apr02 ?        00:00:00 [kvm-pit/226220]
root      340876       1  0 Apr02 tty1     00:00:00 /sbin/agetty --noclear tty1 linux
root     2908092       2  0 17:26 ?        00:00:00 [kworker/u8:2-xfs-gc/dm-0]
root     2962605       2  0 17:53 ?        00:00:00 [kworker/1:3-rcu_gp]
root     2963488       2  0 17:54 ?        00:00:00 [kworker/0:2-events_power_efficient]
root     2965974       2  0 17:55 ?        00:00:00 [kworker/3:2-rcu_gp]
root     2984473       2  0 18:05 ?        00:00:00 [kworker/u8:1-events_unbound]
root     2996206       2  0 18:10 ?        00:00:00 [kworker/2:0-rcu_gp]
root     3010049       2  0 18:17 ?        00:00:00 [kworker/1:2-rcu_gp]
root     3017978       2  0 18:22 ?        00:00:00 [kworker/2:1-mm_percpu_wq]
root     3026355       2  0 18:26 ?        00:00:00 [kworker/3:1-events_freezable_power_]
root     3033339       2  0 18:29 ?        00:00:00 [kworker/1:0-rcu_gp]
root     3034814       2  0 18:30 ?        00:00:00 [kworker/0:0-events]
root     3036325       2  0 18:31 ?        00:00:00 [kworker/3:3-rcu_gp]
root     3036784       2  0 18:31 ?        00:00:00 [kworker/2:3-rcu_gp]
root     3041779    1461  0 18:34 ?        00:00:00 sshd: root [priv]
root     3042013 3041779  0 18:34 ?        00:00:00 sshd: root@pts/1
root     3042014 3042013  0 18:34 pts/1    00:00:00 -bash
root     3043017       2  0 18:34 ?        00:00:00 [kworker/u8:0-events_unbound]
root     3044762       2  0 18:35 ?        00:00:00 [kworker/1:1-events]
root     3045332       2  0 18:35 ?        00:00:00 [kworker/0:1-events_power_efficient]
root     3047308       2  0 18:36 ?        00:00:00 [kworker/2:2-events]
root     3049130       2  0 18:37 ?        00:00:00 [kworker/u8:3-events_unbound]
root     3049740       2  0 18:38 ?        00:00:00 [kworker/3:0-events]
root     3051524 3042014  0 18:38 pts/1    00:00:00 ps -ef
root     3051525 3042014  0 18:38 pts/1    00:00:00 cat
[root@zstack130 ~]# lsmod
Module                  Size  Used by
xt_nat                 16384  1
ebt_arp                16384  2
ebt_dnat               16384  1
ebt_ip                 16384  1
veth                   32768  0
xt_NFLOG               16384  1
br_netfilter           24576  0
vhost_net              28672  2
vhost                  49152  1 vhost_net
vhost_iotlb            16384  1 vhost
tap                    28672  1 vhost_net
vfio_pci               61440  0
vfio_virqfd            16384  1 vfio_pci
vfio_iommu_type1       36864  0
vfio                   36864  2 vfio_iommu_type1,vfio_pci
nvme                   45056  0
nvme_core             139264  1 nvme
dm_round_robin         16384  0
dm_multipath           40960  1 dm_round_robin
ebtable_filter         16384  1
uas                    28672  0
xt_CHECKSUM            16384  0
ipt_MASQUERADE         16384  0
ipmi_devintf           20480  0
ipmi_msghandler       114688  1 ipmi_devintf
tun                    49152  5 vhost_net
kvm_intel             335872  2
kvm                   954368  1 kvm_intel
irqbypass              16384  12 vfio_pci,kvm
bridge                290816  1 br_netfilter
stp                    16384  1 bridge
llc                    16384  2 bridge,stp
nf_conntrack_netlink    53248  0
nft_chain_nat          16384  8
nf_nat                 45056  3 ipt_MASQUERADE,xt_nat,nft_chain_nat
overlay               139264  1
xt_state               16384  0
xt_conntrack           16384  4
nf_conntrack          172032  6 xt_conntrack,nf_nat,xt_state,ipt_MASQUERADE,xt_nat,nf_conntrack_netlink
nf_defrag_ipv6         20480  1 nf_conntrack
nf_defrag_ipv4         16384  1 nf_conntrack
usb_storage            73728  1 uas
ipt_REJECT             16384  1
nf_reject_ipv4         16384  1 ipt_REJECT
ebtable_nat            16384  1
ebtables               36864  2 ebtable_nat,ebtable_filter
nfnetlink_log          20480  2
nft_counter            16384  35
xt_comment             16384  14
nft_compat             20480  37
nf_tables             180224  89 nft_compat,nft_counter,nft_chain_nat
nfnetlink              16384  6 nft_compat,nf_conntrack_netlink,nf_tables,nfnetlink_log
sunrpc                577536  1
vfat                   20480  1
fat                    86016  1 vfat
intel_rapl_msr         16384  0
intel_rapl_common      24576  1 intel_rapl_msr
isst_if_mbox_msr       16384  0
isst_if_common         16384  1 isst_if_mbox_msr
nfit                   65536  0
libnvdimm             200704  1 nfit
crct10dif_pclmul       16384  1
crc32_pclmul           16384  0
ghash_clmulni_intel    16384  0
vmw_balloon            24576  0
rapl                   20480  0
pcspkr                 16384  0
joydev                 24576  0
i2c_piix4              24576  0
vmw_vmci               86016  1 vmw_balloon
nbd                    49152  0
xfs                  1568768  3
libcrc32c              16384  4 nf_conntrack,nf_nat,nf_tables,xfs
sr_mod                 28672  0
cdrom                  65536  1 sr_mod
sd_mod                 53248  7
t10_pi                 16384  2 sd_mod,nvme_core
sg                     40960  0
ata_generic            16384  0
vmwgfx                372736  1
drm_ttm_helper         16384  1 vmwgfx
ttm                    73728  2 vmwgfx,drm_ttm_helper
drm_kms_helper        176128  1 vmwgfx
syscopyarea            16384  1 drm_kms_helper
sysfillrect            16384  1 drm_kms_helper
sysimgblt              16384  1 drm_kms_helper
fb_sys_fops            16384  1 drm_kms_helper
drm                   565248  5 vmwgfx,drm_kms_helper,drm_ttm_helper,ttm
ahci                   40960  0
libahci                40960  1 ahci
ata_piix               36864  0
serio_raw              16384  0
libata                266240  4 ata_piix,libahci,ahci,ata_generic
crc32c_intel           24576  1
vmw_pvscsi             28672  6
vmxnet3                65536  0
dm_mirror              28672  0
dm_region_hash         20480  1 dm_mirror
dm_log                 20480  2 dm_region_hash,dm_mirror
dm_mod                151552  12 dm_multipath,dm_log,dm_mirror
[root@zstack130 ~]#

パッケージ

[root@zstack130 ~]# rpm -qa|sort
acl-2.2.53-1.el8.1.x86_64
adwaita-cursor-theme-3.28.0-2.el8.noarch
adwaita-icon-theme-3.28.0-2.el8.noarch
alsa-firmware-1.0.29-6.el8.noarch
alsa-lib-1.2.5-4.el8.x86_64
alsa-tools-firmware-1.1.6-1.el8.x86_64
annobin-9.72-1.el8_5.2.x86_64
apr-1.6.3-12.el8.x86_64
apr-util-1.6.1-6.el8.1.x86_64
Arcconf-3.03-23668.x86_64
atk-2.28.1-1.el8.x86_64
at-spi2-atk-2.26.2-1.el8.x86_64
at-spi2-core-2.28.0-1.el8.x86_64
audit-3.0.7-4.el8.x86_64
audit-libs-3.0.7-4.el8.x86_64
augeas-libs-1.12.0-6.el8.x86_64
authselect-1.2.2-3.el8.x86_64
authselect-compat-1.2.2-3.el8.x86_64
authselect-libs-1.2.2-3.el8.x86_64
autoconf-2.69-29.el8.noarch
autogen-libopts-5.18.12-8.el8.1.x86_64
avahi-0.7-20.el8.x86_64
avahi-libs-0.7-20.el8.x86_64
avahi-tools-0.7-20.el8.x86_64
basesystem-11-5.el8.noarch
bash-4.4.20-2.el8.x86_64
bash-completion-2.7-5.el8.noarch
bc-1.07.1-5.el8.x86_64
bind-export-libs-9.11.26-6.el8.x86_64
binutils-2.30-108.el8_5.1.x86_64
biosdevname-0.7.3-2.el8.x86_64
blktrace-1.2.0-10.el8.x86_64
boost-atomic-1.66.0-10.el8.x86_64
boost-chrono-1.66.0-10.el8.x86_64
boost-date-time-1.66.0-10.el8.x86_64
boost-iostreams-1.66.0-10.el8.x86_64
boost-program-options-1.66.0-10.el8.x86_64
boost-random-1.66.0-10.el8.x86_64
boost-regex-1.66.0-10.el8.x86_64
boost-system-1.66.0-10.el8.x86_64
boost-thread-1.66.0-10.el8.x86_64
bridge-utils-1.7.1-2.el8.x86_64
brotli-1.0.6-3.el8.x86_64
bubblewrap-0.4.0-1.el8.x86_64
bzip2-1.0.6-26.el8.x86_64
bzip2-libs-1.0.6-26.el8.x86_64
ca-certificates-2021.2.50-80.0.el8_4.noarch
cairo-1.15.12-3.el8.x86_64
cairo-gobject-1.15.12-3.el8.x86_64
celt051-0.5.1.3-15.el8.x86_64
checkpolicy-2.9-1.el8.x86_64
chkconfig-1.19.1-1.el8.x86_64
chrony-4.1-1.el8.x86_64
collectd-5.9.0-5.el8.x86_64
collectd-disk-5.9.0-5.el8.x86_64
collectd-virt-5.9.0-5.el8.x86_64
colord-libs-1.4.2-1.el8.x86_64
conntrack-tools-1.4.4-10.el8.x86_64
containerd.io-1.6.24-3.1.el8.x86_64
container-selinux-2.205.0-2.module+el8.8.0+1265+fa25dd7a.noarch
copy-jdk-configs-4.0-2.el8.noarch
coreutils-8.30-12.el8.x86_64
coreutils-common-8.30-12.el8.x86_64
cpio-2.12-10.el8.x86_64
cpp-8.5.0-4.el8_5.x86_64
cracklib-2.9.6-15.el8.x86_64
cracklib-dicts-2.9.6-15.el8.x86_64
createrepo_c-0.17.2-3.el8.x86_64
createrepo_c-libs-0.17.2-3.el8.x86_64
cronie-1.5.2-4.el8.x86_64
cronie-anacron-1.5.2-4.el8.x86_64
crontabs-1.11-17.20190603git.el8.noarch
crypto-policies-20210617-1.gitc776d3e.el8.noarch
crypto-policies-scripts-20210617-1.gitc776d3e.el8.noarch
cryptsetup-libs-2.3.3-4.el8_5.1.x86_64
cups-libs-2.2.6-40.el8.x86_64
curl-7.61.1-22.el8.x86_64
cyrus-sasl-2.1.27-6.el8_5.x86_64
cyrus-sasl-gssapi-2.1.27-6.el8_5.x86_64
cyrus-sasl-lib-2.1.27-6.el8_5.x86_64
cyrus-sasl-md5-2.1.27-6.el8_5.x86_64
dbus-1.12.8-14.el8.x86_64
dbus-common-1.12.8-14.el8.noarch
dbus-daemon-1.12.8-14.el8.x86_64
dbus-glib-0.110-2.el8.x86_64
dbus-libs-1.12.8-14.el8.x86_64
dbus-tools-1.12.8-14.el8.x86_64
device-mapper-1.02.177-11.el8_5.x86_64
device-mapper-event-1.02.177-11.el8_5.x86_64
device-mapper-event-libs-1.02.177-11.el8_5.x86_64
device-mapper-libs-1.02.177-11.el8_5.x86_64
device-mapper-multipath-0.8.4-17.el8_5.1.x86_64
device-mapper-multipath-libs-0.8.4-17.el8_5.1.x86_64
device-mapper-persistent-data-0.9.0-4.el8.x86_64
dhcp-client-4.3.6-45.el8.x86_64
dhcp-common-4.3.6-45.el8.noarch
dhcp-libs-4.3.6-45.el8.x86_64
diffutils-3.6-6.el8.x86_64
dlm-lib-4.1.0-1.el8.x86_64
dmidecode-3.2-10.el8.x86_64
dnf-4.7.0-4.el8.noarch
dnf-data-4.7.0-4.el8.noarch
dnf-plugins-core-4.0.21-4.el8_5.noarch
dnsmasq-2.79-19.el8.x86_64
docker-ce-19.03.13-3.el8.x86_64
docker-ce-cli-24.0.6-1.el8.x86_64
dosfstools-4.1-6.el8.x86_64
dracut-049-191.git20210920.el8.x86_64
dracut-config-rescue-049-191.git20210920.el8.x86_64
dracut-network-049-191.git20210920.el8.x86_64
dracut-squash-049-191.git20210920.el8.x86_64
drpm-0.4.1-3.el8.x86_64
dwz-0.12-10.el8.x86_64
e2fsprogs-1.45.6-2.el8.x86_64
e2fsprogs-libs-1.45.6-2.el8.x86_64
ebtables-legacy-2.0.11-9.el8.1.x86_64
edac-ctl-0.18-20.el8.x86_64
edac-util-0.18-20.el8.x86_64
edac-utils-0.18-20.el8.x86_64
edk2.git-ovmf-x64-0-20190704.1178.g4ac8ceb5d6.noarch
edk2-ovmf-20220126gitbb1bba3d77-3.el8.noarch
efibootmgr-16-1.el8.x86_64
efi-filesystem-3-3.el8.noarch
efi-srpm-macros-3-3.el8.noarch
efivar-libs-37-4.el8.x86_64
elfutils-debuginfod-client-0.185-1.el8.x86_64
elfutils-default-yama-scope-0.185-1.el8.noarch
elfutils-libelf-0.185-1.el8.x86_64
elfutils-libelf-devel-0.185-1.el8.x86_64
elfutils-libs-0.185-1.el8.x86_64
emacs-filesystem-26.1-7.el8.noarch
ethtool-5.8-7.el8.x86_64
expat-2.2.5-4.el8_5.3.x86_64
expect-5.45.4-5.el8.x86_64
file-5.33-20.el8.x86_64
file-libs-5.33-20.el8.x86_64
filesystem-3.8-6.el8.x86_64
findutils-4.6.0-20.el8.x86_64
firewalld-0.9.3-7.el8_5.1.noarch
firewalld-filesystem-0.9.3-7.el8_5.1.noarch
fontconfig-2.13.1-4.el8.x86_64
fontpackages-filesystem-1.44-22.el8.noarch
freetype-2.9.1-4.el8_3.1.x86_64
fribidi-1.0.4-8.el8.x86_64
fuse-2.9.7-17.el8.x86_64
fuse-common-3.3.0-17.el8.x86_64
fuse-libs-2.9.7-17.el8.x86_64
fuse-sshfs-2.8-5.el8.x86_64
fwupd-1.5.9-1.el8_5.0.1.x86_64
fxload-2008_10_13-10.el8.x86_64
gawk-4.2.1-2.el8.x86_64
gcc-8.5.0-4.el8_5.x86_64
gd-2.2.5-7.el8.x86_64
gdbm-1.18-1.el8.x86_64
gdbm-libs-1.18-1.el8.x86_64
gdk-pixbuf2-2.36.12-5.el8.x86_64
gdk-pixbuf2-modules-2.36.12-5.el8.x86_64
genisoimage-1.1.11-39.el8.x86_64
gettext-0.19.8.1-17.el8.x86_64
gettext-libs-0.19.8.1-17.el8.x86_64
ghc-srpm-macros-1.4.2-7.el8.noarch
giflib-5.1.4-3.el8.x86_64
git-2.27.0-1.el8.x86_64
git-core-2.27.0-1.el8.x86_64
git-core-doc-2.27.0-1.el8.noarch
glib2-2.56.4-156.el8.x86_64
glibc-2.28-164.el8_5.3.x86_64
glibc-all-langpacks-2.28-164.el8_5.3.x86_64
glibc-common-2.28-164.el8_5.3.x86_64
glibc-devel-2.28-164.el8_5.3.x86_64
glibc-headers-2.28-164.el8_5.3.x86_64
glib-networking-2.56.1-1.1.el8.x86_64
glusterfs-6.0-56.4.el8.x86_64
glusterfs-api-6.0-56.4.el8.x86_64
glusterfs-cli-6.0-56.4.el8.x86_64
glusterfs-client-xlators-6.0-56.4.el8.x86_64
glusterfs-libs-6.0-56.4.el8.x86_64
gmp-6.1.2-10.el8.x86_64
gnupg2-2.2.20-2.el8.x86_64
gnutls-3.6.16-4.el8.x86_64
gnutls-dane-3.6.16-4.el8.x86_64
gnutls-utils-3.6.16-4.el8.x86_64
gobject-introspection-1.56.1-1.el8.x86_64
google-droid-sans-fonts-20120715-13.el8.noarch
go-srpm-macros-2-17.el8.noarch
gpgme-1.13.1-9.el8.x86_64
gpm-libs-1.20.7-17.el8.x86_64
grafana-7.5.9-5.el8_5.x86_64
graphite2-1.3.10-10.el8.x86_64
grep-3.1-6.el8.x86_64
groff-base-1.22.3-18.el8.x86_64
grub2-common-2.02-106.el8.0.2.noarch
grub2-efi-x64-2.02-106.el8.0.2.x86_64
grub2-tools-2.02-106.el8.0.2.x86_64
grub2-tools-extra-2.02-106.el8.0.2.x86_64
grub2-tools-minimal-2.02-106.el8.0.2.x86_64
grubby-8.40-42.el8.x86_64
gsettings-desktop-schemas-3.32.0-6.el8.x86_64
gssproxy-0.8.0-19.el8.x86_64
gstreamer1-1.16.1-2.el8.x86_64
gstreamer1-plugins-base-1.16.1-2.el8.x86_64
gtk2-2.24.32-5.el8.x86_64
gtk3-3.22.30-8.el8.x86_64
gtk-update-icon-cache-3.22.30-8.el8.x86_64
gzip-1.9-13.el8_5.x86_64
hardlink-1.3-6.el8.x86_64
harfbuzz-1.7.5-3.el8.x86_64
hdparm-9.54-4.el8.x86_64
helix-gpg-keys-8.4r-36.el8.noarch
helix-release-8.4r-36.el8.noarch
helix-repos-8.4r-36.el8.noarch
hicolor-icon-theme-0.17-2.el8.noarch
hostname-3.20-6.el8.x86_64
httpd-2.4.37-43.module+el8.5.0+747+83fae388.3.x86_64
httpd-filesystem-2.4.37-43.module+el8.5.0+747+83fae388.3.noarch
httpd-tools-2.4.37-43.module+el8.5.0+747+83fae388.3.x86_64
hwdata-0.314-8.10.el8.noarch
ima-evm-utils-1.3.2-12.el8.x86_64
info-6.5-6.el8.x86_64
initscripts-10.00.18-1.el8.x86_64
ipcalc-0.2.4-4.el8.x86_64
ipmitool-1.8.18-18.el8.x86_64
iproute-5.12.0-4.el8.x86_64
iproute-tc-5.12.0-4.el8.x86_64
iprutils-2.4.19-1.el8.x86_64
ipset-7.1-1.el8.x86_64
ipset-libs-7.1-1.el8.x86_64
iptables-1.8.4-20.el8.x86_64
iptables-libs-1.8.4-20.el8.x86_64
iptables-services-1.8.4-20.el8.x86_64
iputils-20180629-7.el8.x86_64
ipxe-roms-qemu-20181214-8.git133f4c47.el8.noarch
irqbalance-1.4.0-6.el8.x86_64
iscsi-initiator-utils-6.2.1.4-4.git095f59c.el8.x86_64
iscsi-initiator-utils-iscsiuio-6.2.1.4-4.git095f59c.el8.x86_64
isl-0.16.1-6.el8.x86_64
isns-utils-libs-0.99-1.el8.x86_64
iso-codes-3.79-2.el8.noarch
iwl1000-firmware-39.31.5.1-104.el8_5.1.noarch
iwl100-firmware-39.31.5.1-104.el8_5.1.noarch
iwl105-firmware-18.168.6.1-104.el8_5.1.noarch
iwl135-firmware-18.168.6.1-104.el8_5.1.noarch
iwl2000-firmware-18.168.6.1-104.el8_5.1.noarch
iwl2030-firmware-18.168.6.1-104.el8_5.1.noarch
iwl3160-firmware-25.30.13.0-104.el8_5.1.noarch
iwl3945-firmware-15.32.2.9-104.el8_5.1.noarch
iwl4965-firmware-228.61.2.24-104.el8_5.1.noarch
iwl5000-firmware-8.83.5.1_1-104.el8_5.1.noarch
iwl5150-firmware-8.24.2.2-104.el8_5.1.noarch
iwl6000-firmware-9.221.4.1-104.el8_5.1.noarch
iwl6000g2a-firmware-18.168.6.1-104.el8_5.1.noarch
iwl6000g2b-firmware-18.168.6.1-104.el8_5.1.noarch
iwl6050-firmware-41.28.5.1-104.el8_5.1.noarch
iwl7260-firmware-25.30.13.0-104.el8_5.1.noarch
jansson-2.11-3.el8.x86_64
jasper-libs-2.0.14-5.el8.x86_64
java-11-openjdk-11.0.22.0.7-2.el8.x86_64
java-11-openjdk-devel-11.0.22.0.7-2.el8.x86_64
java-11-openjdk-headless-11.0.22.0.7-2.el8.x86_64
java-1.8.0-openjdk-1.8.0.332.b09-1.el8_5.x86_64
java-1.8.0-openjdk-devel-1.8.0.332.b09-1.el8_5.x86_64
java-1.8.0-openjdk-headless-1.8.0.332.b09-1.el8_5.x86_64
javapackages-filesystem-5.3.0-2.module+el8.3.0+125+5da1ae29.noarch
jbigkit-libs-2.1-14.el8.x86_64
json-c-0.13.1-2.el8.x86_64
json-glib-1.4.4-1.el8.x86_64
kbd-2.0.4-10.el8.x86_64
kbd-legacy-2.0.4-10.el8.noarch
kbd-misc-2.0.4-10.el8.noarch
kernel-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-core-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-devel-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-headers-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-modules-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-tools-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kernel-tools-libs-4.18.0-425.19.2.3.g75f4bb8fb9a0.el8.x86_64
kexec-tools-2.0.20-57.el8_5.1.x86_64
keyutils-1.5.10-9.el8.x86_64
keyutils-libs-1.5.10-9.el8.x86_64
keyutils-libs-devel-1.5.10-9.el8.x86_64
kmod-25-18.el8.x86_64
kmod-libs-25-18.el8.x86_64
kpartx-0.8.4-17.el8_5.1.x86_64
krb5-devel-1.18.2-14.el8.x86_64
krb5-libs-1.18.2-14.el8.x86_64
lcms2-2.9-2.el8.x86_64
less-530-1.el8.x86_64
leveldb-1.22-1.el8.x86_64
libacl-2.2.53-1.el8.1.x86_64
libaio-0.3.112-1.el8.x86_64
libarchive-3.3.3-3.el8_5.x86_64
libassuan-2.5.1-3.el8.x86_64
libattr-2.4.48-3.el8.x86_64
libbabeltrace-1.5.4-3.el8.x86_64
libbasicobjects-0.1.1-39.el8.x86_64
libblkid-2.32.1-28.el8.x86_64
libbpf-0.4.0-1.el8.x86_64
libcap-2.26-5.el8.x86_64
libcap-ng-0.7.11-1.el8.x86_64
libcbd-v1.2.6-148.g69bd873f.el8.x86_64
libcgroup-0.41-19.el8.x86_64
libcollection-0.7.0-39.el8.x86_64
libcom_err-1.45.6-2.el8.x86_64
libcom_err-devel-1.45.6-2.el8.x86_64
libcomps-0.1.16-2.el8.x86_64
libcroco-0.6.12-4.el8_2.1.x86_64
libcurl-7.61.1-22.el8.x86_64
libdaemon-0.14-15.el8.x86_64
libdatrie-0.2.9-7.el8.x86_64
libdb-5.3.28-42.el8_4.x86_64
libdb-utils-5.3.28-42.el8_4.x86_64
libdnf-0.63.0-3.el8.x86_64
libdrm-2.4.106-2.el8.x86_64
libedac-0.18-20.el8.x86_64
libedit-3.1-23.20170329cvs.el8.x86_64
libepoxy-1.5.8-1.el8.x86_64
libestr-0.1.10-1.el8.x86_64
libevent-2.1.8-5.el8.x86_64
libfastjson-0.99.9-1.el8.x86_64
libfdisk-2.32.1-28.el8.x86_64
libfdt-1.6.0-1.el8.x86_64
libffi-3.1-22.el8.x86_64
libffi-devel-3.1-22.el8.x86_64
libfontenc-1.1.3-8.el8.x86_64
libgcab1-1.1-1.el8.x86_64
libgcc-8.5.0-4.el8_5.x86_64
libgcrypt-1.8.5-6.el8.x86_64
libglvnd-1.3.2-1.el8.x86_64
libglvnd-egl-1.3.2-1.el8.x86_64
libglvnd-gles-1.3.2-1.el8.x86_64
libglvnd-glx-1.3.2-1.el8.x86_64
libgomp-8.5.0-4.el8_5.x86_64
libgpg-error-1.31-1.el8.x86_64
libgudev-232-4.el8.x86_64
libgusb-0.3.0-1.el8.x86_64
libibverbs-35.0-1.el8.x86_64
libicu-60.3-2.el8_1.x86_64
libidn2-2.2.0-1.el8.x86_64
libini_config-1.3.1-39.el8.x86_64
libiscsi-1.18.0-8.module+el8.4.0+534+4680a14e.x86_64
libjpeg-turbo-1.5.3-12.el8.x86_64
libkadm5-1.18.2-14.el8.x86_64
libkcapi-1.2.0-2.el8.x86_64
libkcapi-hmaccalc-1.2.0-2.el8.x86_64
libksba-1.3.5-7.el8.x86_64
libmaxminddb-1.2.0-10.el8.x86_64
libmbim-1.20.2-1.el8.x86_64
libmetalink-0.1.3-7.el8.x86_64
libmnl-1.0.4-6.el8.x86_64
libmodman-2.0.1-17.el8.x86_64
libmodulemd-2.13.0-1.el8.x86_64
libmount-2.32.1-28.el8.x86_64
libmpc-1.1.0-9.1.el8.x86_64
libnetfilter_conntrack-1.0.6-5.el8.x86_64
libnetfilter_cthelper-1.0.0-15.el8.x86_64
libnetfilter_cttimeout-1.0.0-11.el8.x86_64
libnetfilter_queue-1.0.4-3.el8.x86_64
libnfnetlink-1.0.1-13.el8.x86_64
libnfsidmap-2.3.3-46.el8.x86_64
libnftnl-1.1.5-4.el8.x86_64
libnghttp2-1.33.0-3.el8_3.1.x86_64
libnl3-3.5.0-1.el8.x86_64
libnsl2-1.2.0-2.20180605git4a062cf.el8.x86_64
libogg-1.3.2-10.el8.x86_64
libpath_utils-0.2.1-39.el8.x86_64
libpcap-1.9.1-5.el8.x86_64
libpciaccess-0.14-1.el8.x86_64
libpipeline-1.5.0-2.el8.x86_64
libpkgconf-1.4.2-1.el8.x86_64
libpmem-1.6.1-1.el8.x86_64
libpng-1.6.34-5.el8.x86_64
libproxy-0.4.15-5.2.el8.x86_64
libpsl-0.20.2-6.el8.x86_64
libpwquality-1.4.4-3.el8.x86_64
libqmi-1.24.0-3.el8.x86_64
librados2-12.2.7-9.el8.x86_64
librbd1-12.2.7-9.el8.x86_64
librdmacm-35.0-1.el8.x86_64
libref_array-0.1.5-39.el8.x86_64
librepo-1.14.0-2.el8.x86_64
libreport-filesystem-2.9.5-15.el8.rocky.6.3.x86_64
libseccomp-2.5.1-1.el8.x86_64
libsecret-0.18.6-1.el8.0.2.x86_64
libselinux-2.9-5.el8.x86_64
libselinux-devel-2.9-5.el8.x86_64
libselinux-python-2.9-2.1.module+el8.4.0+532+c114ce35.x86_64
libselinux-utils-2.9-5.el8.x86_64
libsemanage-2.9-9.el8_6.x86_64
libsepol-2.9-3.el8.x86_64
libsepol-devel-2.9-3.el8.x86_64
libsigsegv-2.11-5.el8.x86_64
libsmartcols-2.32.1-28.el8.x86_64
libsmbios-2.4.1-2.el8.x86_64
libsolv-0.7.19-1.el8.x86_64
libsoup-2.62.3-2.el8.x86_64
libss-1.45.6-2.el8.x86_64
libssh-0.9.4-3.el8.x86_64
libssh-config-0.9.4-3.el8.noarch
libsss_idmap-2.5.2-2.el8_5.4.x86_64
libsss_nss_idmap-2.5.2-2.el8_5.4.x86_64
libstdc++-8.5.0-4.el8_5.x86_64
libsysfs-2.1.0-24.el8.x86_64
libtasn1-4.13-3.el8.x86_64
libthai-0.1.27-2.el8.x86_64
libtheora-1.1.1-21.el8.x86_64
libtiff-4.0.9-20.el8.x86_64
libtirpc-1.1.4-5.el8.x86_64
libtomcrypt-1.18.2-5.el8.x86_64
libtommath-1.1.0-1.el8.x86_64
libtpms-0.9.1-2.20211126git1ff6fe1f43.module+el8.8.0+1279+230c2115.x86_64
libunistring-0.9.9-3.el8.x86_64
libusal-1.1.11-39.el8.x86_64
libusbx-1.0.23-4.el8.x86_64
libuser-0.62-23.el8.x86_64
libutempter-1.1.6-14.el8.x86_64
libuuid-2.32.1-28.el8.x86_64
libverto-0.3.0-5.el8.x86_64
libverto-devel-0.3.0-5.el8.x86_64
libverto-libevent-0.3.0-5.el8.x86_64
libvirt-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-client-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-config-network-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-config-nwfilter-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-interface-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-network-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-nodedev-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-nwfilter-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-qemu-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-secret-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-core-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-disk-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-gluster-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-iscsi-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-iscsi-direct-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-logical-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-mpath-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-rbd-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-driver-storage-scsi-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-daemon-kvm-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-libs-8.0.0-78.g0606ea2633.el8.x86_64
libvirt-python-4.9.0-1.el7.x86_64
libvisual-0.4.0-25.el8.x86_64
libvorbis-1.3.6-2.el8.x86_64
libwayland-client-1.19.0-1.el8.x86_64
libwayland-cursor-1.19.0-1.el8.x86_64
libwayland-egl-1.19.0-1.el8.x86_64
libwayland-server-1.19.0-1.el8.x86_64
libwebp-1.0.0-5.el8.x86_64
libX11-1.6.8-5.el8.x86_64
libX11-common-1.6.8-5.el8.noarch
libX11-xcb-1.6.8-5.el8.x86_64
libXau-1.0.9-3.el8.x86_64
libxcb-1.13.1-1.el8.x86_64
libXcomposite-0.4.4-14.el8.x86_64
libxcrypt-4.1.1-6.el8.x86_64
libxcrypt-devel-4.1.1-6.el8.x86_64
libXcursor-1.1.15-3.el8.x86_64
libXdamage-1.1.4-14.el8.x86_64
libXext-1.3.4-1.el8.x86_64
libXfixes-5.0.3-7.el8.x86_64
libXft-2.3.3-1.el8.x86_64
libXi-1.7.10-1.el8.x86_64
libXinerama-1.1.4-1.el8.x86_64
libxkbcommon-0.9.1-1.el8.x86_64
libxml2-2.9.7-12.el8_5.x86_64
libxmlb-0.1.15-1.el8.x86_64
libXpm-3.5.12-8.el8.x86_64
libXrandr-1.5.2-1.el8.x86_64
libXrender-0.9.10-7.el8.x86_64
libxshmfence-1.3-2.el8.x86_64
libxslt-1.1.32-6.el8.x86_64
libXtst-1.2.3-7.el8.x86_64
libXv-1.0.11-7.el8.x86_64
libXxf86vm-1.1.4-9.el8.x86_64
libyaml-0.1.7-5.el8.x86_64
libzstd-1.4.4-1.el8.x86_64
lighttpd-1.4.67-1.el8.x86_64
lighttpd-filesystem-1.4.67-1.el8.noarch
lighttpd-mod_authn_ldap-1.4.67-1.el8.x86_64
lighttpd-mod_deflate-1.4.67-1.el8.x86_64
lighttpd-mod_magnet-1.4.67-1.el8.x86_64
lighttpd-mod_openssl-1.4.67-1.el8.x86_64
lighttpd-mod_vhostdb_ldap-1.4.67-1.el8.x86_64
lighttpd-mod_webdav-1.4.67-1.el8.x86_64
linux-firmware-20210702-104.gitd79c2677.el8_5.noarch
lksctp-tools-1.0.18-3.el8.x86_64
lldpd-1.0.1-2.el8.x86_64
llvm-libs-12.0.1-2.module+el8.5.0+692+8756646f.x86_64
lm_sensors-libs-3.4.0-23.20180522git70f7e08.el8.x86_64
logrotate-3.14.0-4.el8.x86_64
lsof-4.93.2-1.el8.x86_64
lsscsi-0.32-3.el8.x86_64
lttng-tools-2.8.8-1.el8.x86_64
lttng-ust-2.8.1-11.el8.x86_64
lua-5.3.4-12.el8.x86_64
lua-libs-5.3.4-12.el8.x86_64
lvm2-2.03.12-11.el8_5.x86_64
lvm2-libs-2.03.12-11.el8_5.x86_64
lvm2-lockd-2.03.12-11.el8_5.x86_64
lz4-libs-1.8.3-3.el8_4.x86_64
lzo-2.08-14.el8.x86_64
lzop-1.03-20.el8.x86_64
m4-1.4.18-7.el8.x86_64
mailcap-2.1.48-3.el8.noarch
make-4.2.1-10.el8.x86_64
man-db-2.7.6.1-18.el8.x86_64
mariadb-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
mariadb-common-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
mariadb-connector-c-3.1.11-2.el8_3.x86_64
mariadb-connector-c-config-3.1.11-2.el8_3.noarch
mariadb-errmsg-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
mariadb-server-10.3.39-1.module+el8.8.0+1452+2a7eab68.x86_64
mcelog-175-1.el8.x86_64
mdevctl-1.1.0-2.el8.x86_64
MegaCli-8.07.14-1.noarch
mesa-dri-drivers-21.1.5-1.el8.0.x86_64
mesa-filesystem-21.1.5-1.el8.0.x86_64
mesa-libEGL-21.1.5-1.el8.0.x86_64
mesa-libgbm-21.1.5-1.el8.0.x86_64
mesa-libGL-21.1.5-1.el8.0.x86_64
mesa-libglapi-21.1.5-1.el8.0.x86_64
microcode_ctl-20210608-1.20220207.1.el8_5.x86_64
ModemManager-glib-1.10.8-4.el8.x86_64
mod_http2-1.15.7-3.module+el8.5.0+695+1fa8055e.x86_64
mokutil-0.3.0-11.el8.x86_64
mozjs60-60.9.0-4.el8.x86_64
mpfr-3.1.6-1.el8.x86_64
mtools-4.0.18-14.el8.x86_64
ncurses-6.1-9.20180224.el8.x86_64
ncurses-base-6.1-9.20180224.el8.noarch
ncurses-libs-6.1-9.20180224.el8.x86_64
netcf-libs-0.2.8-12.module+el8.4.0+534+4680a14e.x86_64
net-snmp-agent-libs-5.8-22.el8.x86_64
net-snmp-libs-5.8-22.el8.x86_64
nettle-3.4.1-7.el8.x86_64
net-tools-2.0-0.52.20160912git.el8.x86_64
network-scripts-10.00.18-1.el8.x86_64
nfs-utils-2.3.3-46.el8.x86_64
nftables-0.9.3-21.el8.x86_64
nginx-1.24.0-1.el8.x86_64
nginx-all-modules-1.24.0-1.el8.noarch
nginx-filesystem-1.24.0-1.el8.noarch
nginx-mod-http-image-filter-1.24.0-1.el8.x86_64
nginx-mod-http-perl-1.24.0-1.el8.x86_64
nginx-mod-http-xslt-filter-1.24.0-1.el8.x86_64
nginx-mod-mail-1.24.0-1.el8.x86_64
nginx-mod-stream-1.24.0-1.el8.x86_64
nmap-7.70-6.el8.x86_64
nmap-ncat-7.70-6.el8.x86_64
nodejs-14.21.1-2.module+el8.7.0+1116+bd2a84b4.x86_64
npth-1.5-4.el8.x86_64
nspr-4.32.0-1.el8_4.x86_64
nss-3.67.0-7.el8_5.x86_64
nss-softokn-3.67.0-7.el8_5.x86_64
nss-softokn-freebl-3.67.0-7.el8_5.x86_64
nss-sysinit-3.67.0-7.el8_5.x86_64
nss-util-3.67.0-7.el8_5.x86_64
numactl-libs-2.0.12-13.el8.x86_64
numad-0.5-26.20150602git.el8.x86_64
nvme-cli-1.14-3.el8.x86_64
ocaml-srpm-macros-5-4.el8.noarch
openblas-srpm-macros-2-2.el8.noarch
OpenIPMI-modalias-2.0.23-2.el7.x86_64
openldap-2.4.46-18.el8.x86_64
openssh-8.0p1-19.el8_8.x86_64
openssh-clients-8.0p1-19.el8_8.x86_64
openssh-server-8.0p1-19.el8_8.x86_64
openssl-1.1.1k-9.el8_7.x86_64
openssl-devel-1.1.1k-9.el8_7.x86_64
openssl-libs-1.1.1k-9.el8_7.x86_64
opus-1.3-0.4.beta.el8.x86_64
orc-0.4.28-3.el8.x86_64
os-prober-1.74-9.el8.x86_64
p11-kit-0.23.22-1.el8.x86_64
p11-kit-trust-0.23.22-1.el8.x86_64
pam-1.3.1-15.el8.x86_64
pango-1.42.4-8.el8.x86_64
parted-3.2-39.el8.x86_64
passwd-0.80-3.el8.x86_64
pciutils-3.7.0-1.el8.x86_64
pciutils-libs-3.7.0-1.el8.x86_64
pcre2-10.32-2.el8.x86_64
pcre2-devel-10.32-2.el8.x86_64
pcre2-utf16-10.32-2.el8.x86_64
pcre2-utf32-10.32-2.el8.x86_64
pcre-8.42-6.el8.x86_64
perl-Carp-1.42-396.el8.noarch
perl-constant-1.33-396.el8.noarch
perl-Data-Dumper-2.167-399.el8.x86_64
perl-Digest-1.17-395.el8.noarch
perl-Digest-MD5-2.55-396.el8.x86_64
perl-Encode-2.97-3.el8.x86_64
perl-Errno-1.28-420.el8.x86_64
perl-Error-0.17025-2.el8.noarch
perl-Exporter-5.72-396.el8.noarch
perl-File-Path-2.15-2.el8.noarch
perl-File-Temp-0.230.600-1.el8.noarch
perl-Getopt-Long-2.50-4.el8.noarch
perl-Git-2.27.0-1.el8.noarch
perl-HTTP-Tiny-0.074-1.el8.noarch
perl-interpreter-5.26.3-420.el8.x86_64
perl-IO-1.38-420.el8.x86_64
perl-IO-Socket-IP-0.39-5.el8.noarch
perl-IO-Socket-SSL-2.066-4.module+el8.4.0+512+d4f0fc54.noarch
perl-libnet-3.11-3.el8.noarch
perl-libs-5.26.3-420.el8.x86_64
perl-macros-5.26.3-420.el8.x86_64
perl-MIME-Base64-3.15-396.el8.x86_64
perl-Net-SSLeay-1.88-1.module+el8.4.0+512+d4f0fc54.x86_64
perl-parent-0.237-1.el8.noarch
perl-PathTools-3.74-1.el8.x86_64
perl-Pod-Escapes-1.07-395.el8.noarch
perl-podlators-4.11-1.el8.noarch
perl-Pod-Perldoc-3.28-396.el8.noarch
perl-Pod-Simple-3.35-395.el8.noarch
perl-Pod-Usage-1.69-395.el8.noarch
perl-Scalar-List-Utils-1.49-2.el8.x86_64
perl-Socket-2.027-3.el8.x86_64
perl-srpm-macros-1-25.el8.noarch
perl-Storable-3.11-3.el8.x86_64
perl-Term-ANSIColor-4.06-396.el8.noarch
perl-Term-Cap-1.17-395.el8.noarch
perl-TermReadKey-2.37-7.el8.x86_64
perl-Text-ParseWords-3.30-395.el8.noarch
perl-Text-Tabs+Wrap-2013.0523-395.el8.noarch
perl-threads-2.21-2.el8.x86_64
perl-threads-shared-1.58-2.el8.x86_64
perl-Time-Local-1.280-1.el8.noarch
perl-Unicode-Normalize-1.25-396.el8.x86_64
perl-URI-1.73-3.el8.noarch
pinentry-1.1.0-2.el8.x86_64
pixman-0.38.4-1.el8.x86_64
pkgconf-1.4.2-1.el8.x86_64
pkgconf-m4-1.4.2-1.el8.noarch
pkgconf-pkg-config-1.4.2-1.el8.x86_64
platform-python-3.6.8-41.el8.rocky.0.x86_64
platform-python-pip-9.0.3-20.el8.rocky.0.noarch
platform-python-setuptools-39.2.0-6.el8.noarch
plymouth-0.9.4-10.20200615git1e36e30.el8_5.1.x86_64
plymouth-core-libs-0.9.4-10.20200615git1e36e30.el8_5.1.x86_64
plymouth-scripts-0.9.4-10.20200615git1e36e30.el8_5.1.x86_64
policycoreutils-2.9-24.el8.x86_64
policycoreutils-python-utils-2.9-24.el8.noarch
polkit-0.115-13.el8_5.2.x86_64
polkit-libs-0.115-13.el8_5.2.x86_64
polkit-pkla-compat-0.1-12.el8.x86_64
popt-1.18-1.el8.x86_64
postfix-3.5.8-2.el8.x86_64
procps-ng-3.3.15-6.el8.x86_64
psmisc-23.1-5.el8.x86_64
publicsuffix-list-dafsa-20180723-1.el8.noarch
pv-1.6.6-7.el8.x86_64
pyparted-3.11.4-4.el8.x86_64
python2-2.7.18-7.module+el8.5.0+718+67e45b5f.rocky.0.2.x86_64
python2-backports-1.0-16.module+el8.4.0+403+9ae17a31.x86_64
python2-backports-ssl_match_hostname-3.5.0.1-12.module+el8.4.0+403+9ae17a31.noarch
python2-crypto-2.6.1-28.1.el8.x86_64
python2-devel-2.7.18-7.module+el8.5.0+718+67e45b5f.rocky.0.2.x86_64
python2-ipaddress-1.0.18-6.module+el8.4.0+403+9ae17a31.noarch
python2-libs-2.7.18-7.module+el8.5.0+718+67e45b5f.rocky.0.2.x86_64
python2-pip-9.0.3-18.module+el8.4.0+403+9ae17a31.noarch
python2-pip-wheel-9.0.3-18.module+el8.4.0+403+9ae17a31.noarch
python2-PyMySQL-0.8.0-10.module+el8.5.0+706+735ec4b3.noarch
python2-rpm-macros-3-38.module+el8.4.0+403+9ae17a31.noarch
python2-setuptools-39.0.1-13.module+el8.4.0+403+9ae17a31.noarch
python2-setuptools-wheel-39.0.1-13.module+el8.4.0+403+9ae17a31.noarch
python36-3.6.8-38.module+el8.5.0+671+195e4563.x86_64
python3-audit-3.0.7-4.el8.x86_64
python3-configobj-5.0.6-11.el8.noarch
python3-dateutil-2.6.1-6.el8.noarch
python3-dbus-1.2.4-15.el8.x86_64
python3-decorator-4.2.1-2.el8.noarch
python3-dnf-4.7.0-4.el8.noarch
python3-dnf-plugins-core-4.0.21-4.el8_5.noarch
python3-firewall-0.9.3-7.el8_5.1.noarch
python3-gobject-base-3.28.3-2.el8.x86_64
python3-gpg-1.13.1-9.el8.x86_64
python3-hawkey-0.63.0-3.el8.x86_64
python3-libcomps-0.1.16-2.el8.x86_64
python3-libdnf-0.63.0-3.el8.x86_64
python3-libs-3.6.8-41.el8.rocky.0.x86_64
python3-libselinux-2.9-5.el8.x86_64
python3-libsemanage-2.9-9.el8_6.x86_64
python3-linux-procfs-0.6.3-1.el8.noarch
python3-nftables-0.9.3-21.el8.x86_64
python3-perf-4.18.0-348.23.1.2.g50e329dc22ea.el8.x86_64
python3-pip-9.0.3-20.el8.rocky.0.noarch
python3-pip-wheel-9.0.3-20.el8.rocky.0.noarch
python3-policycoreutils-2.9-24.el8.noarch
python3-pyasn1-0.3.7-6.el8.noarch
python3-pyudev-0.21.0-7.el8.noarch
python3-pyyaml-3.12-12.el8.x86_64
python3-rpm-4.14.3-19.el8_5.2.x86_64
python3-rpm-generators-5-7.el8.noarch
python3-rpm-macros-3-41.el8.noarch
python3-rsa-4.8-1.el8.noarch
python3-setools-4.3.0-3.el8.x86_64
python3-setuptools-39.2.0-6.el8.noarch
python3-setuptools-wheel-39.2.0-6.el8.noarch
python3-six-1.11.0-8.el8.noarch
python3-slip-0.6.4-11.el8.noarch
python3-slip-dbus-0.6.4-11.el8.noarch
python3-syspurpose-1.28.21-5.el8_5.x86_64
python-pyudev-0.15-9.el7.noarch
python-rpm-macros-3-41.el8.noarch
python-srpm-macros-3-41.el8.noarch
qemu-img-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-cbd-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-curl-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-gluster-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-iscsi-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-rbd-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-block-ssh-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-common-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-core-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-docs-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-hw-usbredir-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-ui-opengl-6.2.0-220.gd86cb318e7.el8.x86_64
qemu-kvm-ui-spice-6.2.0-220.gd86cb318e7.el8.x86_64
qt5-srpm-macros-5.15.2-1.el8.0.1.noarch
quota-4.04-14.el8.x86_64
quota-nls-4.04-14.el8.noarch
rdma-core-35.0-1.el8.x86_64
readline-7.0-10.el8.x86_64
redhat-rpm-config-125-1.el8.noarch
redis-5.0.3-5.module+el8.5.0+657+2674830e.x86_64
rest-0.8.1-2.el8.x86_64
rocky-logos-85.0-3.el8.x86_64
rocky-logos-httpd-85.0-3.el8.noarch
rootfiles-8.1-22.el8.noarch
rpcbind-1.2.5-8.el8.x86_64
rpm-4.14.3-19.el8_5.2.x86_64
rpm-build-libs-4.14.3-19.el8_5.2.x86_64
rpm-libs-4.14.3-19.el8_5.2.x86_64
rpm-plugin-selinux-4.14.3-19.el8_5.2.x86_64
rsync-3.1.3-12.el8.x86_64
rsyslog-8.2102.0-5.el8.x86_64
rust-srpm-macros-5-2.el8.noarch
sanlock-3.8.4-2.el8_5.x86_64
sanlock-lib-3.8.4-2.el8_5.x86_64
seabios-bin-1.13.0-2.module+el8.4.0+534+4680a14e.noarch
seavgabios-bin-1.13.0-2.module+el8.4.0+534+4680a14e.noarch
sed-4.5-2.el8.x86_64
selinux-policy-3.14.3-117.el8_8.2.noarch
selinux-policy-targeted-3.14.3-117.el8_8.2.noarch
setup-2.12.2-6.el8.noarch
sg3_utils-1.44-6.el8.x86_64
sg3_utils-libs-1.44-6.el8.x86_64
sgabios-bin-0.20170427git-3.module+el8.4.0+534+4680a14e.noarch
shadow-utils-4.6-14.el8.x86_64
shared-mime-info-1.9-3.el8.x86_64
shim-x64-15.4-2.el8_5.2.rocky.x86_64
smartmontools-7.1-1.el8.x86_64
snappy-1.1.8-3.el8.x86_64
spice-server-0.14.3-4.el8.x86_64
sqlite-3.26.0-15.el8.x86_64
sqlite-libs-3.26.0-15.el8.x86_64
squashfs-tools-4.3-20.el8.x86_64
sshpass-1.09-4.el8.x86_64
sssd-client-2.5.2-2.el8_5.4.x86_64
storcli-007.1804.0000.0000-1.noarch
sudo-1.8.29-7.el8_4.1.x86_64
swtpm-0.7.0-4.20211109gitb79fd91.module+el8.8.0+1279+230c2115.x86_64
swtpm-libs-0.7.0-4.20211109gitb79fd91.module+el8.8.0+1279+230c2115.x86_64
swtpm-tools-0.7.0-4.20211109gitb79fd91.module+el8.8.0+1279+230c2115.x86_64
sysfsutils-2.1.0-24.el8.x86_64
syslinux-6.04-5.el8.x86_64
syslinux-nonlinux-6.04-5.el8.noarch
sysstat-11.7.3-6.el8.x86_64
systemd-239-51.el8_5.5.x86_64
systemd-container-239-51.el8_5.5.x86_64
systemd-libs-239-51.el8_5.5.x86_64
systemd-pam-239-51.el8_5.5.x86_64
systemd-udev-239-51.el8_5.5.x86_64
tar-1.30-5.el8.x86_64
tcl-8.6.8-2.el8.x86_64
telnet-0.17-76.el8.x86_64
tpm2-tss-2.3.2-4.el8.x86_64
traceroute-2.1.0-6.el8.x86_64
tree-1.7.0-15.el8.x86_64
trousers-0.3.15-1.el8.x86_64
trousers-lib-0.3.15-1.el8.x86_64
ttmkfdir-3.0.9-54.el8.x86_64
tuned-2.16.0-1.el8.noarch
tzdata-2024a-1.el8.noarch
tzdata-java-2024a-1.el8.noarch
unbound-libs-1.7.3-17.el8.x86_64
unzip-6.0-45.el8_4.x86_64
usbredir-0.12.0-2.el8.x86_64
usbredir-server-0.12.0-2.el8.x86_64
usbutils-010-3.el8.x86_64
userspace-rcu-0.10.1-4.el8.x86_64
util-linux-2.32.1-28.el8.x86_64
vim-common-8.0.1763-16.el8_5.13.x86_64
vim-enhanced-8.0.1763-16.el8_5.13.x86_64
vim-filesystem-8.0.1763-16.el8_5.13.noarch
vim-minimal-8.0.1763-16.el8_5.13.x86_64
virt-what-1.18-12.el8.x86_64
vsftpd-3.0.3-34.el8.x86_64
wget-1.19.5-10.el8.x86_64
which-2.21-16.el8.x86_64
xfsprogs-5.0.0-9.el8.x86_64
xkeyboard-config-2.28-1.el8.noarch
xml-common-0.6.3-50.el8.noarch
xorg-x11-fonts-Type1-7.5-19.el8.noarch
xorg-x11-font-utils-7.5-41.el8.x86_64
xz-5.2.4-3.el8.1.x86_64
xz-libs-5.2.4-3.el8.1.x86_64
yajl-2.1.0-10.el8.x86_64
yum-4.7.0-4.el8.noarch
yum-utils-4.0.21-4.el8_5.noarch
zip-3.0-23.el8.x86_64
zlib-1.2.11-18.el8_5.x86_64
zlib-devel-1.2.11-18.el8_5.x86_64
zs-forecast-capacity-1.0-1.1.x86_64
zstack-manager-5.0.0-1.h8.zstack.noarch
zstack-release-h84r-1.h8.zstack.noarch
[root@zstack130 ~]#

メモ Nutanix AHVの管理画面で仮想マシンにClient certificatesのエラーがでていた


時々テスト用に起動することがあるNutanix環境がある。

テスト用なのでNutanix Community Editionで構築したのだがしばらくアップデートが出てなかったので結構古い。

確認することがあったのでWindows仮想マシンとLinux仮想マシンを作って、Windows側にNutanix Guest Toolsをインストールしてみたところエラーが・・・

Summary
Client certificates for VM <仮想マシン名> with uuid 33dd4645-3dcf-4efc-b837-0b1cb3a8d7d9 are expiring in -19717 days and need to be regenerated.Upon Certificate expiry, the CVM-Guest VM communication will be broken.

Possible Cause
Description
NGT Client certificates have definite expiry period of 1000 days based on ISO standards.

Recommendation
NGT Client certificates need to be regenerated on the guest VMs. Refer to KB 10075 for further details

KB 10075「NCC Health Check: ngt_client_cert_expiry_check

AOS 5.19.1以降と、AOS 5.19.1より前とで対処が違う模様。

2020.09.16はAOS5.18らしいので、より前なので対処策は KB-8120のようなのだが、Community Edition権限では読めない・・・

で・・・アップデートが出てないと思ってたNutanix Community Editionについて2023年3月に新しいバージョンが出ていたとは・・・

smzklab「[2023令和最新版]Nutanix Community Edition 2.0

ダウンロード場所「Download Community Edition

それはさておき、問題の対処方法を捜索

インフラ屋とアプリ屋のあいだ「NGTによる仮想マシンの識別方法と証明書の更新方法について」を見ると、期限が切れてる場合はNGTとの通信が出来ていない模様

しかしうちの環境だと「NGT Enabled:true」で「Communication Link Active:true」とNGTと通信はできている模様

nutanix@NTNX-20190b89-A-CVM:172.17.44.22:~$ ncli ngt get vm-id=<UUID>

    VM Id                     : <UUID>
    VM Name                   : <仮想マシン名>
    NGT Enabled               : true
    Tools ISO Mounted         : false
    Vss Snapshot              : true
    File Level Restore        : false
    Communication Link Active : true
nutanix@NTNX-20190b89-A-CVM:172.17.44.22:~$

とりあえず、書いてある証明書更新を実施してみる

「ncli vm list」でUUID確認

「ncli ngt get vm-id=<UUID>」で現状のステータス確認

「nutanix_guest_tools_cli query_vm_tools_entity <UUID>」でNGTと通信して内容が取れるか確認(うちの環境では取れた)

いまの環境のNGT versionは「ngt_version: “2.0”」となっていた。

「nutanix_guest_tools_cli delete_vm_tools_entity <UUID>」で登録を削除。最後は「result_vec: kNoError」と出る

「nutanix_guest_tools_cli query_vm_tools_entity <UUID>」でNGTと通信して内容を確認すると、ログが流れたあとjsonっぽい出力はなくすぐに「result_vec: kNonExistent」と出たので登録は削除されている

「nutanix_guest_tools_cli create_vm_tools_entity <UUID>」で登録を実施。最後は「result_vec: kNoError」と出る

「nutanix_guest_tools_cli query_vm_tools_entity <UUID>」でNGTと通信して内容を確認すると、ログが流れたあとjsonっぽい出力があれば再登録

Nutanix管理画面からMount Nutanix Guest Toolsを実行した後、仮想マシンを再起動、とあるので、それを行う(nutanix_guest_tools_cli mount_guest_tools <UUID>でもいいらしい)

仮想マシン再起動後、「ncli ngt get vm-id=<UUID>」を実行し、NGTの状態確認

結果変わらず。

今回、Linux仮想マシンだったので/usr/local/nutanix/ngt/config/にあるpem拡張子のファイルが更新されている。

# ls -l /usr/local/nutanix/ngt/config/
合計 20
-rwxr-x---. 1 root root 3988 12月 28 15:50 ca-cert.pem
-rwxr-x---. 1 root root 1854 12月 28 15:50 client-cert.pem
-rwxr-x---. 1 root root 1704 12月 28 15:50 client-key.pem
-r-xr-x---. 1 root root  118 12月 28 15:50 ngt_config.json
-rw-r--r--. 1 root root    0 12月 28 14:53 ngt_marker
-r-xr-x---. 1 root root  379 12月 28 14:53 script_execution_config.json
#

client-cert.pemを確認すると、発行日 2023/12/28 と更新されていることを確認

# openssl x509 -text -noout -in /usr/local/nutanix/ngt/config/client-cert.pem
Certificate:
    Data:
        Version: 3 (0x2)
        Serial Number: 4105 (0x1009)
        Signature Algorithm: sha256WithRSAEncryption
        Issuer: C = US, ST = CA, O = Nutanix, OU = NGT, CN = intermediate-ca
        Validity
            Not Before: Dec 28 06:45:42 2023 GMT
            Not After : Sep 23 06:45:42 2026 GMT
        Subject: C = US, ST = CA, L = San Jose, O = Nutanix, OU = Nutanix Guest Tools, CN = ngt-uuid=bbcae76c-bcc2-4da5-bb80-1ed6fb2d6045
        Subject Public Key Info:
            Public Key Algorithm: rsaEncryption
                Public-Key: (2048 bit)
                Modulus:
                    <略>
                Exponent: 65537 (0x10001)
        X509v3 extensions:
            X509v3 Basic Constraints:
                CA:FALSE
            Netscape Cert Type:
                SSL Client, S/MIME
            Netscape Comment:
                OpenSSL Generated Client Certificate
            X509v3 Subject Key Identifier:
                58:DD:30:0E:E9:FD:5E:5C:A0:68:5B:13:B4:34:4E:B5:10:43:D5:D1
            X509v3 Authority Key Identifier:
                16:EE:D1:30:0D:AC:E9:CE:CA:E9:69:D8:F1:8A:B6:7D:2B:46:45:F6
            X509v3 Key Usage: critical
                Digital Signature, Non Repudiation, Key Encipherment
            X509v3 Extended Key Usage:
                TLS Web Client Authentication, E-mail Protection
    Signature Algorithm: sha256WithRSAEncryption
    Signature Value:
        <略>
#

ca-cert.pem 側は2019/11/12発行だけど、有効期限が2029年までになっている状態

# openssl x509 -text -noout -in /usr/local/nutanix/ngt/config/ca-cert.pem
Certificate:
    Data:
        Version: 3 (0x2)
        Serial Number: 4096 (0x1000)
        Signature Algorithm: sha256WithRSAEncryption
        Issuer: C = US, ST = CA, L = San Jose, O = Nutanix, OU = NGT, CN = root-ca
        Validity
            Not Before: Nov 12 08:12:48 2019 GMT
            Not After : Nov  9 08:12:48 2029 GMT
        Subject: C = US, ST = CA, O = Nutanix, OU = NGT, CN = intermediate-ca
        Subject Public Key Info:
            Public Key Algorithm: rsaEncryption
                Public-Key: (4096 bit)
                Modulus:
                    <略>
                Exponent: 65537 (0x10001)
        X509v3 extensions:
            X509v3 Subject Key Identifier:
                16:EE:D1:30:0D:AC:E9:CE:CA:E9:69:D8:F1:8A:B6:7D:2B:46:45:F6
            X509v3 Authority Key Identifier:
                AA:F6:89:7E:3B:F9:42:7E:15:D0:42:27:54:A8:65:2B:3E:5C:7F:B6
            X509v3 Basic Constraints: critical
                CA:TRUE, pathlen:0
            X509v3 Key Usage: critical
                Digital Signature, Certificate Sign, CRL Sign
    Signature Algorithm: sha256WithRSAEncryption
    Signature Value:
        <略>
#

….ca-certの有効期限が10年であることが問題?

そうするとNutanix側のCA証明書を再生成する必要があるのが「AOS < 5.19.1: Rrefer to KB 8120 for instructions on re-generating the certificates.」の内容ということなのか?

とりあえずよくわからないけど、NGTが使えていないわけではないので一旦放置、とした

Xperia XZsにGSIイメージを書き込んだ


秋葉原でXperia XZs G8232を4400円で入手した。

調べて見るとGSIイメージを書き込むという手法があるようでFIRE & TECH「Xperia XZs の ROM 焼き」で紹介されていた。

ファイルの配布元はxda-forumの「[10.0] Project Treble for Xperia XZs [2020.03.18]」で、どういうことをやっているのかは「Fake Treble for Xperia XZ」に書かれている。

まずはXperia XZsのbootloader unlockをするために、設定画面から「OEMロック解除」を有効にする。

で、IMEI調べて、sonyの「Unlock Bootloader」でbootloader unlockのコードを申請して入手。

電源オフ状態でボリューム↑ボタンを押しながらUSBケーブルでパソコンに接続すると、fastbootモードで起動します。

起動するとXZs左上のランプが青く点灯し、パソコンから「fastboot devices」を実行するとデバイスが表示されます。

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot.exe devices
BH9011Gxxxx      fastboot

C:\Program Files (x86)\Android\android-sdk\platform-tools>

続いて申請して表示された文字列の先頭に0xを付け加えて「fastboot oem unlock 0x~」と入力します。

最初間違えて0xをつけないで実行してしまったのでエラーになっています。

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot oem unlock 570C856D14FAxxxx
                                                   FAILED (remote: 'Incorrect format for unlock data. Should be on the form "0x')
fastboot: error: Command failed

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot oem unlock 0x570C856D14FAxxxx
                                                   OKAY [  2.055s]
Finished. Total time: 2.059s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

Treble-10.0-keyaki-4.9-sjll-V2.10.zipのHow-to-flash.txtは下記の様に書いてあります。

Format Data
fastboot flash oem vendor.img
fastboot flash boot boot.img
fastboot flash system <GSI Image>

GSI should be A/B type, Never use A-Only!

For XZs, you can use the twrp of X Performance or XZ's.

NEVER, NEVER flash Sony Open devices oem image!!!!!!

まずは「Format Data」ということで「fastboot -w」(Wipe)を実行します。

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot -w
Erasing 'userdata'                                 OKAY [  0.385s]
mke2fs 1.45.4 (23-Sep-2019)
Creating filesystem with 13089792 4k blocks and 3276800 inodes
Filesystem UUID: f9136b0e-0b12-11ec-a6fc-fda6154f283e
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424

Allocating group tables: done
Writing inode tables: done
Creating journal (65536 blocks): done
Writing superblocks and filesystem accounting information: done

Sending 'userdata' (4396 KB)                       OKAY [  0.144s]
Writing 'userdata'                                 OKAY [  0.059s]
Erasing 'cache'                                    OKAY [  0.026s]
mke2fs 1.45.4 (23-Sep-2019)
Creating filesystem with 65536 4k blocks and 65536 inodes
Filesystem UUID: f96341ce-0b12-11ec-b52e-2ff551a4869a
Superblock backups stored on blocks:
        32768

Allocating group tables: done
Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

Sending 'cache' (120 KB)                           OKAY [  0.025s]
Writing 'cache'                                    OKAY [  0.026s]
Finished. Total time: 1.213s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

続いて Treble-10.0-keyaki-4.9-sjll-V2.10.zipの vendor.imgをOEM領域に書き込みます。

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash oem F:\download\android\xperia-xzs\vendor.img
Sending 'oem' (248608 KB)                          OKAY [  6.827s]
Writing 'oem'                                      OKAY [  1.871s]
Finished. Total time: 8.853s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

Treble-10.0-keyaki-4.9-sjll-V2.10.zipのHow-to-flash.txt の boot.imgをboot領域に書き込みます。

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash boot F:\download\android\xperia-xzs\boot.img
Sending 'boot' (12368 KB)                          OKAY [  0.366s]
Writing 'boot'                                     OKAY [  0.110s]
Finished. Total time: 0.530s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

最後にGSIイメージをsystem領域に書き込みます。

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash system F:\download\android\xperia-xzs\GSI-Android10\system-quack-arm64-ab-gapps_v222.img
Invalid sparse file format at header magic
error: write_sparse_skip_chunk: don't care size 480526784 is not a multiple of the block size 4096
error: write_sparse_skip_chunk: don't care size 212095424 is not a multiple of the block size 4096
Sending sparse 'system' 1/3 (262140 KB)            error: write_sparse_skip_chunk: don't care size 480526784 is not a multiple of the block size 4096
error: write_sparse_skip_chunk: don't care size 480526784 is not a multiple of the block size 4096
OKAY [  7.512s]
Writing 'system'                                   FAILED (remote: 'buffer overreads occured due to invalid sparse header')
fastboot: error: Command failed

C:\Program Files (x86)\Android\android-sdk\platform-tools>

エラーとなりました。

よく調べてみたところ、img.xzのはずなのですが、imgとしてファイルが保存されていたための問題でした。

xzファイルを展開して再チャレンジ

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash system F:\download\android\xperia-xzs\GSI-Android10\system-quack-arm64-ab-gapps_v222.img
Sending sparse 'system' 1/9 (262140 KB)            OKAY [  7.497s]
Writing 'system'                                   OKAY [  2.023s]
Sending sparse 'system' 2/9 (262140 KB)            OKAY [  7.572s]
Writing 'system'                                   OKAY [  2.050s]
Sending sparse 'system' 3/9 (262140 KB)            OKAY [  7.548s]
Writing 'system'                                   OKAY [  2.035s]
Sending sparse 'system' 4/9 (262140 KB)            OKAY [  7.650s]
Writing 'system'                                   OKAY [  2.101s]
Sending sparse 'system' 5/9 (262140 KB)            OKAY [  7.672s]
Writing 'system'                                   OKAY [  2.102s]
Sending sparse 'system' 6/9 (262140 KB)            OKAY [  7.673s]
Writing 'system'                                   OKAY [  2.060s]
Sending sparse 'system' 7/9 (262140 KB)            OKAY [  7.645s]
Writing 'system'                                   OKAY [  1.984s]
Sending sparse 'system' 8/9 (262140 KB)            OKAY [  7.641s]
Writing 'system'                                   OKAY [  2.068s]
Sending sparse 'system' 9/9 (183260 KB)            OKAY [  5.354s]
Writing 'system'                                   OKAY [  1.434s]
Finished. Total time: 91.779s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

今度は成功です。

再起動します。

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot reboot
Rebooting                                          OKAY [  0.002s]
Finished. Total time: 0.003s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

で・・・Android 10で起動しました。

続いて、Android 11のGSIが使えるのか確認。

「fastboot -w」でフォーマット

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot devices
BH9011Gxxx      fastboot

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot -w
Erasing 'userdata'                                 OKAY [  1.073s]
mke2fs 1.45.4 (23-Sep-2019)
Creating filesystem with 13089792 4k blocks and 3276800 inodes
Filesystem UUID: 4150c0de-0b17-11ec-9cae-af9c3c428626
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424

Allocating group tables: done
Writing inode tables: done
Creating journal (65536 blocks): done
Writing superblocks and filesystem accounting information: done

Sending 'userdata' (4396 KB)                       OKAY [  0.156s]
Writing 'userdata'                                 OKAY [  0.061s]
Erasing 'cache'                                    OKAY [  0.030s]
mke2fs 1.45.4 (23-Sep-2019)
Creating filesystem with 65536 4k blocks and 65536 inodes
Filesystem UUID: 41a1c326-0b17-11ec-a365-bd86ad12ab05
Superblock backups stored on blocks:
        32768

Allocating group tables: done
Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

Sending 'cache' (120 KB)                           OKAY [  0.022s]
Writing 'cache'                                    OKAY [  0.024s]
Finished. Total time: 1.819s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

続いてGSIをsystem領域に書き込みます。

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash system F:\download\android\xperia-xzs\GSI-Android11\system-roar-arm-ab-gogapps_v312.img
Sending sparse 'system' 1/6 (262140 KB)            OKAY [  7.562s]
Writing 'system'                                   OKAY [  1.975s]
Sending sparse 'system' 2/6 (262140 KB)            OKAY [  7.591s]
Writing 'system'                                   OKAY [  2.083s]
Sending sparse 'system' 3/6 (262140 KB)            OKAY [  7.653s]
Writing 'system'                                   OKAY [  2.028s]
Sending sparse 'system' 4/6 (262140 KB)            OKAY [  7.713s]
Writing 'system'                                   OKAY [  2.085s]
Sending sparse 'system' 5/6 (262140 KB)            OKAY [  7.679s]
Writing 'system'                                   OKAY [  2.018s]
Sending sparse 'system' 6/6 (243672 KB)            OKAY [  7.158s]
Writing 'system'                                   OKAY [  1.923s]
Finished. Total time: 61.099s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

再起動

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot reboot
Rebooting                                          OKAY [  0.010s]
Finished. Total time: 0.013s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

Xperiaロゴが出たあと、電源が切れ、再びfastbootモードになってしまいました。

今度は省略したところも全て再実行

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot -w
Erasing ‘userdata’ OKAY [ 1.073s]
mke2fs 1.45.4 (23-Sep-2019)
Creating filesystem with 13089792 4k blocks and 3276800 inodes
Filesystem UUID: 4150c0de-0b17-11ec-9cae-af9c3c428626
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424

Allocating group tables: done
Writing inode tables: done
Creating journal (65536 blocks): done
Writing superblocks and filesystem accounting information: done

Sending ‘userdata’ (4396 KB) OKAY [ 0.156s]
Writing ‘userdata’ OKAY [ 0.061s]
Erasing ‘cache’ OKAY [ 0.030s]
mke2fs 1.45.4 (23-Sep-2019)
Creating filesystem with 65536 4k blocks and 65536 inodes
Filesystem UUID: 41a1c326-0b17-11ec-a365-bd86ad12ab05
Superblock backups stored on blocks:
32768

Allocating group tables: done
Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

Sending ‘cache’ (120 KB) OKAY [ 0.022s]
Writing ‘cache’ OKAY [ 0.024s]
Finished. Total time: 1.819s

C:\Program Files (x86)\Android\android-sdk\platform-tools>
C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash system F:\download\android\xperia-xzs\GSI-Android11\system-roar-arm-ab-gogapps_v312.img
Sending sparse ‘system’ 1/6 (262140 KB) OKAY [ 7.562s]
Writing ‘system’ OKAY [ 1.975s]
Sending sparse ‘system’ 2/6 (262140 KB) OKAY [ 7.591s]
Writing ‘system’ OKAY [ 2.083s]
Sending sparse ‘system’ 3/6 (262140 KB) OKAY [ 7.653s]
Writing ‘system’ OKAY [ 2.028s]
Sending sparse ‘system’ 4/6 (262140 KB) OKAY [ 7.713s]
Writing ‘system’ OKAY [ 2.085s]
Sending sparse ‘system’ 5/6 (262140 KB) OKAY [ 7.679s]
Writing ‘system’ OKAY [ 2.018s]
Sending sparse ‘system’ 6/6 (243672 KB) OKAY [ 7.158s]
Writing ‘system’ OKAY [ 1.923s]
Finished. Total time: 61.099s

C:\Program Files (x86)\Android\android-sdk\platform-tools>
C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot reboot
Rebooting OKAY [ 0.010s]
Finished. Total time: 0.013s

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot devices
BH9011G172 fastboot

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot -w
Erasing ‘userdata’ OKAY [ 0.722s]
mke2fs 1.45.4 (23-Sep-2019)
Creating filesystem with 13089792 4k blocks and 3276800 inodes
Filesystem UUID: e9ea269a-0b17-11ec-8cba-a17b44c778c4
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424

Allocating group tables: done
Writing inode tables: done
Creating journal (65536 blocks): done
Writing superblocks and filesystem accounting information: done

Sending ‘userdata’ (4396 KB) OKAY [ 0.145s]
Writing ‘userdata’ OKAY [ 0.061s]
Erasing ‘cache’ OKAY [ 0.026s]
mke2fs 1.45.4 (23-Sep-2019)
Creating filesystem with 65536 4k blocks and 65536 inodes
Filesystem UUID: ea381fe4-0b17-11ec-b1f1-f1b13df9e489
Superblock backups stored on blocks:
32768

Allocating group tables: done
Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

Sending ‘cache’ (120 KB) OKAY [ 0.023s]
Writing ‘cache’ OKAY [ 0.026s]
Finished. Total time: 1.443s

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash oem F:\download\android\xperia-xzs\vendor.img
Sending ‘oem’ (248608 KB) OKAY [ 6.746s]
Writing ‘oem’ OKAY [ 1.910s]
Finished. Total time: 8.825s

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash boot F:\download\android\xperia-xzs\boot.img
Sending ‘boot’ (12368 KB) OKAY [ 0.426s]
Writing ‘boot’ OKAY [ 0.116s]
Finished. Total time: 1.085s

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash system F:\download\android\xperia-xzs\GSI-Android11\system-roar-arm-ab-gogapps_v312.img
Sending sparse ‘system’ 1/6 (262140 KB) OKAY [ 7.523s]
Writing ‘system’ OKAY [ 2.121s]
Sending sparse ‘system’ 2/6 (262140 KB) OKAY [ 7.584s]
Writing ‘system’ OKAY [ 2.055s]
Sending sparse ‘system’ 3/6 (262140 KB) OKAY [ 7.543s]
Writing ‘system’ OKAY [ 2.071s]
Sending sparse ‘system’ 4/6 (262140 KB) OKAY [ 8.527s]
Writing ‘system’ OKAY [ 2.036s]
Sending sparse ‘system’ 5/6 (262140 KB) OKAY [ 7.556s]
Writing ‘system’ OKAY [ 2.058s]
Sending sparse ‘system’ 6/6 (243672 KB) OKAY [ 7.044s]
Writing ‘system’ OKAY [ 1.945s]
Finished. Total time: 61.023s

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot reboot
Rebooting OKAY [ 0.002s]
Finished. Total time: 0.005s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

….やっぱりダメですね。

2021/09/04追記:よく見たらarmイメージを書き込んでいました。arm64じゃん・・・

Google配布のAndroid 12のGSIイメージを書き込めるかもチャレンジ

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash system F:\download\android\xperia-xzs\GSI-Android12\system.img
Invalid sparse file format at header magic
Sending sparse 'system' 1/10 (262104 KB)           OKAY [  7.717s]
Writing 'system'                                   OKAY [  2.124s]
Sending sparse 'system' 2/10 (262128 KB)           OKAY [  7.544s]
Writing 'system'                                   OKAY [  2.070s]
Sending sparse 'system' 3/10 (262112 KB)           OKAY [  7.527s]
Writing 'system'                                   OKAY [  2.053s]
Sending sparse 'system' 4/10 (262128 KB)           OKAY [  7.672s]
Writing 'system'                                   OKAY [  2.073s]
Sending sparse 'system' 5/10 (262124 KB)           OKAY [  7.563s]
Writing 'system'                                   OKAY [  2.073s]
Sending sparse 'system' 6/10 (262124 KB)           OKAY [  7.524s]
Writing 'system'                                   OKAY [  2.021s]
Sending sparse 'system' 7/10 (262116 KB)           OKAY [  7.516s]
Writing 'system'                                   OKAY [  2.044s]
Sending sparse 'system' 8/10 (262084 KB)           OKAY [  7.550s]
Writing 'system'                                   OKAY [  2.147s]
Sending sparse 'system' 9/10 (262128 KB)           OKAY [  7.798s]
Writing 'system'                                   OKAY [  2.051s]
Sending sparse 'system' 10/10 (126492 KB)          OKAY [  3.675s]
Writing 'system'                                   OKAY [  6.845s]
Finished. Total time: 104.423s

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot reboot
Rebooting                                          OKAY [  0.003s]
Finished. Total time: 0.007s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

SONYロゴのままハングアップ。電源ボタン長押しでのoffも出来なくなりました。

ということで、Xperia XZsのfake GSIで使えるのはAndroid 10のみということですね。


TWRPを書き込めるか確認:twrp-q-V1.img

fastbootモードにしてからrecovery領域に書き込んだ。

C:\Program Files (x86)\Android\android-sdk\platform-tools>fastboot flash recovery F:\download\android\xperia-xzs\twrp-q-V1.img
Sending 'recovery' (20056 KB)                      OKAY [  0.706s]
Writing 'recovery'                                 OKAY [  0.158s]
Finished. Total time: 1.418s

C:\Program Files (x86)\Android\android-sdk\platform-tools>

Androidが起動してからadb reboot recoveryでTWRPが起動することを確認

C:\Program Files (x86)\Android\android-sdk\platform-tools>adb reboot recovery

C:\Program Files (x86)\Android\android-sdk\platform-tools>

なお、ボリューム↓+電源ボタンで起動してもTWRPが起動する。

Andy Yan’s personal builds // GSI にあるLineageOS 17.1のテストと、GAppが書き込めるか確認

きちんと書き込めて、TWRP経由でNikGAppsのNikGapps-stock-arm64-10-20210815-signed.zipを書き込み、Lineage OS 17.1上でGappsが使えることを確認しました。


Android 11 Custom Rom for the Xperia XZs に下記のAndroid11を試した、という話が書かれていた。
 Pixel Experience Plus and non-Plus
 Corvus OS
 Havoc OS

開発者向け資料のGeneric System Imageを確認すると、/system/etc/ld.config.数字.txt 内の[vendor]セクションで「namespace.default.isolated=true」となっていれば、いいらしい。

Vendor Native Development Kit(VNDK)のバージョンは 下記の様に26~29 で定義されていた。

keyaki:/ $ ls -l /system/etc/ld*
-rw-r--r-- 1 root root 34755 2020-08-06 05:16 /system/etc/ld.config.26.txt
-rw-r--r-- 1 root root 39324 2020-08-06 05:16 /system/etc/ld.config.27.txt
-rw-r--r-- 1 root root 39844 2020-08-06 05:16 /system/etc/ld.config.28.txt
-rw-r--r-- 1 root root 40252 2020-08-06 05:16 /system/etc/ld.config.29.txt
-rw-r--r-- 1 root root 27897 2020-08-06 05:16 /system/etc/ld.config.vndk_lite.txt
keyaki:/ $

一番新しい 29 というのはAndroid 10ということらしい。このため、少なくともAndroid 10のGSIは使える、ということになる。

それ以降のバージョンを使えるかを /system/etc/ld.config.29.txt の該当部分を確認すると下記のようになっていた。

<略>
[vendor]
additional.namespaces = runtime,system,vndk

###############################################################################
# "default" namespace
#
# This is the default linker namespace for a vendor process (a process started
# from /vendor/bin/*). The main executable and the libs under /vendor/lib[64]
# are loaded directly into this namespace. However, other libs under the system
# partition (VNDK and LLNDK libraries) are not loaded here but from the
# separate namespace 'system'. The delegation to the system namespace is done
# via the 'namespace.default.link.system.shared_libs' property below.
#
# '#VNDK27#' TAG is only for building ld.config.27.txt for backward
# compatibility. (TODO:b/123390078) Move them to a separate file.
###############################################################################
namespace.default.isolated = true
namespace.default.visible = true
<略>

namespace.default.isolated = true となっているので、使えてもおかしくはないはず、ということになりそうだ。

次に、こちらでは Phhusson’s AOSP で試したが、動いたとしているGSIは Pixel Experience Plus and non-Plus, Corvus OS, Havoc OSとの差を考察してみる。

Pixel Experience Plus and non-Plus はPhhusson’s AOSPをベースとしているが配布イメージに vndkliteとついているバージョンがある。


Corvus OS にもvndkliteバージョンがある。

Havoc OSにはvndkliteバージョンがない。そして2020/12/30と更新が古い。

違い?と想定されるVNDK Liteについて調べると、開発者向け資料に記載があった。

Android10については今回使用しているvendorイメージがAndroid 10向けに作成したものなのでVNDKイメージが使用できているが、それ以外については、元々はXperia XZsはAndroid 8.xデバイスなのでVNDK Lite構成でないと動かない、ということではないか、という仮説を立てた。

はたして?

GoProのような形状のアクションカメラ スペック表



Aliexpressで見かける4KとかサポートしているGo Proみたいな形状をしたアクションカメラをリストアップしてみました。

先日秋葉で販売が確認された「4K対応/無線LAN搭載で実売9,980円のアクションカメラが販売中」は、EKEN H9です。

スペック表で埋まってない項目は確定した情報が確認できなかったところです。