バッテリー – OSAKANA TAROのメモ帳

久しぶりにAPC Smart-UPS に Network Management Cardを入れて設定することになった。

しかしAPCのサイトにある「Network Management Card | よくあるお問い合わせ」にある「Network Management Card 2のAPC Device IP Configration Wizard 5.0.2 を使用したIPアドレス設定方法」に記載されているリンク先は軒並み機能していなかった。

そんなわけでメモ書き

1) Network Management CardのIPアドレスを振るのはシリアル接続かDevice IPソフトウェア

Network Management Card Device IP Configuration Utility v5.0.4

ただし、Java Runtime Environment 1.8以降が必要なのだが、何を使うかが悩みどころ・・・

APCのドキュメント的にはすなおにOracle Java SE Runtime Environmentのダウンロードを推奨で

他社をみるとQuestもOracle JRE「JRE(version 1.8 or above) Installation for Microsoft Windows (4229374)」

キヤノンITソリューションはAmazon Correttoを使っていた「Q:【構築手順】Windows Server環境で、オープンソースJDKを利用してセキュリティ管理ツールをインストールするには？」

とりあえず今回はjre-8u361-windows-x64.exeを使った

2) Network Management Cardのfirmware

UPS Network Management Cardsのfirmware からfirmwareをダウンロード

カードを挿すUPSの種類により適用するfirmwareも異なる

3) Device IP使っても出ない場合

dhcpで範囲内にいるはずなのにDevice IPで出てこなかった

その場合はarp -aの結果からMACアドレスが「28:29:～」(Network Management Card 3/AP9640Jの場合)で始まるものを探して総当たりでhttpsアクセスしてみるとよい

4)Network Management Card 3の言語表示

Network Management Card 2では追加言語ファイルを導入しないと日本語表示がなかったりした。

Network Management Card 3は標準状態で多言語対応しているのだが、デフォルト表示が基本Englishとなっている。

ログイン画面の言語設定変更は[Configuration]-[Security]-[Local Users]-[Default Settings]

ここのLanguageを「English」から「日本語」に変えるとログイン画面の表示が日本語になります。

ログイン画面は日本語になったものの「apc」ユーザでログインすると英語表示。

これはユーザ特有設定の方にあるため、[Configuration]-[Security]-[Local Users]-[Management]でユーザ一覧を表示する

「apc」をクリックしてLanguageを「English」から「日本語」に変える

4)PCNSのコマンドファイルの指定について

シャットダウン時にバッチファイルを実行させるべく「コマンドファイルのパス」に指定しようと文字を入力しはじめたら下記の様に言われた。

コマンドファイルを読み込めませんでした。ファイルはPowerChuteインストールディレクトリのuser_filesフォルダーにある必要があります。詳細については、ヘルプを参照してください。

ということは、C:\Program Files\APC\PowerChute\user_files にファイルを置いて、ファイル名だけ指定すればいいのかと思ったが、相変わらず上記のエラー

フルパスで指定したら通った・・・

5) ssh接続がうまく行かない

PowerChute Network Shutdown のv4.4にはsshで他のサーバにログインしてコマンドを実行する機能がある。

これを利用してNetAppにログインしようとしたのだがうまくいかない

SSH アクションとして２種類登録を作ってみた

１つはユーザ名とパスワードを入力してログインするタイプ

もう１つはsshキーを使ってログインするもの。

ここで指定したsshキーは C:\Program Files\APC\PowerChute\user_files\ssh_id_rsa.txt という形でWindows Server標準のssh-keygenコマンドを使って作成したやつをコピーしたもの。

アクセス権については特に調整していない。

どちらの設定でも実行するコマンドを列挙した「SSHコマンドファイルのパス」は C:\Program Files\APC\PowerChute\user_files\netappshutdown.txt とした。

内容は以下の確認なしでNetAppを停止する手法を記載した。

set -confirmations off; system node halt -node * -inhibit-takeover true -ignore-quorum-warnings true

で・・・これだけでは動かなかった。

PowerChute Network Shutdownのヘルプにある「SSH設定」の説明で以下がある。

認識されているコマンドプロンプトは次のとおりです。
　・$ (Linux)
　・# (Linux admin/root)
　・> (Windows または RPDU)
ssh_prompt_regex」設定を[SSHAction]セクションに追加することにより、カスタムコマンドプロンプトは、PowerChute構成ファイル (pcnsconfig.ini) を介して追加できます。例えば：「~」のカスタムコマンドプロンプトを追加するには、「ssh_prompt_regex = ~\s」を追加します。

NetAppのコマンドプロンプトは「クラスタ名::> 」なので、WindowsまたはRPDUの「>」で通るものかと思っていたのですが、違ったようです。

C:\Program Files\APC\PowerChute\group1\pcnsconfig.iniの[SSHAction数字]に以下のように「::>」プロンプトを追加することで動作するようになりました。

ssh_prompt_regex = \::>\s

2021年7月7日

vSphere 7.0 Update 1以降 vCLSという仮想マシンが勝手に起動してUPS連動シャットダウンに失敗する

Check

vSphere 7.0 Update 1にアップデートして以降、UPS連動シャットダウンに失敗するようになった。

ログを確認していくと、仮想マシンがシャットダウンできない模様。

しかし、vCenter Serverから確認しても動いている仮想マシンは見えない。

そこでESXi のHost Clientに接続して確認すると、vCLSという作った覚えない仮想マシンが起動している。
そして、vCLSを手動で停止しても勝手に起動してくる。

確認してみると、vSphere 7.0 Update 1以降、vSphere DRS/vSphere HAなどのクラスタについて、起動するまでに時間がかかり重いvCenterサーバ仮想マシンではなく、クラスタの可用性のみを面倒見る仮想マシンとして vSphere Cluster Services を提供するようになったようである。

vSphere 7.0 Update 1 の vSphere Cluster Services (vCLS) (80472)
vSphere 7.0 documentation 「vSphere Cluster Services (vCLS)」

これをUPS連動シャットダウンと組み合わせる場合の資料を探したところ、下記があった。

APC「PowerChute Network Shutdown v4.3/v4.4によるvSphere 7.0 Update 1でのvCLSの制御について」
DELL「もう迷わない！HCI環境のUPS選定シャットダウンについて」

vSphereのクラスタをのvCLSをRetreatモードに変更することでvCLS仮想マシンが停止/削除することができる、というもの。

PowerShellでvCenterに接続して下記の様なスクリプトを実行して無効化を実行(APCのサンプルスクリプト disable_HA.ps1)

#!/usr/bin/pwsh

$server = "10.179.232.198" #"provide Vcenter server IP/hostname"
$username = "pcnsadmin" #"provide username to access vCenter"
$password = "APCapc@123" #"Provide Password to access vCenter server"
$cluster = "C" #"provide Name of the Cluster where Retreat mode needs to be enabled"

$env:HOME = '/root'
Set-PowerCLIConfiguration -InvalidCertificateAction Ignore -Confirm:$false
Connect-VIServer $server -Protocol https -User $username -password $password
$clid = (Get-Cluster $cluster).ID
Write-Host $clid
$myclid = $clid -replace 'ClusterComputeResource-',''
Write-Host $myclid
Get-AdvancedSetting -Entity $server -Name config.vcls.clusters.${myclid}.enabled | Set-AdvancedSetting -Value False -Confirm:$false

##Additional step for VSAN to turn off HA on the cluster
Get-Cluster -Name $cluster | Set-Cluster -HAEnabled:$false -Confirm:$false

Disconnect-VIServer -Force -Confirm:$false

PowerShellでvCenterに接続して下記の様なスクリプトを実行して有効化を実行(APCのサンプルスクリプト enable_HA.ps1)

#!/usr/bin/pwsh

$server = "10.179.232.198" #"provide Vcenter server IP/hostname"
$username = "pcnsadmin" #"provide username to access vCenter"
$password = "APCapc@123" #"Provide Password to access vCenter server"
$cluster = "C" #"provide Name of the Cluster where Retreat mode needs to be disabled"

$env:HOME = '/root'
Connect-VIServer $server -Protocol https -User $username -password $password
$clid = (Get-Cluster $cluster).ID
$myclid = $clid -replace 'ClusterComputeResource-',''
Write-Host $myclid
Get-AdvancedSetting -Entity $server -Name config.vcls.clusters.${myclid}.enabled | Set-AdvancedSetting -Value True  -Confirm:$false

##Additional step for VSAN to turn off HA on the cluster
Get-Cluster -Name $cluster | Set-Cluster -HAEnabled:$true -Confirm:$false

Disconnect-VIServer -Force -Confirm:$false

もう１つはAPCの資料および「PowerChute(TM) Network Shutdown v4.3 for Virtualization 補足説明書日立編」には設定フローと共に掲載されている手法。

PowerChute Network Shutdownで「VM優先度付け」設定を有効にした上でvCLS仮想マシンを「優先度高」で設定。vCenterサーバ仮想マシンを「優先度中」、それ以外を優先度低などに入れる。

「VMシャットダウン所要時間設定」と「VM起動所要時間設定」で「高」と「中」に対して0秒以上の値を設定

仮想化設定にある”仮想マシンと仮想装置、シャットダウンと起動”設定の「仮想マシンvApp 起動」にチェックを入れる

“ホストメンテナンスモード”の「タイムアウト」を「60秒」に設定

というもの。

綺麗に実行するのであればPowerShellを使った手法のほうが良さそうだ。

2019年10月10日2023年11月29日

ESXiで使用できるUPS連動シャットダウンソフトの情報 2023/11/24修正

Check

ESXi 6.7からvMAというVMware提供の仮想アプライアンスが使えなくなった。
LinuxベースなのだがvCenter/ESXiをCLIから操作するためのツールが導入済みなので、UPS連動シャットダウンする際によく使われていた。

ESXi6.7以降は動かなくなってしまったので、代替を探す必要がある。
(APC PowerChute Bussiness EditionはvMAのみ対応)

APC PowerChute Network Shutdown 5.0

2023年6月にPowerChute Network Shutdown 5.0が出ていた

「シュナイダーエレクトリック、電源管理ソフトウェアの最新版「PowerChute Network Shutdown v5.0」を発売」

上記リリース内の「これまでスクリプトによるコマンド設定が必要だったシャットダウンシーケンスを、画面上から簡単に制御できる機能を備えました」の意味は、ssh連動がWeb UIから設定できる、と読んだのだが、Install Guide/User Guide見てみたのだがssh周りは従来通りに見え、releasenoteを読むとvSANクラスタや、vSphere vCLS、VMware HA周りの処理が組み込まれた、という意味の模様

PowerChute Network Shutdown v5.0製品pdf資料

ライセンスとしては、「Windows &Linux用」「特定機種(UNIX/MacOS)用」「仮想化環境用」と「VxRail用」がある

v5.0としてのリリースノートやインストールガイド、ユーザガイドのpdfが製品リンクから直接はられておらず「PowerChuteシリーズ各種マニュアル」からアクセスできるのだが、2023/11/24時点ではいくつかのファイルについては権限がないとして読むことが出来ない。

英語版ドキュメント
PowerChute Network Shutdown v5.0 – Release Notes
PowerChute Network Shutdown v5.0 – Installation Guide
PowerChute Network Shutdown v5.0 – Standard User Guide
PowerChute Network Shutdown v5.0 – VMware User Guide
PowerChute Network Shutdown v5.0 – Hyper-V and SCVMM User Guide
PowerChute Network Shutdown v5.0 – Nutanix User Guide

Webページとして公開されている手順など

PowerChute Network Shutdown v5.0 既知の問題 [最新バージョン]
PowerChute Network Shutdown v5.x 初期セットアップ手順 – シングル構成 Windows, Linux

PowerChute Network Shutdown v5.0 for Windows & Linux 対応OS表
 PowerChute Network Shutdown v5.0.1 for Specialized OS 対応OS表
 PowerChute Network Shutdown v5.0 for Virtualization 対応OS表
JavaはSolaris以外はAdoptOpenJDKを使用(SolarisはOracle純正ライセンスを別途調達とのこと)

PowerChute Network Shutdown v5.0ではNetwork Management Card 2(NMC2)のサポートが終了。またNMC3についてもfirmware v2.2.1.1以降がサポートとなる。

vCenterが存在しない単体ESXi環境で連動させるためにAPC純正仮想アプライアンスを展開した場合、vCenterがないと設定出来ない項目があるため、エラーとなる。その場合は「PowerChute Network Shutdown v4.4.3, v5.x スタンドアロンESXi ホストに仮想アプライアンスをデプロイした際にアクセスできない」の手順で設定する(この手順自体は、PCNS v4.3～v5.0共通)

APC電源管理ソフトウェア PowerChuteの選択方法
 PowerChuteシリーズ対応OS表

APC PowerChute Network Shutdown 4.5

2022年9月に「PowerChute Network Shutdown v4.5」が発売されたことが発表された。(当時のURL APC PowerChute Network Shutdown 4.5 for DELL VxRail )

海外では2022年7月ぐらいにはDELL VxRail向け PCNS v4.5としてOVAファイルとしてリリースされていました。それ以外の環境向けには引き続き PCNS v4.4が提供されています(対応表)。

v4.4はVxRail専用なのかと思っていたのですが、v5.0リリースの比較表にはv4.5も他で動くヤツがある的な記述に・・・

APC PowerChute Network Shutdown 4.4

2020年10月登場の新バージョン:シュナイダーエレクトリック、電源管理ソフトウェアの最新版「PowerChute Network Shutdown v4.4」を発売

「PowerChute Network Shutdown v4.4 ご紹介（最新版）」「PowerChute Network Shutdown v4.4 for Windows & Linux 対応OS表」「PowerChute Network Shutdown v4.4 for Virtualization 対応OS表」「PowerChute Network Shutdown v4.4 既知の問題」~~「PCNSユーザーズガイド」「PCNSの各種設定例」~~

「PowerChute Network Shutdown Operating System, Processor, JRE and Browser Compatibility Chart」

「PowerChute Network Shutdown ドキュメント」「PowerChuteシリーズ各種マニュアル」

PCNS v4.4でもJavaを使うという点には変更はない(今回はOpenJRE 14.0.2)。OpenJREのアップデートツールも添付されているとのこと。

今回のトピックは、VMware vSAN、Nutanix AOS、Microsoft Azure Stack HCI、Cisco HyperFlex、HPE Simplivityの自動シャットダウンをPCNS管理インタフェース上から設定できるようになった、ということ。

また、sshでアクセスし連動シャットダウンを仕掛けることが可能になったため、NetApp ONTAP 9.xとの連動シャットダウンなどもサポートした、とのこと。

Windows版は日本語インタフェース用インストーラと英語インタフェース用インストーラが別になっているので注意

Schneider Electric (APC) PowerChute Network Shutdown

2022/03/31追記:この項目にあるv4.1～v4.3に関するリンクはAPCサイトの更新に伴い動かないリンクばかりになっている。

APC PowerChute Network Shutdownに関する情報は「PowerChute Network Shutdownプロダクトセンター | よくあるお問い合わせ」と「PowerChuteシリーズ対応OS表」を起点に捜索する。

「PowerChute Network Shutdown v4.3 for Virtualization 対応OS表」はシャットダウン用仮想アプライアンスイメージが提供されているのでそれを使う。vSphere 7/ESXi 7.0サポートに関しても記載されている。
「PowerChute Network Shutdown v4.2 for Virtualization 対応OS表」はシャットダウン用仮想アプライアンスか、vMAにPowerShuteインストールか、を選択できる。

「PowerChute Network Shutdown v4.0以降のバージョンでVMware環境を保護する場合のPowerChuteインストール先について」

「PowerChute Network Shutdown v4.1 v4.2 電源障害時のシャットダウンプロセス（VMWare仮想環境） – 構成例1」
「PowerChute Network Shutdown v4.1 v4.2 電源障害時のシャットダウンプロセス（VMWare仮想環境） – 構成例2」
「PowerChute Network Shutdown v4.1 v4.2 電源障害時のシャットダウンプロセス（VMWare仮想環境） – 構成例3」

VMware HA利用時やvSAN利用時は、VMware側がユーザ操作なしに停止することを全く考慮していないため、ESXiサーバのみの環境ではうまくシャットダウンを行うことができない。

別に物理のWindowsサーバを用意し、そこからシャットダウン命令を送る必要がある。また、復電後の起動についてはもっと考えられていないため、その処理も自前でどうにかする必要がある。

「PowerChute Network Shutdown for Virtualization v4.x VMware HA環境でのサポート構成」(VMware HA環境では仮想マシン停止をサポートしていない)

「20180222_VxRailccトラブルシューティングセミナーvSAN環境におけるUPS構成とシャットダウンシュナイダー出口様」

富士通のWebにある「PowerChute Network Shutdown for Virtualization v4.3」(PDF版)でvSphere, Hyper-V, Nutanix AHV環境でどういう風に機器を配置すればいいのか分かりやすい絵付きで解説されている。

HPE Power Protector

HPEブランドで販売されているUPSは、HPE Power Protector(HPEPP)を使用してシャットダウンを行う。

ソフトのダウンロードはなかなか見つけにくい。以前は「HPE swdepot Power Protector UPS Management Software」だったが2020年10月ぐらいから死んでいる。2021年10月/2022年3月の段階ではドキュメント上で「Download updates from HPE Software Depot」というリンクがあるが、リンク先が動作していない。なんとかして後述の個別ダウンロードリンクを発見する必要がある。

ESXi 6.7以降の対応について「アドバイザリ： HPE Power Protector – VMware vSphere Management Assistantのサポートが終了したため、VMware ESXi 6.7 (またはそれ以降) を実行しているHPEサーバーでHPE Power Protectorが正しく機能しない」「Advisory: HPE Power Protector – HPE Power Protector Does Not Function Correctly On HPE Servers Running VMware ESXi 6.7 (Or Later) Due to The Discontinued Support For VMware vSphere Management Assistant」に記載している。

vMA使えないから、無料で使えるdebian使って仮想マシン作って、それにHPEPPを入れろ、ということになる。

2023/11/24時点~~2023/02/03時点~~での最新ドキュメントは~~「http://www.hpe.com/support/PowerProtector_Manuals」もしくは~~「HPE Power Protector User Guide」で英語は2021年2月版、日本語は2020年4月版のようだ。

2019/12/06リリース版のダウンロードリンク
HPE Power Protector Windows版 v2.02.087 (HPE Power Protector (HPEPP) Clientのインストール方法 (Windows))
HPE Power Protector Linux版 v2.02.087 (HP UPS – HP Power Protector (HPPP) Client のインストール方法 (Linux))

2020/10/23リリース版のダウンロードリンク
HPE Power Protector – Windows版 v2.02.089
HPE Power Protector – Linux版 v2.02.089

2021/08/12リリース版のダウンロードリンク
HPE Power Protector – Windows版 v2.03.091
HPE Power Protector – Linux版 v2.03.091

2022/02/09リリース版のダウンロードリンク
HPE Power Protector – Windows版 v2.04.094
HPE Power Protector – Linux版 v2.04.094

2022/11/21リリース版のダウンロードリンク
HPE Power Protector – Windows版 v2.05.096
HPE Power Protector – Linux x86版 v2.05.096
HPE Power Protector – Linux x64版 v2.05.096

2023/09/20リリース版のダウンロードリンク
HPE Power Protector – Microsoft Windows v2.06.098
HPE Power Protector – Linux x64 v2.06.098
HPE Power Protector – Linux x86 v2.06.098

EATON Intelligent Power Protector (IPP)とIntelligent Power Manager(IPM)

日本代理店ダイトロンの製品ページ「Intellignent Power Protector」「~~Intelligent Power Manager(旧バージョン)~~」「Intelligent Power Manager 2」

メーカページ「Eaton Intelligent Power Manager」

2020年からIPMのライセンス体系が変更になり、また海外ではIPM2も登場した。IPM1とIPM2が互換性がなく、~~日本国内向けではIPM2は非サポートとなっているようだ~~(2023年時点ではサポートされた)。

連動シャットダウンについては~~Windows仮想マシンにIPMを入れる方向性のようだ~~ IPM2では仮想アプライアンスを使用して行う形となる。

~~IPM Optimize/(旧名)IPM Silver/ (旧名) IPM Goldを使う~~ライセンスを買うとVMware HAとvSANを含んだシャットダウンにも対応。

VMware HAはWindows仮想マシンにIPMを入れることで対応可能。復電も対応→「シャットダウン for vCSA on vSphere HA by IPM 1.68」「自動起動 for vCSA on vSphere HA by IPM 1.68」

vSANはvSANを使っていないESXi上にvCSAとWindows仮想マシン+IPMを置くことで対応可能。復電も対応→「シャットダウン for VMware vSAN 6.6.1 by IPM 1.60」

2023/06/08追記:日本でも2023年月ごろから「Intelligent Power Manager 2」の取り扱いが開始されていた。IPM2ではvSphere仮想環境向けアプライアンスイメージファイルでの提供となっている。(Hyper-V,VirtualBox向けファイルもある)

IPM2を使った場合「【IPM2】IPM2 on VMwareのダウンロードから起動まで」「【IPM2】VMware HAのシャットダウン」「【IPM2】VMware HA＋共有ストレージのシャットダウン」

その他、IPM2関連記事群

オムロン VirtuAttendant

無償のUPS管理ソフト「PowerAct Pro」はvMA利用のためESXi 6.5までになっている(PowerAct Pro Slave Agent VMware版ダウンロード)

有償のUPS管理ソフト「VirtuAttendant」はESXi 7.0対応版が出ていて、手順説明はリンク先に掲載されている。なお、ライセンス料金は１つのvCenter Server環境につき192500円。

また「構成事例／設定ガイド」の「Nutanix / vSAN / 3Tier の構成事例〈ネットワークカード〉」にESXi6.7に対応したVSAN構成時の設定ガイドとvSphere+RAID構成時の設定ガイドが掲載されている。

2023/06/08追記

通常のサーバ向けはUPS管理マスタサーバにWebサーバを建てる「PowerAct Pro」と建てない「PowerAttendant Lite」とオープンソース版「Simple Shutdown Software（オープンソース版）」

仮想環境向けは、VirtuAttendant と UPS本体に追加するSNMP管理モジュールSC21 の2製品となっている。

その他参考資料

NEC編

「ESMPRO/AutomaticRunningController ダウンロードページ」にある「VMware ESXi 環境における電源管理ソフトウェアの導入」~~(第３７版 2020/01/31)~~(第41 版 2021.11.30)にNECのESMPRO/AutomaticRunningControllerと連携させる場合の詳細解説が書かれている。

富士通編

PRIMERGY 技術情報の「仮想システムでのUPS利用ガイド」にて、PowerChute Network Shutdown Enterprise Editionを使用する場合の説明がある。

また、富士通サーバ ISV/IHV技術情報の「APC PowerChute Network Shutdown」と「APC PowerChute Network Shutdown(過去事例)」とにてAPC UPSを使って行われた各種検証内容に関するレポートが公開されている。

VMware編

VMwareのKnowledgeに「VMware ESXi ホストへの APC Powerchute Network Shutdown ソフトウェアのインストール (1007036)」というのが掲載されたが、2020年2月掲載なのにvMAを利用するバージョンでRelated ProductsもESXi 5.5.xが最新という古い記述になっている。

カテゴリー: バッテリー

APC Network Management Card のメモ 2023/04/13版