BackupExecの重複排除ストレージはディスク1TBあたりメモリ1GBが必須

BackupExecには重複排除ストレージの機能があるが、ストレージ1TBあたりメモリが1GB要求される仕様になっている。

このため、例えばメモリ32GBのサーバで、ディスクが34TB(NTFSフォーマット後の容量)ある場合、下記の警告が定期的に出力されることになる。

Backup Exec 22 管理者ガイドの「Deduplication Feature の必要条件」には以下のように書かれている。

重複排除用ディスクストレージでは、ストレージの容量が 4 TB 以下の場合、4 GB の物理メモリが必要です。ストレージ容量がこれを超えて 32 TB 以下の場合、重複排除用ディスクストレージ 1 TB ごとに 1 GB の物理メモリが必要です。たとえば、5 TB のストレージでは 5 GB の物理メモリが必要です。重複排除用ストレージディスクの容量が 32 TB ~ 64 TB の場合は、32 GB 以上の物理メモリの使用をお勧めします。重複排除用ストレージディスクの容量が 64 TB ~ 100 TB の場合は、100 GB 以上の物理メモリの使用をお勧めします。

「勧めします」という表記になっており、バックアップ自体は動作するので、駄目、というわけではないのですが、1日複数回警告が出力されるため現実的ではないでしょう

この例の場合は、NTFSでフォーマット後の容量が31.5TBとなるようパーテーションを調整したところ警告が出なくなり、3TB程度なので誤差、ということでOKとなった。

ARCserve UDPでバックアップネットワーク設定を行う&UDPマニュアルメモ

ARCserve UDPは ver7 Update 1でバックアップネットワーク設定をサポートしました。

なので、2019年とかに導入したUDP ver6.xだと無理やりな設定を行っていました。

バックアップ LAN を使用した Arcserve UDP の運用について (Arcserve UDP 7.0 GA 以前)

UDP ver 7 Update 1からはプラン設定時にどのインタフェースを使用するかが選択できるようになりました。

バックアップ LAN を使用した Arcserve UDP の運用について (Arcserve UDP 7.0 Update 1 以降)

期待通りに動作していない場合は「バックアップ/リストア用のネットワークを指定しているにも関わらず、指定したネットワークが使用されない」などを確認。

UDP ver9でどのような画面になっているかは「ホスト ベースのバックアップ プランの作成」などを参考のこと

ARCserve UDPマニュアル類

ARCserve UDP ver9 日本語マニュアル一覧

Arcserve UDP 9.0 Documentation (各言語版)

Arcserve UDP 9.0 / 9.1 / 9.2 Software Compatibility Matrix

Arcserve Unified Data Protection 9.x 動作要件

ARCserve UDP KB情報

DataDomainをAWS上にたてる場合の構成のメモ 2023/12/07

DELL PowerProtect DD(DataDomain)には、オブジェクトストレージにデータを保存するような機能がある。

1つはAvamarと連動した場合に使用できる、Data Domain全体のバックアップをオブジェクトストレージに対して保存するというDataDomain CloudDR機能。

もう1つは、Data Domainにある、高速でコストが高いActive Tierにデータを保存して、一定日数経ってアクセスする可能性が少なくなったデータを遅くてコストが安いCold Tierに移動する、という階層化構造を利用するCloud Tier機能である。

Cloud Tier機能を使う場合、一度DataDomainに接続されているディスクに対してデータを保存し、一定日数(最小14日)経過後にオブジェクトストレージに転送される、という設定になる。

この2種類の方法だと、クラウド上だけにデータが保存されている、というわけではないので使いにくい。

いろいろ資料を調べると、AWS, Azure, GCP上に仮想的なDataDomain、DELL PowerProtect DD Virtual Edition(DDVE)が提供されていて、これらにおいては、オブジェクトストレージのみに対してデータを保存するという、Active Tier on Object Storage (ATOS) という機能があるようだ。

ローカル(オンプレ)のvSphere, Hyper-V上に対してDDVEも展開できるのだが、その場合はその機能はついていない。(これは評価版を入れて確認した)

Dell PowerProtect DDVE on Amazon Web Services 7.12 Installation and Administration Guide」の「初期設定手順」を確認すると、「File System」の「Active Tier」設定で、Storage Typeとして「Object Store」で設定している。

なので、DDVEをクラウド上に展開するときだけ、使えるんだと思うんだけど、認識はあってるんだろうか?

Data Domain: DDVE and ATOS Supported Configurations, Event Message: Unsupported virtual hardware configuration

Data Domain: Data Domain Virtual Edition(DDVE) which are Cloud deployed (ATOS), may run out of Local-Metadata Storage

AWS上に作成する場合、「APEX Protection Storage for AWS (DDVE)」(以前DDVEと呼ばれいたAPEX Protection Storageと注釈が入ってる)にはサンプル構成として以下のようなものが書かれている

ドキュメントをいろいろ眺めてみると

・インスタンスについて
保存領域のサイズによってインスタンス選択が変わり
2023年12月時点では M5.xlarge(16TB), M5.2xlarge(32TB), M5.4xlarge(96TB), M5.8xlarge(256TB) となっている。
なお、以前は M4シリーズだった模様

・インスタンスが動作するために必要なEBSについて
GP3のストレージが要求されている(以前はGP2)
root領域 250GB
NVRAM disk領域 10GB
data disk領域 1024GB(これ不要かも?)
metadata disk領域が最小2TB~26TB以上

metadata disk領域は、重複排除/圧縮状況により変化し、重複排除率が上がると使用容量も増え、残り容量が20%を切ると増設が必要となるので注意。
16TB構成時 1TB*2個
32TB構成時 1TB*4個
96TB構成時 1TB*10個
256TB構成時 2TB*13個

metadata用領域が足らなくなった場合の対処→「Data Domain: Data Domain Virtual Edition(DDVE) which are Cloud deployed (ATOS), may run out of Local-Metadata Storage

・このほかにデータを保存するオブジェクトストレージ AWS S3

・ATOS構成の場合、Cloud Tierは使用できない
いきなりクラウドに書いてるので、そこからさらにクラウドに移動させる、という機能は使えない(not support)

iSCSIストレージ上のvSphere仮想マシンのSANバックアップを仮想マシン上で実験する

vSphere仮想環境でFC-SANやiSCSI-SANの共有ディスク上に作ったVMFSデータストアがあり、そこにあるvSphere仮想マシンのバックアップを行う場合の手法はいくつかある。

・SAN
・HotAdd
・NBD/NBDSSL

ここらを解説してる資料があるかなーと探してみると

vSphere 5時代の「Virtual Disk Transport Methods」だと絵付きで解説されてるんですが、現状のVMware公式記述はVMware Virtual Disk Development Kit Programming Guide 8.0の「Virtual Disk Transport Methods」で一覧としてのページには絵はないが個別ページ(SAN Transport)には絵がある。

じゃあ、とバックアップソフト側を探すといろいろでてくる

その中でも、Veritas NetBackup「VMware のトランスポートモード: ベストプラクティスとトラブルシューティング」が分かりやすいかなぁ、と感じた。

SAN Transport

SAN Transportについて、何の変哲もないiSCSIストレージを、ESXiサーバとWindowsサーバの両方につなげただけでも使えるのかな、と検証してみようとした。

(上記画像はVMwareから転載)

まあ、実機の環境がなかったので、vSphere仮想マシンのWindowsサーバからiSCSI接続して構築してみたところ、commvaultの場合は「SAN access is only supported for physical machines.」というメッセージでバックアップさせてくれなかった。

Event Code: 91:248
Severity: Minor
Program: vsbkp
Description:
Unable to open the disks for virtual machine [仮想マシン名] for SAN access. SAN access is only supported for physical machines.

なにを設定すればごまかせるかな?と試行錯誤・・・とりあえず以下の設定で仮想マシンを作ってみたものの駄目だった。

CPU:ハードウェア仮想化 ハードウェアアシストによる仮想化をゲストOSに公開
IOMMU:IOMMUをゲストOSに公開
パフォーマンスカウント:仮想CPUパフォーマンスカウンタの有効化
SCSIコントローラ:LSI Logic SAS
ネットワークアダプタ:E1000e
ゲストOS:その他 その他(64ビット)
VMware-toolsインストールなし

結局のところ、普通に作ってから、[構成パラメータ]で「smbios.reflecthost」を「TRUE」とするだけで成功した。以下は実際に使った設定。

SCSIコントローラ:LSI Logic SAS
ネットワークアダプタ:E1000e
ゲストOS:Windows Windows Server 2016以降
VMware-toolsインストールあり
構成パラメータ: smbios.reflecthost 「TRUE」

どうやらBIOS stringにVMwareの文字列が入っているかどうかで判定していた模様。

今回はCommvaultバックアップでの事例だったけど、NetBackupなど他のバックアップソフトウェアでもvSphere環境へのアクセスはVDDK経由で行っているので、おそらく同じような制限がかかっているのではないかと想定している。

2023/11/22追記: NetBackup 8.1.1環境があったので試してみたら、こちらは偽装しなくてもそのまま動いた