カテゴリー: 仮想化

投稿日:

IBM Storwize V7000についていろいろ

IBM Storwize V7000についてのドキュメントベースでの適当な考察とかいろいろもろもろ・・・

Storwize V7000とは？

元々のStorwizeは、NASとクライアントの間に入れて、NASに書き込むデータを圧縮してしまおう、というStorwize社のプロダクトでした。(当時、日本では東京エレクトロンが取り扱っていた)
NAS上に書き込まれるのは圧縮されたデータであるため、直接NASにアクセスすると、読めない謎のデータがおいてある、という認識となる。
プロトコルヘッダを見て、圧縮をしているらしく、NetApp/EMC CelerraのCIFS/NFSだと動くのに、
Linux NFSサーバだと、全然圧縮動作をしてくれない、なんて動きをしていました。

そんなプロダクトをIBMが買収したのですが・・・なぜか、旧Storwizeは、IBM Real-time Compression Appliance(RtCA)という名前でリリースし、Storwizeという名前は全然別のプロダクトに持って行かれました。
(ちなみに現行製品はSTN6500、STN6800ですが、この型番、旧Storwize時代のまんまです)

新Storwizeは、IBMが元々リリースしていたStorage Volume Controller(SVC)というストレージ仮想化装置と、ストレージを一体化したものとして、仕切り直した形になっています。
で、SVCというのは、IBM x3550にLinuxを入れてLinux版のDatacore SANsymphonyのOEM版を動かしている、という感じのプロダクトです。

で、現行製品のStorwize V7000というのは・・・

ハードウェア的には2U筐体にストレージエンクロージャとサーバを突っ込んだもの
ソフトウェア的にはSVC同等機能+XIV的な管理GUI

ちゃんとしたあたりは、IBMのサイトに転がっているマニュアルやRedBookを参照してください。

それらの資料と実際の動作を見た結果、明示されていないけど、なんとなく、こうなのかな？と想定されるところを以下に書いてみました。
なので、以下に書かれていることは、IBMの公式見解ではなく、あくまで個人的な感想です。

内蔵ディスク関連

・内蔵ディスクは ソフトウェアRAIDとして使用
メインCPUを使用して処理するソフトウェアRAIDとして実装されているようだ。
作成したソフトウェアRAIDは、Mdiskという形で認識させている。
(SVCの機能を単体ディスクに対して直接適用している形)

→ 内蔵ディスクが高負荷になると、メインCPU負荷があがり
それに伴い、外部RAIDに対する処理が遅延する可能性がある。
あまり内蔵ディスクにディスクを増設しすぎない方がいいのではないか？

・おそらく処理を簡略化するために、作成できるRAID構成が限定されている。
メインCPUへの負荷軽減等を考え、ある程度RAID構成を決めうちしてる
と想定される。

SAS/SATAチップ的に考えると、内部はディスク4本で1つの単位となっていて
その帯域をうまく使えるように8本もしくは12本、という単位があるのだと思われる。

なので、これ以外の単位のRAID5/6は、パフォーマンス面で
若干不利になるのだと思われる
(なので「Optimize for perfomance」と「Optimize for capatcity」がある？)

・スペアディスクは常にスペアとなる
スペアディスクは障害時に「一時的に使用されるもの」といった位置づけであり
障害ディスク交換後、内容をコピーする処理（コピーバック）が走る。
このため、ディスク交換後、パフォーマンス低下が発生する。

たぶん、このコピーバックする、というのも、RAID構造の簡略化、の一環

・内蔵ディスクについてのGUIが貧弱なのも、おまけだから？
SVCの機能を単体ディスクに対して直接適用している、というだけなので
従来のインタフェースを使っても、同等の設定を行うことはできるが、
ある程度簡単に設定ができるように「内蔵」という設定項目を作った
というような位置づけな印象を受ける

・たぶん、Web GUIはSVC/V7000/XIVで開発が共通化されてそう
実際のバックエンド処理については、分かれていそう

Easy Tier関連

・Easy Tierは、SSDだけでくんだMdiskを作ってから設定する

・SSD用Mdiskは、SSD 2本のRAID10で作成する

・スペアSSDを用意しておかないと、SSDの代わりに普通のHDDを
使用してしまうという仕様で、マニュアルでも警告されている。
HDDが割り当てられてしまうと、Easy Tierの意味がなくなるのと、
そもそもストライプされないHDDに頻繁な書き込みされることになり、
かえって遅くなるので注意が必要。

・SSD-HDD間のデータ移行はエクステント単位で行われる
ストレージプールで設定したエクステントサイズは
最小16MB、デフォルト256MB、最大8192MBと設定できるが
SSDは読み込みは速いが書き込みは遅い、という特性がある。
このため、エクステントが大きいと時間がかかってしまうはず。
Easy Tierを効率よく使用するにはエクステントを
小さく設定した方がよいと想定される。
警告: エクステントサイズによりV7000全体の管理容量が変わるので注意

・・・そういえば、旧製品時代は「すとあうぃず」って読んでたのに、いまは「すとあわいず」だなぁ・・・
てっきり、「Storage Wizard」の略だと思ってたのに

投稿日:

Tintri VMstore T445

この記事についてのアップデート内容をTintri VMstore T540に記載しています。
下を読んだあとに、上記記事を見てください。
— 2011/11/21 追記分はここまで —
VMware vSphere Blogの「VMworld 2011 – Interesting Storage Stuff.」でいくつかストレージが紹介されている。

その中で、Tintri社のTintri VMstore T445って、なんだろ？と調べてみた。

VM(Virtual Machine)に特化したストレージ、ってことは、どーせまたiSCSIストレージなんでしょ？と見てみたんですが、NFSストレージ、と書いてあってちょっとびっくり。

ハードウェアとしては・・・

4U筐体にヘッド部分とストレージが含まれており、１筐体で8.5TBを提供する、とのこと。
ストレージ自体は、「160GB SSDを9本」＋「1TB HDDを15本」で、どちらも3.5インチ形状。

というか、データシートの製品写真を見る限り、3.5インチディスク24本構成で、4Uで、このカラーリングってことは、SUPERMICROの4U SuperChassis 846シリーズってことですよね・・・たぶん。

ソフトウェア的には特に書いていないですが、Linuxベース・・・なんでしょうかねぇ？

おもしろそうな点

・NFSストレージであること

・vSphere Client用のプラグインがある
　各VMごとのストレージパフォーマンス(IOPS/MBps)が見れるようだ
　それも、時系列変位のグラフも提供できるようだ
　(Eliminate VM Performance Bottlenecksより)

マイナス点

・SSD/HDD共にRAID6を組む、という記述。(Redundancy RAID6 + hot spare for all SSDs and HDDs)
　SSDにもRAID6組む、というのはSSDの寿命的にどうなの？
　SSDとHDDの使い分けは？
　SSDにもRAID6組むぐらいだから、キャッシュ扱いではなく、メインで使用？

・標準ではギガイーサ２本しかない
　ただのIntelマザーボードだから増設すればいいんだけど・・・

・アラート機能がメール通知とHTTPS管理画面での通知のみ(Alerts SMTP for email alerts, HTTPS for polling)
　NetApp風のAutosupportをサポートを用意している(Autosupport HTTPS (optionally through proxy))のはいいんだけど・・・

・拡張性が０
　これ系だと良くうたわれている「Scalability」が一切書いてない。
　まぁ、8.5TB割り切り型、と考えればいいのかもしれない。

一番の問題点

・ヘッドが壊れたら全滅っぽい
　筐体の冗長性については、一切触れられていませんでした。
　(Tintri VMstorage Datasheet, Virtualize more with VM-aware storage, Eliminate VM Performance Bottlenecksの確認した結果)

安くて、それなりに早いストレージが欲しい、という要件であればいいのかもしれないです。

つまりは、クラウド系で、一時作成系のVMを置く場所として、という要件ぐらいですかねぇ。

データを保持し続ける用途で使うには、バックアップ機能が無い、とか、ヘッドの冗長性が無い、とかいうことを考えると、かなり難しい気がします。

そうそう、ノックスが取り扱うようで、ascii.jpにノックス、VMware専用NAS「Tintri VMstore T445」を投入という記事が出ています。

最大の特徴は、VMwareとAPI連携するファイルシステムで、LUN（Logical Unit Number）を廃し、1ノード＝1データストアという構成で利用する。運用中でもノンストップで拡張できるほか、仮想マシンごとに優先順位を付けたり、パフォーマンスの統計をとることが可能だという。

なんて記述がありますが、ここでいう記述はいろいろ誤解を招きそうな感じで、Tintriの資料を読んだ限りでは、「VMwareとAPI連携するファイルシステムで、LUN（Logical Unit Number）を廃し、1ノード＝1データストアという構成で利用する」とは「VMwareとはAPI連携し、VMwareとのアクセスはNFSで行い、1ノード=1データストア=1 NFS共有で利用する」という意味で、
「運用中でもノンストップで拡張できる」というのは、「各VMに割り当てた専用データストアの容量が拡張できる」という意味だと思われます。

後者の「ノンストップ拡張」は、NFSデータストアで一般的な仕様で有り、特に注目するべき点ではないような印象を受ける。

もうちょっと資料が出てきてくれないかなぁ・・・

投稿日:

vSphere5でRealtek NICをサポート

元ネタ: ESX VirtualizationのRealtek onboard NIC support in vSphere 5

vSphere5でついにRealteckのチップを使ったNICをサポートしたらしい。

いまのところ、以下の３種類で使えるらしい

・Realtek 8168 – Asus P6T SE board
・Realtek 8169 – Asus Sabertooth X58 board
・Realtek 8111E – Shuttle SH55

いろんなマザーボードのオンボードNICとして採用されていることが多いので、デスクトップ向けのマザーボードでvSphere5を動かすのも簡単になりそうです。

で、ESXi5.0のダウンロードリンクとvCenterServer 5.0のダウンロードリンクが判明したりしてるわけですが、まだダウンロードはできない状態・・・なのかな？
少なくても、私のアカウントではできませんでした。

投稿日:

vSphere Storage Appliance 1.0について調べた

2020/03/18追記

vSphere Storage ApplianceはvSphere 5.5の「vSphere Storage Appliance 5.5.6」が最終バージョンとなりました。

代替はvSANとなります。

vSANへの移行手法について「Migration from vSphere Storage Appliance (VSA) to VMware vSAN (2068923)」にて説明されています。

注意点:VSAは２台構成可能。vSANは最低３台構成からとなるので移行できない場合がある。

vSphere5で登場したストレージアプライアンス vSphere Storage Appliance 1.0について調べた。

・物理的な共有ディスク無しで共有を作るアプライアンス
・各ESXからは、NFS共有として見える
・実体はESXの上で動く仮想マシン(以下, VSA)
・動かすには最低２台のESXで、VSAを動かす必要がある
・VSA３台構成(ESX 3台の上で１つずつ動かす)まで可能
・各VSA間でデータミラーを行う
　(2VSAなら相互ミラー、3VSAはA:B,B:C,C:Aという感じで)
・Datastoreとしては、各VSAが別個のものとして見える
　(2VSAならDatastoreは2つ、3VSAならDatastoreは3つ)
　(3台分の容量を合わせて大きなボリュームは作れない)
・VSAの管理は、vSphere標準画面に統合される
・VSAで作ったDatastoreには、25VM～35VMぐらいを載せられる
・Storage vMotionやDRSと一緒に使うこともできる

各VSA間でRAIDが組める、的な記述を見かけたので、RAID5みたいなこともできるのか？と感じたのですが、そのようなことはできずに、単純なミラーの実現だけのようです。
特に各VSAの領域をまとめて１つとすることができない、というのが、ちょっと残念です。

投稿日:

ESX上にたてる仮想マシンのディスクインタフェースを何とするべきか？

VMware vSphere , ESX/ESXi 4.0から、仮想マシンのディスクインタフェースタイプとして「BusLogic」「LSI Logic」「PVSCSI」の３種類から選ぶ感じになっている。

BusLogicは、Windows NTやらWindows2000などの古いOSの場合に選択するような感じ。
最近のOSで「LSI Logic」か「PVSCSI」か、どちらがいいのかを調べてみた。

その結果、出てきた文献は、以下の３つ
・Performance Study: PVSCSI Storage Performance(pdf)
・VMware KB 1010398:Configuring disks to use VMware Paravirtual SCSI (PVSCSI) adapters
・VMware KB 1017652:Do I choose the PVSCSI or LSI Logic virtual adapter on ESX 4.0 for non-IO intensive workloads?

ESX/ESXi 4.1環境であれば、基本的には「PVSCSI」を選択することが推奨の模様。
ESX/ESXi 4.0環境の場合は、I/Oアクセス頻度が低い(2000IOPS以下)環境では「PVSCSI」は若干パフォーマンスが悪い感じの模様。

ゲストOSがRHEL5の場合はブートディスクとして指定できないですが、それ以外の最近のOSであれば大丈夫そうです。

ゲストOSの対応
Windows2003,2008以降: Data-disk OK, Boot-disk OK
RHEL5: Data-disk OK, Boot-disk NG
RHEL6以降: Data-disk OK, Boot-disk OK
SUSE SLES 11SP1以降: Data-disk OK, Boot-disk OK
Ubuntu 10.04以降: Data-disk OK, Boot-disk OK

なお、Linux kernelの 2.6.33からpvscsi用のドライバ(vmw_pvscsi)が入っているようです。