カテゴリー: 仮想化

vSphere Flash Read Cache(vFRC)を使ってみようとセットアップしようとした。
しかし、「SSD」として認識されているものの「仮想フラッシュリソース管理」で該当デバイスが出てこない。

どういうことか調査した。

1. esxcfg-scsidevsコマンドでの認識状況

下記の様になっている。

~ # esxcfg-scsidevs -l
naa.600508b1001c3c4aacc8c33d825d7ff4
   Device Type: Direct-Access
   Size: 114439 MB
   Display Name: HP Serial Attached SCSI Disk (naa.600508b1001c3c4aacc8c33d825d7ff4)
   Multipath Plugin: NMP
   Console Device: /vmfs/devices/disks/naa.600508b1001c3c4aacc8c33d825d7ff4
   Devfs Path: /vmfs/devices/disks/naa.600508b1001c3c4aacc8c33d825d7ff4
   Vendor: HP        Model: LOGICAL VOLUME    Revis: 5.42
   SCSI Level: 5  Is Pseudo: false Status: degraded
   Is RDM Capable: true  Is Removable: false
   Is Local: false Is SSD: true
   Other Names:
      vml.0200030000600508b1001c3c4aacc8c33d825d7ff44c4f47494341
   VAAI Status: unknown
＜略＞
~ #

ここでの注目ポイントは
「Is Local:」と「Is SSD:」の値。

「Is Local: false Is SSD: true」とは、「Localではなくが、SSDである」と認識されていることになる。

2. esxcli storage vflash device listでの認識状況

vFRCの旧名である「vflash」という名前を持つコマンドを使って、SSDデバイスの認識状況を確認する。

~ # esxcli storage vflash device list
Name                                    Size  Is Local  Is Used in vflash  Eligibility
------------------------------------  ------  --------  -----------------  ----------------------------
naa.600508b1001c3c4aacc8c33d825d7ff4  114439     false              false  Detected as a remote SAS SSD
~ #

「Detected as a remote SAS SSD」と認識されていることが何かのキーになっている、ということもうかがえる。

では、どのようにすれば使える様になるのか？

「Detected as a remote SAS SSD」というメッセージを手がかりに探したところ、VMwareのcommunityに「” Detected as a remote SAS SSD” vFlash」というのを発見。

the solution. thanks for the pointer vfrank.org

esxcli storage nmp satp rule add –satp VMW_SATP_LOCAL –device naa.XXXXXX 0 –option enable_local

esxcli storage core claiming reclaim -d naa.XXXXXXX

該当デバイスの「Is local」認識を強制的に変更する、というもの。
上記コマンド例では「–device naa.XXXXXX 0 –option enable_local」とあるが「0」がなぜ入っているのかよく分からない。
エラーになったので、実行したのは「esxcli storage nmp satp rule add –satp VMW_SATP_LOCAL –device naa.XXXXXX –option enable_local」と「esxcli storage core claiming reclaim -d naa.XXXXXXX」となる。

~ # esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device naa.600508b1001c3c4aacc8c33d825d7ff4 --option enable_local
~ #  esxcli storage vflash device list
Name                                    Size  Is Local  Is Used in vflash  Eligibility
------------------------------------  ------  --------  -----------------  ----------------------------
naa.600508b1001c3c4aacc8c33d825d7ff4  114439     false              false  Detected as a remote SAS SSD
~ # esxcli storage core claiming reclaim -d naa.600508b1001c3c4aacc8c33d825d7ff4
~ # esxcli storage vflash device list
Name                                    Size  Is Local  Is Used in vflash  Eligibility                            
------------------------------------  ------  --------  -----------------  -------------------------------------------
naa.600508b1001c3c4aacc8c33d825d7ff4  114439      true              false  Yes, there are valid partitions for vflash
~ #

これにより「Is Local true」となった。

esxcfg-scsidevsでも、「Is Local: true Is SSD: true」となった。

~ # esxcfg-scsidevs -l
naa.600508b1001c3c4aacc8c33d825d7ff4
   Device Type: Direct-Access
   Size: 114439 MB
   Display Name: HP Serial Attached SCSI Disk (naa.600508b1001c3c4aacc8c33d825d7ff4)
   Multipath Plugin: NMP
   Console Device: /vmfs/devices/disks/naa.600508b1001c3c4aacc8c33d825d7ff4
   Devfs Path: /vmfs/devices/disks/naa.600508b1001c3c4aacc8c33d825d7ff4
   Vendor: HP        Model: LOGICAL VOLUME    Revis: 5.42
   SCSI Level: 5  Is Pseudo: false Status: on
   Is RDM Capable: false Is Removable: false
   Is Local: true  Is SSD: true
   Other Names:
      vml.0200030000600508b1001c3c4aacc8c33d825d7ff44c4f47494341
   VAAI Status: unknown
＜略＞
~ #

この状態となったら、GUIからvFRCの設定が行えるようになった。

該当SSDに対してvFRCの設定を行ったあとの「esxcli storage vflash device list」の結果は以下の様になった。

~ # esxcli storage vflash device list
Name                                    Size  Is Local  Is Used in vflash  Eligibility
------------------------------------  ------  --------  -----------------  ---------------------------------
naa.600508b1001c3c4aacc8c33d825d7ff4  114439      true               true  It has been configured for vflash
~ #

VMworld 2014に合わせてSanDiskからVDI分野向けにフラッシュ製品(Fusion ioとULLtraDIMM)を使った製品を提供するといった発表がありました。
「SanDisk Introduces New Solutions for VMware Horizon 6 and Virtual SAN at VMworld 2014」

関連情報を調べていると、VMwareとSanDiskが組んで、vSphereのディスクI/Oの仕組みにフィルター機構(vSphere API for IO Filtering)をつけた、という記事を見つけました。
「SanDisk Partners with VMware to Design APIs for IO Filtering for Server-side Solid-state Caching」

vSphere API for IO Filteringは、ESXiのディスクI/O部分に対して、追加処理を加えるためのフィルタ機能をつけることができる、というものだと思われます。

以下は、上記の記事および最近の周辺状況を加味して、記載した内容になります。
記事の正当性については保証しませんのでご注意ください。

vSphere API for IO Filteringの主な用途としては、ディスクI/Oをキャッシュするための処理、という感じになります。

そう、SanDiskが得意としている、フラッシュメモリ/SSD、そして、昨年発表されたもののIBM eXFLASH以外に採用事例が出てこないULLtraDIMMを有効活用するための仕組みです。

このディスクI/Oに対してキャッシュ機能を追加するという製品はすでにいくつかあります。

・VMware純正のVMware Flash Read Cache (vFRC)
・PernixData FVP
・Proximal Data AutoCache
・ちょっと系統が違うけど、Infinio (メモリのみでI/Oキャッシュ)

vFRCはどうなっているのかわかりませんが、それ以外の３つはディスクI/Oを司る部分のうち、PSP/Path Selection Pluginsと呼ばれるディスクI/O経路制御に使われる部分を置き換えています。

根幹部分を置き換えているので、プロトコルへの対応や、構成によって何ができる、できない、などがあったりします。

今回発表になったvSphere API for IO Filteringでは、そういった部分は置き換えず、そのままにしておき、比較的容易に追加できる機能として実装できるようにしたものとなります。
このため、おそらくは構成をあまり選ばずに、利用できるようになるのかと思われます。

2015年予定のvSphere 6に向けて、vSphere API for IO Filtering対応に向けて既存製品もアップデートしていくでしょうし、それ以外にもいろいろ出てくるのではないかと思います。

そして、おそらくは、このレイヤーを使ったバックアップ/DR製品とかも出てきそうです。

なかなか楽しみな機能になりそうです。

VMware vSphere ESXiで、普通のNICを使ってiSCSIストレージに接続する場合(Software iSCSI)、ESXi 5.0までであれば、VMwareの公式文書「Multipathing Configuration for Software iSCSI Using Port Binding」に記載がある。

この文書の記述が、ESXi5.5でも適用できるのか？ということを調べた。

vSphere 5.5のマニュアル:「ESXi and vCenter Server 5.5 Documentation > vSphere Storage > Configuring iSCSI Adapters and Storage」
VMwareのKnowledge Base:「Considerations for using software iSCSI port binding in ESX/ESXi」

結果、ESXi5.0とESXi5.5では、設定手法について差が無い、ということがわかった。

おまけ

iSCSI設定で大切なこと
・各NICに個別のIPアドレスを指定する
・iSCSI用としては、Bonding/Etherchannel/Trunking/Teamingは使用しない

・iSCSI用ネットワークが含まれる１つのvSwitchに対し複数のNICを登録し
　NICチーミング設定をしている場合、
　iSCSI用vmkはNICの枚数分作成し、それぞれにIPアドレスを割り当てる
　また各vmkのNICチーミング設定で有効なアダプタを１つのみにすること
　(iSCSI用だけNICチーミングをしない、という感じにする)