Nimble Storageについていろいろ調べたこと 2013/11/08


vForum2013 TOKYOにNimble Storageが出てたので、いろいろ確認してみた。
あと、マニュアルも入手したので、そこで調べた疑問点も列挙してある。


・海外事例を見るとパフォーマンス増強のために
 コントローラアップグレードがあるようだが
 日本でも提供するのか?

日本でも提供する予定だが、提供方法に関して詳細が決まっていない。

なお、アップグレードには2種類ある。
・Scale performance
・Scale cache

「Scale performance」はコントローラのアップグレードで、これは、マザーボードを丸ごと上位機種のものに入れ替えることになる。
Nimble Storageは「CS2x0用CPUを1つ積んだマザー」と「CS4x0用CPUを2つ積んだマザー」がある。
このため、「Scale performance」が適用できるものはCS2x0シリーズのみとなり、アップグレード後は「CS4x0」になる。
片コントローラずつ交換することでオンライン交換が可能。

「Scale cache」はSSDの容量増加である。
Nimble Storageでは、SSDを4本使用している。
この4本のSSDを交換し、容量を増加させることでパフォーマンスを上げる。
交換し、一時的にReadパフォーマンスが劣化するが、オンラインのままで行うことができる。
ちなみにSSDはslot7~10にあるが、slot7から順に交換する必要があるらしい。


・「Scale performance」の効能は?
CPUリソースや搭載メモリ(DRAM)が増加することにより、ランダムI/O・シーケンシャルI/Oのスループット増加が見込める。
いろんなボトルネック要素に対して効果がある。

・「Scale cache」の効能は?
Nimble Storageでは、SSDはRead cache目的で利用している。
このため、SSD容量の増加は、よく使われるデータが多い場合に有用である。
逆にSSDの利用率が低い場合は、効果が薄い。


・Firmwareってどんな感じなのか?

一般向けGAリリースの最新は2013/07/29リリースのv1.4.7.0。
(その1つ前は2013/04/12リリースのv1.4.6.0)
次期バージョンとして、v2.0系列の開発が進んでおり、2013/11/04にv2.0.5.0がリリースされているが、まだβ扱いとなっている。


・複数のNimble Storageを1つのように使うのってどんな感じなの?
実はv2.0からの新機能で「Group」という名称のクラスタ機能です。

1つのNimble Storageをマスターとして、その配下に他のNimble Storageをおく、というようなイメージになる。
システムの停止は必要となるが、運用中の「複数のNimble Storage」または「複数のGroup」を、ディスクの中身はそのままに統合することもできる。

ちなみに管理画面上は下記の様になる。
nimble


・ボリュームの最大数は?
255個作成可能。

・snapshotの最大数は?
ボリューム毎で最大1000、システム全体で10000まで作成できる


・実現できるレプリケーションの種類は?
基本的には、1volume→1volumeの内容丸ごとコピーのレプリケーション。
帯域制限をかけることもできる。
同期/非同期/スケジュール同期、といった設定はなく、「非同期」相当のみ。

・指定できる帯域制限の種類は?
月,火,水,木,金の8:00~19:00は、1Mbpsに制限
といった「曜日」と「時間帯」を指定した、帯域制限をかけることができる。
この指定は複数おこなうことができる。


・シリアルコンソールがある
アクティブ側のコントローラにのみシリアルコンソールログインができる。
初期設定やfirmwareアップデートをシリアルコンソールから行うことも可能。

Nimble Storageの日本代理店が発表になったようで


2012年8月に紹介したNimble Storageですが、このたび、アセンテックが国内総代理店として取り扱うことが決まったようです。

・プレスリリース:アセンテック、ハイブリッド型ストレージシステム 「Nimble Storage」の国内販売開始
アセンテック Nimble Storage製品ページ

春ぐらいからNimble Storageの日本上陸に関する話がちらほらあり、うちの記事がNimble Storageに関する唯一の日本語記事ということもあって、サポートとかを担当しそうないろんなベンダさんのIPアドレスから、アクセスがいろいろあったのがなかなかおもしろかったですね。
(もちろん、アセンテックさんからのアクセスも結構ありました。というか、参考にしたんだから謝礼くださいw)

過去記事の紹介
Nimble Storage(2012/08/06)
SSD+SATAのハイブリッドストレージ Nimble Storageについて調べてみた(2013/05/21)
ネットワークストレージ業界の標準ハードウェアSupermicro 6036ST-6LR(2013/05/15)

Nimble Storageについて知りたい人は、2番目の記事(SSD+SATAのハイブリッドストレージ Nimble Storageについて調べてみた)。

要約
・汎用的に使えるiSCSIストレージ
・SSDはReadキャッシュとして使用する
・書き込みの高速化は「データの圧縮」と「バッファ蓄積による書き込みのシーケンシャルWrite化」などで実現
・SSDは壊れても大丈夫な構成(実データは全てHDD上にある)
・VSS(Microsoft)やSRM/VAAI(VMware)などの連携プラグインも提供済み
・筐体間レプリケーションもサポート
・Nimble Storageの筐体はSupermicro 6036ST-6LRを採用

SSDを仮想環境のストレージキャッシュとして使うプロダクト(IBM,Fusion-IO,ProximalData,PernixData)


2021/04/07追記

Fusion IO → 2014年にSanDiskに買収。SanDisk Flashsoft(終了済)
ProximalData AutoCache → 2014年11月頃にSamsungに買収? Samsung ProximalData(終了済)
PernixData FVP→ 2016年にNutanixに買収された(2019年EoL)
OCZ → 2013年に東芝に買収されたあと、2019年に東芝メモリがKIOXIAになったが、移管されなかった?

また、VMware vSphere純正として登場したvFlash Read Cache。なんと、2019年にvSphere 6.7 Update 2で終息してしまった。vSANで分散ストレージ作ればいいでしょ、ということになったようだ。

では、2021年現在で提供されているESXiサーバ側でストレージキャッシュを持つような似たようなプロダクトとして何があるのか?

Virtunet Systems社「VirtuCache」で、ESXi 7.0U2のコンパチにも掲載されている

ぐらいしかないらしい。


サーバ本体に入れたPCIe接続のSSD(Fusion-IOなど)や、普通のSSDなどを、ストレージキャッシュとして使おうというソフトウェアをIBMが出してきた。

IBMプレスリリース:「仮想化環境の高速な処理を実現するFlashCache Storage Accelerator
クラウドWatchでの紹介記事:「日本IBM、フラッシュメモリを用いて仮想環境での処理を高速化するキャッシュソフト

これと類似のソフトウェアというのは、すでにいくつか製品がある。

Fusion-IO ioTurbine
 これはFusion-IO専用
 高速化をはかれるストレージは「Designed for all major SAN and NAS storage systems」とあるので
 FC/SAS/iSCSI/NFSなのかな?と思われる。
 vSphere ESXi用にインストールして使う

ProximalData AutoCache
 Fusion-IO,LSI Nytro WarpDriveなどのPCIe系や、普通のSSDに対応
 高速化をはかれるストレージは、FC/SAS/iSCSIハードウェアイニシエータ/iSCSIソフトウェアイニシエータ
 そして、NFS、と多岐に渡る。
 評価中だけど、特に問題はなさげ。
 vSphere ESXi用にインストールして使う

PernixData FVP
 Fusion-IO,LSI Nytro WarpDriveなどのPCIe系や、普通のSSDに対応
 高速化をはかれるストレージは、FC/SAS/iSCSIとある。
 評価してみようと手配中・・・
 vSphere ESXi用にインストールして使う

今回のIBM FlashCache Storage Acceleratorの特異な点は「FlashCache Storage Acceleratorは、VMware ESXi 5.0/5,1および、Windows Server 2008/2012、Red Hat Enterprise Linux 5/6に対応しています。」という点かも?
これが、Hyper-VとKVMの仮想化環境にも対応しているという意味であれば、他ではない特徴と言えますね。

・・・ほんとにそうなのかな????
FlashCache Storage Acceleratorの製品ページは日米ともにないので、詳細がよくわかりません。


2013/08/21追記

 

IBM FlashCache Storage Acceleratorは、Fusion-ioのioTurbineをベースとし、Fusion-IO以外の製品にも対応させたもの、だそうです。

IBM US側で製品ページ「IBM FlashCache Storage Accelerator」も公開されました。
ただ、ここに掲載されているデータシートの対応システムには、「VMware ESXi 5.0, ESXi 5.1」という記載のみ。
ほんとに、Hyper-VやKVMに対応するの???


2013/10/22 追記

 

SANRAD VXL SoftwareおよびOCZ VXL VMware Acceleration
 SANRAD社が開発したものを、FlashストレージベンダのOCZが買収してるもの
 この製品はESXi向け
 SANRAD社の方の資料を見ると、FC/SAS/iSCSI/NFS全般に使用できるようだ。
日本だとASK社取扱で、そのページには「VMware ESX、Citrix Xen、Microsoft Hyper-V対応」って書かれているのが謎。
 OCZ社のページだと、「VMware ESX」としか書かれてない。

会社向けでNAS OS単品で入手しようとしたらどこから?(2023/11/14修正)


会社で使うためのサポートありでNAS OS単品で入手できそうなところを調べてみた。

なお、WindowsStorageServerは除外しています。

2023/11/14: 微修正
2023/03/20: StarWind Virtual HCI Appliance (vHCI)を追加
2021/05/07: XigmaNAS追加
2020/12/02: 再調査し、結果を反映
2013/08/02: 初版作成

 iXsystems社 TrueNAS / FreeNAS

以前は別ラインだったTrueNASFreeNASは2020年3月に統合が発表され、TrueNAS CORE(旧FreeNAS)とTrueNAS Enterpriseになっていくことになりました。

商用向けは、TrueNAS Enterpriseになる。

ベースOS: FreeBSD?
ベースファイルシステム: zfs
対応ブロックストレージプロトコル: iSCSI
対応ファイルアクセスプロトコル: NFS,CIFS,AFS

なお、TrueNAS SCALEというLinuxベースのものもgithubにて開発中。OpenZFSとGlusterを組み合わせたスケールアウトとなっている。まだ全体を置き換える感じではない模様。

ドキュメント類
TrueNAS CORE 13.0
TrueNAS SCALE 22.12(Bluefin), TrueNAS SCALE 23.10 (Cobia)

TrueNASのリリーススケジュール を見ると、TrueNAS COREの商用版がTrueNAS CORE Enterprise、TrueNAS SCALEの商用版がTrueNAS SCALE Enterpriseという扱いになるようだ。

DDN社 NexentaStor / NexentaStor VSA

いつの間にかストレージベンダのDDN社がNexentaを買収していた(2019年5月 DDN to Acquire Nexenta)。DDNは別のストレージベンダTintri社も買収しており、NexentaStor VSA for Tintriというコラボ商品もリリースしていた。

ソフトウェア商品としては「NexentaStor」で、仮想環境上に載せるアプライアンスが「NexentaStor Virtual Appliance(VSA)」という商品名になっている。

ベースOS:OpenSolaris
ベースファイルシステム: zfs
対応ブロックストレージプロトコル: iSCSI,FC
対応ファイルアクセスプロトコル: NFS,CIFS,AFS,WebDAV

NexentaStorの技術情報は「https://nexenta.github.io/」で確認できる。

NexentaStor 5.5 and NexentaFusion 2.0 でリリースノートを見てみると、Tintri のロゴで始まっているので、Tinrti扱い?

NexentaStor 5.5は2022年12月リリースで、5.5FP2が2023年7月リリース、という形になっているようだ。

Open-E社 Open-E JovianDSS / Open-E DSS V7

相変わらずNAS OSの単品販売メインのOpen-E2020年2023年も健在。1998年創業なので25周年記念、とWebでうたっている。

旧来のOpen-E DSS V7に加えて、ファイルシステムにzfsを採用したOpen-E JovianDSSが登場した。

ベースOS: Linuxベース
ベースファイルシステム: DSSV7はxfs, JovianDSSはzfs
対応ブロックストレージプロトコル: iSCSI
対応ファイルアクセスプロトコル: NFS,CIFS,AFS
NAS OS単品提供のみ

2023/11/14現在、OPEN-E DSS V7ページにはあと約1年で製品終了、と記載されるようになり、Open-E JovianDSSのみが継続しているようだ。

Open-E JovianDSSは標準価格が明記されていて分かりやすい。

StarWind社 StarWind Virtual SAN(VSAN)

StarWind社がStarWind Virtual SANというのを公開している。

日本のclimbが取り扱っており「StarWind技術ブログ」も公開している。

StarWind Virtual HCI Appliance (vHCI)という形でHyper-Vサーバ/ESXiサーバと組み合わせて使うタイプの製品も出ている

ベースOS: Linuxベース
対応ブロックストレージプロトコル: iSCSI
対応ファイルアクセスプロトコル: NFS,CIFS,AFS
NAS OS単品提供のみ

OSNEXUS社 QuantaStor

OSNEXUSという会社が開発しているもの。

Community Editionは”1サーバあたり物理40TB”を4サーバまでで、2年間使えるライセンスが発行されるようだ。

ベースOS: Linux Ubuntu Serverベース
対応ブロックストレージプロトコル: iSCSI,FC
対応ファイルアクセスプロトコル: NFS,CIFS,AFS
NAS OS単品提供のみ

ドキュメント

XigmaNAS(NAS4Free)

元々2005年にFreeNASという名前で始まって、2011年にiXsystems社がFreeNASの商用を買収したことによりNAS4Freeに改名し、2018年から現状のXigmaNASになっている。

価格をつけて販売しているわけではないので載せるか悩んだが、サーバ筐体などを売っているAspen Systemsというところとjet streamでインストールしたサーバを販売しているようなので掲載。

資料サイト

ベースOS: FreeBSD
ファイルシステム: OpenZFS
対応ブロックストレージプロトコル: iSCSI
対応ファイルアクセスプロトコル: NFS,CIFS,AFS

XigmaNAS 13.1.0.5 = FreeBSD 13.1
XigmaNAS 13.0.0.5 = FreeBSD 13.0
XigmaNAS 12.3.0.4 = FreeBSD 12.3
XigmaNAS 12.2.0.4 = FreeBSD 12.2
XigmaNAS 11.4.0.4 = FreeBSD 11.4

その他

CloudByte社 ElastiStorは、MayaData社(https://mayadata.io/)に移管後はプロダクトが見当たらないので消えた模様。githubアカウントはmayadataのやつcloudbyteのがある。cloudbytesの方は最終更新が2018年1月。2023/11/04現在mayadata.io にアクセスできなくなっていた。

RisingTide Systems RT OS はドメイン毎消滅。もともと情報が少なかったけど、その後は不明。


下記は2013年8月2日時点の情報を記録のため残しておく

iXsystem TrueNAS Unified Storage
ixsystem-trueNAS
ベースOS: FreeBSD8
ベースファイルシステム: zfs
対応ブロックストレージプロトコル: iSCSI
対応ファイルアクセスプロトコル: NFS,CIFS,AFS
Fusion-IOによるパフォーマンスアップ策あり
FreeNASの開発主体

Nexenta NexentaStor
ベースOS:OpenSolaris
ベースファイルシステム: zfs
対応ブロックストレージプロトコル: iSCSI,FC
対応ファイルアクセスプロトコル: NFS,CIFS,AFS,WebDAV
NAS OS単品提供あり
SSDによるパフォーマンスアップ策あり

RisingTide Systems RT OS
ベースOS: Linux kernel 3.0.38ベース,OpenSUSE 11.2?
対応ブロックストレージプロトコル: iSCSI,FC
対応ファイルアクセスプロトコル: NFS,CIFS,AFS
NAS OS単品提供のみ
InfiniBandサポート
Linux-iscsi.orgの「RTS_OSを見ると、いろいろ詳細がある。
パッケージ管理がYaST2および11.2という単語がいろいろあるので、OpenSUSE 11.2ベースの模様。
Web管理画面が用意されていない?
マニュアル

Open-E DSS V7
日本のページもある。
ベースOS: Linuxベース
対応ブロックストレージプロトコル: iSCSI
対応ファイルアクセスプロトコル: NFS,CIFS,AFS
NAS OS単品提供のみ

StarWind iSCSI SAN & NAS V6
ベースOS: Linuxベース
対応ブロックストレージプロトコル: iSCSI
対応ファイルアクセスプロトコル: NFS,CIFS,AFS
NAS OS単品提供のみ

OS NEXUS QUANTASTOR STORAGE APPLIANCE SOFTWARE
ベースOS: Linux Ubuntu Serverベース
対応ブロックストレージプロトコル: iSCSI,FC
対応ファイルアクセスプロトコル: NFS,CIFS,AFS
NAS OS単品提供のみ
マニュアル

CloudByte ElastiStor
ベースOS: OpenSolarisベース?
対応ブロックストレージプロトコル: iSCSI,FC
対応ファイルアクセスプロトコル: NFS,CIFS,AFS
NAS OS単品提供のみ
QoSにすぐれている、と自称。

Amazon S3をLinuxファイルシステムにする



Windowsでのオフラインファイル、Linuxでのstub fileについて調査していたら、Amazon S3を使ったストレージの話を見つけた。
本題には関係なかったんだけど、興味深かったのでメモ書き。

s3fs
Linux FUSEを使ったファイルシステム。
1ファイルの最大サイズは64GBまで。
ローカルディスクにキャッシュフォルダを指定できる(use_cache)
Amazon Reduced Redundancy Storage に対応

S3QL
Amazon S3以外にも、Google StorageやOpenStackに対応しているファイルシステム。
Linux, FreeBSD, MacOS Xに対応している。
1ファイルの最大サイズは2TBまで。
内部でPython APSWを利用しているため、別途インストールが必要。

ローカルディスクにキャッシュフォルダを指定できる(–cachedir)
Amazon Reduced Redundancy Storage は非対応

S3QL User’s Guideを見る限り、必要な情報はちゃんと揃っている感じ