巨大HPCシステムを作る際に、巨大なデータを複数に分割してサーバに投げるのではなく、そのまま処理できるようなシステムとして、Linuxベースの「ScaleMP」というシステムがある。
2005年から製品をリリースしており、2010年にはXen/KVMに対応し始め、仮想化機能もだいぶ進んでいる。
それに似たようなものとして、最近、TidalScaleという製品が登場してきた。
こちらはFreeBSD 10.3Rベースで、ハイパーバイザー層はbhyveを使っているというもの。
これについて調べて見た・・・
といっても、最近全部公開された公式マニュアルを見ただけですが・・・
・管理サーバ(admin node)とworker nodeに分かれている。
・admin nodeには全体の管理機能と、ストレージを提供する役割がある
・worker nodeはCPUコアとメインメモリを提供する役割がある。
現状、Intel CPUのみサポート
・worker nodeは使われていない時は電源がoffとされており、使用する際に自動的にonとする
OS用ディスクは不要で、admin node上のNFSストレージからネットワークブートする
この起動したOSを「TidalScale HyperKernel」といっている
・ストレージはadmin node上のzfsストレージか、外部のiSCSIストレージを使用することができる
zfsの機能を使ってSSDを使ったアクセスの高速化を使うことも出来る
FCストレージは今後のバージョンでサポートするらしい
・複数の物理サーバを使って１台の仮想マシンを作ることができる。
この仮想マシンを「TidalPod virtual machine」といっている
CPU 12コア/RAM 128GBの物理サーバを２台使って、CPU 24コア/RAM 256GBの仮想マシンを作る
・１台の物理サーバを複数の仮想マシンで使うことはできない
・サーバ間接続(Interconnect)は現状10Gb NICのみ
InfinibandではなくEthernet
Infinibandでなくても遅延が少ないという主張
・仮想マシンを構成する物理サーバが壊れた場合、仮想マシンが止まる
現状、HAや予防交換の機能は無い。
2019年対応したバージョンが出る予定
・ネットワークは４系統必要
Guest subnet: 仮想マシンが外にでる為のネットワーク
Storage subnet: ストレージ用ネットワーク(iSCSIベース)
Control subnet: サーバ間の管理通信用 BMC/iLOなどの管理アクセス用
Interconnect: IPアドレスを必要としないサーバ間管理通信用
・NIC冗長化機能が無い
現バージョンは、trunking(bonding)機能が未サポート
・RedHat/SuSE/Ubuntuなどをサポートで、Windowsはサポートをうたっていない。
ScaleMPと同じような感じですね。
ScaleMPとの違い
・Interconnectが ScaleMPはInfiniband(HCA) / TidalScaleは10Gb Ethernet NIC(今後他のEthernet NICにも対応予定)
・用途が ScaleMPがHPC向けのデータ処理を主眼 / TidalScaleはでっかい仮想マシンをデータセンタ事業者向けに
・ScaleMPは１つの仮想マシンを立てる / TidalScaleは複数の仮想マシンを立てることができる（ただし物理サーバは別であること）
ScaleMPだと仮想マシンを複数立てられないので、TidalScaleがある、といった感じですかねぇ・・・
まぁ、調べて見ると、ScaleMPから2018年3月頃に訴えられているようです。
「ScaleMP, Inc. v. TidalScale, Inc. et al 3:18-cv-04716」にScaleMPが提出した書類が載っていますが下記の様な感じです。（超意訳）
・ScaleMPの持ってる３件の特許を侵害している
・2010年8月にScaleMPがSAPおよびいまはTidalScale CTOになっているNessiに対してScaleMPのプレゼンをした
・2010年10月にScaleMP上にSAP HANAを載せる話をした
・2010年12月にNessiがScaleMPの評価を開始した
・2011年1月にdeep-diveセッションとして技術的にかなり深いミーティングをNessiとした
・2011年2月にNessiがイベントでScaleMPと似たような感じのものを発表した
・2011月9月にNessiがSAPをやめると発表
・2011年10月にNessiにScaleMPにCTOかアドバイザーとしてこない？と誘ったけど断られた
・2012年3月、TidalScale公開。Nessi CTOに
・2013年1月、SAPでScaleMPの評価をしてた人がScaleMPの価格情報とかいろいろ聞いたあとSAPを退社し、8月にTidalScaleに入社
・というわけで、うちのScaleMPを解析してソース公開しなくてもいいライセンスのFreeBSD/bhyveで再実装したんでしょ！？
TidalScale側の主張が書かれた資料が入手できていないので、上記が正しいのかはわかりません。
果たして、この後、どう決着がつくのかな、と
2019/11/06追記
7月にScaleMPとTidalScaleの間で和解が成立していた模様。
TidalScaleが、ScaleMPが保有する特許を使わせてもらうことになったと。
2019/07/03「ScaleMP and TidalScale Reach Patent Licensing Agreement and Settle Patent Dispute」
ScaleMP™ and TidalScale announced today that the two companies have settled all litigation between them.
As part of the settlement, TidalScale has taken a paid-up five-year license to ScaleMP’s patent portfolio, and all trade-secret claims asserted against TidalScale, Dr. Ike Nassi and Dr. David Reed have been resolved without payment or admission of liability.