巨大HPCシステムを作る際に、巨大なデータを複数に分割してサーバに投げるのではなく、そのまま処理できるようなシステムとして、Linuxベースの「ScaleMP」というシステムがある。
2005年から製品をリリースしており、2010年にはXen/KVMに対応し始め、仮想化機能もだいぶ進んでいる。
それに似たようなものとして、最近、TidalScaleという製品が登場してきた。
こちらはFreeBSD 10.3Rベースで、ハイパーバイザー層はbhyveを使っているというもの。
これについて調べて見た・・・
といっても、最近全部公開された公式マニュアルを見ただけですが・・・
管理サーバ(admin node)とworker nodeに分かれている。
admin nodeには全体の管理機能と、ストレージを提供する役割がある
worker nodeはCPUコアとメインメモリを提供する役割がある。
現状、Intel CPUのみサポート
worker nodeは使われていない時は電源がoffとされており、使用する際に自動的にonとする
OS用ディスクは不要で、admin node上のNFSストレージからネットワークブートする。
この起動したOSを「TidalScale HyperKernel」といっている。
ストレージはadmin node上のzfsストレージか、外部のiSCSIストレージを使用することができる
zfsの機能を使ってSSDを使ったアクセスの高速化を使うことも出来る。
FCストレージは今後のバージョンでサポートするらしい 。
複数の物理サーバを使って１台の仮想マシンを作ることができる
この仮想マシンを「TidalPod virtual machine」といっている。
CPU 12コア/RAM 128GBの物理サーバを２台使って、CPU 24コア/RAM 256GBの仮想マシンを作る。
１台の物理サーバを複数の仮想マシンで使うことはできない
物理サーバ１台に仮想マシンを集約する、ということにはつかえない。
また、物理サーバを３台用意して、1.5台分を使った仮想マシンを２つつくる、といった物理マシン１台を分割することもできない。
サーバ間接続(Interconnect)は現状10Gb NICのみ
InfinibandではなくEthernet。
コストが高いInfinibandを使わなくても汎用の10Gb NICで十分であり遅延も少ないという主張をしている。
仮想マシンを構成する物理サーバが壊れた場合、仮想マシンが止まる
現状、HAや予防交換の機能は無い。
2019年対応したバージョンが出る予定となっている。
ネットワークは４系統必要
Guest subnet: 仮想マシンが外にでる為のネットワーク
Storage subnet: ストレージ用ネットワーク(iSCSIベース)
Control subnet: サーバ間の管理通信用 BMC/iLOなどの管理アクセス用
Interconnect: IPアドレスを必要としないサーバ間管理通信用
NIC冗長化機能が無い
現バージョンは、trunking(bonding)機能が未サポート。
RedHat/SuSE/Ubuntuなどをサポートで、Windowsはサポートをうたっていない
ScaleMPと同じような感じですね。
ScaleMPとの違い
・Interconnectが ScaleMPはInfiniband(HCA) / TidalScaleは10Gb Ethernet NIC(今後他のEthernet NICにも対応予定)
・用途が ScaleMPがHPC向けのデータ処理を主眼 / TidalScaleはでっかい仮想マシンをデータセンタ事業者向けに
・ScaleMPは１つの仮想マシンを立てる / TidalScaleは複数の仮想マシンを立てることができる（ただし物理サーバは別であること）
ScaleMPだと仮想マシンを複数立てられないので、TidalScaleがある、といった感じですかねぇ・・・
ここまで似てて大丈夫かな？と調べて見るれば、ScaleMPから2018年3月頃に訴えられているようです。
「ScaleMP, Inc. v. TidalScale, Inc. et al 3:18-cv-04716」にScaleMPが提出した書類が載っていますが下記の様な感じです。（超意訳）
・ScaleMPの持ってる３件の特許を侵害している
・2010年8月にScaleMPがSAPおよびいまはTidalScale CTOになっているNessiに対してScaleMPのプレゼンをした
・2010年10月にScaleMP上にSAP HANAを載せる話をした
・2010年12月にNessiがScaleMPの評価を開始した
・2011年1月にdeep-diveセッションとして技術的にかなり深いミーティングをNessiとした
・2011年2月にNessiがイベントでScaleMPと似たような感じのものを発表した
・2011月9月にNessiがSAPをやめると発表
・2011年10月にNessiにScaleMPにCTOかアドバイザーとしてこない？と誘ったけど断られた
・2012年3月、TidalScale公開。Nessi CTOに
・2013年1月、SAPでScaleMPの評価をしてた人がScaleMPの価格情報とかいろいろ聞いたあとSAPを退社し、8月にTidalScaleに入社
・というわけで、うちのScaleMPを解析してソース公開しなくてもいいライセンスのFreeBSD/bhyveで再実装したんでしょ！？
TidalScale側の主張が書かれた資料が入手できていないので、上記が正しいのかはわかりません。
果たして、この後、どう決着がつくのかな、と
2019/11/06追記
7月にScaleMPとTidalScaleの間で和解が成立していた模様。
TidalScaleが、ScaleMPが保有する特許を使わせてもらうことになったと。
2019/07/03「ScaleMP and TidalScale Reach Patent Licensing Agreement and Settle Patent Dispute」
ScaleMP™ and TidalScale announced today that the two companies have settled all litigation between them.
As part of the settlement, TidalScale has taken a paid-up five-year license to ScaleMP’s patent portfolio, and all trade-secret claims asserted against TidalScale, Dr. Ike Nassi and Dr. David Reed have been resolved without payment or admission of liability.
2019/07/03 ScaleMP「TidalScale has taken a paid-up five-year license to ScaleMP’s patent portfolio」(内容は上記と同じ)
2020/03/10追記
そういえば新バージョンって出たのかな？と調べて見たら2019/09/12付けでversion 3.0が出ていたらしい「TidalScale Announces Breakthrough Flexibility and Performance for In-Memory Applications with Third Generation Software-Defined Server Technology」
いままで外部ストレージはiSCSIのみ対応だったのが、FCストレージにも対応した。
という点以外は、めぼしい機能改善はない感じ・・・冗長性関連の問題ってちゃんと対応されてるのかな？
特に巨大データベース運用時にノードが死んだとかの場合の対応策とか、どうなったんだろうか・・・
Machine Learningが・・・とか言ってるのは以前から掲げているもので、複数のサーバで分割処理する際、RAM上のデータとCPUリソースが同じサーバ上に存在するように調整を行う、というのにMLを活用する、って話だと思われる。
2022/04/18追記
2021/12/01にscalemp.com にアクセスしたら下記の表示となっていた。
調べて見ると2021年6月頃にSAPに対してvSMP MemoryOneが売却された、という話があった。
Israel Financial Insider 「POOR EXIT: SCALEMP WAS RECENTLY SOLD TO SAP FOR A SMALL AMOUNT AND MUCH LOWER THAN INVESTED IN」(2021/06/04)
The startup company ScaleMP was recently sold to SAP for a small amount and much lower than what has been invested in it so far. This is a failure of a start-up company that aimed for much higher amounts, a move that did not succeed.
Scale MP is a relatively old company in the startup market. It was founded in 2003 by Shay Poltheim and Rabbi Zlotogorsky, and engaged in the optimization and acceleration of computer resources through virtualization, ie running several machines on one computer.
Over the years, the company has raised a total of about $ 36 million when the last round was raised in August 2017, when the company raised $ 10 million led by Leumi Partners. Over the years, the company has also invested in the following funds: Sequoia Israel, Lightspeed Israel, ABS Venture, Aviv VC, and TL Ventures and Evolution, as well as the private investors: Dan Barnea, Yehiam Yemini, Amiram Levinberg, Rami Lipman.
At the last recruitment, Yaron Bloch, then CEO of Leumi Partners, said: “ScaleMP is a growing and leading company in its field and its activity is expected to continue to grow thanks to agreements with recently signed manufacturers and additional contracts that are expected to be implemented in the near future.
そして、2022/04/18にscalemp.comにアクセスしてみると、アクセスできないことを確認した。
買収したと言われているSAP社側で何かないか調べて見たところ、学生向けのインターンシップの募集に「our product vSMP MemoryONE」という文面が含まれていた。
「Product Management Intern – SAP Cloud Virtualization Software-Design and Development」
We are proud and excited to offer a Student/Intern position in our Raanana office for technology-savvy students interested in Product Management Internship .
The Cloud Virtualization Group recently joined SAP, and our product vSMP MemoryONE is the leader in virtualization for in-memory computing. The group’s innovative architecture significantly reduces cloud cost by virtualizing NVM as system memory.
In this role, you would be reporting to the Chief Product of the Cloud Virtualization Group.Our Student/internship program is designed to be an authentic reflection of what it means to be an integral part of SAP. This is achieved through our hands-on, long-term program, structured to build a foundation of industry knowledge while personal and professional growth is facilitated through collaboration, exploration, and mentorship. From weekly online hands-on courses and training, through “lunch & learn” sessions, to our Product Lifecycle Experience, we believe in connecting you to various aspects of the company and group so you can truly evaluate potential career paths within the work we do.
TidalScaleの方は2022年現在もとりあえず生きてはいるようだ。
youtubeに2022/04/09にいくつか動画があがっており、いくつか見てみたところ TidalScale 4.0というバージョンになったようである。
まず、TidalGuardという仕組みが追加されて物理サーバの交換に対応できるようになっていた。
ただ、これは物理サーバが死ぬ前に安全に交換するための技術であり、クラスタを構成する物理サーバが突然死した場合には対応できないように読める。
2022/04/12には「TidalScale’s Software-Defined Server Technology Now Available on AWS」というリリースが出ており、AWS上で複数のインスタンスをまとめて１つのインスタンスのように扱えるように出来るらしい。
AWSを使ってもメモリ空間24TBを確保できるよ！というあたりを売りにしているようだ。
また、「TidalScale Software-Defined Servers on IBM Cloud」(2022/01/13)ということでIBM Cloud上でも提供しているようだ。