ネットワークストレージ業界の標準ハードウェアSupermicro 6036ST-6LR


ここ2年ぐらいの間に、いろんな形でのSSD/FlashとHDDを組み合わせた形で高速化を図っているネットワークストレージ(NFS/iSCSI)の製品が出ています。

以前、うちのblogでも紹介したTintri VMstoreNimbleStorageがそんな感じの製品です。

で・・・Tintri VMstoreは特徴がそのままだったので、すぐにわかったのですが、
NimbleStorageも、よくよく調べてみれば情報があり、正体がわかってきました・・・

どっちも、Supermicro社のSuper Storage Bridge Bay (SBB)シリーズSYS-6036ST-6LRでした。(日本の代理店ページ)

まぁ、マザーボードを2枚積んで、両方のシステムからストレージベイにアクセス出来るようなサーバ筐体で、汎用的な製品が他にないので、こうならざるおえないですけどね。

1筐体にマザーボードが2枚積まれていますが、マザーボード間は10GbpsのNIC 2組でクロス接続されており、そこを使ってアクティブ/スタンバイ監視をおこなったり、キャッシュ情報のやりとりなどをおこなったりします。
(まぁ、そこらへんは、ソフトウェア実装に依存しますが)

また、マザーボードには拡張スロットが3つ(PCIe x8が1,PCIe x4が2)と、SASポートが1つあるので、拡張性という面でもまずまずなところです。

Tintri VMstore T540の方は、拡張筐体をサポートしていませんが、
NimbleStorage CS2xxシリーズの方は、拡張筐体をサポートしています。

まぁ、肝心なのは上に載せるソフトウェアの問題なので、ハードウェアが一緒であったとしても、違いが出せれば問題ないですけどね

SoftNASという仮想マシンとして立てるCentOS+ZFSのNAS


2021/02/10追記

2020/04/21にSoftNAS社Buurst社となっていた(Learn the new rules of cloud storage)。
プロダクトとしては引き続きSoftNASという名称のままである。

2021年1月にCentOS8.2ベースにsamba 4.12を載せたSoftNAS 5がリリースされていた(Announcing SoftNAS 5 – a Modern Approach to Cloud NAS)。

これまでのリリースノート一覧ドキュメントなども見やすい形で公開されるようになっていた。

ただ、以前あったDeveloper Editionは消えて、Demo版がAWSAzure上で展開できる、という形がメインになっている模様で、ローカルのvSphere上で展開する用のファイル提供の入手は面倒になっているようだ。



2019/01/23追記

2019年1月現在、SoftNAS Essentialsは有償プランの1つとなり、無償で使えるものは「SoftNAS Developer Edition」となった。使用可能容量も250GBまでと大きく制限されている。Amazon AWS, Microsoft Azureのマーケットプレイスにイメージが並んでいるので、そこからデプロイできる他、スタンドアローンのvSphere上にデプロイするためにSoftNAS-4.0.1.ovaが提供されている。

以下は2013年3月記載の古い記述となります。


SoftNASというものがあるらしい。

・CentOS6ベース
・ファイルシステムはZFS
・vSphereやHyper-Vの上に仮想マシンとして動作させる
・Amazon EC2用も用意されている
・検証用にVMware Workstation 8.xもサポート
・割り当てるCPUリソースは2vCPU~8vCPU
・割り当てるメモリリソースは2GB~32GB
・Dedupe機能あり(1TBにつきメインメモリ1GB追加使用)
・Thinprovisionおよび圧縮
・NFS/CIFS/iSCSIを提供できる
・Volumeスナップショット
・レプリケーション機能あり
  → Amazon EC2上に立てたサーバにレプリケーションできる
・ZFS L2ARCを利用したSSD利用の高速化

SoftNAS Essentials」という機能限定版は無償利用可能。
限定の内容の抜粋
・1TBまで
・以下の機能が使えない
 ・SSD利用の高速化
 ・iSCSI機能
 ・レプリケーション
 ・スナップショットのスケジューリング

詳細の違い

まぁ、おもしろそうではあるので、ちょっと試しに使ってみるかな


インストールしてみた

・CentOS 6.3 x86_64
・kernelはCentOS標準を利用している
ZFS on Linux利用
zfs-0.6.0-rc14.x86_64, zfs-modules-dkms,zfs-dracut,zfs-test
・独自Web GUI+Webmin
・NFSやCIFS設定はWebmin画面という感じ
・独自Web GUIは、iconCubeを使って暗号化処理をおこなっている
・独自Web GUIは多言語対応を考慮に入れてないっぽい
・LinuxはGUIログイン
・Chromeインストール&yum repo登録済
・sysctlに特にコレといったパラメータが入れられてない
・/etc/sysconfig/nfsとか/etc/init.d/nfsにも特にパラメータが入ってない
・「Software Updates」は、あくまでSoftNASに関するモジュールのみで、CentOS自体のアップデートは対象外


微妙だなぁ、と感じた、もっとも大きな点は、管理UIの不徹底です。

新規で使う際、以下の順序で操作をおこなっていきます。

1. Webにログイン
main-001
独自のAJAXなUIです。

2. 「Disk Devices」にて空きディスクにパーテーション設定
disk-dev
この画面はWebminそのままです。

3. 「Storage Pools」にてディスクの登録
storagepool
独自のAJAXなUIです。

4. 「Volumes and LUNs」にてボリューム作成
volume
独自のAJAXなUIです。
ここでボリュームを作成すると、マウントされるようになります。

5. 「NFS Exports」にてNFSマウントの設定
nfs-export
この画面はWebminそのままです。
NFSv4対応のwebmin設定画面はPseudofilesystemの関連でちょっとわかりにくいのですが、放置です。

6. 「CIFS Shares」にてCIFS関連設定
cifs-share
この画面もWebminそのままです。
なお、説明書を見ると、CIFS設定は、別途コマンドおよびファイル編集が必要、と書いてあります。

というわけで、使いやすそうな雰囲気がするGUIのわりに、手を抜いてる場所が結構あるせいで、操作感の統一がされておらず、説明も足りてないので、非常に使いにくい感じになっています。

はたして、これは修正されていくのでしょうか・・・???

SmartArray P410のfirmwareをCentOS6でアップデートしてみた


Smart Array P410をRAIDカードだけ入手して、CentOS6.3のサーバにさしてみた。
認識はしたんだが、firmwareが古い。

また、おそらくマザーボードの問題で、P410からのブートは無理だったので、USBメモリにbootパーテーションを作って、そこから起動させる形でLinuxをインストールした。

インストール完了後、 hpacucliをインストールして、ステータスを確認してみる。

# hpacucli
HP Array Configuration Utility CLI 9.40.12.0
Detecting Controllers...Done.
Type "help" for a list of supported commands.
Type "exit" to close the console.

=>ctrl all show config detail

Smart Array P410 in Slot 6
   Bus Interface: PCI
   Slot: 6
   Serial Number: PACCRID??????RQ
   Cache Serial Number: PAAVPID??????KDX
   RAID 6 (ADG) Status: Disabled
   Controller Status: OK
   Hardware Revision: C
   Firmware Version: 3.00
   Rebuild Priority: Medium
   Expand Priority: Medium
   Surface Scan Delay: 3 secs
   Surface Scan Mode: Idle
   Queue Depth: Automatic
   Monitor and Performance Delay: 60  min
   Elevator Sort: Enabled
   Degraded Performance Optimization: Disabled
   Inconsistency Repair Policy: Disabled
   Wait for Cache Room: Disabled
   Surface Analysis Inconsistency Notification: Disabled
   Post Prompt Timeout: 15 secs
   Cache Board Present: True
   Cache Status: OK
   Cache Ratio: 25% Read / 75% Write
   Drive Write Cache: Disabled
   Total Cache Size: 512 MB
   Total Cache Memory Available: 400 MB
   No-Battery Write Cache: Enabled
   Cache Backup Power Source: Batteries
   Battery/Capacitor Count: 1
   Battery/Capacitor Status: Failed (Replace Batteries)
   SATA NCQ Supported: True
   Array: A
      Interface Type: SAS
      Unused Space: 0  MB
      Status: OK
      Array Type: Data
      Spare Type: dedicated

      Logical Drive: 1
         Size: 205.0 GB
         Fault Tolerance: 5
         Heads: 255
         Sectors Per Track: 32
         Cylinders: 52687
         Strip Size: 256 KB
         Full Stripe Size: 768 KB
         Status: OK
         Caching:  Enabled
         Parity Initialization Status: In Progress
         Parity Initialization Progress: 79.64% complete
         Unique Identifier: 600508B100103130333?????????????
         Disk Name: /dev/sda
         Mount Points: /boot 500 MB
         OS Status: LOCKED
         Logical Drive Label: A23B2853PACCRID???????????F
         Drive Type: Data

      physicaldrive 1I:0:3
         Port: 1I
         Box: 0
         Bay: 3
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 72 GB
         Rotational Speed: 10000
         Firmware Revision: 0603
         Serial Number: 0422???Y            3??????Y
         Model: SEAGATE ST973402SSUN72G
         PHY Count: 2
         PHY Transfer Rate: 3.0Gbps, Unknown

      physicaldrive 1I:0:4
         Port: 1I
         Box: 0
         Bay: 4
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 72 GB
         Rotational Speed: 10000
         Firmware Revision: 0603
         Serial Number: 0422???1            3??????1
         Model: SEAGATE ST973402SSUN72G
         PHY Count: 2
         PHY Transfer Rate: 3.0Gbps, Unknown

      physicaldrive 2I:0:5
         Port: 2I
         Box: 0
         Bay: 5
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 72 GB
         Rotational Speed: 10000
         Firmware Revision: 0603
         Serial Number: 0522???3            3??????3
         Model: SEAGATE ST973402SSUN72G
         PHY Count: 2
         PHY Transfer Rate: 3.0Gbps, Unknown

      physicaldrive 2I:0:6
         Port: 2I
         Box: 0
         Bay: 6
         Status: OK
         Drive Type: Data Drive
         Interface Type: SAS
         Size: 72 GB
         Rotational Speed: 10000
         Firmware Revision: 0603
         Serial Number: 0422???7            3??????7
         Model: SEAGATE ST973402SSUN72G
         PHY Count: 2
         PHY Transfer Rate: 3.0Gbps, Unknown

      physicaldrive 2I:0:7
         Port: 2I
         Box: 0
         Bay: 7
         Status: Predictive Failure
         Drive Type: Spare Drive
         Interface Type: SAS
         Size: 72 GB
         Rotational Speed: 10000
         Firmware Revision: 0603
         Serial Number: 4922???W            3??????W
         Model: SEAGATE ST973402SSUN72G
         PHY Count: 2
         PHY Transfer Rate: 3.0Gbps, Unknown


   SEP (Vendor ID PMCSIERA, Model  SRC 8x6G) 250
      Device Number: 250
      Firmware Version: RevC
      WWID: 500143800??????F
      Vendor ID: PMCSIERA
      Model:  SRC 8x6G

#

ディスクが1本死にかけてるとか、バッテリーモジュールが死んでるとか、RAID構築中とか、あるけれど、firmware はv3.0であることを確認。

バージョンアップしようとしたところ、エラーが・・・

# ./CP019316.scexe
./hpsetup: ./ccissflash: /lib/ld-linux.so.2: bad ELF interpreter: そのようなファイルやディレクトリはありません
#

なんのファイルが足らないのか調べようとしたら、実行した後に展開される作業用ファイルを削除してしまってわからない。

CP019316.scexeはシェルスクリプトなので、ファイルを展開するだけのオプションがないか確認したところ「–unpack=出力先ディレクトリ」であることが判明。

# ./CP019316.scexe --unpack=/root/t
1115.bin
CP019316.xml
MIZ108.bin
Rom.bin
ccissflash
firmware.cfg
hpsetup
libcpqimgr.so
sandman.bin
# ls -l /root/t
合計 20908
-rwxr-xr-x 1 root root 1494272 11月 16 04:24 2011 1115.bin
-rw-rw-rw- 1 root root  743473 12月 14 02:25 2012 CP019316.xml
-rwxr-xr-x 1 root root 1461504  9月 18 02:36 2012 MIZ108.bin
-rwxr-xr-x 1 root root 4194304 11月 16 04:24 2011 Rom.bin
-rwxr-xr-x 1 root root 7159043  3月 27 14:10 2012 ccissflash
-rw-rw-rw- 1 root root     427 12月 14 02:20 2012 firmware.cfg
-rwxrwxrwx 1 root root     268 12月 14 02:20 2012 hpsetup
-rwxr-xr-x 1 root root 2148102  3月 27 14:11 2012 libcpqimgr.so
-rwxr-xr-x 1 root root 4194304 12月 12 09:31 2012 sandman.bin
# file *
1115.bin:       data
CP019316.xml:   XML  document text
MIZ108.bin:     data
Rom.bin:        data
ccissflash:     ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.4.3, not stripped
firmware.cfg:   ASCII text, with CRLF line terminators
hpsetup:        Bourne-Again shell script text executable
libcpqimgr.so:  ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, not stripped
sandman.bin:    data
#

とりあえず、よくある compat-libstdc++-296あたりかな、と「yum install compat-libstdc++-296」を実行。

# yum install compat-libstdc++-296
<略>
Dependencies Resolved

================================================================================
 Package                  Arch       Version                  Repository   Size
================================================================================
Installing:
 compat-libstdc++-296     i686       2.96-144.el6             base         77 k
Installing for dependencies:
 glibc                    i686       2.12-1.80.el6_3.7        updates     4.3 M
 libgcc                   i686       4.4.6-4.el6              base        111 k
 nss-softokn-freebl       i686       3.12.9-11.el6            base        116 k
Updating for dependencies:
 glibc                    x86_64     2.12-1.80.el6_3.7        updates     3.8 M
 glibc-common             x86_64     2.12-1.80.el6_3.7        updates      14 M

Transaction Summary
================================================================================
Install       4 Package(s)
Upgrade       2 Package(s)

Total download size: 23 M
Is this ok [y/N]: y
<略>
# ./ccissflash
./ccissflash: error while loading shared libraries: libstdc++.so.6: cannot open shared object file: No such file or directory
#

まだエラーがでている。
というか、「compat-libstdc++-296」ではなかったようだ。

ぐぐったところ「“bad ELF interpreter” Error When Running Smart Array Controller Firmware Update Script」を発見。

「glibc-2.12-~.i686」と「libstdc++-4.4.6-~.i686」があれば良かったらしい。
先ほどの操作でglibc-2.12-~.i686はインストールされたので、libstdc++-4.4.6のみインストール。

# yum install libstdc++-4.4.6-4.el6.i686
<略>
Dependencies Resolved

================================================================================
 Package             Arch           Version                Repository      Size
================================================================================
Installing:
 libstdc++           i686           4.4.6-4.el6            base           299 k

Transaction Summary
================================================================================
Install       1 Package(s)

Total download size: 299 k
Installed size: 908 k
Is this ok [y/N]: y
<略>
#  ./ccissflash

HP Enclosure ROM  Flash.
Flash Engine Version: 2.06.10
Copyright (c) 2006-2009 Hewlett-Packard Development Company L.P.

-i<romfile> is required
#

こんどは、問題なく動作できた。

改めてfirmwareのアップデートプログラムを実行

# ./CP019316.scexe

HP Enclosure ROM  Flash.
Flash Engine Version: 2.06.10
Copyright (c) 2006-2009 Hewlett-Packard Development Company L.P.

Device [P410]:  FW Ver [ Current:3.00 | Apply:6.00 ?]Flash this device? [NO, yes, quit] yes
Preparing to flash devices on the array controller...
Requesting flash - this could take up to 15 minutes...
The array flash operation succeeded.
Device [P410]:  FW Ver [ Current:3.00 | Apply:6.00 ?]Flash this device? [NO, yes, quit] yes
Preparing to flash devices on the array controller...
Requesting flash - this could take up to 15 minutes...
Flash complete.
The array flash operation succeeded.
#

アップデート後は再起動して、hpacucliにてバージョンを確認。

# hpacucli ctrl all show config detail

Smart Array P410 in Slot 6
   Bus Interface: PCI
   Slot: 6
   Serial Number: PACCRID??????RQ
   Cache Serial Number: PAAVPID??????KDX
   RAID 6 (ADG) Status: Disabled
   Controller Status: OK
   Hardware Revision: C
   Firmware Version: 6.00-2
   Rebuild Priority: Medium
   Expand Priority: Medium
<略>

v6.00-2になっていることを確認した。

ESXi5.1にすると起動しない仮想マシン


ESXi5.1にアップデートした後、NetApp simulatorがなぜか起動しない。

以下のエラーが出力される。

ディスク「/vmfs/volumes/~/~/DataONTAP.vmdk」、またはディスク「/vmfs/volumes/~/~/DataONTAP.vmdk」が依存しているスナップショット ディスクの 1 つを開くことができません。 
システムで指定されたファイルを見つかりません
VMware ESX は仮想ディスク「/vmfs/volumes/~/~/DataONTAP.vmdk」を検出できません。パスが有効であることを確認し、もう一度やり直してください。 

これに対する回答がNetApp comminityにあった。

OnTap Simulator 8.1.1 no longer running on ESXi 5.1 free

原因はESXi5.1以降、標準ではvmkernel multiextent moduleが読み込まれなくなったため。
このモジュールは、巨大な1つのvmdkではなく、そこそこの大きさの複数のファイルでvmdkを構成するときに使うもの。

対処方法はVMware KB:「 Powering on a virtual machine after upgrading to ESXi 5.1 fails with the error: File [VMFS volume] VM-name/VM-name.vmdk was not found」にあるとおりのことをする。

概要: multiextentモジュールを読み込んで、分割形式のvmdkから、単一ファイルのvmdkへ変換する。

2019/12/04 追記:ESXi 6.7ではmultiextentモジュールが無くなっているが、vmkfstoolコマンド自体に機能が追加されており、下記のその2の操作が不要となりました。

その1:状況確認

# ls
DataONTAP-cf-flat.vmdk  DataONTAP-s012.vmdk     DataONTAP.vmdk
DataONTAP-cf.vmdk       DataONTAP-s013.vmdk     DataONTAP.vmsd
DataONTAP-s001.vmdk     DataONTAP-s014.vmdk     DataONTAP.vmx
DataONTAP-s002.vmdk     DataONTAP-s015.vmdk     DataONTAP.vmxf
DataONTAP-s003.vmdk     DataONTAP-s016.vmdk     SimConsType
DataONTAP-s004.vmdk     DataONTAP-s017.vmdk     SimUpdateParameters
DataONTAP-s005.vmdk     DataONTAP-s018.vmdk     cfcard
DataONTAP-s006.vmdk     DataONTAP-s019.vmdk     mtoolsrc
DataONTAP-s007.vmdk     DataONTAP-s020.vmdk     nvram
DataONTAP-s008.vmdk     DataONTAP-s021.vmdk     vmware-1.log
DataONTAP-s009.vmdk     DataONTAP-s022.vmdk     vmware-2.log
DataONTAP-s010.vmdk     DataONTAP-s023.vmdk     vmware.log
DataONTAP-s011.vmdk     DataONTAP-s024.vmdk
#

その2: multiextentモジュール読み込み

この手順はvSphere 6.5とか6.7では不要です。

# vmkload_mod multiextent
Module multiextent loaded successfully
#

その3: 分割vmdkのDataONTAP.vmdkを、単一vmdkのDataONTAP-new.vmdkにコピー

下記はzerodthickにしていますが「thin」指定など他のフォーマットでも大丈夫です。

# vmkfstools -i DataONTAP.vmdk DataONTAP-new.vmdk -d zeroedthick
Destination disk format: VMFS zeroedthick
Cloning disk 'DataONTAP.vmdk'...
Clone: 100% done.
#

その4: DataONTAP.vmdkを削除

# vmkfstools -U DataONTAP.vmdk
#

その5: ファイル名の変更

# vmkfstools -E DataONTAP-new.vmdk DataONTAP.vmdk
#

その6: multiextentモジュールの読み込み解除

この手順はvSphere 6.5とか6.7では不要です。

# vmkload_mod  -u multiextent
Module multiextent successfully unloaded
#

その7: 状況確認

# ls
DataONTAP-cf-flat.vmdk  DataONTAP.vmxf          vmware-1.log
DataONTAP-cf.vmdk       SimConsType             vmware-2.log
DataONTAP-flat.vmdk     SimUpdateParameters     vmware-3.log
DataONTAP.vmdk          cfcard                  vmware.log
DataONTAP.vmsd          mtoolsrc
DataONTAP.vmx           nvram
# 

変換完了後、普通に起動できました。

なお、変換後、ついでに仮想マシンハードウェアバージョンを7から上げるか!と13にあげてみたところ、新しい仮想マシンハードウェアではサポートされないデバイスがあったようで起動できなくなりました・・・

テープ装置メーカ純正のLTFS一覧(2013/12/20更新)


LTOテープをファイルシステムとして使うLTFSについて 2020/05/11版」として更新しました。


2015/11/18の情報を元に、新記事「LTOテープをファイルシステムとして使うLTFSについて 2015/11/18版」を公開しています。

 


各テープ装置メーカ純正のLTFSについて言及があったものについてリストアップ。
(2013/12/20修正)

 

IBM版
基本的には、IBM版が他のいろんなもののベースとなっている模様。
ltfs_1300_4101.tar.gz
→ ltfs-1.3.0.2
fixcentralで検索して発見する必要がある
ライブラリ用はltfs-2.1.2.0-2501のようだがアップデータのみ提供。オリジナルはIBM製ライブラリを買うと入手できる。

hp版 / USページ
HP_StoreOpen_Standalone_2.1.1_-_Source_Z7550-01209.tar.gz
→ HP-SOS_2.1.1
ライブラリ用 HP_StoreOpen_Automation_1.2_-_Source_Z7550-01009.tar.gz
→ hp_soa_1.2
右側の「Drive FW & LTFS Code」のリンクから入手

単体用のLTFSが、HP Store Open Standalone(HP-SOS)という名称に変更になっていた。

Oracle版
ltfs_126_20130711_orcl_oels_5_5.tar.gz
→ ltfs-1.2.6
元はIBM版ltfs-1.2.0に、Oracle純正LTOドライブへの対応を追加したものから始まり、現在は、IBM版1.2.0/1.2.5、hp版1.2.2/2.0.0からそれぞれ修正を取りいれて開発継続中のようだ。

Quantum版 / source code
5-00732-05.zip( qtmltfs-2.1.0.tar.gz )
→ qtmltfs-2.1.0
IBM版だとltfs-1.2.5の次がltfs-1.3.0になっているが、Quantum版ではltfs-1.2.1の次がltfs-2.0.0になっているようだ。
機能追加としてはLTO-6対応など、だいたい、どちらも同じような感じのないようなので、「IBM版ltfs-1.3.0」=「Quantum版ltfs-2.0.0」といって差し支えなさそうである。
qtmlfs-2.1.0とIBM版ltfs-1.3.0.2の違いはchangelog上は言及されている修正が全く違うので、どの程度同じなのか謎。

Tandberg版
hp版がそのまま利用されているようだ。
HPLTFS_SOURCE.tar
→ ltfs-1.2.0


以下は2013/01/14記載の古い記述を参考のため残しています。

 


IBM版
基本的には、IBM版が他のいろんなもののベースとなっている模様。
ltfs_1300_2501.tar.gz
→ ltfs-1.3.0.0
ライブラリ用はltfs-2.1.2.0-2501のようだが元を発見できず。

 

hp版
HPLTFS_1.2.2_SOURCE.tar.gz
→ ltfs-1.2.2
ライブラリ用 HP_STOREOPEN_AUTOMATION_1.1.0_SOURCE.tar.gz
→ hp_soa_1.1.0

Oracle版
ltfs_120_20111005_orcl_oels_5_5.tar.gz
→ ltfs-1.2.0
IBM版ltfs-1.2.0に、Oracle純正LTOドライブへの対応を追加したエディションのようだ。

Quantum版
qtmltfs-2.0.0-5.tar.gz
→ qtmltfs-2.0.0
IBM版だとltfs-1.2.5の次がltfs-1.3.0になっているが、Quantum版ではltfs-1.2.1の次がltfs-2.0.0になっているようだ。
機能追加としてはLTO-6対応など、だいたい、どちらも同じような感じのないようなので、「IBM版ltfs-1.3.0」=「Quantum版ltfs-2.0.0」といって差し支えなさそうである。

Tandberg版
hp版がそのまま利用されているようだ。
HPLTFS_SOURCE.tar
→ ltfs-1.1.0