カテゴリー: ストレージ

投稿日:

LTOテープをファイルシステムとして使うLTFSについて 2015/11/18版

「LTOテープをファイルシステムとして使うLTFSについて 2020/05/11版」にて内容を更新しました。

LTO-8がリリースされたので、「LTOテープをファイルシステムとして使うLTFSについて 2018/01/04版」という記事を作成し、情報を更新しました。

LTOテープ１本を持ち運びができるファイルシステムメディアとして使用できるようにするLTFSについて、LTO7メディアが市販され始めたということもあり、最近の状況について確認した。

LTO7関連で規格修正があるかな？と確認してみたが、2015/11/18現在で公開されている規格およびソフトウェアで、LTO7について言及しているものが見当たらなかったので、基本各リンク情報の更新となる。

（過去の関連記事:「LTOテープをファイルシステムとして使うLTFS(2012/11/28)」「テープ装置メーカ純正のLTFS一覧(2013/12/20更新)」「IBM版LTFSをRHEL5で使ってみた(2013/05/20)」「LTOテープをファイルシステムとして使うLTFSについて 2014/06/09版」）

LTFSとは？

LTO-5/LTO-6からは、メディアを２つの領域に分割して利用することが可能になった。
その機能を活かし、１本のテープメディアの中に、メディア内データの管理情報と、実データを分割して保存することを可能とした。
これにより、これまで実現出来なかった、１本のテープメディアだけで可搬性のあるファイルシステム構築、というものが可能となり、その実装として、LTFS(Linear Tape File System)というのがある。

使用用途としては、バックアップ用ではなく、長期保存のためのアーカイブ用や、大容量データの持ち運び用として使用されている。

LTFSを実現するためのソフトウェアについては、基本的には、IBMが大本のベースを作り、それを各LTOドライブメーカが、自社ドライブ向けにカスタマイズして提供しているような形となっている。

LTFSのバージョン(フォーマット)

LTFSには、バージョンがいくつかあり、現状気にしなければならないのは、以下の４つ
・LTFS 1.0
・LTFS 2.0 : ファイルインデックス関連で機能をいろいろ追加
・LTFS 2.1 : 2012/05/18リリース。LTFS2.0+シンボリックリンク（現在draft版)
・LTFS 2.2 : 2013/12/21リリース。管理情報の改良

「LTFSのバージョン」と「LTFSソフトウェアのバージョン」は別物なので注意が必要。
たとえば、OracleのLTFSソフトウェアは「ver1.2.7」だが、「LTFS 2.2」に対応している。

とはいえ、2015/11/18現在では、どのLTFSソフトウェアもLTFS 2.2に対応しているので、新規導入分に関しては特に気にする必要はない。

LTFS2.2の規格書はSNIAの「Linear Tape File System (LTFS)」の「Linear Tape File System (LTFS) Format Specification」にてpdfで公開されている。

その他、いろんな情報は、LTOの規格団体の「LTFS Overview」にある。

LTFSソフトウェアの種類

LTFSの公式認証を取得しているLTFSソフトウェアについては、「LTFS Compliance Verification」にて紹介されている。

2015/11/18時点では以下の６個が登録されている。

 Company

 Product

 Version

 LTFS Version*

 LTO Generation

 Date tested

 Quantum

 Quantum Scalar LTFS Appliance

 2.0.2

 2.0.1

 LTO5 & 6

 9/11/13

 HP

 HP StoreOpen Standalone

 2.1.0

 2.1.0

 LTO5 & 6

 9/11/13

 IBM

 IBM Single Drive Version

 1.3.0

 2.1.0

 LTO5 & 6

 9/11/13

 IBM

 IBM LTFS Library Edition

 V1R3

 2.1.0

 LTO5 & 6

 10/2/13

 Quantum

 Quantum LTFS

 2.1.0

 2.1.0

 LTO5 & 6

 11/29/13

 HP

 HP StoreOpen Automation

 1.2.0

 2.0.1

 LTO5 & 6

 11/29/13

 Spectra Logic

 Spectra Logic Black Pearl

 1.1

 2.2

 LTO5 & 6

 9/11/15

Spectra LogicのLTFSが追加された以外、2014年時点のものから更新がないが、実際には各LTFSソフトウェアともにバージョンアップを行っている。
なお、LTFSソフトウェアのバージョンと、対応しているLTFSフォーマットのバージョンに直接の関連性は無いので注意が必要。

各ドライブメーカが出しているLTFSソフトウェアについて

まずは、上記のリストに載っているメーカのものから。

・IBM
公式: IBM Spectrum Archive(IBM Linear Tape File System)

IBMのLTFSは「IBM Spectrum Archive」という商品名となった模様。
テープベンダのSpectra Logicとは関係がないようだ。

ソフトウェアの入手は、「Fix Central」にて「製品グループ:System Storage」-「Tape Systems」-「Tape drives and software」の下にある「IBM Spectrum Archive Single Drive Edition(SDE) (旧名:LTFS Single Drive Edition)」や「IBM Spectrum Archive Library Edition(LE)(旧名:LTFS Library Edition)」「IBM Spectrum Archive Enterprise Edition(EE)」を選択して行う。
なお、LEとEEの方はアップデータのみの配布で、元になるソフトウェアについては、IBMから別途入手する必要がある。
基本的には、Single Drive Edition(SDE)が、他の全てのLTFSソフトウェアの原型になっているもの・・・という感じである。

2015/11/18時点での最新は、
IBM Spectrum Archive Enterprise Edition: ver1.1.2.0(2015/07/27)
IBM Spectrum Archive Library Edition : ver2.1.5.0(2015/10/02)
IBM Spectrum Archive Single Drive Edition: ver2.2.1.0(2015/10/02)

・HP
公式: HP StoreOpen
日本語情報: HP LTFS (Linear Tape File System)

単体ドライブ向けのみだが「日本語の導入マニュアル」が用意されている。

分社化の影響で、LTFS関連はHP Enterpriseに移籍したが、関連リンクが更新されていないので、いろんなところでリンク切れが発生している。
ソフトウェア関連は「HP StoreOpen and Linear Tape File System (LTFS) Software」からたどる事になる。

ソフトウェアの入手は、単体ドライブ向けの「HP StoreOpen Standalone」も、チェンジャー向け「HP StoreOpen Automation」も上記のページの「Get drivers, software & firmware.」から行う。

2015/11/18時点での最新は、
HP StoreOpen Standalone : ver2.3.0(2015/04/30)
HP StoreOpen Automation : ver2.0.0(2014/11/06)

・Quantum
公式: Linear Tape File System

ソフトウェア入手は上記の公式ページの「Software」タブから行う。
ソースコードについては、LTFS Open Source Fileｓから。

2014/06/09時点での最新は、
Linux/Mac : ver2.1.2(2014/10)
Windows: ver2.2.1(2014/11)

Linux版のReleasenoteには、Quantum LTOドライブのほか、IBM LTOドライブにも対応という記述がある。

・Quantum Scalar LTFS Appliance
公式:Scalar LTFSアプライアンス

こいつだけ、他のとは違って、ハードウェアがセットになったアプライアンス。
これの下にFC経由などでテープチェンジャーを繋いで使うもの。

・Spectra Logic
公式:Linear Tape File System (LTFS)

LTFSを紹介するページはあるものの、LTFSを利用するソフトウェアに関するページが見当たらない。
また、バージョンもわからず。

リストに載っていない、LTFS

・TANDBERG DATA
公式: LTFS for Big Data Storage

ソフトウェアの入手は「LTFS Documents and Downloadsから行う。

2015/11/18時点での最新は
バイナリ: ver2.3.0

ページは英語表記だが、ドキュメントアイコンが日の丸になってるとおり、ダウンロードできるドキュメントは日本語化されている。
一部TANBERGカスタマイズが入っているようだが、基本的にはHP StoreOpen相当品。

・Oracle
公式: Oracle’s StorageTek Linear Tape File System, Open Edition

ソフトウェアの入手は「https://oss.oracle.com/projects/ltfs/files/」から行う。

2015/11/18時点での最新は
ltfs-1.2.7(2015/10/07)

IBM LTFS 2.2.0.2とHP LTFS 2.2.1を組み合わせ、Oracle/StorageTek用の設定を入れたもの。
Oracle LTOドライブ,IBM LTOドライブ,HP LTOドライブに対応している。

投稿日:

Areca系RAIDコントローラの時計をNTPを使わずに修正する手法

Areca社のRAIDコントローラにはイーサネットが付いており、そこから管理操作などを行うことができる。
コントローラが持つ時計は、起動直後は電源ON時点からカウントされる相対的な時間表示になっている。

この相対的な時間表示は、RAIDコントローラが何らかの手段により現在の時刻情報を得ることができた段階から、普通の時刻表示になる。

「なんらかの手段」というのは「NTPによる時間取得」と「管理画面にブラウザでアクセスした際に、ブラウザが動作しているホストの時刻をJava Scriptを使って取得」の２種類となっている。
つまり、自動的に時刻を合わせる手段というのはNTPを使用するしかない。

しかし、クローズドの環境で使用する場合、どうしても時刻を合わせたいという要求はある。
では、どうするか？

後者の「管理画面にブラウザでアクセスした際に、ブラウザが動作しているホストの時刻をJava Scriptを使って取得」に相当する動作をコマンドで実現し、他のホストから定期的に実行するようにする。

調査した結果、下記のコマンドを実行することで実現できた。

$ curl --user admin:0000 --digest  http://IPアドレス/SETTIME --data
"TYR=`date +%Y`" --data "TMT=`date +%m`" --data "TDA=`date +%d`" --data
"THR=`date +%k`" --data "TMN=`date +%M`" --data "TSC=`date +%S`"

上記はAreca系の標準設定である、ユーザ名「admin」、パスワード「0000」の場合の例である。
これをshell scriptにでもしてから、cronに登録すればよい。

投稿日:

samba 4.xのデータバックアップ手法

samba 4.xにおけるデータのバックアップ手法を調べた。

まず、公式記述：「Backup and Recovery」
公式記述「Back up and Restoring a Samba AD DC」(2018/01/30 URLが変更になっていたため修正)

公式記述の要点
・ドメインコントローラを複数用意すれば、どれか１台でも残っていればデータは保持されるので失われることはないよ
・sambaの内部データベースとしてLDBとTDBの２種類ある
・標準ではインストールされないがsourceにsamba_backupというスクリプトが用意されている
・samba_backupを実行すると/usr/local/backupsにtar.bz2形式のバックアップができる
・リストアは、tarコマンドを使って行う

で、samba_backupを使うには、ソースファイルのディレクトリから/usr/local/sbinなどにコピーする必要があります。

[root@ホスト名 samba-4.1.16]# cp ./source4/scripting/bin/samba_backup /usr/local/sbin/
[root@ホスト名 samba-4.1.16]# mkdir /usr/local/backups
[root@ホスト名 samba-4.1.16]# chmod 750 /usr/local/backups
[root@ホスト名 samba-4.1.16]#

ただ・・・このまま実行すると

samba_backup: line 54: tdbbackup: コマンドが見つかりません
Error while backuping ./private/idmap.ldb

といったエラーが出力されるかも？

これは、tdbbackupがPATHに無いため。
samba_backupスクリプトのWHERE=～行の次ぐらいに
「PATH=/usr/local/samba/sbin:/usr/local/samba/bin:$PATH」といった記述を追加して、tdbbackupコマンドにパスを通します。

[root@ホスト名samba-4.1.15]# /usr/local/sbin/samba_backup
[root@ホスト名 samba-4.1.15]# ls -l /usr/local/backups/
合計 5912
-rw-r--r--. 1 root root     415  3月 12 10:12 2015 etc.120315.tar.bz2
-rw-r--r--. 1 root root 6043216  3月 12 10:12 2015 samba4_private.120315.tar.bz2
-rw-r--r--. 1 root root     481  3月 12 10:12 2015 sysvol.120315.tar.bz2
[root@ホスト名 samba-4.1.15]#
投稿日:

SSD/HDDのハイブリッド型RAIDのNimble StorageがFibre Channelにも対応+ここ１年の動向

このblogで何回か話題にしている、SSD/HDDのハイブリッド型RAIDの「Nimble Storage」ですが、いままでiSCSIのみの対応だったものが、Fibre Channelにも対応しました。

公式リリース:Nimble Storage Advances Adaptive Flash Platform: Releases Fibre Channel Storage Arrays(2014/11/18)

まず、最近のNimble Storageの状況について解説。

・日本での取り扱い状況
現在、日本でのNimble Storageの取り扱いは、東芝が主体となり、製品販売および保守サポートが行われています。
「東芝クラウド＆ソリューション Nimble Storage」に日本語製品ページを用意し、本家のInfosight(サポートページ)で公開されている英語文書を日本語訳した文書など、いろいろ公開してくれています。

販売代理店もぼちぼちと増えていっています。
一部、Tintri VMstorと重なっていたりするとことが興味深かったりも・・・

Nimble Storageの性能は、ぶっちゃけて言えば、CPUとメモリを使ってぶん回し、SSDとHDDをうまいこと使っていく、という力業で解決する方向性です。
なので、新しいCPUが出て、それで劇的な改善が見込まれそうだな、となると、新機種になるわけです。

ということで登場したのが、以下のシリーズ。
Fibre Channelをサポートするのもこの機種群からになります。

・CS215
最低ラインのモデルで、パフォーマンス基準モデル。
SSD 80GB*4,HDD 1TB*12、という構成。SSDのサイズを変えることはできる。
CS210という、HDD/SSD容量をさらに減らしたモデルもあるがパフォーマンスは悪くなるので注意。
拡張筐体は１台までしか接続できない。
CS210/CS215のみ、iSCSIのみで、Fibre Channelをサポートしない。
上位モデルへアップグレードできない、というあたりを鑑みると、旧シリーズの流用かな、と推測される。

・CS300
CS215の1.6倍IOPSを提供できるモデル。
SSD 160GB*4,HDD 1TB*12構成から始まり、HDD/SSD容量を増やした構成も可能(最大SSD 800GB*4/HDD 4TB*12)。
拡張筐体を６台まで接続できる。
All Flash構成にすることも可能。

・CS500
CS215の5倍のIOPSを提供できるモデル。
SSD 300GB*4,HDD 1TB*12構成から始まり、HDD/SSD容量を増やした構成も可能(最大SSD 1.6TB*4/HDD 4TB*12)。
拡張筐体を６台まで接続できる。
All Flash構成にすることも可能。

・CS700
CS215の7倍のIOPSを提供できるモデル。
SSD 300GB*4,HDD 1TB*12構成から始まり、HDD/SSD容量を増やした構成も可能(最大SSD 1.6TB*4/HDD 4TB*12)。
拡張筐体を６台まで接続できる。
All Flash構成にすることも可能。

・4xCS700
CS700を４台組み合わせたセット販売
４台あっても、Nimble Storageの機能で１台のように管理利用できる。

なお、CS300/CS500/CS700の筐体は同一であり、コントローラ部分が違うだけなので、コントローラ交換によるアップグレードが可能になっています。

で・・・次に、Nimble StorageのOS基本機能の更新について。

まず、日本に入ってきたのは、Nimble OS 1.4.7ぐらいの段階です。
そこから最近までの更新内容と言えば・・・

・Nimble OS 2.0
複数台のNimble Storageを１台のように取り扱えるGroup機能と、Groupの中でストレージ容量管理を行う為のStorage Pool(Multi Array Group/Pool)機能の導入。
Windowsでの若干面倒なiSCSIマルチパスの設定をやってくれるWindowsToolKit(Nimble Connection Manager)の提供。

・Nimble OS 2.1
tag VLANサポート。
All Flash構成のサポート。
HDD部分のRAID構成変更。「ソフトウェアRAID6(パリティ2本)+スペア1本」から「ソフトウェアRAID(パリティ3本)+スペア無し」へ。
おそらくInfosightで収集したHDD故障率と故障時の対応状況からのリスク、と、ディスク本数を増やすことによるアクセススピードの向上を比較した上で、この結果になったのだと思われる。
管理用ユーザアカウントの導入。2.0まではadminしかなかった。

・Nimble OS 2.2
Fibre Channelをサポート
Microsoft SCVMMへの統合機能サポート。

こんな感じで進化していっています。
上記には書いていませんが、VMwareとの連携については、Nimble OS 1.4時代からサポートしています。

ようやく、本題。
Nimble OS 2.2でのFibre Channelサポートについてです。

仕組み上は既存モデルでもできるとは思うのですが、製品戦略上・・・というか、そもそも、PCIeスロットが空いていないので、既存モデルは対象外となっています。

iSCSIストレージとして可能であったことでも、Fibre Channelストレージになると実現不可能、ということがあるため、「iSCSIストレージとして使う場合」と「Fibre Channelストレージとして使う場合」でサポートされている機能が若干違います。
基本的にはiSCSIストレージの方がいろいろできます。

Fibre Channelストレージとして使用する場合に利用できない機能としては、以下があります。
・FibreChannelでのMulti Array Group/Poolは非サポート
　　複数のNimbleStorageを組み合わせ１つのストレージとして使う機能は
　　FibreChannelでは使用できません。

・１つのボリュームをiSCSIとFCで共有することは非サポート
　　１つのボリューム(LUN)に対して、iSCSIアクセスと、FCアクセスを同時に有効にすることはできません。
　　ボリュームの設定として、「iSCSI」か「FC」のどちらか１つを選択する必要があります。
　　2014/11/25修正:なお、一度設定したあとに、切り替えることは可能です。現状、販売時に「iSCSIモデル」か「Fibre Channelモデル」かを選択する必要があり、購入後に変更はできない、とのこと。今後については不明です。

この組み合わせはサポートされている、と書いてあって意外だったのは、レプリケーションについてです。

・レプリケーションの送りと受けでのプロトコル違いをサポート
　　送り側: iSCSI、受け側:FibreChannel、というのをサポート。
　　なお、レプリケーションの伝送には、従来通り、TCP/IPを使用します。

まぁ、FibreChannelについては、機能がついて間もないので、パフォーマンス事例見当たらないので、情報が出てきてから本番かな・・・といったところですね。

投稿日:

Shuttle KD20かぁ

2021/08/23 いまも時々アクセスがあるので追記

2017年頃にShuttleのページからKD20などのfirmwareがダウンロードできなくなったようです。

ShuttleのOMNINASシリーズに関して残っているのは「Shuttle Knowledge Base OMNINAS」からリンクされている「KD20」ぐらいなようです。
そこを見る限りでは、OMNINASはSMB1.0までしか対応していないので、2021年現在のWindows10標準設定ではアクセスできないので現用はお薦めできないものです。

いろいろ情報を探すとOpenWrtに「Techdata: Shuttle OMNINAS KD20」「Table of Hardware: Shuttle OMNINAS KD20」と機種ページがあり、OpenWRT 19.07が導入できるようです。

OpenWRTをインストールして、Linuxのソフトウェアミラー機能を手動で設定、samba4パッケージのインストールを行うと、とりあえず2021年に要求される最低限の設定は可能なようです。(注:OpenWRTインストールには初期化が必要です)

Shuttle KD20という3.5インチHDDが２台入るタイプのNASが安くなっているらしい。

firmwareって更新されてるのかな？と日本のサポートページを見てみる。
「OMNINAS-7821_2.12.20130108.tar.gz」
1年以上前である。

これはハズレかなぁ・・・と思いつつも、下の方にある「ダウンロード（ドライバー、BIOS、ファームウェアなど）/ダウンロードセンター」を見てみる。

「OmniNAS-7821_2.38.20140728 New!」

つい最近も更新されているじゃないですか。

で・・・Shuttleの「アウトレット」と書かれているページを見てみるとですね。
「KD20（アウトレット） 7,900円(税込)」なんてのがあるんですよね。
そして、KD20の後継製品である「KD22（未使用開封品） 15,800 円(税込)」ってのも

モバイルバージョンを終了