テープ装置メーカ純正のLTFS一覧(2013/12/20更新)

LTOテープをファイルシステムとして使うLTFSについて 2020/05/11版」として更新しました。


2015/11/18の情報を元に、新記事「LTOテープをファイルシステムとして使うLTFSについて 2015/11/18版」を公開しています。

 


各テープ装置メーカ純正のLTFSについて言及があったものについてリストアップ。
(2013/12/20修正)

 

IBM版
基本的には、IBM版が他のいろんなもののベースとなっている模様。
ltfs_1300_4101.tar.gz
→ ltfs-1.3.0.2
fixcentralで検索して発見する必要がある
ライブラリ用はltfs-2.1.2.0-2501のようだがアップデータのみ提供。オリジナルはIBM製ライブラリを買うと入手できる。

hp版 / USページ
HP_StoreOpen_Standalone_2.1.1_-_Source_Z7550-01209.tar.gz
→ HP-SOS_2.1.1
ライブラリ用 HP_StoreOpen_Automation_1.2_-_Source_Z7550-01009.tar.gz
→ hp_soa_1.2
右側の「Drive FW & LTFS Code」のリンクから入手

単体用のLTFSが、HP Store Open Standalone(HP-SOS)という名称に変更になっていた。

Oracle版
ltfs_126_20130711_orcl_oels_5_5.tar.gz
→ ltfs-1.2.6
元はIBM版ltfs-1.2.0に、Oracle純正LTOドライブへの対応を追加したものから始まり、現在は、IBM版1.2.0/1.2.5、hp版1.2.2/2.0.0からそれぞれ修正を取りいれて開発継続中のようだ。

Quantum版 / source code
5-00732-05.zip( qtmltfs-2.1.0.tar.gz )
→ qtmltfs-2.1.0
IBM版だとltfs-1.2.5の次がltfs-1.3.0になっているが、Quantum版ではltfs-1.2.1の次がltfs-2.0.0になっているようだ。
機能追加としてはLTO-6対応など、だいたい、どちらも同じような感じのないようなので、「IBM版ltfs-1.3.0」=「Quantum版ltfs-2.0.0」といって差し支えなさそうである。
qtmlfs-2.1.0とIBM版ltfs-1.3.0.2の違いはchangelog上は言及されている修正が全く違うので、どの程度同じなのか謎。

Tandberg版
hp版がそのまま利用されているようだ。
HPLTFS_SOURCE.tar
→ ltfs-1.2.0


以下は2013/01/14記載の古い記述を参考のため残しています。

 


IBM版
基本的には、IBM版が他のいろんなもののベースとなっている模様。
ltfs_1300_2501.tar.gz
→ ltfs-1.3.0.0
ライブラリ用はltfs-2.1.2.0-2501のようだが元を発見できず。

 

hp版
HPLTFS_1.2.2_SOURCE.tar.gz
→ ltfs-1.2.2
ライブラリ用 HP_STOREOPEN_AUTOMATION_1.1.0_SOURCE.tar.gz
→ hp_soa_1.1.0

Oracle版
ltfs_120_20111005_orcl_oels_5_5.tar.gz
→ ltfs-1.2.0
IBM版ltfs-1.2.0に、Oracle純正LTOドライブへの対応を追加したエディションのようだ。

Quantum版
qtmltfs-2.0.0-5.tar.gz
→ qtmltfs-2.0.0
IBM版だとltfs-1.2.5の次がltfs-1.3.0になっているが、Quantum版ではltfs-1.2.1の次がltfs-2.0.0になっているようだ。
機能追加としてはLTO-6対応など、だいたい、どちらも同じような感じのないようなので、「IBM版ltfs-1.3.0」=「Quantum版ltfs-2.0.0」といって差し支えなさそうである。

Tandberg版
hp版がそのまま利用されているようだ。
HPLTFS_SOURCE.tar
→ ltfs-1.1.0

Amazon Glacierを使ったバックアップを検討中

現在、Amazon Glacierを使ったバックアップを検討中。
そのため、関連情報を収集しています。

今回、メインで考えているのは、Linuxサーバ上にあるデータのバックアップです。
いまのところ、すぐに用途が満たせそうなのは、MT-AWS-Glacierかなぁ・・・という感じですかねぇ?

.Develop: Amazon Glacierを使ってデータの長期間保存を始める
Glacierの全体像を含めた解説と、実際のJavaプログラム作成例

nabokov7; rehash: 個人データをまとめて Glacier にバックアップする (ためのツールを公開しました)
→ github:glacier-targz-uploader

Wokashi: Amazon Glacierを操作するコマンドが僕を苦しめる
→ github:GlacierTools

・github:AWS-Glacier-SNS-PowerShell
PowerShellでGlacier関連操作を行う為のコマンド群

MT-AWS-Glacier
github: vsespb / mt-aws-glacier
フォーラム: Perl Multithreaded multipart sync to Glacier
perlベースで作成されたAmazon Glacierアップロードツール。
マルチスレッドアップロード対応。
フォルダsync動作も可能

・github: uskudnik / amazon-glacier-cmd-interface
python 2.6ベースで作成されたツール。

Cloud Gates
一般的なFTP/SFTP/WebDAVクライアントからAmazon S3/Glacierにアクセスするためのゲートウェイ提供サービス

・github: MoriTanosuke / glacieruploader

・codezine: クラウドとサーバーを同期できる便利ツール「S3Sync」 ~Amazon EC2/S3環境構築のすべて~
Amazon S3を使う場合のS3SyncというCLIを使った例。

CloudBerry Explorer for Amazon S3
Windows向け商用製品。フリー版とPro版($39.99)がある。
Amazon S3とGlacierに対応。
Pro版はデータ圧縮と、アップロードしたデータとの比較ができる、とのこと。
また複数のファイルを同時転送とかもできるようだ。
この会社はいろいろおもしろいのを作っていて、CloudBerry Cloud Migratorなんていう、各クラウド系ストレージ間でデータ移行するためのツールも出している。
FTP,MS Azure Blob Storage, Amazon S3, Amazon Glacier, Rackspace Cloud Storageに対応、とのこと。

LTOテープをファイルシステムとして使うLTFS

LTOテープをファイルシステムとして使うLTFSについて 2020/05/11版」として更新しました。


2015/11/18の情報を元に、新記事「LTOテープをファイルシステムとして使うLTFSについて 2015/11/18版」を公開しています。


LTO-5/LTO-6からは、メディアを2つの領域に分割して利用することが可能になった。
その機能を活かし、1本のテープメディアの中に、メディア内データの管理情報と、実データを分割して保存することを可能とした。
これにより、これまで実現出来なかった、1本のテープメディアだけで可搬性のあるファイルシステム構築、というものが可能となっている。

で・・・ライセンス料金が取られないような形で、これをうまく使えるか調査してみた。

(2013/05/21追記: IBM版LTFS LEを導入した記事を書きました→「IBM版LTFSをRHEL5で使ってみた」)

LTFS公式ページ
LTFSに関する一番起点となるページ。

Linear Tape File System (LTFS) Format Specification
LTFSの規格書。
2011年8月17日リリースのLTFS Format Version 2.0.1。

この規格書に則って、各LTOドライブメーカ(IBM,HPなど)がソフトウェアを作成している。
ただ、この規格書がいまいちよくわからん状態で、IBMだとLTFS Format 2.1.0というのが2012年10月18日に公開されている。

IBM Linear Tape File System(アメリカ) / IBM Linear Tape File System(日本)
IBMの紹介ページ。

IBM Linear Tape File System Single Drive Edition Information Center
単体ドライブ用
対応OS: RHEL5.5~5.8,6.1,6.2、SLES11SP1,SP2、WindowsServer2008R2SP1,Windows7、MacOSX10.5.8,10.6.8,10.7.4
FixCentralにて以下を選択するとダウンロードできる。
製品グループ: System Storage
Select from System Storage: Tape systems
Select from Tape systems: Tape drivers and software
Select from Tape drivers and software: LTFS Single Drive Edition(SDE)
プラットフォーム: Linux/Windows/MacOSXから選択
IBMのLTOドライバをインストールして、/dev/st?ではなく、/dev/IBMtape?というデバイス名で利用する必要がある。

IBM Linear Tape File System Library Edition Information Center
IBMテープチェンジャー用
対応OS: RHEL5.5~5.8,6.1,6.2、SLES11SP1,SP2、WindowsServer2008?

FixCentralにて以下を選択するとダウンロードできる。
製品グループ: System Storage
Select from System Storage: Tape systems
Select from Tape systems: Tape drivers and software
Select from Tape drivers and software: LTFS Library Edition(LE)
プラットフォーム: Linux/Windowsから選択
ただし、ここで入手できるのは、アップデータのみ?
IBMのLTOドライバをインストールして、/dev/st?ではなく、/dev/IBMtape?というデバイス名で利用する必要がある。

関連資料?:IBM System Storage Linear Tape File System Library Edition Version 2.1(pdf)

HP リニアテープファイルシステム (Linear Tape File System) / HP StoreOpen(英語)
hpのLTFSの紹介ページ

いまいち、HP StoreOpen AutomationとHP LTFSの違いが見えにくいが、HP LTFSが単体ドライブ用で、HP StoreOpen Automationがチェンジャー用である。
IBMのLTFS-SDEとLTFS-LEの関係と似ている。

IBM LTFS-LEとHP StoreOpen Automationとでは、テープチェンジャー周りの操作が異なる。

Oracle’s StorageTek Linear Tape File System, Open Edition

Oracle Enterprise Linux 5.5向けのLTFS 1.2.0およびLTFS 2.0準拠のソフト。
LTOドライブはIBM LTO-5, HP LTO-5とOracle(StorageTek) T10000Cに対応している。
チェンジャー制御はない

LTFS Archvier
イタリアのCentre for Research and Technological Innovation(CRIT)が公開しているhpドライブを使用した24slotチェンジャー、もしくは単体ドライブを利用して構築できるテープアーカイブソフト。

このリストに抜けているものも含めて「テープ装置メーカ純正のLTFS一覧」という形で別記事も作成している。

IBM DS3500/DSC3700にFlashCopy/VolumeCopyライセンスが期間限定無償提供?

IBMのDS3xxx/DS4xxx専用の情報サイト「ibmdsstorage.com」なんてものがあります。
このサイト、ユーザ登録すると、オンラインのストレージ操作教習コースを受けることができるなど、それなりにいろいろ見れるサイトです。

で、登録してあったのですが、本日、お知らせメールが・・・
「Limited time special offer for DS3500 and DCS3700 customers」


Now available at NO COST!

An exclusive, limited time offer for owners of IBM DS3500 and DCS3700 storage offerings:
Get FlashCopy/Volume Copy for your DS3500 or DCS3700 at NO CHARGE!
 This is a $4,100 value!!
IBM FlashCopy/Volume Copy makes migrating from traditional RAID arrays to new Dynamic Disk Pools much simpler. Download the quick start guide below to migrate today:
RAID to DDP Quick Start Guide (1.18 MB)



Effective Period: NOVEMBER 1, 2012 – DECEMBER 31, 2012

Click here to obtain your FlashCopy/Volume Copy feature key now

既存のDS3500/DCS3700ユーザ向けに、2012年11月1日~2012年12月31日までの間、FlashCopy/VolumeCopyのライセンスが無償提供されるようです。
申請にあたって必要な情報は、ibmdsstorage.comのユーザアカウントと、DS設置場所情報+DSシリアル+DS内部の32桁のID。

Webから申請すると2~3週間でメールアドレスにライセンスキーが送られてくるらしいです。

まぁ、ぶっちゃけ、既にストレージを使ってるユーザが、この機能を使おうとすると、空き容量・空きディスクが必要になるので、既存RAIDを再構成する!とかでも無い限り、使うってのは難しい気がしますけどね・・・

ESXi5.xでテープ装置を使う

仮想環境において、ゲストOSからFC接続されているテープ装置を使おうとしたら、認識してないようだったので調べてみた。

結論からいうと、VMware KB2013670:「ESX/ESXi でテープデバイスが間違って ALUA デバイスとして認識されてしまう」が該当していた。
2015/12/18追記:現在は「ESXi/ESX ホストでテープ デバイスが間違って ALUA デバイスとして検出される (2090103)」で公開されている。
2020/09/28追記:「ESXi/ESX ホストでテープ デバイスが間違って ALUA デバイスとして検出される (1026157)

対処方法も、上記KBそのままで大丈夫だった。

実際に実行した例について、以下に紹介する。

1. まず認識しているかどうかを確認する
(1)「esxcli storage core path list」を実行する。

# esxcli storage core path list

<略>
fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34-fc.XXXXXXXXXXXX0e:XXXXXXXXXXXX0f-
UID: fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34-fc.XXXXXXXXXXXX0e:XXXXXXXXXXXX0f-
Runtime Name: vmhba1:C0:T4:L0
Device: No associated device
Device Display Name: No associated device
Adapter: vmhba1
Channel: 0
Target: 4
LUN: 0
Plugin: (unclaimed)
State: dead
Transport: fc
Adapter Identifier: fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34
Target Identifier: fc.XXXXXXXXXXXX0e:XXXXXXXXXXXX0f
Adapter Transport Details: Unavailable or path is unclaimed
Target Transport Details: Unavailable or path is unclaimed
<略>
fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34-fc.XXXXXXXXXXXXc8:XXXXXXXXXXXXc9-
UID: fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34-fc.XXXXXXXXXXXXc8:XXXXXXXXXXXXc9-
Runtime Name: vmhba1:C0:T5:L0
Device: No associated device
Device Display Name: No associated device
Adapter: vmhba1
Channel: 0
Target: 5
LUN: 0
Plugin: (unclaimed)
State: dead
Transport: fc
Adapter Identifier: fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34
Target Identifier: fc.XXXXXXXXXXXXc8:XXXXXXXXXXXXc9
Adapter Transport Details: Unavailable or path is unclaimed
Target Transport Details: Unavailable or path is unclaimed
<略>
#

というような感じで「Plugin: (unclaimed)」というデバイスが認識されいている。

(2) VMware上で使える認識になっているか確認する
「esxcli storage nmp device list」を実行する。

# esxcli storage nmp device list
<略>
#


こちらの出力結果には出てこない。

2. 該当デバイスのSCSI inquryを調査
(1) SCSIデバイスのスキャンを実行
「esxcfg-rescan vmhba?」を実行。
今回の場合、「vmhba1」で認識されているので「esxcfg-rescan vmhba1」を実行。

(2) ログに出力されたScsiScanを確認。

# grep "ScsiScan" /var/log/vmkernel.log
<略>
2012-09-21T12:52:46.210Z cpu0:2635)ScsiScan: 1098: Path 'vmhba1:C0:T0:L0': Vendor: 'HP ' Model: 'D2DBS Diagnostic' Rev: 'DIAG'
2012-09-21T12:52:46.210Z cpu0:2635)ScsiScan: 1101: Path 'vmhba1:C0:T0:L0': Type: 0x1f, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.210Z cpu3:2641)ScsiScan: 1098: Path 'vmhba1:C0:T1:L0': Vendor: 'HP ' Model: 'Ultrium 4-SCSI ' Rev: 'ED41'
2012-09-21T12:52:46.210Z cpu3:2641)ScsiScan: 1101: Path 'vmhba1:C0:T1:L0': Type: 0x1, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.211Z cpu3:2641)ScsiScan: 1582: Add path: vmhba1:C0:T1:L0
2012-09-21T12:52:46.211Z cpu3:2641)ScsiScan: 1098: Path 'vmhba1:C0:T2:L0': Vendor: 'HP ' Model: 'Ultrium 4-SCSI ' Rev: 'ED41'
2012-09-21T12:52:46.211Z cpu3:2641)ScsiScan: 1101: Path 'vmhba1:C0:T2:L0': Type: 0x1, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.212Z cpu2:2641)ScsiScan: 1582: Add path: vmhba1:C0:T2:L0
2012-09-21T12:52:46.212Z cpu1:2641)ScsiScan: 1098: Path 'vmhba1:C0:T3:L0': Vendor: 'HP ' Model: 'Ultrium 4-SCSI ' Rev: 'ED41'
2012-09-21T12:52:46.212Z cpu1:2641)ScsiScan: 1101: Path 'vmhba1:C0:T3:L0': Type: 0x1, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.213Z cpu2:2641)ScsiScan: 1582: Add path: vmhba1:C0:T3:L0
2012-09-21T12:52:46.213Z cpu3:2641)ScsiScan: 1098: Path 'vmhba1:C0:T4:L0': Vendor: 'HP ' Model: 'Ultrium 4-SCSI ' Rev: 'ED41'
2012-09-21T12:52:46.213Z cpu3:2641)ScsiScan: 1101: Path 'vmhba1:C0:T4:L0': Type: 0x1, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.213Z cpu2:2641)ScsiScan: 1582: Add path: vmhba1:C0:T4:L0
2012-09-21T12:52:46.214Z cpu1:2641)ScsiScan: 1098: Path 'vmhba1:C0:T5:L0': Vendor: 'HP ' Model: 'D2DBS ' Rev: 'EL01'
2012-09-21T12:52:46.214Z cpu1:2641)ScsiScan: 1101: Path 'vmhba1:C0:T5:L0': Type: 0x8, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.214Z cpu2:2641)ScsiScan: 1582: Add path: vmhba1:C0:T5:L0
2012-09-21T12:53:33.684Z cpu2:2745)ScsiScan: 1098: Path 'vmhba1:C0:T0:L0': Vendor: 'HP ' Model: 'D2DBS Diagnostic' Rev: 'DIAG'
2012-09-21T12:53:33.684Z cpu2:2745)ScsiScan: 1101: Path 'vmhba1:C0:T0:L0': Type: 0x1f, ANSI rev: 3, TPGS: 1 (implicit only)
#

こんな感じで出力されている。
該当するものとしては、以下の3種類となる。
Vendor:「HP」、Model:「Ultrium 4-SCSI」
Vendor:「HP」、Model:「D2DBS」
Vendor:「HP」、Model:「D2DBS Diagnostic」

3. 定義の変更
(1) 該当のデバイスに「VMW_SATP_LOCAL」として動作させる設定として、まず定義を設定。
先ほどの例の場合は以下の3デバイスがある。
Vendor:「HP」、Model:「Ultrium 4-SCSI」
Vendor:「HP」、Model:「D2DBS」
Vendor:「HP」、Model:「D2DBS Diagnostic」

今回の場合は、以下のコマンドを実行した。

# esxcli storage nmp satp rule add --satp="VMW_SATP_LOCAL" --vendor="HP" --model="^Ultrium 4-SCSI*"
# esxcli storage nmp satp rule add --satp="VMW_SATP_LOCAL" --vendor="HP" --model="^D2DBS*"
#

なお、SCSI inquryでは文字列末尾につくスペースも重要であるが、このコマンドでは末尾のスペースは無視してくれるようである。

(2) 次に、各デバイスに対して現状、設定されている定義を解除

# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 0 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 1 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 2 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 3 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 4 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 5 -L 0
#

(3) 再スキャンを行い、設定した定義を適用
「esxcfg-rescan vmhba?」を実行する。

# esxcfg-rescan vmhba1
#


4. 認識が変わったことを確認
「esxcli storage nmp device list」を実行

# esxcli storage nmp device list
naa.XXXXXXXXXXXXc8
Device Display Name: HP Fibre Channel Medium Changer (naa.XXXXXXXXXXXXc8)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T5:L0;current=vmhba1:C0:T5:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T5:L0

naa.XXXXXXXXXXXX0a
Device Display Name: HP Fibre Channel Tape (naa.XXXXXXXXXXXX0a)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T2:L0;current=vmhba1:C0:T2:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T2:L0

naa.XXXXXXXXXXXX0c
Device Display Name: HP Fibre Channel Tape (naa.XXXXXXXXXXXX0c)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T3:L0;current=vmhba1:C0:T3:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T3:L0

naa.XXXXXXXXXXXX0e
Device Display Name: HP Fibre Channel Tape (naa.XXXXXXXXXXXX0e)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T4:L0;current=vmhba1:C0:T4:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T4:L0

<略>

naa.XXXXXXXXXXXX08
Device Display Name: HP Fibre Channel Tape (naa.XXXXXXXXXXXX08)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T1:L0;current=vmhba1:C0:T1:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T1:L0
#