カテゴリー: ストレージ

投稿日:

LTOテープをファイルシステムとして使うLTFS

「LTOテープをファイルシステムとして使うLTFSについて 2020/05/11版」として更新しました。

2015/11/18の情報を元に、新記事「LTOテープをファイルシステムとして使うLTFSについて 2015/11/18版」を公開しています。

LTO-5/LTO-6からは、メディアを２つの領域に分割して利用することが可能になった。
その機能を活かし、１本のテープメディアの中に、メディア内データの管理情報と、実データを分割して保存することを可能とした。
これにより、これまで実現出来なかった、１本のテープメディアだけで可搬性のあるファイルシステム構築、というものが可能となっている。

で・・・ライセンス料金が取られないような形で、これをうまく使えるか調査してみた。

(2013/05/21追記: IBM版LTFS LEを導入した記事を書きました→「IBM版LTFSをRHEL5で使ってみた」)

・LTFS公式ページ
LTFSに関する一番起点となるページ。

・Linear Tape File System (LTFS) Format Specification
LTFSの規格書。
2011年8月17日リリースのLTFS Format Version 2.0.1。

この規格書に則って、各LTOドライブメーカ(IBM,HPなど)がソフトウェアを作成している。
ただ、この規格書がいまいちよくわからん状態で、IBMだとLTFS Format 2.1.0というのが2012年10月18日に公開されている。

・IBM Linear Tape File System(アメリカ) / IBM Linear Tape File System(日本)
IBMの紹介ページ。

IBM Linear Tape File System Single Drive Edition Information Center
単体ドライブ用
対応OS: RHEL5.5～5.8,6.1,6.2、SLES11SP1,SP2、WindowsServer2008R2SP1,Windows7、MacOSX10.5.8,10.6.8,10.7.4
FixCentralにて以下を選択するとダウンロードできる。
製品グループ: System Storage
Select from System Storage: Tape systems
Select from Tape systems: Tape drivers and software
Select from Tape drivers and software: LTFS Single Drive Edition(SDE)
プラットフォーム: Linux/Windows/MacOSXから選択
IBMのLTOドライバをインストールして、/dev/st?ではなく、/dev/IBMtape?というデバイス名で利用する必要がある。

IBM Linear Tape File System Library Edition Information Center
IBMテープチェンジャー用
対応OS: RHEL5.5～5.8,6.1,6.2、SLES11SP1,SP2、WindowsServer2008?

FixCentralにて以下を選択するとダウンロードできる。
製品グループ: System Storage
Select from System Storage: Tape systems
Select from Tape systems: Tape drivers and software
Select from Tape drivers and software: LTFS Library Edition(LE)
プラットフォーム: Linux/Windowsから選択
ただし、ここで入手できるのは、アップデータのみ？
IBMのLTOドライバをインストールして、/dev/st?ではなく、/dev/IBMtape?というデバイス名で利用する必要がある。

関連資料?:IBM System Storage Linear Tape File System Library Edition Version 2.1(pdf)

・HP リニアテープファイルシステム (Linear Tape File System) / HP StoreOpen(英語)
hpのLTFSの紹介ページ

いまいち、HP StoreOpen AutomationとHP LTFSの違いが見えにくいが、HP LTFSが単体ドライブ用で、HP StoreOpen Automationがチェンジャー用である。
IBMのLTFS-SDEとLTFS-LEの関係と似ている。

IBM LTFS-LEとHP StoreOpen Automationとでは、テープチェンジャー周りの操作が異なる。

・Oracle’s StorageTek Linear Tape File System, Open Edition

Oracle Enterprise Linux 5.5向けのLTFS 1.2.0およびLTFS 2.0準拠のソフト。
LTOドライブはIBM LTO-5, HP LTO-5とOracle(StorageTek) T10000Cに対応している。
チェンジャー制御はない

・LTFS Archvier
イタリアのCentre for Research and Technological Innovation(CRIT)が公開しているhpドライブを使用した24slotチェンジャー、もしくは単体ドライブを利用して構築できるテープアーカイブソフト。

このリストに抜けているものも含めて「テープ装置メーカ純正のLTFS一覧」という形で別記事も作成している。

投稿日:

IBM DS3500/DSC3700にFlashCopy/VolumeCopyライセンスが期間限定無償提供？

IBMのDS3xxx/DS4xxx専用の情報サイト「ibmdsstorage.com」なんてものがあります。
このサイト、ユーザ登録すると、オンラインのストレージ操作教習コースを受けることができるなど、それなりにいろいろ見れるサイトです。

で、登録してあったのですが、本日、お知らせメールが・・・
「Limited time special offer for DS3500 and DCS3700 customers」


Now available at NO COST!

An exclusive, limited time offer for owners of IBM DS3500 and DCS3700 storage offerings:
Get FlashCopy/Volume Copy for your DS3500 or DCS3700 at NO CHARGE!
 This is a $4,100 value!!
IBM FlashCopy/Volume Copy makes migrating from traditional RAID arrays to new Dynamic Disk Pools much simpler. Download the quick start guide below to migrate today:
RAID to DDP Quick Start Guide (1.18 MB)



Effective Period: NOVEMBER 1, 2012 – DECEMBER 31, 2012

Click here to obtain your FlashCopy/Volume Copy feature key now

既存のDS3500/DCS3700ユーザ向けに、2012年11月1日～2012年12月31日までの間、FlashCopy/VolumeCopyのライセンスが無償提供されるようです。
申請にあたって必要な情報は、ibmdsstorage.comのユーザアカウントと、DS設置場所情報＋DSシリアル+DS内部の32桁のID。

Webから申請すると2～3週間でメールアドレスにライセンスキーが送られてくるらしいです。

まぁ、ぶっちゃけ、既にストレージを使ってるユーザが、この機能を使おうとすると、空き容量・空きディスクが必要になるので、既存RAIDを再構成する！とかでも無い限り、使うってのは難しい気がしますけどね・・・

投稿日:

ESXi5.xでテープ装置を使う

仮想環境において、ゲストOSからFC接続されているテープ装置を使おうとしたら、認識してないようだったので調べてみた。

結論からいうと、VMware KB2013670:「ESX/ESXi でテープデバイスが間違って ALUA デバイスとして認識されてしまう」が該当していた。
2015/12/18追記:現在は「ESXi/ESX ホストでテープ デバイスが間違って ALUA デバイスとして検出される (2090103)」で公開されている。
2020/09/28追記:「ESXi/ESX ホストでテープ デバイスが間違って ALUA デバイスとして検出される (1026157)」

対処方法も、上記KBそのままで大丈夫だった。

実際に実行した例について、以下に紹介する。

1. まず認識しているかどうかを確認する
(1)「esxcli storage core path list」を実行する。

# esxcli storage core path list

＜略＞
fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34-fc.XXXXXXXXXXXX0e:XXXXXXXXXXXX0f-
UID: fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34-fc.XXXXXXXXXXXX0e:XXXXXXXXXXXX0f-
Runtime Name: vmhba1:C0:T4:L0
Device: No associated device
Device Display Name: No associated device
Adapter: vmhba1
Channel: 0
Target: 4
LUN: 0
Plugin: (unclaimed)
State: dead
Transport: fc
Adapter Identifier: fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34
Target Identifier: fc.XXXXXXXXXXXX0e:XXXXXXXXXXXX0f
Adapter Transport Details: Unavailable or path is unclaimed
Target Transport Details: Unavailable or path is unclaimed
＜略＞
fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34-fc.XXXXXXXXXXXXc8:XXXXXXXXXXXXc9-
UID: fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34-fc.XXXXXXXXXXXXc8:XXXXXXXXXXXXc9-
Runtime Name: vmhba1:C0:T5:L0
Device: No associated device
Device Display Name: No associated device
Adapter: vmhba1
Channel: 0
Target: 5
LUN: 0
Plugin: (unclaimed)
State: dead
Transport: fc
Adapter Identifier: fc.XXXXXXXXXXXX35:XXXXXXXXXXXX34
Target Identifier: fc.XXXXXXXXXXXXc8:XXXXXXXXXXXXc9
Adapter Transport Details: Unavailable or path is unclaimed
Target Transport Details: Unavailable or path is unclaimed
＜略＞
#

というような感じで「Plugin: (unclaimed)」というデバイスが認識されいている。

(2) VMware上で使える認識になっているか確認する
「esxcli storage nmp device list」を実行する。

# esxcli storage nmp device list
＜略＞
#


こちらの出力結果には出てこない。

2. 該当デバイスのSCSI inquryを調査
(1) SCSIデバイスのスキャンを実行
「esxcfg-rescan vmhba？」を実行。
今回の場合、「vmhba1」で認識されているので「esxcfg-rescan vmhba1」を実行。

(2) ログに出力されたScsiScanを確認。

# grep "ScsiScan" /var/log/vmkernel.log
＜略＞
2012-09-21T12:52:46.210Z cpu0:2635)ScsiScan: 1098: Path 'vmhba1:C0:T0:L0': Vendor: 'HP ' Model: 'D2DBS Diagnostic' Rev: 'DIAG'
2012-09-21T12:52:46.210Z cpu0:2635)ScsiScan: 1101: Path 'vmhba1:C0:T0:L0': Type: 0x1f, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.210Z cpu3:2641)ScsiScan: 1098: Path 'vmhba1:C0:T1:L0': Vendor: 'HP ' Model: 'Ultrium 4-SCSI ' Rev: 'ED41'
2012-09-21T12:52:46.210Z cpu3:2641)ScsiScan: 1101: Path 'vmhba1:C0:T1:L0': Type: 0x1, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.211Z cpu3:2641)ScsiScan: 1582: Add path: vmhba1:C0:T1:L0
2012-09-21T12:52:46.211Z cpu3:2641)ScsiScan: 1098: Path 'vmhba1:C0:T2:L0': Vendor: 'HP ' Model: 'Ultrium 4-SCSI ' Rev: 'ED41'
2012-09-21T12:52:46.211Z cpu3:2641)ScsiScan: 1101: Path 'vmhba1:C0:T2:L0': Type: 0x1, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.212Z cpu2:2641)ScsiScan: 1582: Add path: vmhba1:C0:T2:L0
2012-09-21T12:52:46.212Z cpu1:2641)ScsiScan: 1098: Path 'vmhba1:C0:T3:L0': Vendor: 'HP ' Model: 'Ultrium 4-SCSI ' Rev: 'ED41'
2012-09-21T12:52:46.212Z cpu1:2641)ScsiScan: 1101: Path 'vmhba1:C0:T3:L0': Type: 0x1, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.213Z cpu2:2641)ScsiScan: 1582: Add path: vmhba1:C0:T3:L0
2012-09-21T12:52:46.213Z cpu3:2641)ScsiScan: 1098: Path 'vmhba1:C0:T4:L0': Vendor: 'HP ' Model: 'Ultrium 4-SCSI ' Rev: 'ED41'
2012-09-21T12:52:46.213Z cpu3:2641)ScsiScan: 1101: Path 'vmhba1:C0:T4:L0': Type: 0x1, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.213Z cpu2:2641)ScsiScan: 1582: Add path: vmhba1:C0:T4:L0
2012-09-21T12:52:46.214Z cpu1:2641)ScsiScan: 1098: Path 'vmhba1:C0:T5:L0': Vendor: 'HP ' Model: 'D2DBS ' Rev: 'EL01'
2012-09-21T12:52:46.214Z cpu1:2641)ScsiScan: 1101: Path 'vmhba1:C0:T5:L0': Type: 0x8, ANSI rev: 3, TPGS: 1 (implicit only)
2012-09-21T12:52:46.214Z cpu2:2641)ScsiScan: 1582: Add path: vmhba1:C0:T5:L0
2012-09-21T12:53:33.684Z cpu2:2745)ScsiScan: 1098: Path 'vmhba1:C0:T0:L0': Vendor: 'HP ' Model: 'D2DBS Diagnostic' Rev: 'DIAG'
2012-09-21T12:53:33.684Z cpu2:2745)ScsiScan: 1101: Path 'vmhba1:C0:T0:L0': Type: 0x1f, ANSI rev: 3, TPGS: 1 (implicit only)
#

こんな感じで出力されている。
該当するものとしては、以下の３種類となる。
Vendor:「HP」、Model:「Ultrium 4-SCSI」
Vendor:「HP」、Model:「D2DBS」
Vendor:「HP」、Model:「D2DBS Diagnostic」

3. 定義の変更
(1) 該当のデバイスに「VMW_SATP_LOCAL」として動作させる設定として、まず定義を設定。
先ほどの例の場合は以下の３デバイスがある。
Vendor:「HP」、Model:「Ultrium 4-SCSI」
Vendor:「HP」、Model:「D2DBS」
Vendor:「HP」、Model:「D2DBS Diagnostic」

今回の場合は、以下のコマンドを実行した。

# esxcli storage nmp satp rule add --satp="VMW_SATP_LOCAL" --vendor="HP" --model="^Ultrium 4-SCSI*"
# esxcli storage nmp satp rule add --satp="VMW_SATP_LOCAL" --vendor="HP" --model="^D2DBS*"
#

なお、SCSI inquryでは文字列末尾につくスペースも重要であるが、このコマンドでは末尾のスペースは無視してくれるようである。

(2) 次に、各デバイスに対して現状、設定されている定義を解除

# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 0 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 1 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 2 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 3 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 4 -L 0
# esxcli storage core claiming unclaim -t location -A vmhba1 -C 0 -T 5 -L 0
#

(3) 再スキャンを行い、設定した定義を適用
「esxcfg-rescan vmhba？」を実行する。

# esxcfg-rescan vmhba1
#


4. 認識が変わったことを確認
「esxcli storage nmp device list」を実行

# esxcli storage nmp device list
naa.XXXXXXXXXXXXc8
Device Display Name: HP Fibre Channel Medium Changer (naa.XXXXXXXXXXXXc8)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T5:L0;current=vmhba1:C0:T5:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T5:L0

naa.XXXXXXXXXXXX0a
Device Display Name: HP Fibre Channel Tape (naa.XXXXXXXXXXXX0a)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T2:L0;current=vmhba1:C0:T2:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T2:L0

naa.XXXXXXXXXXXX0c
Device Display Name: HP Fibre Channel Tape (naa.XXXXXXXXXXXX0c)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T3:L0;current=vmhba1:C0:T3:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T3:L0

naa.XXXXXXXXXXXX0e
Device Display Name: HP Fibre Channel Tape (naa.XXXXXXXXXXXX0e)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T4:L0;current=vmhba1:C0:T4:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T4:L0

＜略＞

naa.XXXXXXXXXXXX08
Device Display Name: HP Fibre Channel Tape (naa.XXXXXXXXXXXX08)
Storage Array Type: VMW_SATP_LOCAL
Storage Array Type Device Config: SATP VMW_SATP_LOCAL does not support device configuration.
Path Selection Policy: VMW_PSP_FIXED
Path Selection Policy Device Config: {preferred=vmhba1:C0:T1:L0;current=vmhba1:C0:T1:L0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba1:C0:T1:L0
#
投稿日:

NetAppの仮想ストレージData ONTAP Edge

NetAppから「Data ONTAP Edge」というプロダクトが出てきた。

vSphere5環境で動作する仮想マシンとしてNetAppを動かして、NAS共有ストレージとして利用する、というもの。

ぶっちゃけ、これまでず～っとあった、検証用に提供されていたData ONTAP Simulatorを製品化しちゃったようなもの。
使い続けるためには有償となるようだが、コストに関しての記述が無かったので詳細不明。

利用可能ストレージサイズの最大が「5TB」なので、利用用途は大規模環境ではない感じ。

Data ONTAP Edgeを要求要件
・仮想マシンに2CPU以上割り当て（可能な限り占有させること）
・メモリは4GB以上（可能な限り占有させること）
・OS領域は57.5GB必要
・仮想ディスクを置く領域はキャッシュがバッテリーバックアップされたRAID上のVMFS3/VMFS5であること
・１本の仮想ディスクサイズは50GB～2TBまでを選択できる。
(何本まで増加できるか明記は無し）

特色
・Data ONTAP的にはクラスタモード(旧来の7-Modeではない)
・標準ライセンスに重複排除/SnapVault/SnapRestore/FlexCloneが含まれている
→ 小規模リモートオフィスにEdgeを置いて、中央のNetAppでバックアップ、的な感じ

いままでのSimulatorでもいい感じで使えてたので、Edgeになったからといって、特段かわりそうもないですが、とりあえず評価版の入手が可能です。

評価版はData ONTAP Edge Evaluationから入手できますが、NetApp Nowのアカウントが必要です。

また、NetAppのコミュニティーにData ONTAP Edgeに関する掲示板も出来ています。
Welcome to the Data ONTAP Edge CommunityにていろんなQ&Aを確認することができます。

投稿日:

Windows用NFSサーバ「FreeNFS」

2020/10/23追記

自分でコンパイルする必要があるのだが、User-space NFSv3 Server(unfs3)というものがあり、「Windows向け手順」を参考にMinGW環境でunfsd.exeを作成できるようだ。

FreeNFSというWindows用のNFSサーバソフトウェアが出た。

NFS v3対応、ということで、試してみたんだけど、Linuxサーバからうまく接続ができない・・・ 

# rpcinfo -p 172.17.44.21
   プログラム バージョン プロトコル ポート
    100000    2   tcp    111  portmapper
    100000    2   udp    111  portmapper
    100005    3   tcp    635  mountd
    100005    3   udp    635  mountd
    100003    3   tcp   2049  nfs
    100003    3   udp   2049  nfs
# mount 172.17.44.21:/ /mnt
mount: mount to NFS server '172.17.44.21' failed: RPC Error: Authentication error.
# mount -v -t nfs 172.17.44.21:/ /mnt
mount: trying 172.17.44.21 prog 100003 vers 3 prot tcp port 2049
mount: mount to NFS server '172.17.44.21' failed: RPC Error: Authentication error.
#

Windowsファイアウォールの設定を解除しても同じ状況。
どこらの問題かなぁ・・・

2019/06/27追記

いまも時々このページにアクセスがあるので、そういえばどうなってるんだろ？と再チャレンジ

現在はFreeNFSと、セキュリティ関連を甘くしているぽいFreeNFSEの２種類があるようだ。

ただ、どちらで試しても同じようにエラーとなっている。

# rpcinfo -p 172.17.44.74
   program vers proto   port  service
    100000    2   tcp    111  portmapper
    100000    2   udp    111  portmapper
    100005    3   tcp    635  mountd
    100005    3   udp    635  mountd
    100003    3   tcp   2049  nfs
    100003    3   udp   2049  nfs
# mount -v 172.17.44.74:/ /mnt
mount.nfs: timeout set for Thu Jun 27 11:07:24 2019
mount.nfs: trying text-based options 'vers=4.1,addr=172.17.44.74,clientaddr=172.17.44.73'
mount.nfs: mount(2): Permission denied
mount.nfs: trying text-based options 'vers=4.0,addr=172.17.44.74,clientaddr=172.17.44.73'
mount.nfs: mount(2): Permission denied
mount.nfs: trying text-based options 'addr=172.17.44.74'
mount.nfs: prog 100003, trying vers=3, prot=6
mount.nfs: trying 172.17.44.74 prog 100003 vers 3 prot TCP port 2049
mount.nfs: portmap query failed: RPC: Authentication error
mount.nfs: access denied by server while mounting 172.17.44.74:/
# showmount -e 172.17.44.74
rpc mount export: RPC: Procedure unavailable
#

ぐぐってみても、FreeNFSに関する事例はどれも解決していない。

だ～か～ら～「sec=nosec」とか「vers指定」とかやっても駄目だったというとるのに、なんでまた試せとかいうん？とという展開になっている。

で、「haneWIN NFS Server for Windows」という似たようなNFSサーバに逃げているようだ