カテゴリー: ストレージ

投稿日:

ESXi5.1にすると起動しない仮想マシン

ESXi5.1にアップデートした後、NetApp simulatorがなぜか起動しない。

以下のエラーが出力される。 

ディスク「/vmfs/volumes/～/～/DataONTAP.vmdk」、またはディスク「/vmfs/volumes/～/～/DataONTAP.vmdk」が依存しているスナップショット ディスクの 1 つを開くことができません。 
システムで指定されたファイルを見つかりません
VMware ESX は仮想ディスク「/vmfs/volumes/～/～/DataONTAP.vmdk」を検出できません。パスが有効であることを確認し、もう一度やり直してください。

これに対する回答がNetApp comminityにあった。

「OnTap Simulator 8.1.1 no longer running on ESXi 5.1 free」

原因はESXi5.1以降、標準ではvmkernel multiextent moduleが読み込まれなくなったため。
このモジュールは、巨大な１つのvmdkではなく、そこそこの大きさの複数のファイルでvmdkを構成するときに使うもの。

対処方法はVMware KB:「 Powering on a virtual machine after upgrading to ESXi 5.1 fails with the error: File [VMFS volume] VM-name/VM-name.vmdk was not found」にあるとおりのことをする。

概要: multiextentモジュールを読み込んで、分割形式のvmdkから、単一ファイルのvmdkへ変換する。

2019/12/04 追記:ESXi 6.7ではmultiextentモジュールが無くなっているが、vmkfstoolコマンド自体に機能が追加されており、下記のその２の操作が不要となりました。

その１:状況確認

# ls
DataONTAP-cf-flat.vmdk  DataONTAP-s012.vmdk     DataONTAP.vmdk
DataONTAP-cf.vmdk       DataONTAP-s013.vmdk     DataONTAP.vmsd
DataONTAP-s001.vmdk     DataONTAP-s014.vmdk     DataONTAP.vmx
DataONTAP-s002.vmdk     DataONTAP-s015.vmdk     DataONTAP.vmxf
DataONTAP-s003.vmdk     DataONTAP-s016.vmdk     SimConsType
DataONTAP-s004.vmdk     DataONTAP-s017.vmdk     SimUpdateParameters
DataONTAP-s005.vmdk     DataONTAP-s018.vmdk     cfcard
DataONTAP-s006.vmdk     DataONTAP-s019.vmdk     mtoolsrc
DataONTAP-s007.vmdk     DataONTAP-s020.vmdk     nvram
DataONTAP-s008.vmdk     DataONTAP-s021.vmdk     vmware-1.log
DataONTAP-s009.vmdk     DataONTAP-s022.vmdk     vmware-2.log
DataONTAP-s010.vmdk     DataONTAP-s023.vmdk     vmware.log
DataONTAP-s011.vmdk     DataONTAP-s024.vmdk
#

その２: multiextentモジュール読み込み

この手順はvSphere 6.5とか6.7では不要です。

# vmkload_mod multiextent
Module multiextent loaded successfully
#

その３: 分割vmdkのDataONTAP.vmdkを、単一vmdkのDataONTAP-new.vmdkにコピー

下記はzerodthickにしていますが「thin」指定など他のフォーマットでも大丈夫です。

# vmkfstools -i DataONTAP.vmdk DataONTAP-new.vmdk -d zeroedthick
Destination disk format: VMFS zeroedthick
Cloning disk 'DataONTAP.vmdk'...
Clone: 100% done.
#

その４: DataONTAP.vmdkを削除 

# vmkfstools -U DataONTAP.vmdk
#

その５: ファイル名の変更 

# vmkfstools -E DataONTAP-new.vmdk DataONTAP.vmdk
#

その６: multiextentモジュールの読み込み解除

この手順はvSphere 6.5とか6.7では不要です。 

# vmkload_mod  -u multiextent
Module multiextent successfully unloaded
#

その７: 状況確認 

# ls
DataONTAP-cf-flat.vmdk  DataONTAP.vmxf          vmware-1.log
DataONTAP-cf.vmdk       SimConsType             vmware-2.log
DataONTAP-flat.vmdk     SimUpdateParameters     vmware-3.log
DataONTAP.vmdk          cfcard                  vmware.log
DataONTAP.vmsd          mtoolsrc
DataONTAP.vmx           nvram
#

変換完了後、普通に起動できました。

なお、変換後、ついでに仮想マシンハードウェアバージョンを7から上げるか！と13にあげてみたところ、新しい仮想マシンハードウェアではサポートされないデバイスがあったようで起動できなくなりました・・・

投稿日:

テープ装置メーカ純正のLTFS一覧(2013/12/20更新)

「LTOテープをファイルシステムとして使うLTFSについて 2020/05/11版」として更新しました。

2015/11/18の情報を元に、新記事「LTOテープをファイルシステムとして使うLTFSについて 2015/11/18版」を公開しています。

 

各テープ装置メーカ純正のLTFSについて言及があったものについてリストアップ。
(2013/12/20修正)

 

・IBM版
基本的には、IBM版が他のいろんなもののベースとなっている模様。
ltfs_1300_4101.tar.gz
→ ltfs-1.3.0.2
fixcentralで検索して発見する必要がある
ライブラリ用はltfs-2.1.2.0-2501のようだがアップデータのみ提供。オリジナルはIBM製ライブラリを買うと入手できる。

・hp版 / USページ
HP_StoreOpen_Standalone_2.1.1_-_Source_Z7550-01209.tar.gz
→ HP-SOS_2.1.1
ライブラリ用 HP_StoreOpen_Automation_1.2_-_Source_Z7550-01009.tar.gz
→ hp_soa_1.2
右側の「Drive FW & LTFS Code」のリンクから入手

単体用のLTFSが、HP Store Open Standalone(HP-SOS)という名称に変更になっていた。

・Oracle版
ltfs_126_20130711_orcl_oels_5_5.tar.gz
→ ltfs-1.2.6
元はIBM版ltfs-1.2.0に、Oracle純正LTOドライブへの対応を追加したものから始まり、現在は、IBM版1.2.0/1.2.5、hp版1.2.2/2.0.0からそれぞれ修正を取りいれて開発継続中のようだ。

・Quantum版 / source code
5-00732-05.zip( qtmltfs-2.1.0.tar.gz )
→ qtmltfs-2.1.0
IBM版だとltfs-1.2.5の次がltfs-1.3.0になっているが、Quantum版ではltfs-1.2.1の次がltfs-2.0.0になっているようだ。
機能追加としてはLTO-6対応など、だいたい、どちらも同じような感じのないようなので、「IBM版ltfs-1.3.0」=「Quantum版ltfs-2.0.0」といって差し支えなさそうである。
qtmlfs-2.1.0とIBM版ltfs-1.3.0.2の違いはchangelog上は言及されている修正が全く違うので、どの程度同じなのか謎。

・Tandberg版
hp版がそのまま利用されているようだ。
HPLTFS_SOURCE.tar
→ ltfs-1.2.0

以下は2013/01/14記載の古い記述を参考のため残しています。

 

・IBM版
基本的には、IBM版が他のいろんなもののベースとなっている模様。
ltfs_1300_2501.tar.gz
→ ltfs-1.3.0.0
ライブラリ用はltfs-2.1.2.0-2501のようだが元を発見できず。

 

・hp版
HPLTFS_1.2.2_SOURCE.tar.gz
→ ltfs-1.2.2
ライブラリ用 HP_STOREOPEN_AUTOMATION_1.1.0_SOURCE.tar.gz
→ hp_soa_1.1.0

・Oracle版
ltfs_120_20111005_orcl_oels_5_5.tar.gz
→ ltfs-1.2.0
IBM版ltfs-1.2.0に、Oracle純正LTOドライブへの対応を追加したエディションのようだ。

・Quantum版
qtmltfs-2.0.0-5.tar.gz
→ qtmltfs-2.0.0
IBM版だとltfs-1.2.5の次がltfs-1.3.0になっているが、Quantum版ではltfs-1.2.1の次がltfs-2.0.0になっているようだ。
機能追加としてはLTO-6対応など、だいたい、どちらも同じような感じのないようなので、「IBM版ltfs-1.3.0」=「Quantum版ltfs-2.0.0」といって差し支えなさそうである。

・Tandberg版
hp版がそのまま利用されているようだ。
HPLTFS_SOURCE.tar
→ ltfs-1.1.0

投稿日:

Amazon Glacierを使ったバックアップを検討中

現在、Amazon Glacierを使ったバックアップを検討中。
そのため、関連情報を収集しています。

今回、メインで考えているのは、Linuxサーバ上にあるデータのバックアップです。
いまのところ、すぐに用途が満たせそうなのは、MT-AWS-Glacierかなぁ・・・という感じですかねぇ？

.Develop: Amazon Glacierを使ってデータの長期間保存を始める
Glacierの全体像を含めた解説と、実際のJavaプログラム作成例

nabokov7; rehash: 個人データをまとめて Glacier にバックアップする (ためのツールを公開しました)
→ github:glacier-targz-uploader

Wokashi: Amazon Glacierを操作するコマンドが僕を苦しめる
→ github:GlacierTools

・github:AWS-Glacier-SNS-PowerShell
PowerShellでGlacier関連操作を行う為のコマンド群

・MT-AWS-Glacier
github: vsespb / mt-aws-glacier
フォーラム: Perl Multithreaded multipart sync to Glacier
perlベースで作成されたAmazon Glacierアップロードツール。
マルチスレッドアップロード対応。
フォルダsync動作も可能

・github: uskudnik / amazon-glacier-cmd-interface
python 2.6ベースで作成されたツール。

・Cloud Gates
一般的なFTP/SFTP/WebDAVクライアントからAmazon S3/Glacierにアクセスするためのゲートウェイ提供サービス

・github: MoriTanosuke / glacieruploader

・codezine: クラウドとサーバーを同期できる便利ツール「S3Sync」 ～Amazon EC2/S3環境構築のすべて～
Amazon S3を使う場合のS3SyncというCLIを使った例。

・CloudBerry Explorer for Amazon S3
Windows向け商用製品。フリー版とPro版($39.99)がある。
Amazon S3とGlacierに対応。
Pro版はデータ圧縮と、アップロードしたデータとの比較ができる、とのこと。
また複数のファイルを同時転送とかもできるようだ。
この会社はいろいろおもしろいのを作っていて、CloudBerry Cloud Migratorなんていう、各クラウド系ストレージ間でデータ移行するためのツールも出している。
FTP,MS Azure Blob Storage, Amazon S3, Amazon Glacier, Rackspace Cloud Storageに対応、とのこと。

投稿日:

LTOテープをファイルシステムとして使うLTFS

「LTOテープをファイルシステムとして使うLTFSについて 2020/05/11版」として更新しました。

2015/11/18の情報を元に、新記事「LTOテープをファイルシステムとして使うLTFSについて 2015/11/18版」を公開しています。

LTO-5/LTO-6からは、メディアを２つの領域に分割して利用することが可能になった。
その機能を活かし、１本のテープメディアの中に、メディア内データの管理情報と、実データを分割して保存することを可能とした。
これにより、これまで実現出来なかった、１本のテープメディアだけで可搬性のあるファイルシステム構築、というものが可能となっている。

で・・・ライセンス料金が取られないような形で、これをうまく使えるか調査してみた。

(2013/05/21追記: IBM版LTFS LEを導入した記事を書きました→「IBM版LTFSをRHEL5で使ってみた」)

・LTFS公式ページ
LTFSに関する一番起点となるページ。

・Linear Tape File System (LTFS) Format Specification
LTFSの規格書。
2011年8月17日リリースのLTFS Format Version 2.0.1。

この規格書に則って、各LTOドライブメーカ(IBM,HPなど)がソフトウェアを作成している。
ただ、この規格書がいまいちよくわからん状態で、IBMだとLTFS Format 2.1.0というのが2012年10月18日に公開されている。

・IBM Linear Tape File System(アメリカ) / IBM Linear Tape File System(日本)
IBMの紹介ページ。

IBM Linear Tape File System Single Drive Edition Information Center
単体ドライブ用
対応OS: RHEL5.5～5.8,6.1,6.2、SLES11SP1,SP2、WindowsServer2008R2SP1,Windows7、MacOSX10.5.8,10.6.8,10.7.4
FixCentralにて以下を選択するとダウンロードできる。
製品グループ: System Storage
Select from System Storage: Tape systems
Select from Tape systems: Tape drivers and software
Select from Tape drivers and software: LTFS Single Drive Edition(SDE)
プラットフォーム: Linux/Windows/MacOSXから選択
IBMのLTOドライバをインストールして、/dev/st?ではなく、/dev/IBMtape?というデバイス名で利用する必要がある。

IBM Linear Tape File System Library Edition Information Center
IBMテープチェンジャー用
対応OS: RHEL5.5～5.8,6.1,6.2、SLES11SP1,SP2、WindowsServer2008?

FixCentralにて以下を選択するとダウンロードできる。
製品グループ: System Storage
Select from System Storage: Tape systems
Select from Tape systems: Tape drivers and software
Select from Tape drivers and software: LTFS Library Edition(LE)
プラットフォーム: Linux/Windowsから選択
ただし、ここで入手できるのは、アップデータのみ？
IBMのLTOドライバをインストールして、/dev/st?ではなく、/dev/IBMtape?というデバイス名で利用する必要がある。

関連資料?:IBM System Storage Linear Tape File System Library Edition Version 2.1(pdf)

・HP リニアテープファイルシステム (Linear Tape File System) / HP StoreOpen(英語)
hpのLTFSの紹介ページ

いまいち、HP StoreOpen AutomationとHP LTFSの違いが見えにくいが、HP LTFSが単体ドライブ用で、HP StoreOpen Automationがチェンジャー用である。
IBMのLTFS-SDEとLTFS-LEの関係と似ている。

IBM LTFS-LEとHP StoreOpen Automationとでは、テープチェンジャー周りの操作が異なる。

・Oracle’s StorageTek Linear Tape File System, Open Edition

Oracle Enterprise Linux 5.5向けのLTFS 1.2.0およびLTFS 2.0準拠のソフト。
LTOドライブはIBM LTO-5, HP LTO-5とOracle(StorageTek) T10000Cに対応している。
チェンジャー制御はない

・LTFS Archvier
イタリアのCentre for Research and Technological Innovation(CRIT)が公開しているhpドライブを使用した24slotチェンジャー、もしくは単体ドライブを利用して構築できるテープアーカイブソフト。

このリストに抜けているものも含めて「テープ装置メーカ純正のLTFS一覧」という形で別記事も作成している。

投稿日:

IBM DS3500/DSC3700にFlashCopy/VolumeCopyライセンスが期間限定無償提供？

IBMのDS3xxx/DS4xxx専用の情報サイト「ibmdsstorage.com」なんてものがあります。
このサイト、ユーザ登録すると、オンラインのストレージ操作教習コースを受けることができるなど、それなりにいろいろ見れるサイトです。

で、登録してあったのですが、本日、お知らせメールが・・・
「Limited time special offer for DS3500 and DCS3700 customers」


Now available at NO COST!

An exclusive, limited time offer for owners of IBM DS3500 and DCS3700 storage offerings:
Get FlashCopy/Volume Copy for your DS3500 or DCS3700 at NO CHARGE!
 This is a $4,100 value!!
IBM FlashCopy/Volume Copy makes migrating from traditional RAID arrays to new Dynamic Disk Pools much simpler. Download the quick start guide below to migrate today:
RAID to DDP Quick Start Guide (1.18 MB)



Effective Period: NOVEMBER 1, 2012 – DECEMBER 31, 2012

Click here to obtain your FlashCopy/Volume Copy feature key now

既存のDS3500/DCS3700ユーザ向けに、2012年11月1日～2012年12月31日までの間、FlashCopy/VolumeCopyのライセンスが無償提供されるようです。
申請にあたって必要な情報は、ibmdsstorage.comのユーザアカウントと、DS設置場所情報＋DSシリアル+DS内部の32桁のID。

Webから申請すると2～3週間でメールアドレスにライセンスキーが送られてくるらしいです。

まぁ、ぶっちゃけ、既にストレージを使ってるユーザが、この機能を使おうとすると、空き容量・空きディスクが必要になるので、既存RAIDを再構成する！とかでも無い限り、使うってのは難しい気がしますけどね・・・