ONTAPで未接続のイーサポートを無効化する手法


NetApp ONTAPのWeb管理画面 ONTAP System Managerは、未使用でネットワークケーブルを接続していないポートがあると、オフラインになってるポートがあるよ、的な警告を表示する。

System Managerからだと簡単にネットワークポートの無効化が設定できる

無効化したいポートを選択して、「無効化」

続行します。

選択したポートのグラフィックが灰色に変化します。

さて、この操作、コマンドで行うにはどうすればいいのか?

まず、状況については「network port show」で確認出来ます。

fas8300::> network port show

Node: fas8300-01
                                                  Speed(Mbps) Health
Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status
--------- ------------ ---------------- ---- ---- ----------- --------
a0a       Default      -                up   9000     -/-     healthy
a0a-1000  Default      Storage          up   9000     -/-     healthy
e0M       Default      Default          up   1500  auto/1000  healthy
e0c       Cluster      Cluster          up   9000 100000/100000 healthy
e0d       Cluster      Cluster          up   9000 100000/100000 healthy
e0e       Default      -                up   9000  auto/25000 healthy
e0f       Default      -                up   9000  auto/25000 healthy
e0g       Default      -                up   9000  auto/25000 healthy
e0h       Default      -                down 9000  auto/-     -

Node: fas8300-02
                                                  Speed(Mbps) Health
Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status
--------- ------------ ---------------- ---- ---- ----------- --------
a0a       Default      -                up   9000     -/-     healthy
a0a-1000  Default      Storage          up   9000     -/-     healthy
e0M       Default      Default          up   1500  auto/1000  healthy
e0c       Cluster      Cluster          up   9000  auto/100000 healthy
e0d       Cluster      Cluster          up   9000  auto/100000 healthy
e0e       Default      -                up   9000  auto/25000 healthy
e0f       Default      -                up   9000  auto/25000 healthy
e0g       Default      -                up   9000  auto/25000 healthy
e0h       Default      -                up   9000  auto/25000 healthy
18 entries were displayed.

fas8300::>

しかし、network port modifyで指定できるオプションには、link up/downに関する設定がなさそう・・・

fas8300::> network port modify -node fas8300-01 -port e0h -?
  [ -mtu <integer> ]                                            MTU
  [ -autonegotiate-admin {true|false} ]                         Auto-Negotiation Administrative
  [ -duplex-admin {auto|half|full} ]                            Duplex Mode Administrative
  [ -speed-admin {auto|10|100|1000|10000|100000|40000|25000} ]  Speed Administrative
  [ -flowcontrol-admin {none|receive|send|full} ]               Flow Control Administrative
  [ -ipspace <IPspace> ]                                        IPspace Name

fas8300::>

マニュアルの「network port modify」を確認してみると下記の記述がある。

[-up-admin {true|false}] – Up Administrative (privilege: advanced)
The administrative state of the port. If set to true, the port is used if it is operational. If set to false, the port is configured down.

標準の管理CLIではなく、advanced以上の権限であれば実行できる、とのこと。

fas8300::> set advanced

Warning: These advanced commands are potentially dangerous; use them only when directed to do so by NetApp
         personnel.
Do you want to continue? {y|n}: y

fas8300::*>

advancedモードに切り替えてから、再度オプション一覧を確認

fas8300::*> network port modify -node fas8300-01 -port e0h -?
  [ -mtu <integer> ]                                            MTU
  [ -autonegotiate-admin {true|false} ]                         Auto-Negotiation Administrative
  [ -duplex-admin {auto|half|full} ]                            Duplex Mode Administrative
  [ -speed-admin {auto|10|100|1000|10000|100000|40000|25000} ]  Speed Administrative
  [ -flowcontrol-admin {none|receive|send|full} ]               Flow Control Administrative
  [ -up-admin {true|false} ]                                    *Up Administrative
  [ -ipspace <IPspace> ]                                        IPspace Name
  [ -ignore-health-status {true|false} ]                        *Ignore Port Health Status

fas8300::*>

設定出来る項目に現れました。

fas8300::*> network port modify -node fas8300-01 -port e0h -up-admin true

fas8300::*>

設定が反映されたかを確認します

fas8300::*> network port show

Node: fas8300-01
                                                                       Ignore
                                                  Speed(Mbps) Health   Health
Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
--------- ------------ ---------------- ---- ---- ----------- -------- ------
a0a       Default      -                up   9000     -/-     healthy  false
a0a-1000  Default      Storage          up   9000     -/-     healthy  false
e0M       Default      Default          up   1500  auto/1000  healthy  false
e0c       Cluster      Cluster          up   9000 100000/100000 healthy false
e0d       Cluster      Cluster          up   9000 100000/100000 healthy false
e0e       Default      -                up   9000  auto/25000 healthy  false
e0f       Default      -                up   9000  auto/25000 healthy  false
e0g       Default      -                up   9000  auto/25000 healthy  false
e0h       Default      -                up   9000  auto/25000 healthy  false

Node: fas8300-02
                                                                       Ignore
                                                  Speed(Mbps) Health   Health
Port      IPspace      Broadcast Domain Link MTU  Admin/Oper  Status   Status
--------- ------------ ---------------- ---- ---- ----------- -------- ------
a0a       Default      -                up   9000     -/-     healthy  false
a0a-1000  Default      Storage          up   9000     -/-     healthy  false
e0M       Default      Default          up   1500  auto/1000  healthy  false
e0c       Cluster      Cluster          up   9000  auto/100000 healthy false
e0d       Cluster      Cluster          up   9000  auto/100000 healthy false
e0e       Default      -                up   9000  auto/25000 healthy  false
e0f       Default      -                up   9000  auto/25000 healthy  false
e0g       Default      -                up   9000  auto/25000 healthy  false
e0h       Default      -                up   9000  auto/25000 healthy  false
18 entries were displayed.

fas8300::*>

全てのポートがupになりました。

System Managerの方でも表示がupに戻ったかを確認できました。

Web GUIだと簡単に設定変更できるものが、コマンドだとadvanced権限必要だった、というのは驚きでした。

NetAppで電源電圧を確認する方法


NetAppを稼働させていたら電源電圧の警告が出ていたので、その確認手法を調べた。

ONTAP OS側からだと「system node environment sensors show」で現在値のみが確認出来た。

ただ、上記だと各部センサーの情報が全て含まれてしまうので、電源電圧だけを見るのであれば「system node environment sensors show -name *VIN*」と指定することで入力電圧のみを見ることが出来る。

fas8300::> system node environment sensors show -name *VIN*
Node Sensor                 State Value/Units Crit-Low Warn-Low Warn-Hi Crit-Hi
---- --------------------- ------ ----------- -------- -------- ------- -------
fas8300-01
     PSU1 VIN              normal
                                    99840 mV     90480    93600  261040  263120
     PSU2 VIN              normal
                                    94640 mV     90480    93600  261040  263120
fas8300-02
     PSU1 VIN              normal
                                    99840 mV     90480    93600  261040  263120
     PSU2 VIN              normal
                                    94640 mV     90480    93600  261040  263120
4 entries were displayed.

fas8300::>

「Value/Units」が現在値で、それ以外が注意/警告を発令する電圧設定となる。

これまでに電源電圧警報が発令された時に何Vだったのかを確認するには、Service Processor/BMC側にログインして調べる必要があった。

「system log sel」で表示されるIPMIログを見て確認する。

BMC fas8300-01> system log sel
   1 | 11/09/2021 | 09:38:39 | System Firmware Progress | Secondary CPU Initialization | Asserted
   2 | 11/09/2021 | 09:38:39 | System Firmware Progress | USB resource configuration | Asserted
   3 | 11/09/2021 | 09:38:41 | System Firmware Progress | PCI resource configuration | Asserted
   4 | 11/09/2021 | 09:38:41 | System Firmware Progress | Video initialization | Asserted
   5 | 11/09/2021 | 09:38:41 | System Firmware Progress | Keyboard controller initialization | Asserted
   6 | 11/09/2021 | 09:38:42 | System Firmware Progress | Hard-disk initialization | Asserted
   7 | 11/09/2021 | 09:38:50 | System Firmware Progress | Hard-disk initialization | Asserted
   8 | 11/09/2021 | 09:39:01 | System Event |  | Asserted
   9 | 11/09/2021 | 09:39:20 | Voltage #0x50 | Lower Non-critical going low
   a | 11/09/2021 | 09:39:24 | Voltage #0x5a | Lower Non-critical going low
   b | 11/09/2021 | 09:40:29 | Voltage #0x50 | Lower Non-critical going low
   c | 11/09/2021 | 09:40:29 | Voltage #0x5a | Lower Non-critical going low
   d | 11/09/2021 | 09:41:02 | System Event #0xff | Timestamp Clock Sync | Asserted
   e | 11/09/2021 | 09:41:02 | System Event #0xff | Timestamp Clock Sync | Asserted
   f | 11/09/2021 | 10:41:48 | Voltage #0x50 | Lower Non-critical going low
<略>
 b97 | 11/30/2021 | 23:45:25 | Voltage #0x5a | Lower Non-critical going low
 b98 | 11/30/2021 | 23:46:33 | Voltage #0x5a | Lower Non-critical going low
 b99 | 11/30/2021 | 23:46:46 | Voltage #0x5a | Lower Non-critical going low

BMC fas8300-01>

上記の「Voltage #0x50 | Lower Non-critical going low」というのが16進数表記の電圧となる。

0x50=80V、0x5a=90Vとなる。

さすがにAC 80Vは低すぎでしょ!!というわけで、電源経路確認が実施されましたとさ

ONTAP 9.xでntpやDNSの動作確認


NetApp ONTAP 9.x環境でNTPやDNSの設定をした際に、正常に動作しているかを確認する手法

NTPの設定確認

NTP設定がされているかどうかを「cluster time-service ntp server show」で確認

::> cluster time-service ntp server show
                                        Is
                                        Authentication
Server                         Version  Enabled        Key ID
------------------------------ -------  -------------- ------
10.20.8.10                     auto     false          -

::>

NTPの動作確認

指定したNTPサーバと同期が取れているかは、adminモードでは確認出来ない。

advancedかdiagモードに切り替えて「cluster time-service ntp status show」を実行して確認。

::> set adv

Warning: These advanced commands are potentially dangerous; use them only when
         directed to do so by NetApp personnel.
Do you want to continue? {y|n}: y

::*> cluster time-service ntp status show

Node: netapp_02
Server                  Reachable  Selection State                Offset (ms)
----------------------- ---------  ------------------------------ ------------
10.20.8.10                   true  Currently Selected Server            21.552

Node: netapp_02
Server                  Reachable  Selection State                Offset (ms)
----------------------- ---------  ------------------------------ ------------
10.20.8.10                   true  Currently Selected Server             21.68
2 entries were displayed.

::*>

上記の様に「Reachable:true」となっていればNTPサーバと通信が取れている。

下記の様に「Reachable:false」となっている場合は接続が取れないか、リトライ中である。

::*> cluster time-service ntp status show

Node: netapp_01
Server                  Reachable  Selection State                Offset (ms)
----------------------- ---------  ------------------------------ ------------
10.20.8.10                  false  Server Not Responding or Too              0
                                   Distant

Node: netapp_02
Server                  Reachable  Selection State                Offset (ms)
----------------------- ---------  ------------------------------ ------------
10.20.8.10                  false  Server Not Responding or Too              0
                                   Distant
2 entries were displayed.

::*>

なお、-insオプションを付けると詳細が確認出来る。

::*> cluster time-service ntp status show -ins

                                      Node: netapp_01
NTP Server Host Name, IPv4 or IPv6 Address: 10.20.8.10
                         Server IP Address: 10.20.8.10
Is Peer Reachable and Responding to Polls?: true
         Is Peer Selected as Clock Source?: true
                 State of Server Selection: sys_peer
     Description of Server Selection State: Currently Selected Server
                      Poll Interval (secs): 64
                Time from Last Poll (secs): 9
              Offset from Server Time (ms): -16.61
                 Delay Time to Server (ms): 0.395
                 Maximum Offset Error (ms): 20.946
                    Reachability of Server: 1f
                   Stratum of Server Clock: 2
                 Reference Clock at Server: 133.243.238.163
           Reported Packet and Peer Errors: -

                                      Node: netapp_02
NTP Server Host Name, IPv4 or IPv6 Address: 10.20.8.10
                         Server IP Address: 10.20.8.10
Is Peer Reachable and Responding to Polls?: true
         Is Peer Selected as Clock Source?: true
                 State of Server Selection: sys_peer
     Description of Server Selection State: Currently Selected Server
                      Poll Interval (secs): 64
                Time from Last Poll (secs): 14
              Offset from Server Time (ms): 6.623
                 Delay Time to Server (ms): 0.398
                 Maximum Offset Error (ms): 17.906
                    Reachability of Server: 1f
                   Stratum of Server Clock: 2
                 Reference Clock at Server: 133.243.238.163
           Reported Packet and Peer Errors: -
2 entries were displayed.

::*>

“Stratum of Server Clock”と”Reference Clock at Server”の値が見えてればだいたい大丈夫でしょう。(ちなみに上記の 133.243.238.163 は ntp.nict.jp / ntp.nict.go.jp を構成するIPアドレスの1つです)

DNSの設定確認

DNSに関する設定は「vserver services name-service dns show」を実行する。

ontap98::> vserver services name-service dns show
                                                    Name
Vserver         Domains                             Servers
--------------- ----------------------------------- ----------------
ontap98         adosakana.local                   172.17.44.49
share225        adosakana.local                  172.17.44.49
share228        adosakana.local                  172.17.44.49
3 entries were displayed.

ontap98::>

Active Directoryに参加している場合は、DNSの自動更新に関する設定も重要なので「vserver services name-service dns dynamic-update show」で確認する。

ontap98::> vserver services name-service dns dynamic-update show
Vserver         Is-Enabled Use-Secure Vserver FQDN             TTL
--------------- ---------- ---------- ------------------------ -------
share225        true       false      adosakana.local    24h
share228        false      false      -                        24h
2 entries were displayed.

ontap98::>

上記例では、Storage VM:share225ではDNS自動更新を有効にしている、ということになる。

/etc/hosts ファイルに相当する固定の名前解決を行っているかは「vserver services name-service dns hosts show」で確認する。

注意が必要なのは、「NetAppのクラスタ管理」と「各Storage VM」でそれぞれ別の設定になっているということ。これを勘違いしているとうまく名前解決が実施できない。

ネットワークインタフェースとルーティングの設定も関係してくるので「network interface show」と「network route show」も確認すると良い。

DNSの動作確認

DNSサーバに接続ができているかは「vserver services name-service dns check -vserver SVM名 -ins」で確認出来る。

ontap98::> vserver services name-service dns check  -vserver ontap98 -ins

           Vserver: ontap98
       Name Server: 172.17.44.49
Name Server Status: up
    Status Details: Response time (msec): 1

ontap98::>

上記はStorageVM:ontap98 に対して確認を実施した結果となり、「Name Server status:up」で「Response time(msec)」の値があるのでDNSサーバ応答があった、ということになる。

指定したホスト名が名前解決できるかはadvancedモード/diagモードが必須となる。

コマンドは「vserver services name-service getxxbyyy getaddrinfo -vserver SVM名 -hostname 解決したいホスト名」か「vserver services name-service getxxbyyy gethostbyname -vserver SVM名 -hostname 解決したいホスト名」となる。

ontap98::> set advanced

Warning: These advanced commands are potentially dangerous; use them only when directed to do so by NetApp personnel.
Do you want to continue? {y|n}: y

ontap98::*>vserver services name-service getxxbyyy getaddrinfo -vserver ontap98 -hostname adserver
Host name: adserver
Canonical Name: adserver.adosakana.local
IPv4: 172.17.44.49


ontap98::*>

IPアドレスの逆引きは 「vserver services name-service getxxbyyy getnameinfo -vserver SVM名 -ipaddress IPアドレス」 か 「vserver services name-service getxxbyyy getnameinfo -vserver SVM名 -ipaddress IPアドレス 」 となる

ontap98::*> vserver services name-service getxxbyyy gethostbyaddr -vserver ontap98 -ipaddress 172.17.44.49
IP address: 172.17.44.49
Host name: adserver.adosakana.local


ontap98::*>

ONTAPでS3互換ストレージを提供する


ONTAP 9.7でTechnical Previewとして導入されたS3互換オブジェクトストレージ機能(【 2020年1月GA版リリース】ONTAP 9.7アップデート情報)は、ONTAP 9.8から正式提供となった(ONTAP 9でのS3のサポートについて)。

ただ、普通に提供されるライセンスコード一覧にはS3ライセンスが含まれていない(2021/11/10追記:ONTAP9.9.1で入荷した実機にはS3ライセンスも入力済みだった)

ONTAPシミュレータ9.8で提供されるライセンスにもS3ライセンスは含まれていない。

しかし、確認してみると、NetApp Supportページにある「Master License Keys」ページから「ONTAP S3」ライセンスが取得出来るらしい。

手続きを進めてみると、こんな感じでライセンスキーが表示された。

機種などが制限されていないようなので、ONTAPシミュレータ環境にライセンスを入れてみたところ、問題無く認識された。

ONTAP 9の[オブジェクトストレージのプロビジョニング]-[S3構成パワー ガイド]に従い設定を実施。

ただマニュアル上はCLIでしか設定できないような記載がされてるのだが、ONTAP 9.8 System Managerから設定ができそう

[ストレージ]-[バケット]にそれっぽい項目があったり

[ストレージ]-[Storage VM]の設定画面に「S3」が見える。

S3の設定を行ってみる。

「S3サーバ名」は、S3互換としてアクセスする場合に指定するホスト名を設定(DNS解決できるように設定しておくこと)

今回は既存のNFS/CIFS用に設定しているIPアドレス(LIF)に相乗りしてS3サービスを提供します。

作成すると、下記の表示があります。

標準で「sm_s3_user」というユーザが作成され、S3互換接続のアカウント設定で使用する「アクセスキー」と「シークレットキー」が表示されます。

シークレットキーはこの画面を閉じたら再確認する方法がなくなるので必ず記録しておきます。(失った場合はアクセスキー/シークレットキーの再発行が必要です)

これでSVMのサービス一覧でS3のステータスが有効となります。

標準で作られたsm_s3_userではなく、別のユーザを作る場合は[ストレージ]-[Storage VM]で「S3設定」を開きます

ここでユーザの追加を行います。

S3互換アクセスに使う「アクセスキー」と「シークレットキー」が表示されるので記録します。

次にユーザに権限を与えるためにグループを作成します。

ちょっと表示がわかりにくいですが、「名前」を入力したあと、「USERS」をクリックするとユーザ一覧が表示されますので、作成したユーザを選択します。

同様に「POLICIES」を選択するとポリシー一覧が表示されますので、FullAccessを選択します。

これでグループの作成が終わりました。

次に「バケット(bucket)」を作成します。[ストレージ]-[バケット]を表示します。

[追加]からバケットを作成します。なお、指定可能な最小容量は95GBです。

保存すると下記の様に一覧に表示されるようになります。

ちなみにこれを作成するとGUIの[ストレージ]-[ボリューム]には表示されない「ボリューム名:fg_oss_~」というものが追加されています。

ontap98::> volume show
Vserver   Volume       Aggregate    State      Type       Size  Available Used%
--------- ------------ ------------ ---------- ---- ---------- ---------- -----
ontap98   MDV_aud_6e2de4f0a96c4edbbf4c751a3f4626cc aggr0_ontap98_01 online RW 2GB 1.90GB  0%
ontap98   MDV_aud_b39196a1f11940519b4238a511f7c93d ontap98_01_FC_1 online RW 2GB 1.90GB  0%
ontap98-01 vol0        aggr0_ontap98_01 online RW       7.11GB     2.03GB   69%
share225  fg_oss_1635381690 -       online     RW      421.1GB    210.6GB    0%
share225  nfsshare     ontap98_01_FC_1 online  RW       5.26GB     5.00GB    0%
share225  share225_root ontap98_01_FC_1 online RW         20MB    17.50MB    7%
share225  share226_dr  ontap98_01_FC_1 online  DP        100GB   100.00GB    0%
share225  testvol      ontap98_01_FC_1 online  RW      105.3GB    99.99GB    0%
share228  share227_root ontap98_01_FC_1 online RW         20MB    17.57MB    7%
9 entries were displayed.

ontap98::>

95GBと指定しているのに400GBを取っている、とか、そのくせaggregateの空き容量は減っていないとかいろいろアレな感じではあります。

作成しただけでは先ほど作成したユーザのアクセス権限がついていないので[ストレージ]-[バケット]で作成したバケットを選択し「権限」タブで設定していきます。

[編集]ボタンをクリックすると下記の画面が開きます。

[権限]にて「追加」をクリック

初期の「ListBucket」のみだとオブジェクト一覧のみが表示出来ます。選択できるものを全て選択します。

これでバケットを保存します。

そうすると[権限]タブが下記の様になっています。

これで、S3互換アクセスが可能な状態となりました。

アクセス検証には「S3 Browser」というWindowsアプリを使用しました。

アカウント設定は下記の様に行います

Account Type: S3 Compatible Storage
REST Endpoint: Storage VMのS3設定にある「S3サーバ名」で指定したもの
Access Key ID: 作成したユーザのアクセスキー
Secret Access Key: 作成したユーザの シークレットキー
Use secure transfer (SSL/TLS)にチェックを入れる

ここまで設定したら「Advanced S3-compatible storage settings」をクリックします。

Signature versionを「Singnature V4」に設定します。(2021/10/28時点の初期値はSingnature V2でした)

これで保存するとS3 Browser上にバケットが表示され、使える様になります。

なお、S3 BrowserでSingnature V4に設定する必要がある、というのは storageexorcist「NetApp ONTAP 9.8 – S3 is GA!」の記事を見て知りました。

知ったあとに「TR-4814: S3 in ONTAP Best Practices」を見直してみたところ「Security」の項目に記載がありました。

Signature Version 4
S3 in ONTAP requires the use of Signature Version 4 (v4 signatures).
Note: Using v2 signatures result in a failure to connect. It is important to be aware of this because many client applications, including commonly used S3 browsers, use v2 signatures by default.
Configure client applications to use v4 signatures to avoid connectivity errors.

NetApp ONTAP 9.xの設定取得用TeraTermマクロ


NetApp ONTAP 9.1環境から9.8環境に移行する案件があったので、現状の設定とステータスをだいたい取れるようなTera Termマクロを作ったので公開

githubにも置いた https://github.com/osakanataro/get-ontap-config


sendln 'rows 0'
wait '::> '
sendln 'date'
wait '::> '


;基本設定系
;システム構成
sendln 'vserver show'
wait '::> '

sendln 'vserver show -ins'
wait '::> '
sendln 'system node show'
wait '::> '
sendln 'system node show -ins'
wait '::> '
sendln 'options'
wait '::> '
sendln 'system license show'
wait '::> '
sendln 'system license show -ins'
wait '::> '
sendln 'system snmp show'
wait '::> '
sendln 'system node autosupport show'
wait '::> '
sendln 'system node autosupport show -ins'
wait '::> '
sendln 'system node autosupport history show'
wait '::> '
sendln 'cluster time-service ntp server show'
wait '::> '
sendln 'timezone'
wait '::> '
sendln 'system service-processor show'
wait '::> '
sendln 'system service-processor network show'
wait '::> '

;ネットワーク関連	
sendln 'network interface show'
wait '::> '
sendln 'network interface show -ins'
wait '::> '
sendln 'network interface show -failover'
wait '::> '
sendln 'network interface failover-groups show'
wait '::> '

sendln 'network port show'
wait '::> '
sendln 'network port show -ins'
wait '::> '
sendln 'network port ifgrp show'
wait '::> '
sendln 'network port ifgrp show -ins'
wait '::> '

sendln 'network ipspace show'
wait '::> '
sendln 'network port broadcast-domain show'
wait '::> '



sendln 'vserver services name-service ns-switch show'
wait '::> '
sendln 'vserver services name-service dns hosts show'
wait '::> '
sendln 'vserver services name-service dns hosts show -ins'
wait '::> '
sendln 'security login show'
wait '::> '
sendln 'security login show -ins'
wait '::> '

;名前解決関連	
sendln 'vserver services name-service dns show'
wait '::> '
sendln 'vserver services name-service nis-domain show'
wait '::> '

;ディスク構成	
sendln 'storage disk show'
wait '::> '
sendln 'storage disk show -ins'
wait '::> '
sendln 'storage disk show -partition-ownership'
wait '::> '

sendln 'df'
wait '::> '
sendln 'df -h'
wait '::> '
sendln 'df -A -h'
wait '::> '
sendln 'df -i'
wait '::> '

sendln 'storage aggregate show'
wait '::> '
sendln 'storage aggregate show -ins'
wait '::> '
sendln 'storage aggregate show-spare-disks'
wait '::> '

sendln 'volume show'
wait '::> '
sendln 'volume show -ins'
wait '::> '
sendln 'volume language'
wait '::> '
sendln 'volume show -fields junction-path,snapshot-policy,policy'
wait '::> '

sendln 'volume efficiency show'
wait '::> '
sendln 'volume efficiency policy show'
wait '::> '


;ファイル共有(NFS/CIFS)	
sendln 'vserver cifs show'
wait '::> '
sendln 'vserver cifs show -ins'
wait '::> '
sendln 'vserver cifs share show'
wait '::> '
sendln 'vserver cifs share show -ins'
wait '::> '
sendln 'vserver cifs share access-control show'
wait '::> '
sendln 'vserver cifs share access-control show -ins'
wait '::> '
sendln 'vserver nfs show'
wait '::> '
sendln 'vserver nfs show -ins'
wait '::> '
sendln 'vserver export-policy show'
wait '::> '
sendln 'vserver export-policy show -ins'
wait '::> '
sendln 'vserver export-policy rule show'
wait '::> '
sendln 'vserver export-policy rule show -ins'
wait '::> '
sendln 'volume qtree show'
wait '::> '
sendln 'volume qtree show -ins'
wait '::> '
sendln 'volume quota show'
wait '::> '
sendln 'volume quota show -ins'
wait '::> '
sendln 'volume quota policy show'
wait '::> '
sendln 'volume quota policy show -ins'
wait '::> '
sendln 'volume quota policy rule show'
wait '::> '
sendln 'volume quota policy rule show -ins'
wait '::> '
sendln 'volume quota report'
wait '::> '

;Snapshot運用	
sendln 'volume snapshot show'
wait '::> '
sendln 'volume snapshot policy show'
wait '::> '
sendln 'volume snapshot autodelete show'
wait '::> '
sendln 'volume show -fields snapshot-policy,policy'
wait '::> '
sendln 'volume show -fields percent-snapshot-space'
wait '::> '
sendln 'volume show -fields sched-snap-name'
wait '::> '

;Snapmirror	
sendln 'snapmirror show'
wait '::> '
sendln 'snapmirror show -ins'
wait '::> '
sendln 'snapmirror show-history'
wait '::> '
sendln 'snapmirror show-history -ins'
wait '::> '

;ストレージ間通信	
sendln 'storage shelf show'
wait '::> '
sendln 'storage shelf acp show'
wait '::> '

;クラスタ設定	
sendln 'cluster show'
wait '::> '
sendln 'cluster show -ins'
wait '::> '
sendln 'cluster peer show'
wait '::> '

sendln 'vserver peer show'
wait '::> '
sendln 'vserver peer show -ins'
wait '::> '