ブラジル地デジ向けUSBチューナー S870をLinuxにさしてみた(まだ見えてないけど

まだちゃんと映すことに成功してないけど、まずは途中経過を報告

Geniatechのブラジル地デジ向けUSBチューナー S870は、Ubuntu 11.11上で標準認識します。

[264337.556054] usb 1-7: new high speed USB device number 6 using ehci_hcd
[264338.094256] IR NEC protocol handler initialized
[264338.136231] dib0700: loaded with support for 20 different device-types
[264338.136545] dvb-usb: found a 'DiBcom STK8096GP reference design' in cold state, will try to load a firmware
[264338.137418] IR RC5(x) protocol handler initialized
[264338.156529] dvb-usb: downloading firmware from file 'dvb-usb-dib0700-1.20.fw'
[264338.163256] IR RC6 protocol handler initialized
[264338.174979] IR JVC protocol handler initialized
[264338.182736] IR Sony protocol handler initialized
[264338.195517] lirc_dev: IR Remote Control driver registered, major 250 
[264338.199866] IR LIRC bridge handler initialized
[264338.388201] dib0700: firmware started successfully.
[264338.892193] dvb-usb: found a 'DiBcom STK8096GP reference design' in warm state.
[264338.894738] dvb-usb: will pass the complete MPEG2 transport stream to the software demuxer.
[264338.894946] DVB: registering new adapter (DiBcom STK8096GP reference design)
[264339.144686] DVB: registering adapter 0 frontend 0 (DiBcom 8000 ISDB-T)...
[264339.369706] DiB0090: successfully identified
[264339.408028] Registered IR keymap rc-dib0700-rc5
[264339.412407] input: IR-receiver inside an USB DVB receiver as /devices/pci0000:00/0000:00:13.5/usb1/1-7/rc/rc0/input7
[264339.413031] rc0: IR-receiver inside an USB DVB receiver as /devices/pci0000:00/0000:00:13.5/usb1/1-7/rc/rc0
[264339.413227] dvb-usb: schedule remote query interval to 50 msecs.
[264339.413236] dvb-usb: DiBcom STK8096GP reference design successfully initialized and connected.
[264339.413407] usbcore: registered new interface driver dvb_usb_dib0700

えぇ、このチューナー、「IR Remote Control driver registered」と出ている通り、赤外線リモコン対応です。

# ls -l /dev/dvb/
合計 0
drwxr-xr-x 2 root root 120 2012-05-17 10:24 adapter0
# ls -l /dev/dvb/adapter0/
合計 0
crw-rw----+ 1 root video 212, 0 2012-05-17 10:24 demux0
crw-rw----+ 1 root video 212, 1 2012-05-17 10:24 dvr0
crw-rw----+ 1 root video 212, 3 2012-05-17 10:24 frontend0
crw-rw----+ 1 root video 212, 2 2012-05-17 10:24 net0
# lsusb | grep DiB
Bus 001 Device 006: ID 10b8:1fa0 DiBcom 
# lsmod|grep dib
rc_dib0700_rc5         12460  0 
dvb_usb_dib0700        80531  0 
dib7000p               34073  1 dvb_usb_dib0700
dib0090                32688  2 dvb_usb_dib0700
dib7000m               22965  1 dvb_usb_dib0700
dib0070                18150  1 dvb_usb_dib0700
dvb_usb                23788  1 dvb_usb_dib0700
dib8000                42094  2 dvb_usb_dib0700
dvb_core               94826  3 dib7000p,dvb_usb,dib8000
dib3000mc              22920  1 dvb_usb_dib0700
rc_core                25797  10 rc_dib0700_rc5,ir_lirc_codec,ir_sony_decoder,ir_jvc_decoder,ir_rc6_decoder,ir_rc5_decoder,dvb_usb_dib0700,dvb_usb,ir_nec_decoder
dibx000_common         18418  5 dvb_usb_dib0700,dib7000p,dib7000m,dib8000,dib3000mc
# 

ブラジル地デジでの使用例を探してみると、アプリはvlc,xine,me-tvなどが使えるようです。
ただ、いまのところ、チャンネル検出までは成功していますが、実際の表示は成功してません。

まだまだ調査中といったところです。
とりあえず、DVB-Tとして動作するような雰囲気です。

ブラジル地デジ向けUSBチューナー S870を買ってみた

日本の地デジ ISDB-Tのver2.0みたいな感じの、ブラジルなどの海外向け地デジ ISDB-T (もしくはSBTVDとも言われる)で、日本の地デジを受信してみたらどうなるんだろうなぁ、と疑問に思っていたので、実際に入手して確認してみた。

まず、仕様的な違いで、いくつか細かいところがあるけれど、大きく見える点としては、以下の部分。
・日本 地デジ フルセグ 動画 MPEG2 + B-CASによるアクセスコントロール
・日本 地デジ ワンセグ 動画 H.264 (B-CASは使わない)
・ブラジル 地デジ フルセグ 動画 H.264 (B-CASは使わない)
・ブラジル 地デジ ワンセグ 動画 H.264 (B-CASは使わない)

そんなわけで、日本の地デジは見れないけど、ワンセグは見れるんじゃないかなぁ、というのが事前の予測。

それはさておき、ebayでチューナーを入手。
ものがGiniatech もしくは MyGicaのS870というUSBチューナー
 メーカーの製品ページ:「S870

発注から約1週間で到着。


メーカページの写真とUSBチューナーの見た目がちょっと違う。

とりあえず、Windows7機にて導入。
再生ソフトは、ArcSoftのTotalMedia Theatre 3.5。インタフェース表示は日本語も対応。

ただし、周波数スキャンをしてチャンネル検出した時に出てくるチャンネル名は文字化ける。

文字化けしたものを手動で修正することは可能。

で・・・肝心の動作ですが・・・

「ワンセグ可」

「地デジ(フルセグ)不可」

まぁ、予想通りの結果でした。

とりあえず、いろいろ試してみてるところです。

Windows Server 2012とInfinibandによる高速転送について

Interrop 2012でマイクロソフトがWindows Server 2012 Betaを使ったデモンストレーションを展示しているらしい。
Microsoftのtechnet blogのJose’s Briefings, Diagrams and Annotationsより「Windows Server 2012 Beta with SMB 3.0 – Demo at Interop shows SMB Direct at 5.8 Gbytes/sec over Mellanox ConnectX-3 network adapters

内容は、SMB3.0を使用したネットワーク越しでの高速転送技術について。

SMBサーバ側はFusionIO ioDrive2(単独で1.5Gbytes/sec)を4枚並べてストライプ。
そこに、高速ネットワークを使って別のサーバからアクセスして、どれくらいの速度がでるか、というもの。

上記の様な状態で、IO benchmarkを測定すると、以下の様な感じとなる。

テスト内容 サーバ ローカル 10Gbps Ethernet 32Gbps Infiniband 54Gbps Infiniband
512KB IO/8スレッド/8 outstanding
バンド幅 5808MB/sec 1129MB/sec 3754MB/sec 5792MB/sec
IOPS(512KB/sec IOs/sec 11616 IOPS 2259 IOPS 3754 IOPS 11565 IOPS
CPU負荷 ~6.6% ~9.8% ~3.5% ~4.8%
8KB IO/16スレッド/16 outstanding
バンド幅 5103MB/sec 571MB/sec 2620MB/sec 2683MB/sec
IOPS(512KB/sec IOs/sec 525225 IOPS 73160 IOPS 335446 IOPS 343388 IOPS
CPU負荷 ~90.4% ~21.0%
(転送できてないので暇)
~85.9% ~84.7%

( 検証環境の構築手順: Deploying Windows Server 2012 Beta with SMB Direct (SMB over RDMA) and the Mellanox ConnectX-2/ConnectX-3 using InfiniBand – Step by Step )

ま、単純に10Gbps < 32Gbps < 54Gbpsの差、と見ることもできるけど、 512KB IO時のCPU負荷が10Gbpsより低い、というのは、注目ポイントかもしれない。 なぜ、その様なことが発生するのか? それは、Infinibandを使用するSMB 3.0では、RDMAという技術を利用しているから、である。 RDMAは「Remote Direct Memory Access Protocol」の略で、Infiniband環境下では当たり前のように使用されている技術である。 参考文献1:SMB Advanced Networking for Fault Tolerance and Performance
これの5ページ~10ページに詳細が書かれているが、ようはプロトコルオーバーヘッドが少ないから、ということになるのだが、ちょっとここの説明だと理解しづらい。

参考文献2:SMB 2.2. over RDMA

参考文献2を見ると、SMB over RDMA自体はSMB 2.2からサポートしているらしい。
RDMAがなぜ早いのか?という仕組みの説明としてはこちらの19ページと20ページの図がわかりやすい。
実際のデータ転送部分に関しては、直接サーバ上のメモリを参照してもらう、ということで、高速化を図っている、という感じである。

SMB3.0での改善点は他にもあり、上記の参考文献1の11ページ~18ページでは、「SMB Multichannel」という技術の話がされている。
これは、高速転送時、いままでのSMB実装では、1つの転送に対して使用できるCPU coreは1つしかなかったので、CPU coreが頭打ちになると、それ以上は帯域や他のCPU coreが空いていてもそれ以上は早くならない、という問題がある。(参考文献1 13ページ)
それを複数のCPU coreで処理を担当できるようにする、というのがSMB Multichannel。
SMB Multichannelにより複数NICを使った場合の分散処理もかなり改善される。

(訂正: 参考文献3 SMB 2.2: Bigger, Faster, Scalier (Part 1)を見るとSMB 2.2からあるようだ)

参考文献4 The basics of SMB Multichannel, a feature of Windows Server 2012 and SMB 3.0
という記事があがり、Multichannelとかの機能について解説されている。

JUSTインターネットセキュリティのパターンファイルが更新されない

先日インストールしたJUSTインターネットセキュリティ
予備機と化しているノートパソコンにインストールしてみただけなので、インストール以後、全然起動していませんでした。

で、しばらくぶりに起動してみると・・・起動後30分経過しても、まだパターンファイル未更新状態のまま。

で、40分目。
非常に邪魔な広告が登場。
1024×600の画面だと↓な感じで表示されます。

そんなことがあったのが2月26日。(インストールは2月16日)
今日、2月28日、2日ぶりに起動してみた。
すると今度は5分程度で更新された。

いったい、どういう違いで、こんな時間差が生まれるのか、不明。

しかし、セキュリティセンターは「最新の状態ではありません」のまま。

手動でパターンファイルを更新してみても、そのまま。
またも再起動しないと警告が消えない、という状態。

だいじょぶか、これ。

いまさらqmailのパッチ情報収集 2012/02/17

新しい情報があったので「qmailの情報収集 2019/08/26」で更新しました。
なお、うちはqmail+vpopmailからpostfix+iredmailに移行しました。


実はqmail+vpopmail環境をまだ運用していたりする。
久々に使っているパッチを見直してみているところ。

netqmail-1.06_qregex_spf_auth_badremote-patch
うちで使ってるqmailのパッチ集。

netqmail-qregex-20040601-vrt.patch
qmail-1.03-concurrencydomain.patch
qmail-103-dns.patch
qmail-badremotehost.patch
qmail-date-localtime.patch
qmail-spf-rc5.patch

上記のうち、netqmail-qregex-20040601-vrt.patchは以下のパッチから構成されている。

smtpd-auth
qrefex-20040601
validrcptto

で、この環境に当たってるパッチを最新の状況に合わせようかな、と思って調査開始。

qmail-1.03 & Netqmail-1.06 / DomainKeys Integration Howto v20081001.02
DomainKeysに対応させるための手順

qmail-isp
上記ページの作者が公開しているqmail-1.03に対するいろんな修正パッチ集
最新は 2010062801版。
netqmail-1.06と同等のパッチも含まれている。
このパッチ集には qmail-dkは含まれない。

qmail-1.03.errno.patch   (netqmail-1.0.6同等)
qmail-local-sjoelund.patch  (netqmail-1.0.6同等)
qmail-1.03-0.0.0.0-0.2.patch  (netqmail-1.0.6同等)
qmailqueue-patch  (netqmail-1.0.6同等)
qmail-sendmail-flagf.patch  (netqmail-1.0.6同等)
qmail-isoc.patch  (netqmail-1.0.6同等)
qmail-bounce.patch
oversize-dns.patch
qmail-1.03-maildir-uniq.patch
doublebounce-trim.patch
qmail-smtpd-relay-reject
patch-qmail-1.03-rfc2821.diff
qmail-smtpd.c.size.diff
nullenvsender-recipcount.patch 1.5 with Sami Farin fix
netscape-progress.patch
outgoingip.patch
tarpit.patch
qmail-smtpd-maxrecipients.patch
ext_todo-20030105.patch (silly qmail syndrome)
qmail-smtpd-auth-0.4.3
qmail-1.03-mfcheck.4jk.patch
qmail-smtpd-chkusr-1.0.patch (with several customizations)
qmail-spf-rc5.patch
qregex-20060423.patch
qmail-1.03.originip-field.patch

内容を比較したところ、うちで使っているnetqmail-1.06_qregex_spf_auth_badremote-patchよりqregexのバージョンが新しかった(20040601→20060423)。
qmail-todoというプログラムを追加するパッチが含まれているようだが、とりあえず、それはスルー。

qmail 1.03 all in one (aio) patch version 16 [2008-08-11]
いろいろ含んでいる修正パッチ集 qmail-aio
glaylistとか、遅延応答とかをサポートしているようなので気になるところ。
ただし、2012/02/17現在、パッチ本体がダウンロードできないため、細かいパッチ情報が不明。

HDE Controller
以前、HDE Controller 6.0評価版を入手したところ、qmailを使用していた。
qmail-1.03-34HDE.src.rpm

auto_uids.c                           qmail-default-delivery
badrcptto.patch                       qmail-dk.patch
brand.c                               qmail-linux.csh
ctype.c                               qmail-linux.sh
dot-forward-0.71.tar.gz               qmail-maildir++.patch.fixed
fastforward-0.51.tar.gz               qmail-maildir.patch
patch-qmail-1.03-rfc2821.diff         qmail-smtpd-auth-0.30-iwm.patch
qmail-1.03-linux.init                 qmail-smtpd-auth-0.31-smtpauth.patch
qmail-1.03-message_id.patch           qmail-smtpd-auth-0.31.tar.gz
qmail-1.03.errno.other-program.patch  qmail-smtpd-auth-degrade.patch
qmail-1.03.errno.patch                qmail-smtpd-newline.patch
qmail-1.03.ids.patch                  qmail-smtpd-relay-reject
qmail-1.03.install.patch              qmail-smtpd.init
qmail-1.03.tar.gz                     qmail-smtpd.init.pl
qmail-103-bigdns.patch                qmail-smtpd.init.sub
qmail-aliases                         qmail-spf.patch
qmail-date-localtime.patch            qmail.spec
qmail-default                         qmailqueue-patch

基本、他のパッチで見たことあるやつばかりだった。
qmail-dk.patchもqmail-dk-0.54-auth.patch同等品のようだ。

・玉川大学ICT基盤推進課 DKIM運用情報
qmail-1.03.tar.gz + spamcontrol-216_tgz.binをベースに、DKIM運用を行っている。
IndiMailで配布しているdkimパッチを使用している。

IndiMailnetqmailパッチ群
玉川大のサイトに情報があったので調べてみて発見。
IndiMail自体はメール統合システム。雰囲気としてはqmail-ispと同じような機能を持っていそう。
単独では、qmail-dkim, qmail-greydが利用できそう。
2011/07に更新があったりするので、まだメンテナンスされているようだ。

・Brandon’s Blog: DKIM and DomainKeys for qmail
DomainKeysとDKIMの両方に対応するパッチ。2009年リリース。
qmailタグを見ると、いろんなパッチを作成している。

qmail Combined Patch Details
パッチ集。2010/02/14リリース。
vpopmail環境でDovecotを使えるらしい
その場合の動作概念図(pdf)。
他の人も手順を書いていたりする。Dovecot IMAP Server and Daemontools

Dovecot側を調べてみるとAuthDatabase-VPopMailという情報が出てくる。

現状、courier-imap/pop3を使っているが、最新バージョンではvpopmail環境に対応していないので、乗り換えを検討してもようかと考え中。

とりあえず、そんな状況

— 2012/06/06 追加 —
・fehcomのSPAMCONTROL
玉川大学で使ってる「spamcontrol」部分のこと
netqmailに対するパッチではなく、オリジナルのqmail-1.03に対するパッチとしている。
ESMTP、badmailfrom,badrcptto,
SMTP auth, SMTPS/STARTTLS
QMAILQUEUEに対応らしい

— 2019/08/26 追加 —

notqmail

すっかり更新が止まってしまったnetqmailをもう一度やり直してる感じのもの。

netqmailがv1.0.6だったので、このnotqmail はv1.0.7を名乗っている。