nDiki : プロトコル

[ Linux ] SSH remote port forwarding

Web カメラ*1の画像ファイルとか、ノート PC から cron で定期的にサーバへ送信している。しかしPUSHじゃなくてPULLも活用したい。

それから Web サーバはホスティングサーバなのであまりヘビーな事はできないし、ツールのビルドに必要なライブラリとかを一般ユーザで用意するのもいろいろ面倒ということで、一部の処理は手元のホストでやらせてもいいかなと。

だいたいいつもIPマスカレード下にいるので、トンネルを用意しないと。 SSHがやはりお手軽かな。 例えば、

 ssh -R XXXX:127.0.0.1:80 www.naney.org

しておけば www.naney.org 上からそのホストに

 wget http://localhost:XXXX/service.cgi?foo=1234

などとしてPULLできるようになる。 ...はずだがうまくいかないや。何故?

プライベートネットワーク同士ではうまくいったので「ルータがらみ?」かと思ったが、別の外部ホストに対して実験してみたところそっちではうまくいったので、そうでもない様子。

でいろいろチェックしてみたところ www.naney.org で

 Feb  2 12:08:41 yyyy sshd[61628]: error: Hm, dispatch protocol error: type 80 plen 33

とエラー吐いてた。 もしやと思って ssh 実行時に -1 したら成功。 通常の SSH接続だと ssh -2 でもつながるし、LocalForward でもプロトコル2でつながっているんだけどなぁ。

そういえば ssh -4 は 'Use IPv4 only.' (OpenSSH_3.6.1p2)。 'Force protocol version 4' が必要な時代がきたらどうするのかな?

[ WiKicker ] キャッシュまわりにバグ

Memcached まわりをいじったので、キャッシュ具合をテストしていたら変な現象が。 WikiPage が表示されるべきところに、検索結果が表示されている。 あれ?

ページの内容が表示されるところに検索結果が

WiKicker では WikiPage のレンダリング結果も検索結果もキャッシュしているが、それぞれ別のキャッシュキーになるようにしている (WiKickerのバージョンを $V とすると、'$V:h:ページ名' と '$V:s:検索語')ので混ざるはずがないんだけれどな。 キャッシュしているデータの形式も違うし。

最初は Memcached まわりのアップデートで不具合がでたのかと思ったが、戻しても変わらない。ということは、ずっと以前からこの問題が発生していたのか。 やば。 設定でニックネームを設定している(cookie に保存している)と、その Web ブラウザに対してはキャッシュ機能が働かないようになっているので発見が遅れてしまった。

で結局コードをチェックしてみたら「WikiPage 表示と検索結果表示の View クラスを同じにしていたため、検索結果のレンダリングが WikiPage レンダリング結果と同じ領域にキャッシュされる」という風になってしまっていた。 ということで誰かがページ名で検索するとそれがキャッシュされてしまい、ページを読もうとしてもキャッシュ破棄されるまで検索結果が表示されてしまうというひどい状況になっていたと。

修正。

キャッシュキーのバグ

Memcached の出力をチェックしていたら、たまにエラーが起きていることを確認。 Memcached のプロトコルをチェックしたら、キーには制御文字と空白は使えないとある。 Cache::Memcached を見たらキーはそのまま through するだけ。 ということでページ名に空白が含まれている場合などの時には、まずい事になっていたようだ。 こちらは、キーを自前でエンコーディング(ページデータベースファイル名の作成に使っている base64 の亜種)するように修正。

今日のさえずり: 愛をたくさん入れるの

2011年09月01日

• 07:09 今日はしっとり感がすごい。台風の影響か。 mixiページ http://t.co/oxNbl4t
• 09:14 RT @otsune: 素のFTPはセキュアさはまったく配慮しないで割り切って使うプロトコルだったはずなのに、なぜかWebサイトコンテンツ更新のためにパスワードを下請けに教えあったりとか危ない使われ方されちゃってるから駆逐されたほうが良いよね。
• 09:26 セール中のおにぎりなど 302円。 (@ セブンイレブン 渋谷3丁目六本木通り店) http://t.co/f6NGrAy
• 09:41 さて9月。ちょっぴり心機一転。 mixiページ http://t.co/coxETxz
• 12:58 mixiページのつぶやき → Twitter → ボイス。 mixiページ http://t.co/v8sSSDx
• 13:15 mixiページの新着情報から Twitter に転送した時の Tweet 見て Wassr を思い出していたんだけれど、いやそれログピだった。 mixiページ http://t.co/hKqpzpo
• 13:41 なんか、妙にオフィスが静寂で怖い。 mixiページ http://t.co/PCfXDK7
• 13:54 Perl で検索。 http://t.co/YtnMAaQ mixiページ http://t.co/WNj73eK
• 18:24 RT @RisucoMorino: 「転職戦略、はじめましょうか！」
• 18:34 ファミマ自販機ワッフル 100円。 mixiページ http://t.co/70Uv5i3
• 20:03 むむ、コードを書こうと思ったらもう 20:00 なのか。 mixiページ http://t.co/ozsLgBz
• 21:04 @as_tone あ、7 になったんだ。
• 21:19 退勤。ちょっとムンムンする。ちょっと雨。 mixiページ http://t.co/rNKKtd0
• 23:27 かなり久しぶりに「マグノリアの花たち」観た(後半だけだけど)。やはりこの映画は女の人のための映画。 mixiページ http://t.co/U4Rkboa
• 23:48 ちなみに観るまで、「愛をたくさん入れるの」の「赤い薔薇ソースの伝説」とちょっと記憶がごっちゃになってた。 mixiページ http://t.co/st7hFhm

• マグノリアの花たち

POP3 しか提供されてないので hMailServer で Windows にローカル IMAP サーバ立てた

デスクトップ Windows PC 上でメールを送受信している時は社内で POP3 しか提供されていなくても問題なかったんだけれどノート PC をあわせて使うようになったら、こちらでメール閲覧できなくてちょっと不便してた。 POP3 サーバ上に数日残すようにしておいて両方の端末で受信するというありがちなやり方はイケてないのでローカルに IMAP サーバ立てることにした。

今回は母艦が Windows デスクトップ PC なので Windows 用の IMAP サーバからセレクト。

選んだのは hMailServer。

• http://www.hmailserver.com/

バージョン 4 までは GPL、バージョン 5 以降はオープンソースではなくなったが free product として提供されている。

POP3 サーバからメールを POP してきてローカルのデータベースに保存し IMAP4 プロトコルでのアクセスを提供してくれるサービスとして動いてくれる。SMTP サーバ機能も持っている。データストアとしては MySQL や PostgreSQL なども選択できるが、パーソナルユースなら embedded されている Microsoft SQL Server が使えるので手間いらずである。

実際使ってみたけれど GUI ベースで特に迷うことなく設定ができ、すぐに使い始めることができた。メール関係のサーバを Linux とかで立てる時は結構神経が磨り減るものだがストレスセットアップできた。ローカルにあった MH 形式のメールを数万通 Sylpheed で IMAP 経由でつっこんだけど今のところ順調。いい感じ。

導入手順ノート

1. 【インストールする】
   1. hMailServer-5.3.3-B1879.exe をダウンロードする。
   2. ダウンロードしたファイルを実行しインストールを行う。
      1. 途中 Administrator のためのパスワード設定を要求されるるので、決めて入力する。
2. 【ドメインを設定する】
   1. hMailServer Administrator が起動し Connect ダイアログが開くので localhost を選択して [Connect] ボタンを押す。
   2. Welcome の [Add domain] からドメインを追加する。パーソナルユースでメールボックス的に使う分には SMTP で受信する必要が無いので正式なドメイン名である必要無し。ただし '.' が含まれている必要がある。[General]-[Domain] にドメイン名を入力し [Enabled] をチェック。
3. 【アカウントを作成する】
   1. ドメインを追加すると hMailServer Adiministrator の左側のペインのツリーにそのドメインのノードが表示される。そのノードの下の Accounts を選択して [Add] を押し自分用のアカウントを追加する。
      1. [General]-[Address] にアカウント名を設定する。「アカウント名@ドメイン名」が IMAP 接続する時の ID になる。
      2. [General]-[Password] にパスワードを設定する。IMAP 接続する時のパスワードになる。
      3. [General]-[Enabled] をチェックする。
      4. [External accounts] で [Add] を押し、POP3 受信設定する。実際にメールが届いているサーバからの受信設定をここにする。取得間隔は5分とか適宜設定する。
4. 【IMAP を有効にする。】
   1. [Settings]-[Protocols] で IMAP がチェックされていることを確認する。

これで OK。

あとは同じホスト上の MUA からは IMAP サーバとして localhost を指定して設定した ID とパスワードで受信設定を行えば OK。 送信については hMailServer を通さずに普通に送信するように設定し、送信したメールを IMAP 上の Sent フォルダ等に保存するようにしておく。

別のノート PC 等の MUA からは IMAP サーバとして hMailServer を立てている Windows PC のホスト名(等接続できる名前)を指定して同様に設定。

これで hMailServer が定期的にメールを POP3 にて受信してくれるので、あとは各 MUA から hMailServer に接続してメールを読めばよい。IMAP なので既読管理やフォルダ管理なども一元的にできる。

その他 hMailServer にはルールを設定して IMAP フォルダ振り分けしたり、迷惑メールフィルタやウイルスフィルタ設定したりできるので、必要なら設定するとよさそげ。

YAPC::Asia Tokyo 2013 1日目

YAPC::Asia Tokyo 2013 オープニング(941 @941 氏 藤原洋記念ホール)

いよいよ YAPC::Asia Tokyo 2013 スタート!

今回は席に電源があるので安心してノート PC・スマートフォンを使えるので嬉しい。 Wi-Fi がつながっても DHCP で アドレスがもらえなくて通信できなかったりすることがあるのでちょっと注意。いったいどれだけ接続してるんでしょうね。これだけ geek の集まる会場で Wi-Fi 環境整えるの相当ノウハウがいるのだろうなあ。

Postcards from the Edge: The State of Perl 5 Development (Ricardo Signes @rjbs 氏 藤原洋記念ホール)

Perl の今後の機能追加・変更(experimental features)についての話。まだまだ Perl 5 は Perl 5 のまま変わっていくと。便利になったり直観に反するものが減ったりとか良くなっていく。シンタックス/セマンティクスがさらに肥大化していくのは初学者にはちょっと厳しくなるのな。

この話につきものの互換性の話もあった。去年のスピーカーは互換性を大事にするという話だったけれど、今回は互換性を恐れずに改良していくというニュアンスに感じられた(聞き間違えでなければ)。個人的には Perl は古いスクリプトがそのまま動くのがとてもいいと思っているので、そのあたりも引き続き大事にされると嬉しいな。

PSGI/Plack・Monocerosで学ぶハイパフォーマンスWebアプリケーションサーバの作り方 (Masahiro Nagano @kazeburo 氏 藤原洋記念ホール)

LINE株式会社では mod_perl から PSGI/Plack にほぼ移行済みとのこと。Starlet を使っている。

今回はリバースプロキシとアプリケーションサーバ間の大量のリクエストを捌くために Monoceros を開発しているというお話。あと PSGI/Plack の基本概念の解説もあって嬉しい。 Perl で書かれた HTTP サーバがハイパフォーマンス出せるなんて、昔は自分は考えもしなかった。

PSGI/Plack のサーバを書く人必見な、中身の濃いトークでした。

Perl and Riak - 分散データストア Riak を Perl から "爆速" で使うために - (Tatsuro Hisamori @myfinder 氏 藤原洋記念ホール)

RTB システムに Riak を使ってみたというトーク。良い Perl モジュールが無いので作ったとのこと。

大規模Perl初心者研修を支える技術 (Daisuke Tamada @tamaclaw 氏 藤原洋記念ホール)

DeNA の Perl エンジニア初心者研修プロジェクトについて。Class::Data::Inheritable がコードリーディング教材とし良いらしい。

SPDY、HTTP/2.0の使い方 (takesako @takesako 氏 藤原洋記念ホール)

高速化されたプロトコルの話かなと思っていたけれど、ドヤリングから暗号化という導入で引き込んでいく手慣れたトーク。本格的に使われ始めるのは来年以降?

昼休み

たまにお名前が話題にあがることのあった @bonar 氏と初対面のご挨拶をさせていただきました。今後ともよろしくお願いします。

Perl 談議 (@lapis25 氏 タリーズコーヒー 慶應日吉店)

社内の Perl 技術動向について談議。最近は解き放たれてきたねとか。

僕の考えたFuture Perl (Tokuhiro Matsuno @tokuhirom 氏 藤原洋記念ホール)

Perl 6 の話など。

Build Your Own Exobrain (Paul Fenwick @pjf 氏 藤原洋記念ホール)

Google 翻訳を使ったキュートなスライド(ほとんど聞いてなかった)。

Lightning Talks Day 1 (藤原洋記念ホール)

@kazuho 氏の prove のトークで始まって、最後日本人による中国語(のような違うような)でのトークでシメ。

YAPC::Asia Tokyo 2013 懇親会 (イベントホール)

乾杯。

1日目その他

多目的教室3は常に人気で入ろうとしたけど1度も入れなかった。部屋遠しが近いので人気なトークがあるとさっと集るのかもね。

そういえば今年の T シャツ、背中に pixiv って大きく書かれていて着用できないものだということに気がついた。残念。 ピクシブが T シャツスポンサーだからなのかな。スポンサーのおかげで運営ができたりチケット代が抑えられたりできていると思うので素晴しいと思うのだけれど T シャツについては有無でチケット代が違うので、大きく広告が載りますよってチケット発売時に明記してくれるといいと思う(自分は先行販売で買ったので T シャツの有無は選べないから関係なかったけど)。

パスワードを使い回す人が悪なのか

まずもって、パスワードリストを流通・取引している人、それらを使って不正ログイン・不正アクセスを行う人が悪である。

またIDとパスワードを流出させてしまった事業者や、安全ではないプロトコルでパスワードを流すようなサービスを提供している事業者にも責任がある。

そういった状況の中で、不正ログイン・不正アクセスされる可能性/被害を最小限にするためには、パスワード認証を採用しているサービス毎に複雑で十分な長さの異なるパスワードを使うようにしていくのが各利用者にとって良い対策であるという話であり、そして事業者側も継続的にそうしていただくことをお願いしているというわけである。

「ユーザーがパスワードを使い回しているのが悪い! 変えろ!」という感情であったりはまったく無い。

複雑なパスワードを個別に作って管理するというのはそもそもかなり面倒くさい(当然やっているけれど)。ある一定数以上になったらパスワード管理ツールは必須だし、しかし(一般の人には)どれが良いパスワード管理ツールなのかというのはなかなかわかりにくいし、パスワード管理ツールを使ったら使ったでデータファイルのバックアップやデバイス間の同期をどうするかなども考える必要がでてくるし面倒くさい。

「パスワードをサービス毎に変えてください」というお願いだけでは、ユーザーの方はそうはいってもどうすればいいかわからないし、面倒くさいで終わってしまいやすい。どうしていくのがいいかもきちんと説明していった方がいいのだと思う(そしてもちろん各種不正ログイン・不正アクセスの対策を進めたり、より良い認証方法を検討・導入したりしていく)。

• 自分が使っているパスワード管理ツール
  • KeePass ファミリ
• 安全なパスワードの作り方
  • matsutakegohan1's blog サービスごとに異なる安全なパスワードの作り方(修正)
  • matsutakegohan1's blog ブルース・シュナイアーさんの安全なパスワード文字列の作り方

今年の「花輪ばやしLive中継」は Flowplayer

今年も花輪ばやしの季節。少し早めに退勤して帰宅して、例年通り家で駅前の中継を観賞。町踊りの時はカッパを着ている人がいて雨が降っている感じだった。屋台が入ってくる頃には止んでいたのかな。

昨年は中継が Windows Media から Ustream になったんだけれど、今年はまた変わって Flowplayer になった。下に中継タイトルが表示されっぱなしなのがちょっと邪魔なのだけれど、それ以外はまずまず。プロトコルは RTMP かな。

Ustream の方が iPad 2 などでも気軽に見られて個人的にはいいなぁと思う。

• http://hanawabayashi.jp/

ミッション:インポッシブル/ローグ・ネイション【映画鑑賞】

Google Play ムービー& TV で無料レンタル特典が1本残っていたので「ミッション:インポッシブル/ローグ・ネイション」を鑑賞しました。順番に全部観ていると思ってましたが、2011年に公開された4作目の「ミッション:インポッシブル/ゴースト・プロトコル」は実は観ていなかったことに後で気がついたり。

M:i:III を映画館で観たのが2006年7月17日なので10年弱ぶり。IMF ってなんだっけだっりイーサン・ハント以外の役とかもほぼ忘れていたりという状態でした。

しかしながらミッション:インポッシブルシリーズらしさというものは十分覚えていて、本作でも「らしさ」をたっぷり堪能しました。2015年現在で重要データの受け渡しが未だに USB メモリだったり、発電所地下のデータ管理がありえないシステムだったりするのはご愛嬌。「上から落ちるように潜入するシーン」「バイクアクション」などはやはり定番ですね。あのテーマ曲が流れてくるとやはりテンション上がりますね。

• ミッション:インポッシブル/ローグ・ネイション

DeNA TechCon 2016

ヒカリエホールで開催された DeNA TechCon 2016 に行ってきました。といっても今回は仕事の関係で @hidek 氏の OPENING とその次の @kazuho さんの HTTP/2 と H2O の話のトークだけ聞いてきました。

13:30 会場A ウェブを速くするために DeNAがやっていること 〜HTTP/2と、さらにその先〜 OKU KAZUHO @kazuho 氏

HTTP/2 の技術要素(バイナリプロトコル・多重化・ヘッダ圧縮・優先度制御・サーバプッシュ)と H2O が速くするために工夫している点(H2O 側で優先度を決めて配信したり)でした。

Web の最先端に取り組まれているの本当にスゴイです。