nDiki : LF

[ WiKicker ] 通知メールの Subject: フィールドのエンコーディング修正

WiKicker には通知メールの Subject: フィールドがたまに壊れている問題があるのだが、ずっと放置しておいたままだった。 そろそろ次のバージョンをリリースしたいと思うので、今回修正しておく。

結果半日かかってしまった。

MIME::Words::encode_mimewords

まず現在エンコーディングに使っている MIME::Words::encode_mimewords (5.404)であるが、マニュアルを見ると charset によってはマズいエンコーディングを吐くらしい。 WiKicker で Subject: ヘッダが壊れるのも、この問題のせい。 文字境界を無視してぶったぎってエンコードされてしまう。 ということで、自前でエンコードする事にする。

自前エンコーダ

まぁたいしたものではないが。 最初はエンコードする必要のある部分だけ encoded-word にする事も考えたのだが、面倒なのでやめ。 全部エンコードしてしまう事にする。 エンコーディングも最初は、"Q" encoding で実装しはじめたのだが(MIME::Words のデフォルトがそうなので、WiKicker でもそれを使っていた)ちょっと面倒なので、"B" encoding に変更。

タイトルの途中に空白が入ってしまう?

で、テスト。うーん。途中に余分な空白が入ってしまうな。 mew で受信したメールを見ると folding のところで余分な空白が入って表示される。 RFCとか見ても encoded-word に挟まれた CRLF SPACE は無視されるはずなんだけれどなぁ。

UTF-8 の代わりに ISO-2022-JPにしてみたりとか、エンコーディングを変えてみたり(Q or B)したのだが変わらず。 他から受けとっているメールは問題ないから、mew の問題でもなさそうだし。

ん? mew の inbox を確認してみると、他のソフトからのは \n, space でフォールディングされているな。 今書いているコードから送ったやつは \r\n, space でフォールディングされている。 RFC的には CRLF space では?

問題は別のところに

WiKicker で \r\n, space でフォールディングしているところを \n, space でフォールディングするようにしたら直る。 けど、これでいいのかな?

って良く考えたら、他の部分はヘッダでも本文でも改行には \n を使っているんだった(Perl のヒアドキュメントを使っているので)。 ということは今まで、それを標準入力から受けとった sendmail が LF を CRLF にしてくれていたのか。 あまり深い事考えてなかったな。 今回はフォールディングのところだけで CRLF にしたため 一個余分に CR がついてしまい、それがタイトルの文字列中の空白として表示されてしまったと。

結局疑うべきは自分のコード。

NSIS が再び Linux でコンパイルできるように

2.01 で POSIX プラットフォームで動くようになった NSIS であるが、2.02、2.03 は Linux上ではソースパッケージからのビルドでエラーになってしまっていた。

1月5日に 2.04 がリリースされたので、こちらも試してみる。お、ビルドできた。

 tar jxvf nsis204.tar.bz2
 cd NSIS/Source
 make USE_PRECOMPILED_EXEHEADS=1
 cd ..
 su
 ./install.sh /usr/local/NSIS-2.04

インストール時に Menu ディレクトリが無くてエラーメッセージが出るのは前回と一緒。CVS リポジトリをみるとHTMLで書かれたドキュメントがあるだけのようなので、無くても問題なさそうである。 付属の install.sh も改行コードが CRLF から LF に修正されているためそのまま実行できるようになった。

---

[ Linux 上で NSIS ]

Perl で CR/LF/CRLF 全対応の1行毎読み込み処理

Perl プログラムでテキストファイル処理を 改行コード CR/LF/CRLF 全対応にしようと思ったが、書こうとするとこれが結構面倒臭いことに気がつく。

$/ に正規表現が設定できないため、<FILEHANDLE> で単純に3パターン対応ができない (LF と CRLF に対応とかならすぐできる)。

小さいファイルと仮定して良いなら全部読み込んで自前で行分割、大きいファイルならまじめにバッファリングして改行コードをスキャンして行処理するのが正攻法かな。 多少効率悪くなりそうだけれど。

Pod::Html (1.0504) の場合

Perl 5.8.8 の Pod::Html (1.0504) だと pod2html の中で $/ = "" と設定して、パラグラフ単位で読み込んでそのあと処理している。

PerlIO レイヤー

最近の Perl であれば PerlIO::crlf、 PerlIO::eol あたりが使えそうである。

もちろん Perl 5.005_03 だと NG。

今日のさえずり: ガントチャート上で線をぴゅっと動かして

2010年06月03日

• 08:11 RT @okita_juzo: 全員ショックに備えろ！
• 09:05 病院到着。
• 09:14 今日病院空いてるな。そして検尿の可能性があるのに家を出るときにオシッコしてきた失態(なんとかチョッピリ)。
• 09:49 診察終了。潜血以外の項目は問題なし。潜血も体質のレベルの可能性が高いとのこと。
• 09:50 今日の尿検査でも少し潜血は出てるらしい。
• 09:52 一応腎機能関連の血液検査をしておきましょうということで採血。
• 09:53 貧血も問題ないレベル。
• 09:54 検便は区の何かでやれるらしい。
• 10:02 やはり 10:00 は過ぎるか。ケーキ屋開く時間だから、ケーキ予約していこう。
• 10:03 検便の説明してもらった。40歳になっていないから有料とのこと。
• 10:11 病院終了。
• 10:22 ショートケーキ予約。
• 10:26 弁当 296円。
• 11:36 Evernote for Windows アップデート。テキストファイルをノートブックにドロップすると今まで添付になっていたのがノート本文になるようになった。ノートへのドロップも同様にテキスト本文が追加される。素晴しい。
• 11:38 なお Evernote for Windows にテキストファイルをドロップする場合は UTF-8 にしておく必要あり。改行コードは CRLF でも LF でも OK。
• 11:42 Evernote for Windows の [ツール]-[フォルダーをインポート]でも同様に UTF-8 なテキストファイルを登録したディレクトリに置くと添付ではなく本文になったノートが作られるようになった。
• 11:43 これで Evernote for Windows で howm のファイルを一括インポートできるぞ。
• 11:48 「Linux でテキストファイル編集して Dropbox ディレクトリに放り込む → 次に Windows BOX で Evernote を起動した時に Dropbox ディレクトリから自動的にインポート」という流れがこれでできるな。
• 12:46 昨日会社に持ってきたまりもに気づかれた! http://movapic.com/...
• 12:53 ThinkPad の トラックポイント・キャップ(ソフト・リム)(10個入り)復活希望。3種入ったバラエティパックはいらん。 http://amzn.to/d5EBuJ
• 16:37 Gokuri 100円。
• 19:10 どうしてもお腹が減ったのでアップルクリームデニッシュ 110円。 (@ ファミリーマート神田佐久間町店) http://4sq.com/biJuCj
• 19:50 ガントチャート上で線をぴゅっと動かしてオーバーラップさせるとあら不思議、納期におさまっちゃう。でもやると結局それぞれの日数だけ時間がかかるんだよな……。
• 21:14 家で蔓延していた風邪にやられた兆候。
• 21:49 Evernote モバイル ( http://www.evernote.com/m ) + Emacs + w3m mode でノート編集してみた。Linux でちょっとしたノートを入力するにはいいかも。
• 21:52 Firefox からも、ちょっとした編集の時には Evernote モバイルの方が軽くていいな。
• 22:02 36.8℃。平熱です。

Unison で同期しているディレクトリの一部を Dropbox フォルダへ移動してどこでも編集可能に

さくらのレンタルサーバ上にあるデータはローカルの Linux BOX と Unison で同期している。 この nDiki の記事も Emacs でテキストファイルで作成した後、Unison で同期して公開している。

 [さくらのレンタルサーバ]
 /home/naney 
     |
   <Unison> 同期
     |
 [ローカル PC]
 /home/naney/site/site_name/sync

ただこれだとローカル PC から離れている時の記事の下書きとか面倒くさい。ということで Dropbox 上に一部を置くことにした。同期している全てのデータを Dropbox 上に置くのはナンセンスなので、一部のディレクトリのみ。

Dropbox フォルダ側は単一のディレクトリツリーである必要があるので、Unison で同期しているディレクトリのツリーの一部を Dropbox フォルダ上へ移動し、シンボリックリンクに置き換え。Unison の設定ファイルに follow = path share/some_dir を追加してそのディレクトリはシンボリックリンクを辿ってその先の中身で同期するようにした。

 [さくらのレンタルサーバ]
 /home/naney 
     |
   <Unison> 同期
     |
 [ローカル PC]
 /home/naney/site/site_name/sync
     /home/naney/site/site_name/sync/share/some_dir
         |
       <symbolic link>
         |
     /home/naney/var/Dropbox/site/_name/sync/some_dir
 /home/naney/var/Dropbox/site/_name/sync
    |
 [Dropbox]

これで Dropbox を入れた他の PC や Android 端末から記事の作成・編集ができるようになった。

ちなみに Google Chrome に SourceKit をインストールすると、Web ブラウザ上から直接 Dropbox 上にテキストファイルを作成したり既存のテキストファイルを編集したりできて便利。 テキストファイルは UTF-8 で LF になるのでいい感じ。