nDiki : UTF-8

UCS transformation formats の一つ。

• RFC3629 (← RFC2279 ← RFC2044)

日本語 WiKicker ファイル名 インストール URL Windows メール HTML Linux Apache Naney URI メモ Java シフト JIS Debian GNU/Linux PageName Eclipse Emacs Wiki データベース CGI プログラム Perl モジュール 正規表現 ISO-2022-JP usr RFC DiKicker 画像 環境変数

■ Mozilla カスタムキーワード

Mozilla カスタムキーワードを使ってみた。

日本語キーワードは Mozilla を起動した時のロケール設定に依存したエンコーディングでエンコードされるようだ。 普段通りだと日本語EUCになるが、

 LANG=ja_JP.UTF-8 mozilla

で起動するとUTF-8でエンコードされる。

 javascript:location.href = 'http://www.naney.org/diki/dk/'
   + encodeURIComponent('%s') + '.html';

として普段のロケール設定でもキーワードを UTF-8 でエンコードできる。 シフト JIS にするには?

• WiKicker 0.35 リリース - 添付機能の修正など (2006-06-20)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• [ WiKicker ] 日時のL10N (2004-05-23)
• AWStats 6.0 (2004-05-21)
• WiKicker における PageName 最長文字数 (2006-06-10)

■ xyzzyを読み取り専用メディアから起動する

新人プログラマには「プログラムを組むんだから、とりあえずテキストエディタを何か入れておけ」と言うのだが、実際のところ自分が今仕事で使っている Windows BOX にはテキストエディタがインストールされていない。

「メモ帳」ですよ。

ちゃんと編集する時は Linux BOX 上の Emacs を使ってしまうので、Windows BOX では力を入れて環境構築していなかったり。 しかし、やっぱり何かテキストエディタがないと不便といえば不便。 ということで久しぶりに何か入れてみることにした。

最近は「インストール不要のソフトを USB メモリに入れて相手先で利用できるようにする」環境作りをぽちぽちしているので、エディタもそのようにできるのを選びたい。

• 読み取り専用メディアからインストールなしで起動できる
• UTF-8 のファイルを編集できる
• できれば Emacs ライクなキーバインディング

というのが主な条件。

書き込み禁止にした USB メモリや、read only な Samba 公開ディレクトリ上(あるいは CD-R 上)から直接起動できるようにするのが目的。

@ xyzzy 0.2.2.233

以前にもちょっと使ったことがある。 Meadow はヘビーだし設定が面倒なので xyzzy が良い。

で実験。

アーカイブを展開してすぐ xyzzy.exe を実行できるのだが、

1. ダンプイメージ
2. etc/DOC (lisp/help.l より)
3. $XYZZY/usr/usrname/os/xyzzy.ini
4. $XYZZY/usr/usrname/os/.xyzzy.history

を書き出せる必要がある。etc/DOC 以外の位置はコマンドライン引数や環境変数で指定できる。が etc/DOC だけ変更する方法がわからない。

保留。

@ サクラエディタ 1.4.8.0

同僚が使っているサクラエディタも試してみる。 インストーラを使用したくないので、実行可能ファイル・ヘルプファイルそれから必要な補助ファイルをそれぞれ取得して、同じディレクトリへ。

こちらは read only でも特に問題なく起動した。 ただし、

• UTF-8 のファイルが開けるものの、内部表現はシフト JIS
• ライセンスが不明確

なので躊躇。

@ 再び xyzzy

xyzzy の設定をいじってみる。

site-lisp/siteinit.l を

 (setq lisp::*documentation-path*
       (merge-pathnames "xyzzy-DOC"
                        (directory-namestring (si:dump-image-path))))

として etc/DOC をかわりにダンプイメージファイルと同じディレクトリに xyzzy-DOC として生成するように変更。

それから起動用に

 mkdir %TMP%\xyzzy
 xyzzy -image %TMP%\xyzzy\xyzzy.dump -config %TMP%\xyzzy

というバッチファイルを作成。ダンプイメージファイル、設定ファイルを置くディレクトリを環境変数TMPの下の xyzzy サブディレクトリに出力するようにする。

これで書き込み禁止ディレクトリから起動できるようになった。

必要があれば書き込みディレクトリはアカウント毎に変えた方がいいかな。 Windows 98 SE だとユーザ名やホームディレクトリとして使える環境変数は標準状態では存在しないようなので一工夫が必要になるか。

• TrueCrypt で USB メモリに Windows と Linux ... (2006-12-14)
• USB メモリに Perl を入れて持ち歩きたい (2006-12-17)
• KDE Installer for Windows で KDE をインストール (2008-01-30)
• NSIS 2.22 は Linux でビルドできず (2006-12-20)
• ActivePerl で Ming (2005-02-23)

■ Template Toolkit で UTF-8 なファイルを INCLUDE すると文字化け

"UTF8" flag に起因する既知の問題のようだ。

Perl v5.8.4 において Template Toolkit 2.14 だと化けるが、2.13 以前 (2.13 と 2.10 で確認)だと大丈夫。

Template::Providerを継承して UTF8 フラグまわりの処理をする自前の Provider を作ってそれを使うという手もあるようだが、今回は 2.13 を使う事で対処。

• Template Toolkit 2.14 の UNICODE パラメータ (2004-11-03)
• [WiKicker] WiKicker の文字化け対応 (2004-02-03)
• Template Toolkit + PAR (2004-09-13)
• YAML Perl モジュール (2004-05-19)
• [ WiKicker ] hell mode - HTMLタグ付けブロックの導入 (2005-09-13)

■ Template Toolkit 2.14 の UNICODE パラメータ

Template Toolkit で UTF-8 なファイルを INCLUDE すると文字化けする問題だが、ソースを読んでみると Template::Provider に UNICODE という undocumented な初期化パラメータを発見。

Template (か Template::Provider) を new するときに UNICODE => 0 すれば化けなくなった。 "UTF8" flag を立てないで文字列を扱っているスクリプトはこれでOKか?

• Template Toolkit で UTF-8 なファイルを INCLU... (2004-10-29)
• [WiKicker] WiKicker の文字化け対応 (2004-02-03)
• Template Toolkit + PAR (2004-09-13)
• [ WiKicker ] hell mode - HTMLタグ付けブロックの導入 (2005-09-13)
• YAML Perl モジュール (2004-05-19)

■ kterm から mlterm へ

kterm 上で誤ってUTF-8なファイルやバイナリファイルを直接表示するとおかしくなる。 変なコードを表示するとウィンドウサイズが伸びて、その後リセットをかけても表示がおかしいまま。naga10 を設定しているせいかな? ずっと前からそういう状態で不便。

なので mlterm へ移行することにする。 ~/.mlterm/font あたりでフォントの設定。 それから ~/.mlterm/main で

 not_use_unicode_font = true

も指定しておく (naga10のままでいいので)。

さすがに pty から流れてくる文字列のエンコーディングを自動認識する事はできないけどいい感じ。

• 13:40 w3m インライン画像 patch (2001-10-01)
• 日本語ファイル名どんとこい (2005-03-07)
• Mule-UCS の設定 (2006-03-08)
• 今日のさえずり - 開き括弧がいわゆる全角文字で閉じ括弧が半角文字になる人多すぎ (2008-08-25)
• チャンギ国際空港内のコンピュータ店 (1999-09-05)

■ Skype for Linux 1.0.0.1

正式版出た。

Call List での文字化け、および日本語変換中(skkinput)に正しく表示されない問題は、LANG=ja_JP.UTF-8 で起動する事で正常になった。 こちらは Qt 関係の話か?

• Twitter を使い始めて1年 (2008-04-06)
• Skype の音量調整 (2005-02-02)
• Skype for Linux Beta 0.93.0.3 (2005-01-27)
• Twitter への書き込みを自動的に Skype ムードメッセージに設定する (2008-02-25)
• WiKicker における PageName 最長文字数 (2006-06-10)

■ 日本語ファイル名どんとこい

私も大人であるから Word や Excel や PowerPoint のファイルのやりとりがあれば Windows BOX で読み書きしている(参考: Richard Stallman 氏に習う Word 添付ファイルの断り方)。

そしてメールに添付されてくるそれらのファイルは多くの場合、日本語ファイル名だったりする。 Linux 上の Mew 上で適当にASCII文字を使ったファイル名をつけて保存、Samba 経由で Windows BOX で閲覧するというのがいつもの流れだ。 しかし適当に名前をつけているので、すぐどれがどのファイルだがわからなくなる。

Samba で共有しているディレクトリ以下ぐらいは、日本語ファイル名のファイルを作ってもいいことにするかなぁ。

ということで環境設定。

@ LANG

これを機会に一気に UTF-8 化を促進するか。

LANG を ja_JP.eucJP からja_JP.UTF-8 に。 もともと locales では ja_JP.UTF-8 も生成済みだったので特に作業無し。

ターミナルソフトも去年 mlterm に乗り換えているので問題無し。

@ Emacs

 (set-default-coding-systems 'utf-8-unix)

default-file-name-coding-system も utf-8-unix になる。

@ Samba

3.0 系。

 dos charset = CP932
 unix charset = UTF-8 (default)

既に設定済み。

@ ファイラ

さすがに Bash 上で日本語ファイル名を打つのも面倒なので、何かファイルマネージャがあった方がいいな。 できれば Emacs っぽいキーバインディングで。 …… dired でいっか。

@ とりあえず

移行した。 pLaTeX のエラーメッセージとか、UTF-8端末だと読めないものもあるので多少の不便はあるものの大きな問題は今のところなさそうだ。

しばらくやってみる。

• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
• xyzzyを読み取り専用メディアから起動する (2004-07-28)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• メールによる社内コミュニケーションの問題 (2006-04-12)
• 「シートが硬かった」初めてのつくばエクスプレス乗車 (2006-09-21)

■ Windows 上での Apache 2.0.53 では PATH_INFO が シフト JIS に

WiKicker の Windows 上での動作確認の続き。 WiKicker のPPM パッケージを作成して ActivePerl 5.8.6.811 上にインストール。 依存するモジュールで、ActivePerl に入っていないものは以下の通り。

• Algorithm::Diff
• Jcode
• Log::Log4perl
• Time::Zone (TimeDate)

既に手元で PPM パッケージ化済みなので、これもインストールしておく。

後は RCS をパスの通っているディレクトリに入れてタイムゾーンを設定。

 TZ=JST-9

で CGI プログラムとして実行。 お、表示できた。 書き込みはと。

エラー。

予想していたけれど、sendmail に依存していたところ。 sendmail が見つからない場合はメールの送信をスキップするように修正。

これでうまく動くかなと思ったら、日本語名のページを作るとうまく表示できない問題を発見。

@ PATH_INFO がシフト JIS で渡される

WiKicker では UTF-8 文字列をURIエスケープして WikiPage のURLを生成している。 このURIにアクセスされると WiKicker は、PATH_INFO から WikiName を取り出す。 この文字列がシフト JIS になってしまっている。

Windows がファイル名に使用する charset にあわせて、Apache が変換してしまっているようだ。 調べてみると他の WikiEngine でも同様の問題にあっているという記事が見つかった。

将来の 2.0 系でパッチが取り込まれて修正されるとか、そうでないとか。

現状どうするかなぁ。 WiKicker 側でシフト JIS から UTF-8 に戻すというのもできない事はないけれど、あまりやりたくはないな。 いったんシフト JIS を介しているという時点で、シフト JIS に無い文字の扱いに関する問題をかかえてしまっているし(Apache が)。

対策案:

• Apache 1.x 系を使う (まだ未確認だが、こちらだと勝手に変換されないらしい)
• WiKicker に PATH_INFO を使わないオプションをつける(URI Query Component は勝手に変換されない)
• WiKicker 側でシフト JIS から UTF-8 に変換する

• WiKicker における PageName 最長文字数 (2006-06-10)
• WiKicker 0.35 リリース - 添付機能の修正など (2006-06-20)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• PATH_INFO のかわりに REQUEST_URI と SCRIPT_... (2005-04-15)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)

■ PATH_INFO のかわりに REQUEST_URI と SCRIPT_NAME を使う

結局 Apache 1.3.33 でもやはり PATH_INFO が UTF-8 では無くなってしまうようだ。

ということで WiKicker 側で対処。 SERVER_SOFTWARE 環境変数を見て Win32 な Apache だった場合、PATH_INFO を使わず REQUEST_URI と SCRIPT_NAME 環境変数を使って PATH_INFO にあたる文字列を取り出すようにした。

これで期待するページにアクセスできるようになった。

ただし別件で、ページ書き込み時に失敗する問題が発覚。 ページの補助情報を保存している部分の処理がこけるらしく、一度エラーになると以降のアクセスがエラーになってしまう。 要調査。

• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• Perl v5.8.8 の CGI.pm の PATH_INFO 処理の問... (2006-07-08)
• WiKicker における PageName 最長文字数 (2006-06-10)
• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)

■ 最後がピリオド(.)で終わるファイル名をつけられない

Windows で「最後がピリオド(.)で終わるファイル名」を新規作成する。 最後のピリオド(ドット)が無くなる。

……。

8.3形式の名残なのか? Explorer 上で作成しても、プログラム(Perlスクリプト)から作成しても駄目。

環境は Windows XP Home Edition SP2 + NTFS。 Windows 2000 + NTFS でも同様。

@ WiKicker

これは WiKicker のテストをしていて気がついた。 WiKicker では「PageName の base64 を生成し 『/』 を 『.』 で置き換えたもの」をファイル名にしている。 例えば UTF-8 で「タ」は

 44K/

となるので、ファイル名は 「44K.」となる。 で最後の文字が消えてしまうので、デコードするとおかしくなると。

これを機会に Windows 環境でのエンコーディングは RFC3548 「4. Base 64 Encoding with URL and Filename Safe Alphabet」を使うように変更するか。

本当は全てこれに変更したいのだけれど、すでに動いている WikiForum の事を考えると移行は難しいかも。

• WiKicker における PageName 最長文字数 (2006-06-10)
• WiKicker 実装 (2002-10-20)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• ケータイ用にプライベート Wiki を設置 (2008-01-07)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)