nDiki : charset

charset

RFC

オクテット列から文字列への変換方法。例えば、符号化文字集合と文字符号化方式の組。

charset と文字符号化方式

charset(IANA)	文字符号化方式
Shift_JIS	シフト JIS
EUC-JP	日本語EUC(圧縮形式)
ISO-2022-JP	ISO-2022-JP (RFC1468)
UTF-8	UTF-8 (RFC3629)

HTML と charset

HTML 4.01 では charset は character encoding をさすとしている ((符号化)文字集合としてはUCSを使用するとしているため、encoding だけをさすものとしている?)。

値に設定できるのは

http://www.iana.org/.../character-sets

で定義されているもの(大文字小文字は区別しない)。

java.nio.charset.Charset

16ビットUnicode文字列とバイト列間の写像。

2003年12月12日 (金)

■ [ Java ] Unicode (UCS) -> 別の charset

スポンサードリンク

Java の String を 'abc' なら US-ASCII (ANSI_X3.4-1968)に、'あいう' なら ISO-2022-JP にしたいという話。やっぱり文字列中の全ての文字について候補の charset に含まれているか見ていくしかないのか?

Mew だとちゃんと、US-ASCIIだけならus-ascii で、日本語が含まれていれば iso-2022-jp でメールを送ってくれるがここら辺はどうやっているんでしょ。ソースを見てみるか。

◇ Twitter やってます。この記事が気にいったらぜひ twitter.com/Naney の follower になってください。

[ permalink ]

Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
[ WiKicker ] 通知メールの Subject: フィールドのエン... (2004-01-25)
メールによる社内コミュニケーションの問題 (2006-04-12)
Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
ISP から Outbound Port25 Blocking を行うとの... (2006-05-23)

[ 12月12日全て ]

2004年1月25日 (日)

■ [ WiKicker ] 通知メールの Subject: フィールドのエンコーディング修正

WiKicker には通知メールの Subject: フィールドがたまに壊れている問題があるのだが、ずっと放置しておいたままだった。そろそろ次のバージョンをリリースしたいと思うので、今回修正しておく。

結果半日かかってしまった。

@ MIME::Words::encode_mimewords

まず現在エンコーディングに使っている MIME::Words::encode_mimewords (5.404)であるが、マニュアルを見ると charset によってはマズいエンコーディングを吐くらしい。 WiKicker で Subject: ヘッダが壊れるのも、この問題のせい。文字境界を無視してぶったぎってエンコードされてしまう。ということで、自前でエンコードする事にする。

@ 自前エンコーダ

まぁたいしたものではないが。最初はエンコードする必要のある部分だけ encoded-word にする事も考えたのだが、面倒なのでやめ。全部エンコードしてしまう事にする。エンコーディングも最初は、"Q" encoding で実装しはじめたのだが(MIME::Words のデフォルトがそうなので、WiKicker でもそれを使っていた)ちょっと面倒なので、"B" encoding に変更。

@ タイトルの途中に空白が入ってしまう?

で、テスト。うーん。途中に余分な空白が入ってしまうな。 mew で受信したメールを見ると folding のところで余分な空白が入って表示される。 RFCとか見ても encoded-word に挟まれた CRLF SPACE は無視されるはずなんだけれどなぁ。

UTF-8 の代わりに ISO-2022-JPにしてみたりとか、エンコーディングを変えてみたり(Q or B)したのだが変わらず。他から受けとっているメールは問題ないから、mew の問題でもなさそうだし。

ん? mew の inbox を確認してみると、他のソフトからのは \n, space でフォールディングされているな。今書いているコードから送ったやつは \r\n, space でフォールディングされている。 RFC的には CRLF space では?

@ 問題は別のところに

WiKicker で \r\n, space でフォールディングしているところを \n, space でフォールディングするようにしたら直る。けど、これでいいのかな?

って良く考えたら、他の部分はヘッダでも本文でも改行には \n を使っているんだった(Perl のヒアドキュメントを使っているので)。ということは今まで、それを標準入力から受けとった sendmail が LF を CRLF にしてくれていたのか。あまり深い事考えてなかったな。今回はフォールディングのところだけで CRLF にしたため一個余分に CR がついてしまい、それがタイトルの文字列中の空白として表示されてしまったと。

結局疑うべきは自分のコード。

[ permalink ]

Twitter ベイジアンフィルタプロキシ (2007-12-29)
[ DiKicker ] くっつき BBSをくっつけてみた。 (2004-05-04)
Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
Perl で CR/LF/CRLF 全対応の1行毎読み込み処理 (2006-07-28)

[ 1月25日全て ]

2004年4月16日 (金)

■ TeX と Subversion

仕事のドキュメント書き。「ドキュメント管理用 Subversionリポジトリ作成」にのっとってやってみる(結局前回考えて以降、時間がとれなくて Subversion に投入していなかった)。

今期、プロジェクトでこの方式を採用しようと思っているのだが Windows ユーザと協同作業しようとすると charset の問題があるな。とりあえずいわゆるJISにしておけば pTeX としては問題ないと思うが、他の作業環境はどうなのだろう。

[ permalink ]

Subversion - auto-props (2004-05-18)
Rekisa で TortoiseSVN から日本語ファイルの差分表示 (2006-03-23)
pLaTeX + hyperref + dvipdfmx で PDFにしおりを (2005-04-15)
pTeX の内部コードを判別して hyperref の設定を切り換え (2005-04-26)
プロジェクト関連ドキュメントを TeX で (2004-07-23)

[ 4月16日全て ]

2004年5月4日 (火)

■ [ DiKicker ] くっつき BBSをくっつけてみた。

DiKicker でのコメント機能についてだがあらためて実装するのも大変なので、たつを氏のくっつき BBSを組み込んでみた (v1.0rc2)。

@ ファイルレイアウト

 $HOME/etc/kuttukibbs/kuttukibbs.conf - 設定ファイル (一部変更)
 $HOME/var/log/kuttukibbslog.txt - 管理者用ログファイル

 $HTML/kuttukibbs/kuttukibbs.cgi - CGIプログラム (一部変更)
 $HTML/kuttukibbs/getlog.cgi - (一部変更)
 $HTML/var/kblog/$ID.log
 $HTML/var/kblog/$ID.js

@ DiKicker への埋め込み

記事毎ののHTMLフラグメントを生成する際に、kuttukibbs.cgi へのリンクと、(getlog.cgi経由での)Feedファイルの読み込み部分を埋め込むように変更。

くっつくFeedファイルが無い場合は commentshortクラスの div要素 (tDiary スタイル)が存在しなくなるようにしたかったのでレンダラではこれを埋め込まず、getlog.cgi で出力するようにした。

ついでに getlog.cgi は

charset指定を UTF-8 に修正
違う階層Feedファイルを読むように修正

した。

@ kuttukibbs.cgi のUTF-8対応

Feedファイル用にコメントを切りつめる際、UTF-8 だと後続バイトが切り捨てられる場合がある。 WiKicker に UTF-8 用の substr / length ラッパがあるのでこれを使うように修正。

@ tDiary テーマの修正

tDiary では日単位でのコメントでありテーマもそれにあわせてデザインされている。 DiKicker では記事単位にコメントをつけるようにしたいので(またそうでないと記事単位で集約した場合に困るので)、使っているテーマ(Nana さんの flower をベースにしているもの)のCSSを修正。

@ くっつけてみる

テストした範囲ではうまくいっているようだ。 HTMLレンダリング済みの記事はキャッシュが更新されないとコメントするためのリンクが現れないが順次出てくるはず。

くっつきとして見るには要 JavaScript サポート。

[ permalink ]

DiKicker にそろそろコメント機能を実装するか (2005-01-26)
WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
iCalendar 形式経由でスケジュールを社内 Blog に表示 (2007-01-08)
Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
速度改善のため nDiki からくっつき BBS を外す (2005-10-16)

[ 5月4日全て ]

2004年5月18日 (火)

■ Subversion - auto-props

Windows 上での TeX 書きユーザと仲良くするために。

 svn propset svn:eol-style native report.tex

charset はいわゆる JIS で。

@ auto-props

~/.subversion/config で

 [miscellany]
 enable-auto-propcs =yes
 [auto-props]
 *.tex = svn:eol-style=native

デフォルトで作成される config ではセクション名もコメントアウトされている事に注意。個人の設定ではなくて、リポジトリとして設定することはできないのかな。

[ permalink ]

TeX と Subversion (2004-04-16)
Rekisa で TortoiseSVN から日本語ファイルの差分表示 (2006-03-23)
プロジェクト関連ドキュメントを TeX で (2004-07-23)
[ お仕事 ] 事後評価セッション (2004-08-18)
普通の人向けに svnserve を立ち上げるか (2005-07-26)

[ 5月18日全て ]

2005年4月10日 (日)

■ Windows 上での Apache 2.0.53 では PATH_INFO がシフト JIS に

WiKicker の Windows 上での動作確認の続き。 WiKicker のPPM パッケージを作成して ActivePerl 5.8.6.811 上にインストール。依存するモジュールで、ActivePerl に入っていないものは以下の通り。

Algorithm::Diff
Jcode
Log::Log4perl
Time::Zone (TimeDate)

既に手元で PPM パッケージ化済みなので、これもインストールしておく。

後は RCS をパスの通っているディレクトリに入れてタイムゾーンを設定。

 TZ=JST-9

で CGI プログラムとして実行。お、表示できた。書き込みはと。

エラー。

予想していたけれど、sendmail に依存していたところ。 sendmail が見つからない場合はメールの送信をスキップするように修正。

これでうまく動くかなと思ったら、日本語名のページを作るとうまく表示できない問題を発見。

@ PATH_INFO がシフト JIS で渡される

WiKicker では UTF-8 文字列をURIエスケープして WikiPage のURLを生成している。このURIにアクセスされると WiKicker は、PATH_INFO から WikiName を取り出す。この文字列がシフト JIS になってしまっている。

Windows がファイル名に使用する charset にあわせて、Apache が変換してしまっているようだ。調べてみると他の WikiEngine でも同様の問題にあっているという記事が見つかった。

将来の 2.0 系でパッチが取り込まれて修正されるとか、そうでないとか。

現状どうするかなぁ。 WiKicker 側でシフト JIS から UTF-8 に戻すというのもできない事はないけれど、あまりやりたくはないな。いったんシフト JIS を介しているという時点で、シフト JIS に無い文字の扱いに関する問題をかかえてしまっているし(Apache が)。

対策案:

Apache 1.x 系を使う (まだ未確認だが、こちらだと勝手に変換されないらしい)
WiKicker に PATH_INFO を使わないオプションをつける(URI Query Component は勝手に変換されない)
WiKicker 側でシフト JIS から UTF-8 に変換する

[ permalink ]

WiKicker における PageName 最長文字数 (2006-06-10)
WiKicker 0.35 リリース - 添付機能の修正など (2006-06-20)
Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
PATH_INFO のかわりに REQUEST_URI と SCRIPT_... (2005-04-15)
XAMPP で WiKicker を動かしてみた。PPM インストール OK。 (2007-02-09)

[ 4月10日全て ]

2006年3月23日 (木)

■ Rekisa で TortoiseSVN から日本語ファイルの差分表示

自分の開発チームでは、 Subversion を用いて pLaTeX2e ドキュメントを共同執筆というスタイルが随分多くなってきた (自分が推進しているわけだが)。

チームメンバのほとんどは Windows 上で TortoiseSVN を使っているのだが、内蔵の差分ビューアを使っていると charset を自動判別してくれないので、いわゆる JIS コードで書いている TeX のソースファイルの扱いがちょっと不便である。

そういえば以前はこの問題の声が聞かれたけれど、最近誰も言わなくなったな。解決したのか、差分とか見なくなったのか。

数行書き換えて、一つの変更点としてコミットメントログを残せる単位でガシガシコミットしてしまう私と一緒に作業している人は、いつもコミット負けしているはずなのだが。

ということで TortoiseSVN で外部差分ビューアとして使えるツールを調べておこう。まずは差分表示アプリケーション Rekisa。

http://hp.vector.co.jp/.../Rekisa/

日本語のファイルの charset を自動判別してくれるし、表示が美しい。差分を見るには良さそうである。

マージ作業もあわせてするとすると編集機能が必要だが、Rekisa 自身では直接編集できないようだ(外部エディタを呼び出すことはできる)。

マージまですると WinMerge が本命? こちらはまだ試していないので後日。

[ permalink ]

[ 3月23日全て ]

2010年3月16日 (火)

■ 今日のさえずり - 紫のハンドタオルを口に当てた人が電車から下りてきた

@ 2010年03月15日

09:33 JR 3月13日にダイヤ改正したんだっけ。先週とちょっと電車の時間が違ってあれって思った。
09:53 ヨドびの公式サイトができたって。 (@ ヨドバシカメラマルチメディアＡｋｉｂａ) http://4sq.com/77WGwe
15:01 CoTweet サインアップしてみた。
15:02 ヨドびも Twitter やってるんだ。 RT @yodobi: @Naney わーい！ヨドびちゃんも仲間入りです。よろしくお願いします！
17:25 お茶 103円。 (@ ファミリーマート神田佐久間町店) http://4sq.com/biJuCj
20:17 あー、今日の夜何食べるかまだきまらない(会社で食べるつもりだったけど予想外にキリがついたので退社済み)。
20:20 隣の人が15分以上、中古 CD のシールを剥がして残った糊を猿のようにペタペタやってる。
20:25 ちょっと雨。さぼてんにした。 (@ アトレ大井町) http://4sq.com/8jv27N
23:10 おサイフケータイ対応ゴールドポイントカード削除。
23:20 おサイフケータイ Edy のサービス登録削除。
23:34 何もしていないブログマーケットを退会しようと思ったが、退会機能がない。FAQ によると問い合せフォームを使えと。
24:36 Gmail の特定のラベルに対応する Mew 上の IMAP ディレクトリを howm-search-path に指定しておけばウハウハじゃんと思ったが検索できなかった。そうか charset が違うんだよな。惜しい。