nDiki : Unicode

Unicode - ユニコード

1999年12月17日 (金)

■ PostgreSQL を使いはじめる

新しくつくりはじめている Web ベースのアプリケーションで Apache でユーザ認証が必要になった。 htpasswd で作ったものでももちろんできる。が、今回はユーザごとの情報も管理したい。そうすると htpasswd の形式だと、ユーザ情報と2重管理になるので面倒である。

幸い Apache は各種 DB を認証に使うことができる。そこで今回は、他の情報も格納するしメジャーどころで PostgreSQL を使うことにした。 Perl でも扱えるし。

で例によって Debian のパッケージインストール。 postgresql 5.5.3-3 をいれる。

がインストールの途中で /etc/localtime がないといっておこられる。他の Debian Box をのぞいてみると /usr/share/zoneinfo/Japan にシンボリックリンクがはってある。私のところで存在しないのは問題ないのだろうか? まぁよくわからないが、同じようにシンボリックリンクをはっておく。

これでインストールが通った。

デフォルトの言語は Unicode、日時のフォーマットは ISO を選択しておく。

スポンサードリンク

[ permalink ]

Apache での PostgreSQL を使った認証 (1999-12-18)
Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
DBD::Oracle 1.16 を Debian GNU/Linux s... (2005-05-19)
野良パッケージと依存 Perl モジュールのインストールセットをCPAN... (2006-02-11)
FreeBSD と Apache::Htpasswd (2006-03-02)

[ 12月17日全て ]

2003年12月12日 (金)

■ [ Java ] Unicode (UCS) -> 別の charset

Java の String を 'abc' なら US-ASCII (ANSI_X3.4-1968)に、'あいう' なら ISO-2022-JP にしたいという話。やっぱり文字列中の全ての文字について候補の charset に含まれているか見ていくしかないのか?

Mew だとちゃんと、US-ASCIIだけならus-ascii で、日本語が含まれていれば iso-2022-jp でメールを送ってくれるがここら辺はどうやっているんでしょ。ソースを見てみるか。

[ permalink ]

Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
[ WiKicker ] 通知メールの Subject: フィールドのエン... (2004-01-25)
メールによる社内コミュニケーションの問題 (2006-04-12)
Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
メールボックスを Gmail に集約 (2007-08-08)

[ 12月12日全て ]

2004年7月20日 (火)

■ PAR を ActivePerl 5.6.1 build 638 に

昨日 Linux 上で実験してみた PAR を Windows にも入れてみる。 PDLを使っている関係で ActivePerl は 5.6.1。

@ インストール

ppm install で入るパッケージは古いので、最新のものを入れておく。ちょっと手間。

PAR が必要とする Parse::Binary と Win32::Exe は ppm がないので、自分でとってきて make_ppm。
PAR 0.85 は 'ppm install PPM::Make' ではいる make_ppm だとパッケージ作成失敗。PPM::Make 0.71 に上げる (古い PPM::Make で ppm 化可能)。
- PPM::Make 0.71 は新しい Getopt::Long を必要とするので、こちらもソースをとってきて ppm 化。
その他必要なパッケージもインストール (Config::IniFiles)。

ワンライナーを pp できるところまで動作確認。

@ モジュール + スクリプトを実行可能形式に

ExtUtils::Makemakerを使ってパッケージ化している開発中のモジュール(スクリプトあり、XS あり)を実行可能形式化してみる。

 perl Makefile.PL
 nmake
 nmake test
 cd blib
 set PERL5LIB=lib;arch (pp の -I オプションが効かなかったので)
 pp -o foo.exe -a lib -a arch -M ... -c  script/foo

Log::Log4perl::Appender::Screen、Jcode::Unicode::NoXS、Unicode::String、GD については依存関係を自動検出できなかったので、それぞれ -M で指定。

できた。動いた。素晴しい。 PDL や GD を使っていたのでちょっと不安だったのだがうまく動いて感激。これでCD-ROMとか USB メモリに入れておいて一発実行とかできる。

[ permalink ]

[ Perl ] PDL::PP で C extension を書く (2004-02-19)
PAR::Repository でビルド済み Perl モジュールをネット... (2006-12-12)
ActivePerl で Ming (2005-02-23)
[ Perl ] PDL 2.4.1 から eigens が固有ベクトルを... (2004-03-05)
自前 PPM リポジトリの管理 (2006-07-03)

[ 7月20日全て ]

2006年3月8日 (水)

■ Mule-UCS の設定

reStructuredText では表を作る時は文字数で桁揃えして、表セルを表現していく。 ASCII 文字などフォント幅がいわゆる半角幅であるものだけならば、良いのだが全角幅の文字がある場合はちょっと厄介である。

文字数的には1文字なのだが、プレーンテキストファイル上では2文字分の幅を取るので見た目上桁が揃わなくなってしまう。というかそれを忘れて桁を揃えておくと、パーサに怒られる。

このためにパッチがあったり、Docutil 0.4 ではこの対策がほどこされたりしている(不完全であるが)。

さらに厄介なのが Unicode 変換がからむところで、 Emacs + Mule-UCS ではいくつかの(いわゆる)全角文字は UTF-8 で保存すると違う文字に変換されてしまい、これまた Docutils のパーサに、桁があっていないと怒られることになる。

できるだけ全角文字はそのままにしておくということで、以下の設定を追加しておいた。

 (require 'un-define)
 (un-define-change-charset-order
  (append '(ascii japanese-jisx0208)
          unicode-basic-translation-charset-order-list))

またバックスラシュと円記号の方も混乱が少ないように

 (require 'un-supple)
 (un-supple-enable 'windows)

を追加してく。

[ permalink ]

Docutils の reStructuredText から LaTeX ... (2005-12-07)
reStructuredText いいんじゃない? (2005-11-22)
kterm から mlterm へ (2004-11-26)
Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
Docutils 0.4 の日本語文字対応はまだまだ駄目 (2006-02-07)

[ 3月8日全て ]

Related web page

図解: Perl と Unicode 文字列 - daily dayflower

id:tomi-ru さんが use Encode; - 今日のCPANモジュールというとてもプラクティカルな Encode 入門をお書きになったので，わたしも違う切り口で書いてみたくなりました。いちおうの基礎（読み飛ばし可）文字セット, キャラクタセット, 文字集合, 文字集合 - Wikipedia エンコーディング, 符号化方式, 文字符号化方式 - Wikipedia この2つは異なります。とくに知らなくても下記の文書を読むこ
http://d.hatena.ne.jp/dayflower/20080620/1213925271

404 Blog Not Found:perl - utf8::is_utf8("\x{ff}") == 0

ちょうどいい機会なので、Perl 5.8以降におけるutf8フラグの立ち方を。 unknownplace.org - 2008/02/17 - utf8::is_utf8 ということで、"\x{6751}\x{702c}\x{5927}\x{8f14}" などというData::Dumper表記でかならずしも utf-8フラグがたつわけじゃない。ということがいいたかったんだと思うのだけれど、続きを読む
http://blog.livedoor.jp/dankogai/archives/51004472.html

Template-Toolkitでマルチバイトな話 - Yet Another Hackadelic

先に言っておくと、hide-kさんのまとめが分かりやすいです。 hide-k.net#blog: Catalystでマルチバイトを取り扱うときのまとめ最もCatalystを使う際にと言う事ですが。 utf8フラグを立てないでTTを使う場合ソース自身はutf8で書くんですけど、 #!/usr/bin/perl use strict; use warnings; use Carp::Clan; use Path::Class; use Template; my $base_dir = dir($ENV{HOME}, qw/tmp tt_test/); my $template = Template->new({ COMPILE_DIR => $bas
http://d.hatena.ne.jp/ZIGOROu/20080122/1201017745

404 Blog Not Found:perl - no encoding; # whenever possible

うーん、これ、かなり5.8 portersの想定の範囲外の使われ方だったのですね。 Time to ditch encoding.pm: blog.bulknews.netPerl でソースコードにマルチバイトなリテラルを埋め込む場合には encoding プラグマを使うのが定石でしたが、
http://blog.livedoor.jp/dankogai/archives/50857509.html

「私のために争わないで」文字コードのUTF8さん、自殺 : bogusnews

資料写真：文字コード超研究 → amazonで詳細情報を確認文字コード・エンコーディング体系として知られる<strong>Unicode</strong> UTF8さん（9歳）が11日、都内で自殺していたことがわかった。関係者によれば、このところ周囲で論争や誹謗中傷が絶えないのを苦にふさぎこむことが多かったとのこと。葬儀は故人の遺志により密葬となる予定。UTF8さんはエリートで有名な<strong>Unicode</strong>家の末妹。ここ数年
http://bogusne.ws/article/41580267.html

404 Blog Not Found:perl - use utf8;

添削というより、ちょうどutf8 pragmaを説明するのにいい例題なので。はこべにっき# - Web::Scraper便利! my $left = decode_utf8('『'); my $right = decode_utf8('』');
http://blog.livedoor.jp/dankogai/archives/50828019.html

Matzにっき - スラッシュドットジャパン | 文字エンコーディングはUTF8で本当に十分なのか？

スラッシュドットジャパン | 文字エンコーディングはUTF8で本当に十分なのか？先日、「シフトJISを捨てられるか?：ITpro」についてとりあげたら、tagohさんが「The day-to-day thoughts - UTF-8は十分かどうか」と反応して、さらにスラッシュドットでとりあげられた。厳密な話をするならば、欠点のない文字集合もエンコーディングも存在しないので、どのような文字集合を選んでもどの
http://www.rubyist.net/~matz/20070312.html#p02

UTF-8 エンコーディングの危険性 - WebOS Goodies

昨日の記事で公開した Ruby 用の JSON パーサーに UTF-8 の検証機能を追加しましたが、本日はこれについて少し補足説明しようと思います。 UTF-8 は比較的扱いやすいエンコーディングですが、単純にデコードすると ASCII コードと同じ値になってしまうマルチバイトコードが存在するため、注意が必要です。文字エンコーディングについて詳しい方には当たり前のことかもしれません
http://webos-goodies.jp/archives/51072404.html

404 Blog Not Found:perl - PerlIO vs. <>

これ、Perl 5 Porterとしてちょっと申し訳ないケース。 [を] Perl 標準入力と utf8しかし、 test.pl は行けるが、 test.pl utf8.txt はだめ。
http://blog.livedoor.jp/dankogai/archives/50759241.html

404 Blog Not Found:Unicodeは文字集合か符号化方式か

以下は、電脳で文字を扱う場合の基礎中の基礎なのだが、肝心の記事に重大な誤りがある。文字コード規格の基礎：ITproそろそろ具体的な説明に入ろう。最初にはっきりさせておく必要があるのは次の点だ。一般に「文字コード」と言う場合，文字の集合エンコード方法という要素がある。この二つを区別して考えることが重要だ。もちろん大きな関連はあるのだが，ごちゃご
http://blog.livedoor.jp/dankogai/archives/50696661.html