nDiki : Log::Log4perl

log4j for Perl。

• man page

WiKicker インストール RCS nDiki Apache エラー NaneyOrgWiki ActivePerl ExtUtils::MakeMaker 開発 ファイル名 Perl モジュール DiKicker CGI プログラム hns PDL Devel::Cover Perl 5.005_03 PPM::Make メール www.naney.org Module::Install ActivePerl 5.8.6.811 Makefile.PL IPC::Semaphore IPC::Shareable CGI::Carp TimeDate PAR Windows

■ [ WiKicker ] WiKicker で Log::Log4perl を採用

他のプロジェクトでも使用していて「WiKicker でも使いたいのだけれど、これ以上依存するモジュールを増やすのものぁ」というものの一つであった Log::Log4perl をやはり採用する事に。

Perl 5.005_03 でもギリギリOKのようである。

Debugログおよび、アクセスログ等もすべてこの上にのせていくつもり。

• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
• WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
• [ WiKicker ] IPC共有メモリを用いた直近のアクセスログ管理 (2004-01-18)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)

■ [ Perl ] Log::Log4perlのはまりどころ

WiKicker / DiKicker の Log::Log4perl 対応作業。

• www.naney.org は Apache の VirtualHost としてエラーログも個別に吐かれている
• エラーログは自分のホームディレクトリに吐かれるものの、root 所有である
• ディレクトリは自分に所有権があり、エラーログが肥大化したら消す事もできるのだが、Apache をリスタートする権利がないので(週に1度のシステム側のローテーションが起きるまで)二度とエラーログが見れなくなる。

ということで、warn -> Apache のエラーログに流れている警告メッセージも、Log::Log4perl の方に流して、好きに消せるようにしておくことにする。

@ Log::Log4perl->init_once

SpeedyCGI 下で動かす事を想定して初期化は、init_once で行うようにする。 可能な限り早く初期化すべきなので、設定ファイル名/設定文字列はプロパティファイルに記述しておくのではなく、CGI プログラムで最初に生成する Controller オブジェクトの初期化パラメータで指定するように。

@ $SIG{__WARN__} を設定

$SIG{__WARN__}を設定して、warn のメッセージを Log::Log4perl に送る。 最初はほぼ FAQ の例のまま、以下のように記述。

 use Log::Log4perl qw(:easy);
 BEGIN {
   $::SIG{__WARN__} = sub {
     local $Log::Log4perl::caller_depth = $Log::Log4perl::caller_depth + 1;
     WARN(@_);
   };
 }

しかし期待していた通りに動かず悩む。原因は前述する init_once との絡み。 use Log::Log4perl qw(:easy) した時点でデフォルトの初期化が行われてしまうため、初期化済みになってしまって init_once での設定処理がスキップされていたのが問題。

 use Log::Log4perl;
 BEGIN {
   $::SIG{__WARN__} = sub {
     local $Log::Log4perl::caller_depth = $Log::Log4perl::caller_depth + 1;
     if (Log::Log4perl->initialized) {
       Log::Log4perl->get_logger->warn(@_);
     }
   };
 }

と修正。 get_logger も暗黙的に初期化を行うので、init_once する前に warn されるとやはりデフォルトの初期化がおこってしまう。 それではまずいので initialized が真(=初期化済み)の時のみロギングするようにする。 ただしこれだと init_once する前の warn メッセージが失なわれる(STDERR あたりに print するようにすればいいかもしれない)。

@ CGI::Carpとの絡み

CGI::Carp も $SIG{__WARN__} を上書きするので同時に使えない。 以前に use していたのが残っていてはまる。

@ Log::Log4perl::Appender::Synchronized で core dump ?

NaneyOrgWiki、nDiki でロギングしはじめたところ、CGI プログラムの処理はきちんと成功しているもののその後(?) speedy_backend が core dump してしまう事があるようだ。 最初は $::SIG{__WARN__} の設定あたりに問題があるのかと思ったが、Log::Log4perl::Appender::Synchronized を使わないようにしたところ core を吐かなくなった。

IPC::Shareable、IPC::Semaphoreなんて使っているしやっぱりこれが怪しい。 とりあえず外しておくことにする。

しかし何らかの方法でシンクロしておかないとログファイルが壊れるはずだから、本当はどうにかしなければならないな。 もっと簡単に flock とかで排他制御する Appender とか無いのかな。 自分で書くしかない?

• www.naney.org サーバ断続的にダウン (2006-04-30)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更 (2006-03-03)
• [ WiKicker ] SpeedyCGI 対応するも…… (2003-11-09)
• [ WiKicker ] SpeedyCGI (2003-10-17)

■ ハイパー日記システム と Log::Log4perl

朝、Naney's Diary をチェックしたらエラーが出てしまっている。 昨日 WiKicker をアップデートした事による影響か。

チェックしたところ、hns ではライブラリに HTTP というパッケージがありその中で Request サブルーチンが定義されていた。 これが HTTP::Request モジュールと被っており、今回 WiKicker の更新で間接的に使用されることになった Log::Log4perl の中での new HTTP::Request と衝突する事に。

名前空間大事。

hns の方の HTTP::Request サブルーチンはそのパッケージ内でしか呼ばれていないようなので、HTTP::RequestSub と名前を変更して対処。

• WiKicker 0.30 リリース - トップページのページ名を変更でき... (2006-05-22)
• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• WiKicker における PageName 最長文字数 (2006-06-10)

■ [ DiKicker ] Term DB の改良

改良とういか実装。 DiKicker の Term DB (記事のインデックスファイル)はまだ不完全で、記事・単語の削除機能が一部未実装のところがある。 まとまった時間がとれたので、がりがりコードを書く。

Devel::Coverを使って、テストケースで各コードが使われているかを確認。 Perl だとメソッド名の typo など実際に実行されるまで気がつかないバグがあるので、コードを通過しているかどうかだけでもチェックできると結構便利。

WiKicker の部分とあわせて、Log::Log4perl によるロギングも随時整理。

• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• Perlプログラムのコードカバレッジ解析 (2004-06-03)
• [ WiKicker ] 日記機能開発開始 (2003-12-27)
• [ WiKicker ] 無記名時のバグ修正 (2003-09-20)
• WiKicker の Makefile.PL を Module::Inst... (2006-02-10)

■ PAR を ActivePerl 5.6.1 build 638 に

昨日 Linux 上で実験してみた PAR を Windows にも入れてみる。 PDLを使っている関係で ActivePerl は 5.6.1。

@ インストール

ppm install で入るパッケージは古いので、最新のものを入れておく。 ちょっと手間。

• PAR が必要とする Parse::Binary と Win32::Exe は ppm がないので、自分でとってきて make_ppm。
• PAR 0.85 は 'ppm install PPM::Make' ではいる make_ppm だとパッケージ作成失敗。PPM::Make 0.71 に上げる (古い PPM::Make で ppm 化可能)。
  • PPM::Make 0.71 は新しい Getopt::Long を必要とするので、こちらもソースをとってきて ppm 化。
• その他必要なパッケージもインストール (Config::IniFiles)。

ワンライナーを pp できるところまで動作確認。

@ モジュール + スクリプトを実行可能形式に

ExtUtils::Makemakerを使ってパッケージ化している開発中のモジュール(スクリプトあり、XS あり)を実行可能形式化してみる。

 perl Makefile.PL
 nmake
 nmake test
 cd blib
 set PERL5LIB=lib;arch (pp の -I オプションが効かなかったので)
 pp -o foo.exe -a lib -a arch -M ... -c  script/foo

Log::Log4perl::Appender::Screen、Jcode::Unicode::NoXS、Unicode::String、GD については依存関係を自動検出できなかったので、それぞれ -M で指定。

できた。動いた。素晴しい。 PDL や GD を使っていたのでちょっと不安だったのだがうまく動いて感激。 これでCD-ROMとか USB メモリに入れておいて一発実行とかできる。

• [ Perl ] PDL::PP で C extension を書く (2004-02-19)
• PAR::Repository でビルド済み Perl モジュールをネット... (2006-12-12)
• [ Perl ] PDL 2.4.1 から eigens が固有ベクトルを... (2004-03-05)
• ActivePerl で Ming (2005-02-23)
• 自前 PPM リポジトリの管理 (2006-07-03)

■ Windows 上での Apache 2.0.53 では PATH_INFO が シフト JIS に

WiKicker の Windows 上での動作確認の続き。 WiKicker のPPM パッケージを作成して ActivePerl 5.8.6.811 上にインストール。 依存するモジュールで、ActivePerl に入っていないものは以下の通り。

• Algorithm::Diff
• Jcode
• Log::Log4perl
• Time::Zone (TimeDate)

既に手元で PPM パッケージ化済みなので、これもインストールしておく。

後は RCS をパスの通っているディレクトリに入れてタイムゾーンを設定。

 TZ=JST-9

で CGI プログラムとして実行。 お、表示できた。 書き込みはと。

エラー。

予想していたけれど、sendmail に依存していたところ。 sendmail が見つからない場合はメールの送信をスキップするように修正。

これでうまく動くかなと思ったら、日本語名のページを作るとうまく表示できない問題を発見。

@ PATH_INFO がシフト JIS で渡される

WiKicker では UTF-8 文字列をURIエスケープして WikiPage のURLを生成している。 このURIにアクセスされると WiKicker は、PATH_INFO から WikiName を取り出す。 この文字列がシフト JIS になってしまっている。

Windows がファイル名に使用する charset にあわせて、Apache が変換してしまっているようだ。 調べてみると他の WikiEngine でも同様の問題にあっているという記事が見つかった。

将来の 2.0 系でパッチが取り込まれて修正されるとか、そうでないとか。

現状どうするかなぁ。 WiKicker 側でシフト JIS から UTF-8 に戻すというのもできない事はないけれど、あまりやりたくはないな。 いったんシフト JIS を介しているという時点で、シフト JIS に無い文字の扱いに関する問題をかかえてしまっているし(Apache が)。

対策案:

• Apache 1.x 系を使う (まだ未確認だが、こちらだと勝手に変換されないらしい)
• WiKicker に PATH_INFO を使わないオプションをつける(URI Query Component は勝手に変換されない)
• WiKicker 側でシフト JIS から UTF-8 に変換する

• WiKicker における PageName 最長文字数 (2006-06-10)
• WiKicker 0.35 リリース - 添付機能の修正など (2006-06-20)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• PATH_INFO のかわりに REQUEST_URI と SCRIPT_... (2005-04-15)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)

■ WiKicker 0.26 と ActivePerl 5.8.6.811 (Win32)

0.26 での依存モジュールの再確認。 ActivePerl 5.8.6.811では、追加で

• Algorithm::Diff
• Jcode
• Log::Log4perl
• TimeDate (Time::Zone)
• MIME::Base32

が必要。 それから RCS。動作確認は Apache で。

ロックまわりがうまく動いているかちょっと不安なのでテストが必要だが、一人でメモ用に使う分には問題なく使えるようになったかな。

• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• [ WiKicker ] RCSファイルのリビジョン間引き (2004-04-04)
• XAMPP で WiKicker を動かしてみた。PPM インストール OK。 (2007-02-09)
• [ WiKicker ] SunOS 5.6 にインストール (2003-04-23)
• [ WiKicker ] リビジョンが追加されていかない (2003-04-22)

■ WiKicker の Makefile.PL を Module::Install ベースに

WiKicker には依存している Perl モジュールとして、必須なものとオプションなものがある。 必須なものは例えば Log::Log4perl など。 一方 Cache::Memcached や HTML::Scrubber などは、追加機能を使用したい場合のみ必要である。

一般的な Perl モジュールパッケージと同様、WiKicker では Makefile.PL に ExtUtils::MakeMaker を使っている。 必須な依存 Perl モジュールは PREREQ_PM に指定してあるが、オプションのものについては独自にチェックして警告をするにとどめていた。 しかしこれだと、オプションのものは CPAN.pm を使って自動的にインストールすることができない。

ということで検討した結果、Module::Install を用いることにした。 Module::Install を用いて Makefile.PL を作成すると、

• 依存モジュールを、それぞれ必須のもの・ビルドのみ時に必要なもの・推奨のものと分けて処理できる。
• Makefile.PL 実行時に、未インストールの依存モジュールを CPAN からインストールできる。
• 依存モジュールを feature 別にまとめて、ビルド時に未インストールのものをインストールするか対話的に選択できる。

などの機能が使えるようになる。

Module::Install の実行に必要なファイルはパッケージの inc ディレクトリ以下に自動的にコピーされ配布パッケージに含められるので、インストールする側はそのために余分なインストールを強いられることもない。

最終的に内部で ExtUtils::MakeMaker を使っているので、それの機能はほぼ全て使える。

Perl のバージョンも 5.004 から使えるとのことで、Perl 5.005_03 以上を対象としている WiKicker で使っても問題なし。

ということで、Makefile.PL をさらっと書き換え。

合わせて WiKicker に含まれていた実験的な機能を削除して、(オプションな)依存モジュールも減らすことにした。

次回のリリース版から、Module::Install ベースだ。

• 最新の Module::Install は Perl 5.005_03 ステ? (2006-04-29)
• 野良パッケージと依存 Perl モジュールのインストールセット をCPAN... (2006-02-11)
• [ Perl ] Memcached を使ってみる (2004-01-12)
• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• WiKicker 0.29 リリース - ビルドまわりの改良など (2006-02-13)

■ www.naney.org 容量超過警告につきダイエット開始

ホスティングサービス会社より、www.naney.org が契約容量超過との警告のメールをもらった。まずい。

ということで急いでデータの整理を開始。

• ログファイルの見直し
  • nDiki のログ (Log::Log4perl) のログレベルを落とす
  • rogrotate の rotate、size パラメータを小さ目に設定しなおし
  • hns の log を削除
• バックアップの見直し
  • NaneyOrgWiki のバックアップファイルを削除
  • NaneyOrgWiki のバックアップ(daily)を停止
  • NaneyOrgWiki の RCS ファイル削除
• 作業ファイルの見直し
  • インストール作業ファイルを削除
  • 使っていないソフトウェアを削除
• コンテンツの見直し
  • emacs-wiki で作っていたコンテンツを削除

これでもまだまだ。コンテンツ系も、かなり整理する必要がありそうだ。 できれば他からリンクされているコンテンツについては対応する新しいものへリダイレクト設定しておきたいのだが、作業時間的にはちょっと無理。

• www.naney.org が書籍で紹介される? (2004-05-28)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• はいぱー日記システムで日記を開始 (2001-05-11)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)