nDiki : Java

Perl インストール Linux Eclipse 開発 日本語 メモ XML Ant C++ HTML ソフトウェア ソースコード Web インストーラ コーディング規約 GanttProject JAR Naney Ruby build.xml ビルド sid ガントチャート HTTP UTF-8 命名規則 Naney Java Coding Standards doxygen JUnit

■ SQLite とか DbUnit とか

最近急に RDBMS に興味をもってきた。 といっても、できればライトなやつ。

@ SQLite

Perl と相性が良さそう。SQLite はコードが少なく public domain なので、DBI用ドライバモジュール DBD::SQLite は SQLite のコードを全部取り込んでしまってある。 ActivePerl 5.8.6.811でもビルドできた。

PDLのベクトルを Storable (PDL::IO::Storable)でシリアライズして SQLite 保存し、後で必要な時に取り出しアンシリアライズして計算に使うっていう風にしたいんだけれど速度的にどうなんだろう。 要実験。

@ DbUnit

別件。 Oracle Database にアクセスする Java アプリケーションのテスト方法を思案中。 モックオブジェクトを使う方法も考えたけれど、やはり実環境に近い方がいいんじゃないだろうか。

となると DbUnit あたり?

そのうち設定してみるか。 開発者ごとにデータベースを作らねばならないな。

• [ Perl ] PDL 2.4.1 から eigens が固有ベクトルを... (2004-03-05)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• [ WiKicker ] Storable 永続化データの互換性 (2005-06-06)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• 「依存関係検査のしにくいモジュール」に依存するスクリプトをPARで実行形式化する (2005-03-08)

■ 後輩と一緒にプログラミング

後輩が開発中の Java プログラムを添削しつつ、二人で書き直す作業。 今回はほとんど自分がコードの書き直し方を説明するという流れだったし、ペアプログラミングとは言えないかな。

……英語キーボードじゃないPCでのプログラミングは辛い。

• SQLite とか DbUnit とか (2005-05-23)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• Module::Build でソースパッケージング (2005-08-24)
• GanttProject で開発スケジュールを作成 (2004-08-26)
• Java をやっておけばしばらくは食いっぱぐれない? (2005-08-01)

■ Java をやっておけばしばらくは食いっぱぐれない?

開発者不足なので派遣とかを検討。

リクエストとして「Java でプログラムが書けること」と伝えたら、どこも不足気味で売り手市場だとのこと。 とりあえず Java の経験積んでおけば、最悪派遣登録でやっていけるってことか(もちろんその他のスキルも身につけておく必要があるだろうけど)。

• SQLite とか DbUnit とか (2005-05-23)
• Module::Build でソースパッケージング (2005-08-24)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• GanttProject で開発スケジュールを作成 (2004-08-26)
• 後輩と一緒にプログラミング (2005-06-17)

■ Module::Build でソースパッケージング

@ ExtUtils::MakeMaker

私が Perl が好きな理由の一つに、標準でExtUtils::MakeMakerという Makefile ジェネレータがついているところである。これを使って Makefile.PL を書くと

 perl Makefile.PL
 make manifest
 make
 make test
 make dist

で <pacakge>-<versionno>.tar.gz というソースパッケージを作ることができ、

 tar zxvf <pacakge>-<versionno>.tar.gz
 cd <pacakge>-<versionno>
 perl Makefile.PL
 make
 make test
 make install

という手順でインストールする事ができるようになる。 パッケージの作り方が確立されているので、容易に新しいパッケージを開発しはじめられる。

逆に Java でプログラムを書くのが億劫なのは、このあたりの準備が面倒だからである。 Ant を使っても結局ここら辺自分でやらなければならないし。

@ ちょっとしたアーカイブの作成

ちょっとしたパッケージを作りたいと思うことは良くある。 例えばいくつかのデータファイルと、READMEファイルなんかをひとまとめにしてアーカイブにするとか。

本当にちょっとしたであれば、手動でアーカイブすれば良いのだが、

• アーカイブしたいファイル群がバージョン管理下にあって、CVS ディレクトリや .svn ディレクトリがある (除外してアーカイブする必要がある)
• 同じディレクトリにある、作業用のファイルはアーカイブしたくない (除外してアーカイブする必要がある)
• アーカイブする前に、チェック用のリグレッションテスト一式を走らせたい (リグレッションテストをかけられるようにする)
• UNIX でも Windows でもアーカイブ化できるようにしたい。

あたりを考慮しなければならない時は面倒くさくなってくる。

自動化としては

• シェルスクリプト/バッチファイルを書く
• Makefile を書く
• GNU Autotools を使う

あたりがぱっと思い浮かぶ。 しかし、最初の2つは毎回同じようなものを書くのが面倒だし保守もしにくい。 GNU Autotools はちょっとごっつすぎだし、Windows での環境構築も面倒。

@ ExtUtils::MakeMaker の欠点

ということで最初は ExtUtils::MakeMaker を使うという線で考えてみた。 もともと Perl モジュール用で汎用用途にはちょっと邪魔な振舞いもあるが、使えないことはないと思う。 しかし make (GNU Make あるいは nmake など) に依存しているという欠点がある。

@ Module::Build で

ということで ExtUtils::MakeMaker の代替である Module::Build ベースで汎用用途に使えないか検討してみた。こちらは pure Perl で make を必要としない。

Module::Build も Perl モジュールビルドにあわせた振舞いがあるものの、ちょっとカスタマイズすれば使えそうだ。 で、いろいろいじった結果、次のような感じにすると使いやすそうだ。

 use Module::Build;
 my $class = Module::Build
   ->subclass(class => 'NonmoduleBuilder',
              code => q{
                        # Don't make blib
                        sub ACTION_code {};
                        # Don't make blib
                        sub ACTION_docs {};
                        # Don't make META.yml
                        sub ACTION_distmeta {
                          # no warning on ACTION_distdir
                          $_[0]->{metafile} = 'MANIFEST';
                        };
                        # Don't add MEATA.yml to MANIFEST
                        sub ACTION_manifest {
                          $_[0]->{metafile} = 'MANIFEST',
                          $_[0]->SUPER::ACTION_manifest(@_);
                        };
                       });

 # Set your archive name and version.
 $class->new(dist_name => 'mypackage',
             dist_version => '1.0.2',
             )->create_build_script;

カスタマイズした部分は以下(Module::Build 0.26 で動作確認)。

• Perl モジュールビルドに特有の blib ディレクトリを作らないようにする。
• META.yml を生成しないようにし、アーカイブに含まれないようにする。

上記のようなファイルを Build.PL という名前で作っておけば

 perl Build.PL
 ./Build manifest
 ./Build
 ./Build test
 ./Build dist

等として、アーカイブ作成が容易にできるようになる。

しばらくこの方法でいろいろ試してみることにしてみよう。

• SCons は GNU Autotools のかわりになるか (2005-04-20)
• ActivePerl で Ming (2005-02-23)
• nmake で毎回 pl2bat されるのを何とかしたい (2004-11-25)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• bundle を作成して Perl モジュールをまとめてインストール。 (2004-10-21)

■ J2SE 5.0 の総称と拡張 for ループをはじめて使う

ここしばらく Java であまりコードを書いていなかったし、書いたとしても 1.4 用で書いていたのでずっと新しい言語機能を使っていなかった。

コレクション関係のサンプルコードを書いて人に渡す必要があったので、generics、for-each 構造をやっと使ってみた。 なるほど楽ちん。

• skkinput がよく落ちるので uim-skk に乗り換え (2005-09-22)
• JAlbum で Webフォトアルバム (2004-11-14)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• Debian (不安定) (2005-02-03)
• サブプロジェクトが使える GTD ツール ThinkingRock 2.0.1 (2008-06-23)

■ skkinput がよく落ちるので uim-skk に乗り換え

メインのノート PC (Debian GNU/Linux sid)では XIMサーバとして skkinput を使っているのだが Firefox で入力をしていると、Firefox を道連れによく落ちてしまう。 何かの登録のためにフォーム入力していたり、WikiPage の編集をしているときに落ちてしまうとかなり辛い。

ということで遅ればせながら uim を試してみることにした。

@ インストール

ほぼ「Japanese - Debian GNU/Linux スレッドテンプレ」の通りに設定。

SKK用の辞書などは既にはいっているので

 apt-get install uim uim-skk

として uim 関連のファイルをインストール。

~/.xinitrc の skkinput 関連の部分をコメントアウトして、

 if type uim-xim &> /dev/null ; then
   uim-xim &
 fi
 XMODIFIERS=@im=uim ; export XMODIFIERS
 GTK_IM_MODULE=uim ; export GTK_IM_MODULE
 UIM_IM_ENGINE=skk ; export UIM_IM_ENGINE

を追記。

これで Firefox でも問題なく uim-skk で日本語入力ができた。

@ ツールバー

Window Manager 用システムトレイとして docker を使っているので、uim-toolbar-gtk-systray を使う。

 uim-toolbar-gtk-systray &

@ Emacs 用に設定を変更

初期状態だと C-j でも uim-skk がオンになる。 これだと Emacs を使っている時によろしくない。

uim-skk の方は Shift-space でトグルすればよいので、uim-pref-gtk 上の 「SKKキー設定1」の「モード遷移 - [SKK]オン」から Control-j を外しておいた。

@ 追記

@ Java アプリケーションでの入力。

J2SE (1.5.0_04) 上で日本語入力ができないのに気がつく。

~/.Xdefaults に

 *inputMethod: uim

を追加して入力できるように対応 (2005年9月24日追記)

• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
• CUPS で Debian から EPSON カラーレーザプリンタへ印刷 ... (2006-01-04)
• Mozex を使って Firefox 1.5.0.1 の textarea... (2006-02-18)
• Iceweasel 2.0 (Firefox 2.0) にほぼ無事移行終了 (2006-11-27)
• 要日本語コンソール環境整備 (2006-08-24)

■ 久しぶりに build.xml を書く

ソフトウェアのレビュー日。 最近ミーティングの調整やドキュメントの作成などばかりで、ソースコードに触れる機会がほとんどなかったので Eclipse なんか入れちゃったりしてウキウキ。

……あれ? ビルドまだ自動化してないの? いや、普通まず最初にビルド自動化しておくでしょ。configure.ac とか Makefile.am とか Makefile とか Makefile.PL とか Build.PL とか書いちゃうでしょ。 Java ならまあ build.xml とか書いとくでしょ。 make dist (相当が)できるようなターゲット書いておくでしょ。

……無いのね。Eclipse でぬくぬく書いてるのね。コード書いている間はいいよ。 でもね、節目のビルドはね、そういうのでやってね。ビルドファイルの含めているソースアーカイブもコマンド一発で作れるようにしておいてね。

はい。では、書きますよ。今回は私が。 次はちゃんと書いてね。

• 「プロジェクトマネジメント」はどうやって勉強すれば良いですか? (2006-11-22)
• Module::Build でソースパッケージング (2005-08-24)
• assertion (2004-05-16)
• TrueCrypt で USB メモリに Windows と Linux ... (2006-12-14)
• Debian GNU/Linux で Dropbox (2008-09-16)

■ 今日のさえずり - スーツに着た回数を記録する仕組みが欲しい

• 10:27 明日の浜松出張確定。
• 11:05 @lynmock P3 2.19 on Debian GNU/Linux sid です。Java(TM) SE Runtime Environment (build 1.6.0_03-b05)
• 11:13 P3 2.21 にアップデートして起動。
• 14:36 クリスマスケーキ行列の中。[mb]
• 15:16 ニッコールクラブきた。[mb]
• 15:30 アトレ大井町2008年1月28日から改装。3月中旬リニューアルオープン予定。[mb]
• 16:36 クリーニングに出す目安用に、スーツに着た回数を記録する仕組みが欲しい。あるいは不潔インジケータ。[mb]

• Twitter ベイジアンフィルタプロキシ (2007-12-29)
• 今日のさえずり - 港区出身者とはニコニコ学園ネタで盛りあがる (2008-06-24)
• 今日のさえずり - RTM 上でプライベートと仕事についてタグで分けることにした (2007-11-21)
• skkinput がよく落ちるので uim-skk に乗り換え (2005-09-22)
• 古い Crypto++ は古い GCC で (2006-02-07)

■ Twitter ベイジアンフィルタプロキシ

Twitter で following が増えてくるにつれて、タイムラインに目を通すのが大変になってきた(という程きちんと見ている訳ではないが)。 さっとタイムラインをなめて面白そうな情報をピックアップしたい時は、「おはよう」とか「風呂入った」とか「トイレ」とかは除外して読みたい(そういう書き込み自体は嫌いじゃないのだが、人生はあまりにも短い)。

Twit や P3:PeraPeraPrv では NG ワード指定ができて、それらを含むステータスは表示しないようにできるのだが、Twitter の書き込みは揺らぎが激しすぎて指定しきれないという弱点がる。

ということでベイジアンフィルタでフィルタリングしてみることにした。

自前で Twitter クライアントを作る気はないので、proxy の形でさっと実装してみた。

 #!/usr/bin/perl

 use strict;
 use warnings;

 use HTTP::Proxy;
 use HTTP::Proxy::BodyFilter::complete;

 my $proxy = HTTP::Proxy->new(port => 8088);
 $proxy->push_filter(response => HTTP::Proxy::BodyFilter::complete->new,
                     mime     => 'application/xml');
 $proxy->push_filter(response => Bsfilter->new,
                     mime     => 'application/xml');
 $proxy->start;

 {

   package Bsfilter;

   use File::Temp qw/tempfile/;
   use XML::XPath;
   use base qw(HTTP::Proxy::BodyFilter);

   sub filter {
     my ($self, $dataref, $message, $protocol, $buffer) = @_;
     return unless defined($$dataref) && $$dataref ne '';
     eval {
       my $xml = XML::XPath->new(xml => $$dataref);
       my @nodes = $xml->findnodes('/statuses/status/text/text()');
       return unless @nodes;
       for my $node (@nodes) {
         my $text = $node->getNodeValue;
         if (is_NG($text)) {
           $node->setNodeValue("[NG] $text");
         }
       }
       $$dataref = qq(<?xml version="1.0" encoding="UTF-8"?>\n);
       $$dataref .= $xml->get_context->toString;
       utf8::encode($$dataref);
     };
     if ($@) {
       warn $@;
     }
   }

   sub will_modify { 1 }

   sub is_NG {
     my ($text) = @_;

     my ($fh, $filename) = tempfile();
     utf8::encode($text);
     print $fh $text;
     close($fh);
     my $result
       = system(
       "bsfilter --homedir ~/.twitter-bsfilter --ignore-header --auto-update $filename"
       );
     unlink($filename);

     return !$result;
   }
 }

@ HTTP proxy の作成

Perl で HTTP proxy を作ろうとして真っ先に思い浮かんだのは POE だけれど、ちょっとヘビーなので今回は HTTP::Proxy をチョイス。 もともとフィルタリング HTTP proxy を作ることを念頭に置いた Perl モジュールなので今回の目的にぴったり。

1つはまった点といえば、filter の呼び出しがレスポンス全てを取得してからではなく一部分ずつの呼び出しになるところ。その仕様に気がつくのにちょっと時間がかかってしまった。 例えば XML 形式のレスポンスをフィルタしようとしても、普通に HTTP::Proxy を使うと XML の一部ずつがフィルタに渡されるため、XML のパースがうまくいかない。

これについては HTTP::Proxy::BodyFilter::complete を使うことで、まとめてフィルタに渡せるようになった。

@ レスポンスの処理

Twitter のタイムライン取得については P3:PeraPeraPrv が XML 形式で取得しているので、そのタイプのレスポンスをフィルタするようにした。

XML::XPath でステータス部分を抜き出して NG 判定し、NG であれば先頭に [NG] を追加する。 これで Twitter クライアント側で [NG] を NG ワード指定すれば、表示されないようにすることができる。

@ bsfilter による NG 判定

NG 判定は普段メールの spam フィルタとして使っている bsfilter を使った。 単純に system 関数で呼び出して結果を取得するだけ。

今回は対象がメールではないので --ignore-header を指定。また自動的に学習するように --auto-update を指定。 それと普段メールのフィルタリングに使っているのとは bsfilter のデータベースを別にしたいので、--homedir も指定しておく。

@ NG と非 NG の学習。

NG ワードを twitter-NG.txt に、非 NG ワードを twitter-clean.txt に書いて以下のコマンドを実行。

 bsfilter --add-clean --ignore-header --homedir ~/.twitter-bsfilter twitter-clean.txt
 bsfilter --add-spam --ignore-header --homedir ~/.twitter-bsfilter twitter-NG.txt
 bsfilter --update --homedir ~/.twitter-bsfilter

自分の環境 (Debian GNU/Linux sid)では、UTF-8 で書いておいて問題なかった。

@ フィルタリングしてみる

あとは先の proxy を起動し、P3:PeraPeraPrv でプロキシとして localhost:8088 を指定すれば OK。

タイムラインを取得するたびに bsfilter が動いて NG なステータスには [NG] が挿入される。

@ フィルタリングの精度

これについては、まだまだチューンの必要ありかな。

• 事前の学習データが少ない。
• --auto-update していることもあり、最初に NG 判定が多いとそちら側に強化されすぎる。
• 毎回 bsfilter を呼んでいるため、同じステータスが何度も学習される。

まだ使える精度まで上がってないけれど、教師データを増やせばそれなりにいけるかもしれない。

proxy の枠組ができたので、(@～は抜いてから bsfilter に渡すとか、前後の文脈も含めるとか)いろいろ試して遊べそうではある。 別に bsfilter にこだわらず、正規表現による判定などをしてもよいし。

この辺り P3 は Java で書かれているので、プラグインを書いて拡張できるよう将来になると面白いなと思ってみたり。

• ColdSync (2004-05-05)
• MAILPIA による Twitter リプライチェック (2008-11-18)
• POE で HTTP プロキシサーバ (2005-10-15)
• PAR (2004-07-19)
• 今日のさえずり - サーバ止めた。この静寂がたまらない。 (2008-11-16)

■ サブプロジェクトが使える GTD ツール ThinkingRock 2.0.1

Task Coach で GTD しているうちに、もっとスマートにできるツールがないかなと探して出会ったのがこれ。

• Java で書かれており、Linux でも使える。
• サブプロジェクトを作ってブレイクダウンしていける。

というのがイケてる。Web ベースの GTD ツールも多いが、ThinkingRock は普通のアプリケーションなのでインストールも簡単。RDBMS 等のセットアップも不要であり、すぐに使える。

GTD の流れを知っていればマニュアルをほとんど見なくても自然に使うことできる。 今日ダウンロードして使い始めたのだが、すぐに ThinkingRock ベースで GTD のプロセスをまわせるようになって驚いた。

GTD をしていて欲しいと思っていたプロジェクトテンプレートも作っておける。 チェックリスト的なプロジェクトを登録しておいて、必要な時にプロジェクトにコピーして使うような運用ができるようだ。

これホントいいんじゃない?

今後は

• 仕事 -> ThinkingRock
• リピートするアクション -> RTM (ThinkingRock にはリピートがない)
• 外出先でチェックするアクション(買い物など) -> RTM (ThinkingRock はケータイで見られない)
• プライベート -> 手帳 (PC とは離れたプロジェクトが多い。一部は ThinkingRock にのせてもいいかもしれない。)

という形でまわしてみようと思う。

• http://www.thinkingrock.com.au/

• Task Coach で GTD (2008-06-23)
• 2008年夏の GTD 運用ツール (2008-07-23)
• 今日のさえずり (2007-10-04)
• タスクにどれだけ時間がかかっているか作業記録を取ってみる (2007-02-05)
• 今日のさえずり - RTM 上でプライベートと仕事についてタグで分けることにした (2007-11-21)