nDiki : HTTP

Perl WiKicker CGI プログラム Apache CGI HTML LWP::UserAgent Privoxy Java Web サーバ WWW::Mechanize::Cached インストール WWW::Mechanize エラー URI Cache::Cache URI::Fetch Perl モジュール WikiPage Wiki ファイル名 HTTP::Daemon HTTP::Request 日本語 仕様 Firefox 拡張機能 Google XML URL Firefox

■ iモードHTMLシミュレータ Version 7.2

iモード向けの簡単なCGI プログラムの開発を社内で頼まれているので、動作・レイアウト確認用にシミュレータを探してみる。

あら、NTTドコモで配ってらっしゃる。 ということでダウンロード。昔633S用につくったiモード向けページなどを閲覧してみる。

機種別のプロファイルのようなものはなくて、自分で画面サイズやiモード対応HTMLバージョンの選択をしてあげる必要があるけれど、HTTPヘッダのチェックやHTMLのソース表示、文法チェック機能などがあり今回はこれで充分いけそうだ。

• さよなら PHS (2007-02-10)
• 私的10大ニュース2005 [ comp ] (2005-12-31)
• 22:00 画像サイズと名前 (2002-01-20)
• GanttProject で開発スケジュールを作成 (2004-08-26)
• 15:00 妻、N503iS 新規契約 (2001-12-08)

■ Firefox ユーザプロファイル作り直し

ブックマーク、Sage まわりその他がおかしくなったので、ユーザプロファイルを半年ぶりに作り直し。 拡張機能の整理(New は 前回から新たに使うようになったもの)。

@ テーマ

• 楠見直人氏の rein。Cool!
  • klee - mozilla

@ Debian パッケージで入れてしまう拡張

• DOM Inspector (mozilla-firefox-dom-inspector)
• Diggler (mozilla-diggler)
• Live HTTP Headers (mozilla-livehttpheaders)
• Firefox Development JLP

@ 必須拡張

• タブブラウザ拡張
  • Tab Mix + Tab Mix Plus にしようと思ったけれど、ツールバーを左に持ってこれなさそうなので、やっぱりコレに。
• Add Bookmark Here
  • Galeon ユーザだった自分には必須。
• SwitchProxy Tool
  • Privoxy の on/off 用
• Web Developer
  • CSS書き時必須。フォームの POST -> GET 変換も便利。
• Google Pagerank Status
• (New) Google Toolbar for Firefox
  • 本家のやつ。
• (New) Adsense Notifier
  • Google AdSense 用。
• (New) Sage
  • track feed の表示用 (それ以外は Bloglines で)。

• Firefox 拡張機能の整理 (2005-02-05)
• [ Debian ] 昨日の cookie 問題は Privoxy のフィ... (2003-12-22)
• Bloglines に巡回先の一部を集約 (2005-02-13)
• Tor で hidden service (2005-02-13)
• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)

■ POE で HTTP プロキシサーバ

Privoxy などのプロキシサーバを使うと閲覧するWebページの書き換えをすることができるのだが、凝ったことをするとなると無理がある。

以前から興味のあった POE で HTTP プロキシサーバを作ってみることにしよう。 といってもまずは、サンプルを動かしてみるところから。

POE Cookbook の web proxy サンプルを動かしてみる。 なるほど短く書けていいな。

これに Web ページを書き換えるコードを挿入してあげれば、簡単に希望するプロキシサーバの出来上がり。 Greasemonkey も悪くないけれど、ローカルのデータとかを利用してページを書き換えたい時はこっちの方が楽であろう。 それに Perl だし。

• Twitter ベイジアンフィルタプロキシ (2007-12-29)
• 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
• Firefox 拡張機能の整理 (2005-02-05)
• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
• HTTP/1.0 Simple-Response (2004-06-01)

■ 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得

WiKicker や DiKicker でうまく他のサイトの情報を取り込んで利用できるようにしたい。 相手サイト・自サイトともに負荷をかけないように処理するには、うまくキャッシングする必要がある。

キャッシュ機能のあるPerl用HTTPユーザエージェントには

• WWW::Mechanize::Cached
• LWP::UserAgent::WithCache
• URI::Fetch

などがある。

@ WWW::Mechanize::Cached 1.32

WWW::Mechanize::Cached は1度取得したレスポンスを無条件に1日間キャッシュする。 WWW::Mechanize のサブクラスで、便利な機能が利用できるが、キャッシュは適当。

キャッシュは Cache::FileCache決め打ち。

@ LWP::UserAgent::WithCache 0.03

LWP::UserAgentのサブクラス。 Expires、Last-Modified、Etag ヘッダを考慮して処理する。

キャッシュは Cache::FileCache決め打ち。

@ URI::Fetch 0.04

fetch サブルーチンのみを提供するシンプルなモジュール。

キャッシュは Cache 系APIのモジュールを指定する。実際には Cache::Cache 系でもOK。 Last-Modified、Etag を考慮して処理する。

前回のアクセスから一定時間はキャッシュを返すようにする機能があり、RSS や Atom フィードを取得して利用するのに便利。

@ 今回は

URI::Fetch をチョイス。 our を使っているのでそのままでは Perl 5.005_03 では動かないが、use vars に書き換えれば問題なく動く。

• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
• はてなブックマーク上の検索結果を nDiki に (2005-10-30)
• Cache::Memcached 1.13 の Perl 5.005_03 対応 (2004-06-05)
• [ Perl ] Memcached を使ってみる (2004-01-12)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)

■ Perl CGI プログラムのテストには WWW::Mechanize::CGI を

CGI プログラムを書いていて、いつも困るのがリグレッションテスト。

パッケージのビルド時に実行するテストスーツ (make check / make test 用テストプログラム群) に含めておきたいが、さすがにその場で Web サーバの下へセットアップするわけにもいかない。 ミニ Web サーバを同梱してテストスーツ内で起動する方法はちょっとおおがかかりだし、ポート番号の選択やらサーバの停止の問題もあって、かなり面倒。

結局、テストスーツの中で環境変数や標準入力など CGI リクエスト環境をセットアップして、CGI プログラムを実行するという王道(?)かつ泥臭いテストを書くことになったりする。

何かいいものはないかと探していたところ、WWW::Mechanize::CGI というものをみつけた。

LWP::UserAgent を継承した WWW::Mechanize モジュールは Web ブラウジングを容易にする有名どころのモジュールである。

WWW::Mechanize::CGI モジュールはさらにこれを拡張したモジュールで、HTTP リクエストを、仮想的に CGI プログラムやサブルーチンへの呼出しにしてくれる。 これを用いるとあたかも Web サーバ上の CGI プログラムにリクエストしレスポンスを受けとっているかのように、テストプログラムを書くことができる。

素晴しい。

さっそく WiKicker のテストを書き換えてみた:

 use Test::More tests => 2;
 use WiKicker::WikICGI::Controller;
 use WWW::Mechanize::CGI;
 use File::Temp qw(tempdir);
 use File::Spec;
 my $www_dir = tempdir(CLEANUP => 1);
 my $mech = WWW::Mechanize::CGI->new;
 $mech->cgi(sub {
              $ENV{PATH_INFO} = '' if $ENV{PATH_INFO} eq '/';
              WiKicker::WikiCGI::Controller->new->run});
 $mech->env($mech->env,
            SCRIPT_FILENAME => File::Spec
                                 ->catfile($www_dir . '/wiki'),
            SCRIPT_NAME => '/wiki');
 my $response = $mech->get('http://localhost/wiki');
 ok($response->is_success);
 like($response->content,
      qr|<title>WikiForum\[WiKicker\]: FrontPage</title>|);

WWW::Mechanize::CGI オブジェクトを new した後、cgi メソッドで CGI サブルーチンを指定するか、cgi_application メソッドで外部 CGI プログラムを指定する。 ここでは直接、CGI サブルーチン (WiKicker::WikiCGI::Controller->new->run を実行)を指定した。

なおここで WWW::Mechanize::CGI が使っている HTTP::Request::AsCGI 0.5 における PATH_INFO の扱いが Apache などとは違って、空でも必ず '/' が入るようになっている。 これだと WiKicker では困るので、サブルーチンのところで修正している。

後は必要ならば WWW::Mechanize::CGI::env で、追加の環境変数設定を行っておく。

セットアップが済めば通常の WWW::Mechanize と同様に get 等でリクエストを行いレスポンスを受けとることができるようになる。

いい。しばらく試してみて不具合がなさそうなら、定番のテストスタイルにしたい。

ちなみに Test::Harness 用の Test::WWW::Mechanize にあわせて、Test::WWW::Mechanize::CGI というものもある。 これらを用いるとさらにテストを書くのが楽になるが、依存するモジュールも多いので無理に使わないほうがいいかもしれない。

• Test::WWW::Mechanize で Web アプリケーションをテ... (2006-09-13)
• 一般ユーザで Apache 2.0 を起動する最小限の httpd.conf (2006-07-15)
• 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
• XAMPP で WiKicker を動かしてみた。PPM インストール OK。 (2007-02-09)

■ WiKicker 0.30 リリース - トップページのページ名を変更できるようにするなどの機能追加

2006年2月13日以来、3カ月ぶりのリリース。

• コメント書き込みでも書き込み禁止パターンが適用されるように改良。
• WikiPage 編集画面で Ctrl+S を押すとプレビューするように改良。
• WiKicker の トップページのページ名を変更できるように改良 (toppage.pagename プロパティ)。
• トピックパス表示で常にトップページを先頭に表示するオプション (topicpath.showtop プロパティ) を追加。
• エラー時の HTTP レスポンスコードを 503 にした。
• テストスクリプトの改善。

セッション管理/認証/承認機能のコードを書きはじめてパッケージには含まれているけれど、まだ完成していないので有効になるようにはなっていない (あ、ちょっと中途半端になっているかも)。

• Intercepting Filter パターンとレスポンスの順次送信 (2006-02-28)
• WiKicker へのセッション管理/認証/承認機能追加開始 (2006-03-02)
• [ WiKicker ] Storable 永続化データの互換性 (2005-06-06)
• WiKicker 0.38 リリース - 認証・承認用コードの実装 (2006-09-14)
• [ WiKicker ] Last-Modified: 実装準備 (2003-09-17)

■ WiKicker における PageName 最長文字数

WiKicker では PageName を エンコードした文字列を URI に埋め込んだり、サーバで保存する際のファイル名にしたりしている。 このため、PageName の最長文字数はそれらの最長文字数に依存しているはずである。

今まで確認を後回しにしていたのだが、新しい機能の追加の際に確認しておく必要があるので調査してみた。

@ WiKicker の実装

WiKicker の実装がらみとして最長を決める要素としては

• PageName の UTF-8 表現を URI エスケープしてページ URI に含めている。→ URI、HTTP、HTML、Web サーバ、Web ブラウザの実装による最長の制約
• PageName を base64 にエンコードしてファイル名にしている。→ ファイルシステムのファイル名、パス名の最長の制約

がある。

@ 各仕様等による制約

• HTTP では URI の長さには制限なし (RFC2616 3.2.1)
• Web サーバは Request-URI が長いと 414 Request-URI Too Long を返す (RFC2616 10.4.15)。Apache は LimitRequestLine ディレクティブにより、URI を含むリクエスト行のサイズを制限することができる(配布時には 8190)。
• Internet Explorer が扱える URL の長さは 2083文字。
• ext2 はファイル名は 255文字まで(増やすこともできる)。
• 手元の Linux 2.6.15 で試したところ、パス名は 4095文字まで。

@ WiKicker で問題が出ない PageName 最長文字数

上記の中ではファイル名による制約が一番大きい。

WiKicker 内部でファイル名として base64 (の亜種) でエンコードしたものを使っているので、元の文字列はは最長 189バイトまでなければならない。base64 だと3バイトで4文字になるため、189バイトで 252文字となる。

WiKicker ではここでさらにファイル名に ',v'、'-lock' をつける事があるので、実際には元の文字列は最長 186 バイトまでとなる。

PageName が 186 バイトまでだとすると、URL エスケープしたとして558バイト。 WikiEngine のスクリプトの URL や他のパラメータとあわせても、これぐらいなら大丈夫のはずである。

ということで WiKicker では Linux 上だと通常 PageName は 186 バイトが最長と言ってよさそうだ。 日本語の文字はだいたい UTF-8 で3バイトになるので、62 文字までということになる。

そのうち、WiKicker に制約チェックを入れることにしよう。 そのうち。

• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• WiKicker 実装 (2002-10-20)
• 最後がピリオド(.)で終わるファイル名をつけられない (2005-04-19)
• WiKicker 0.35 リリース - 添付機能の修正など (2006-06-20)
• [ WiKicker ] If-Modified-Since: 関連作業ほぼ済 (2003-09-19)

■ WiKicker 0.35 リリース - 添付機能の修正など

添付機能を有効にすると、添付ファイルが無いページに対応するディレクトリが無条件に作られてしまう問題を修正。

それから日本語ファイル名のファイルを WikiPage に添付した際、Internet Explorer でそのファイルをダウンロードして保存しようとすると URI エスケープされた文字列がデフォルトの保存ファイル名になってしまいよろしくない。 このため、Content-Disposition ヘッダをつけてレスポンスを返すためのダウンロード用のリンクも追加。

Cotent-Disposition ヘッダでファイル名を指定する際、

• HTTP_USER_AGENT を見て Internet Explorer っぽくて
• Accept-Language の最初に ja があった場合

ファイル名をシフト JIS でエンコードしてしまうようにした。

ファイル名にシフト JIS で表現できない文字があるかもしれないし、Accept-Language に ja があったからといって Windows のロケールが日本語になっているという保証もないので、かなりいい加減なコードである。

なにか良い方法があったら修正したい。

• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• WiKicker における PageName 最長文字数 (2006-06-10)
• [ WiKicker ] 続L10N改善と、ページ名リスト処理の高速化 (2004-05-29)
• WiKicker 0.34 リリース - 添付機能のコードを追加 (2006-06-11)
• [ WiKicker ] Locale::Maketext による loc... (2003-12-28)

■ Iceweasel 2.0 (Firefox 2.0) にほぼ無事移行終了

ホールドしていた Debian GNU/Linux sid ノート PC の Firefox を 1.5 か 2.0 にそろそろ上げることにした。

@ Firefox 拡張機能

心配していた Firefox 拡張機能等の移行は以下の通り:

ほぼ問題なく動いた。

Tabbrowser Extensions については残念だがしょうがない。 かわりに

• Tab Mix Plus 0.3.5
• Undo Closed Tabs Button 2.0.0

をインストール。

TinyUrl Creeator は最近使っていないので問題なし。

SwitchProxy Tool は一応いれたけれど、考えてみれば最近は FoxyProxy の自動切り替えが申し分ないので別に無くてもよかったのであった。

それとステータスバーがごちゃごちゃしてきたので、整理できるように

• Organize Status Bar 0.5

をインストール。

@ テーマ

Modern Pinball 1.5.2 が NG だったので、Modern Pinball v2.0.2 for Firefox v2.0 ( http://mozilla-themes.schellen.net/... ) を入れ直した。

@ 移行してみて

2.0 になったからといってあまり変わった感じはしないか。

Tabbrowser Extensions が使えなくなって、タブまわりの使い勝手が悪くなったのは痛い。個別に拡張機能を入れていくしかないか。

せめてタブを縦並びにできればいいのだが。

• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
• CUPS で Debian から EPSON カラーレーザプリンタへ印刷 ... (2006-01-04)
• skkinput がよく落ちるので uim-skk に乗り換え (2005-09-22)
• Firefox 拡張機能の整理 (2005-02-05)

■ Twitter ベイジアンフィルタプロキシ

Twitter で following が増えてくるにつれて、タイムラインに目を通すのが大変になってきた(という程きちんと見ている訳ではないが)。 さっとタイムラインをなめて面白そうな情報をピックアップしたい時は、「おはよう」とか「風呂入った」とか「トイレ」とかは除外して読みたい(そういう書き込み自体は嫌いじゃないのだが、人生はあまりにも短い)。

Twit や P3:PeraPeraPrv では NG ワード指定ができて、それらを含むステータスは表示しないようにできるのだが、Twitter の書き込みは揺らぎが激しすぎて指定しきれないという弱点がる。

ということでベイジアンフィルタでフィルタリングしてみることにした。

自前で Twitter クライアントを作る気はないので、proxy の形でさっと実装してみた。

 #!/usr/bin/perl

 use strict;
 use warnings;

 use HTTP::Proxy;
 use HTTP::Proxy::BodyFilter::complete;

 my $proxy = HTTP::Proxy->new(port => 8088);
 $proxy->push_filter(response => HTTP::Proxy::BodyFilter::complete->new,
                     mime     => 'application/xml');
 $proxy->push_filter(response => Bsfilter->new,
                     mime     => 'application/xml');
 $proxy->start;

 {

   package Bsfilter;

   use File::Temp qw/tempfile/;
   use XML::XPath;
   use base qw(HTTP::Proxy::BodyFilter);

   sub filter {
     my ($self, $dataref, $message, $protocol, $buffer) = @_;
     return unless defined($$dataref) && $$dataref ne '';
     eval {
       my $xml = XML::XPath->new(xml => $$dataref);
       my @nodes = $xml->findnodes('/statuses/status/text/text()');
       return unless @nodes;
       for my $node (@nodes) {
         my $text = $node->getNodeValue;
         if (is_NG($text)) {
           $node->setNodeValue("[NG] $text");
         }
       }
       $$dataref = qq(<?xml version="1.0" encoding="UTF-8"?>\n);
       $$dataref .= $xml->get_context->toString;
       utf8::encode($$dataref);
     };
     if ($@) {
       warn $@;
     }
   }

   sub will_modify { 1 }

   sub is_NG {
     my ($text) = @_;

     my ($fh, $filename) = tempfile();
     utf8::encode($text);
     print $fh $text;
     close($fh);
     my $result
       = system(
       "bsfilter --homedir ~/.twitter-bsfilter --ignore-header --auto-update $filename"
       );
     unlink($filename);

     return !$result;
   }
 }

@ HTTP proxy の作成

Perl で HTTP proxy を作ろうとして真っ先に思い浮かんだのは POE だけれど、ちょっとヘビーなので今回は HTTP::Proxy をチョイス。 もともとフィルタリング HTTP proxy を作ることを念頭に置いた Perl モジュールなので今回の目的にぴったり。

1つはまった点といえば、filter の呼び出しがレスポンス全てを取得してからではなく一部分ずつの呼び出しになるところ。その仕様に気がつくのにちょっと時間がかかってしまった。 例えば XML 形式のレスポンスをフィルタしようとしても、普通に HTTP::Proxy を使うと XML の一部ずつがフィルタに渡されるため、XML のパースがうまくいかない。

これについては HTTP::Proxy::BodyFilter::complete を使うことで、まとめてフィルタに渡せるようになった。

@ レスポンスの処理

Twitter のタイムライン取得については P3:PeraPeraPrv が XML 形式で取得しているので、そのタイプのレスポンスをフィルタするようにした。

XML::XPath でステータス部分を抜き出して NG 判定し、NG であれば先頭に [NG] を追加する。 これで Twitter クライアント側で [NG] を NG ワード指定すれば、表示されないようにすることができる。

@ bsfilter による NG 判定

NG 判定は普段メールの spam フィルタとして使っている bsfilter を使った。 単純に system 関数で呼び出して結果を取得するだけ。

今回は対象がメールではないので --ignore-header を指定。また自動的に学習するように --auto-update を指定。 それと普段メールのフィルタリングに使っているのとは bsfilter のデータベースを別にしたいので、--homedir も指定しておく。

@ NG と非 NG の学習。

NG ワードを twitter-NG.txt に、非 NG ワードを twitter-clean.txt に書いて以下のコマンドを実行。

 bsfilter --add-clean --ignore-header --homedir ~/.twitter-bsfilter twitter-clean.txt
 bsfilter --add-spam --ignore-header --homedir ~/.twitter-bsfilter twitter-NG.txt
 bsfilter --update --homedir ~/.twitter-bsfilter

自分の環境 (Debian GNU/Linux sid)では、UTF-8 で書いておいて問題なかった。

@ フィルタリングしてみる

あとは先の proxy を起動し、P3:PeraPeraPrv でプロキシとして localhost:8088 を指定すれば OK。

タイムラインを取得するたびに bsfilter が動いて NG なステータスには [NG] が挿入される。

@ フィルタリングの精度

これについては、まだまだチューンの必要ありかな。

• 事前の学習データが少ない。
• --auto-update していることもあり、最初に NG 判定が多いとそちら側に強化されすぎる。
• 毎回 bsfilter を呼んでいるため、同じステータスが何度も学習される。

まだ使える精度まで上がってないけれど、教師データを増やせばそれなりにいけるかもしれない。

proxy の枠組ができたので、(@～は抜いてから bsfilter に渡すとか、前後の文脈も含めるとか)いろいろ試して遊べそうではある。 別に bsfilter にこだわらず、正規表現による判定などをしてもよいし。

この辺り P3 は Java で書かれているので、プラグインを書いて拡張できるよう将来になると面白いなと思ってみたり。

• PAR (2004-07-19)
• 今日のさえずり - スーツに着た回数を記録する仕組みが欲しい (2007-12-24)
• 今日のさえずり - Twitter 日本語表示みた (2008-04-23)
• 今日のさえずり - 100g 減る前にアタック買いだめ (2008-05-28)
• bogofilter から bsfilter に乗り換え (2005-07-09)