nDiki : URI::Fetch

指定したURIのページを取得するための Perl モジュール。

Cache モジュールを使うと、キャッシュ機能を使用することができる。

Cache::Cache モジュールでも可だが、URI::Fetch でも Cache::Cache でもシリアライズを行うので冗長である。 無駄を避けるには URI::Fetch の、Freeze、Thaw パラメータに、素通りさせるだけのサブルーチンを指定すれば良いはず。

キャッシュを利用できる HTTP ユーザエージェントモジュールとしては、他に WWW::Mechanize::Cached、LWP::UserAgent::WithCache などがある。

Perl XML::RSS RSS Twitter nDiki Cache::FileCache cron IPC::ShareLite DiKicker URL アップロード サイドバー WWW::Mechanize Devel::Cover DLL CGI.pm 検索 PPM::Make Perl 5.005_03 Tie::File ExtUtils::MakeMaker Storable Web サイト ブックマーク Wx::ActiveX Search::InvertedIndex 例外処理 Template Toolkit HTML Devel::Size

■ 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得

WiKicker や DiKicker でうまく他のサイトの情報を取り込んで利用できるようにしたい。 相手サイト・自サイトともに負荷をかけないように処理するには、うまくキャッシングする必要がある。

キャッシュ機能のあるPerl用HTTPユーザエージェントには

• WWW::Mechanize::Cached
• LWP::UserAgent::WithCache
• URI::Fetch

などがある。

@ WWW::Mechanize::Cached 1.32

WWW::Mechanize::Cached は1度取得したレスポンスを無条件に1日間キャッシュする。 WWW::Mechanize のサブクラスで、便利な機能が利用できるが、キャッシュは適当。

キャッシュは Cache::FileCache決め打ち。

@ LWP::UserAgent::WithCache 0.03

LWP::UserAgentのサブクラス。 Expires、Last-Modified、Etag ヘッダを考慮して処理する。

キャッシュは Cache::FileCache決め打ち。

@ URI::Fetch 0.04

fetch サブルーチンのみを提供するシンプルなモジュール。

キャッシュは Cache 系APIのモジュールを指定する。実際には Cache::Cache 系でもOK。 Last-Modified、Etag を考慮して処理する。

前回のアクセスから一定時間はキャッシュを返すようにする機能があり、RSS や Atom フィードを取得して利用するのに便利。

@ 今回は

URI::Fetch をチョイス。 our を使っているのでそのままでは Perl 5.005_03 では動かないが、use vars に書き換えれば問題なく動く。

• [ Perl ] Memcached を使ってみる (2004-01-12)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
• Cache::Memcached 1.13 の Perl 5.005_03 対応 (2004-06-05)
• さらにサーバ負荷状態悪化。対応に追われる。 (2006-03-04)

■ はてなブックマーク上の検索結果を nDiki に

5カ月ほど前にはてなブックマーク上の最新ブックマークを nDiki のサイドバーに表示するようにしてみた。

今回は nDiki のキーワード別のページに、はてなブックマークからそのキーワードで検索されたブックマークを表示する機能を追加してみた。

取得する対象RSSが多くなり、さすがに前回みたいにローカルPCで処理して定期的にアップロードという形では無駄が多すぎるのでちゃんとサーバ上で処理するようにした。

URI::Fetch + Cache::FileCache + XML::RSS を用いて実装。 キャッシュ期間は1日に設定。キーワードページを最初にアクセスした際にははてなブックマークからのフィード取得があるので、ちょっと時間がかかるが2度目のアクセス以降キャッシュを使っている間はそれほど余計な時間はかからないはず。

自分のWeb日記とブックマークの組み合わせだと当然扱うネタが近いので、きちんと関連する情報が表示されるはずだ。 他の検索サーバのRSSフィードを利用する事も考えてはいるけど、しばらくはこれでいいかな。

• はてなブックマーク上の最新ブックマークを nDiki に (2005-05-16)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• Plagger のインストールが大変なので XML::RSS で RSS ... (2006-06-10)
• クリッピングに便利な CMS 「Tumblr」を使ってみる (2007-04-13)
• amaroK で聞いた曲を Web ページで表示 (2006-02-02)

■ Twitter ステータスを nDiki サイドバーに表示

公式の Flash 版 Twitter badge をこのページのサイドバーに表示していたが、以下の点でちょっと不満だった。

• 「Flash, Just Me」: 自分のみのステータスを表示できるが、1度に1つのみ。キャッシュの関係で古い情報が表示されがち。
• 「Flash, With Friends」: 自分のみのステータスを表示できない。
• 「HTML/JavaScript」: JavaScript ファイル読み込みなので、Twitter 側が重いとページのその先のレンダリングが止まってしまう。

「自分の過去のステータスを一覧的にサイドバーに表示する」のがしたいことなのだが、ちょっとマッチしない。 ということで Twitter から RSS フィードを取ってきて、サイドバーに表示することにした。

使ったモジュールは URI::Fetch + XML::RSS + Date::Parse。 それとユーティリティとして WiKicker::HTML と WiKicker::URI。

1. cron で定期的に Twitter から RSS フィードをとってきて、Perl スクリプトで HTML フラグメントに変換。
2. DiKicker が読み込む(サイドバーを含む)フッタファイルに挿入。

と簡単に実装してみた。機能的には概ね満足。

今後は L:～ や URL の自動リンク化、キーワードの自動リンク化を適宜したい。

• はてなブックマーク上の最新ブックマークを nDiki に (2005-05-16)
• クリッピングに便利な CMS 「Tumblr」を使ってみる (2007-04-13)
• Plagger のインストールが大変なので XML::RSS で RSS ... (2006-06-10)
• Flickr の写真を自動的に Twitter アイコンにする (2008-03-13)
• はてなブックマーク上の検索結果を nDiki に (2005-10-30)

■ Flickr の写真を自動的に Twitter アイコンにする

2週間ほど前にtwitterfeed で Flickr に写真をアップロードしたら自動的に Twitter にタイトルと URL をポストするようにしたのだが、これだと写ツみたいに画像そのものはポストされず今一歩なので、写真自体を自動的に Twitter アイコンにアップロードするようにしてみた。

流れは以下:

1. cron で定期的に Flickr の RSS フィードをフェッチする (URI::Fetch + XML::RSS)。
2. 新しい写真がアップロードされていたら(最新の写真が変化していたら)、RSS フィード中のサムネイル画像 URL を抜き出して画像をダウンロードする (URI::Fetch)。
3. 正方形に crop。それからころころ Twitter アイコンを変えると誰だかわからなくなるので、決まった画像 (今のところ自分の写真)を重ねる (ImageMagick / PerlMagick)。
4. Twitter にアップロードする(アップロードスクリプト)。

例えば今日 VQ1005 で撮影して Flickr にアップロードした写真を自動的に加工させたものがコレ。

なんか偽中継のような嘘臭さがあるけれど、まあだいたいアップロードした写真は自分が実際にその場にいたのだから、あながちでもないんじゃないか。

• Twitter にケータイ写真を流すのに twitterfeed を使う (2008-02-22)
• デジカメ写真管理ソフトウェア digiKam (2006-03-10)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• Twitter を使い始めて1年 (2008-04-06)
• VQ1005 の画像をケータイで閲覧 (2008-03-20)

■ Twitter への書き込みを自動的に Skype ムードメッセージに設定する for Windows

半年ぐらい前に Skype for Linux で Twitter への書き込みを自動的に Skype ムードメッセージに設定するスクリプト(記事)を作って cron で 10分毎に更新するようにした。

Windows BOX 上 Skype を使っている時も同様にできるように、Skype4COM を使うバージョンも書いてみた。 D-Bus ではなく Skype4COM を使うようにすることと、Skype4COM にはシフト JIS の文字列を渡すようにすること以外はほとんど同じ。

Skype4COM の DLL を登録し、Skype が起動している状態で以下の Perl スクリプトを実行。

 #!/usr/bin/perl

 use strict;
 use warnings;
 use Win32::OLE;
 use URI::Fetch;
 use XML::RSS;
 use Date::Parse;
 use Encode;

 my $id = '自分の Twitter ID';

 my $time = time;
 my $fetch_response
   = URI::Fetch->fetch(
               "http://twitter.com/statuses/user_timeline/$id.rss?dummy=$time")
   or die URI::Fetch->errstr;
 my $rss = XML::RSS->new;
 $rss->parse($fetch_response->content);
 die 'no items' if @{$rss->{items}} == 0;
 my $item = $rss->{items}->[0];
 my ($sec, $min, $hour, $mday, $mon, $year, $wday, $yday, $isdst)
   = localtime(str2time($item->{pubDate}));
 my $title = $item->{title};

 my $mood
   = sprintf("$title [%02d/%02d %02d:%02d]", $mon + 1, $mday, $hour, $min);

 $mood = Encode::encode('shiftjis', $mood);

 my $skype = Win32::OLE->new('Skype4COM.Skype');
 $skype->Client->Start unless $skype->Client->IsRunning;
 my $profile = $skype->CurrentUserProfile;
 $profile->{MoodText} = $mood;

インストール済みだった ActivePerl 5.8.8.822 で動作を確認(ちなみに現時点での最新は ActivePerl 5.10.0.1003)。なお URI::Fetch、XML::RSS、Date::Parse(TimeDate) は標準では入っていないので PPM パッケージでインストール。

タスク スケジューラで10分毎に上記のスクリプトを wperl.exe で実行するように設定。 これで Windows 上でもさえずりをムードメッセージに設定できるようになった。

• Twitter への書き込みを自動的に Skype ムードメッセージに設定する (2008-02-25)
• PAR::Repository でビルド済み Perl モジュールをネット... (2006-12-12)
• ActivePerl で Ming (2005-02-23)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• ちょっと複雑なネット用統合アドレス帳 Ripplex (2008-04-30)