nDiki : Cache::FileCache

キャッシュ RSS Perl Cache::Cache WWW::Mechanize::Cached URI::Fetch DiKicker Cache::Memcached HTTP ロック Web Perl 5.005_03 IPC::ShareLite nDiki メモ 自動リンク WiKicker README データベース Perl モジュール 無駄 Google デスクトップ XML::RSS メモリ はてなブックマーク Perl CGI プログラムの高速化 検索 Perl でキャッシュ処理 ブックマーク API

■ 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得

WiKicker や DiKicker でうまく他のサイトの情報を取り込んで利用できるようにしたい。 相手サイト・自サイトともに負荷をかけないように処理するには、うまくキャッシングする必要がある。

キャッシュ機能のあるPerl用HTTPユーザエージェントには

• WWW::Mechanize::Cached
• LWP::UserAgent::WithCache
• URI::Fetch

などがある。

@ WWW::Mechanize::Cached 1.32

WWW::Mechanize::Cached は1度取得したレスポンスを無条件に1日間キャッシュする。 WWW::Mechanize のサブクラスで、便利な機能が利用できるが、キャッシュは適当。

キャッシュは Cache::FileCache決め打ち。

@ LWP::UserAgent::WithCache 0.03

LWP::UserAgentのサブクラス。 Expires、Last-Modified、Etag ヘッダを考慮して処理する。

キャッシュは Cache::FileCache決め打ち。

@ URI::Fetch 0.04

fetch サブルーチンのみを提供するシンプルなモジュール。

キャッシュは Cache 系APIのモジュールを指定する。実際には Cache::Cache 系でもOK。 Last-Modified、Etag を考慮して処理する。

前回のアクセスから一定時間はキャッシュを返すようにする機能があり、RSS や Atom フィードを取得して利用するのに便利。

@ 今回は

URI::Fetch をチョイス。 our を使っているのでそのままでは Perl 5.005_03 では動かないが、use vars に書き換えれば問題なく動く。

• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
• はてなブックマーク上の検索結果を nDiki に (2005-10-30)
• Cache::Memcached 1.13 の Perl 5.005_03 対応 (2004-06-05)
• [ Perl ] Memcached を使ってみる (2004-01-12)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)

■ はてなブックマーク上の検索結果を nDiki に

5カ月ほど前にはてなブックマーク上の最新ブックマークを nDiki のサイドバーに表示するようにしてみた。

今回は nDiki のキーワード別のページに、はてなブックマークからそのキーワードで検索されたブックマークを表示する機能を追加してみた。

取得する対象RSSが多くなり、さすがに前回みたいにローカルPCで処理して定期的にアップロードという形では無駄が多すぎるのでちゃんとサーバ上で処理するようにした。

URI::Fetch + Cache::FileCache + XML::RSS を用いて実装。 キャッシュ期間は1日に設定。キーワードページを最初にアクセスした際にははてなブックマークからのフィード取得があるので、ちょっと時間がかかるが2度目のアクセス以降キャッシュを使っている間はそれほど余計な時間はかからないはず。

自分のWeb日記とブックマークの組み合わせだと当然扱うネタが近いので、きちんと関連する情報が表示されるはずだ。 他の検索サーバのRSSフィードを利用する事も考えてはいるけど、しばらくはこれでいいかな。

• はてなブックマーク上の最新ブックマークを nDiki に (2005-05-16)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• Plagger のインストールが大変なので XML::RSS で RSS ... (2006-06-10)
• 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
• amaroK で聞いた曲を Web ページで表示 (2006-02-02)

■ さらにサーバ負荷状態悪化。対応に追われる。

CPU パワーを消費し続けているプロセスが昨日の 5 個から、今日は 21個に増えている……。

対応するも、焼け石に水か。

@ データベースロックタイムアウト時間を短く

120秒から60秒に。

@ 生成した RSS をキャッシュするようにする

生成した RSS を Cache::FileCache で有効期間30分でキャッシュするように変更。 あわせて Google Desktop からのアクセス拒否を解除。

@ 旬カレンダーナビゲーションをキャッシュするようにする

ページ下部にある各月上中下旬へのリンクは、どこに記事が追加されたかディレクトリをスキャンするしか知りようがないので毎回そのようにしていたのだが、これが結構重くなってきたので、これも有効期間1時間でキャッシュするように変更。

@ 高負荷時のページ更新停止機能を改善

DiKicker では新しいキーワードが追加されると、過去の記事についてもアクセスがあり次第、自動リンクし直していくようになっている。

高負荷時にはこの機能が止まるようにしてあったのだが、「キーワード記事」については止まるようになっていなかった。 また「1記事のみのページ」へのアクセスの場合も(1記事ぐらいの更新ならいいだろうということで)止まるようにしていない。

このためこれらへのアクセスあると、(必要であれば)アップデート処理が発生。 データベースの排他ロックも必要となるため、全体のレスポンス低下につながっていた。

これらも、高負荷時には止まるように修正。

• サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更 (2006-03-03)
• 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
• [ DiKicker ] 語リストを Term DB に保持 (2006-11-21)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• はてなブックマーク上の検索結果を nDiki に (2005-10-30)