nDiki : キャッシュ

WiKicker Perl DiKicker Cache::Memcached HTML 検索 WikiPage RSS Perl 5.005_03 メモ メモリ NaneyOrgWiki HTTP Cache::Cache WWWOFFLE WWW::Mechanize::Cached 自動リンク インストール proxy URI::Fetch API URL データベース Cache::FileCache ロック Web エラー AutomaticLink Wiki nDiki

■ [ WiKicker ] 分あたり100アクセスオーバー

たまにあるテレビ放送後の猛烈アクセス。

RecentLogでチェックしてみたところ、1分あたりの処理数が100を超えていた。 ここ最近は、いっても40台だったから驚き。

レスポンスは悪かったものの load average は極端には上がっていなかった。SpeedyCGI のパラメータの調整がいい感じだったようだ。 ほとんど(編集ではなく)閲覧のみのアクセスだったことで、Memcached によるキャッシュもかなり有効に働いていたと思われる。

• [ WiKicker ] WikiPage のHTMLレンダリング結果のキ... (2004-02-14)
• [ WiKicker ] Memcached を使った検索結果のキャッシング (2004-01-15)
• [ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)
• Cache::Memcached 1.13 の Perl 5.005_03 対応 (2004-06-05)
• [ WiKicker ] キャッシュまわりにバグ (2004-06-05)

■ 過去の今ごろ

過去の7月22日より。

• Wiki に Cookie
  • キャッシュをしづらくなるので諸刃の剣

• 今日のさえずり - NEW MEGALOPOLIS かぶった (2008-06-13)
• Template Toolkit + PAR (2004-09-13)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• [ DiKicker ] くっつき BBSをくっつけてみた。 (2004-05-04)
• [ WiKicker ] プレビューをレンダリング中も逐次出力するように (2004-05-03)

■ シティバンク口座開設キット

シティバンクから郵便物がきていたので「キャッシュカード? 普通郵便で?」と思ったら、さすがにそれはなかった。

月間取引明細書用ホルダーなどが入った封書。 配達員が無理矢理ポストに押し込んだせいで、すでにちょっとクチャクチャ。

• Citicard到着 (2004-07-25)
• 私的10大ニュース2004 [ web ] (2004-12-31)
• [ WiKicker ] キャッシュまわりにバグ (2004-06-05)
• [ WiKicker ] 0.23 リリース (2004-06-06)
• 過去の今ごろ (2004-07-22)

■ Citicard到着

シティバンクからキャッシュカードが届いた。 Webで申し込んでからちょうど2週間。

郵便局での出し入れで手数料がかからないように、ガツンと入金しておく(郵便局で)。

• シティバンク口座開設申込書到着 (2004-07-15)
• シティバンクから確認の電話 (2004-07-22)
• シティバンク口座開設キット (2004-07-23)
• 金融機関めぐり (2004-09-24)
• 小切手からの入金 (2004-09-24)

■ Template Toolkit + PAR

今回のプロジェクトに Template Toolkit を本格的に適用しようかと。 問題となるのは PAR にした時に、どのようにテンプレートを取得するか。 (PARでない場合は)テンプレートはモジュールと同じ位置にインストールしておき @INC から探すようにするつもり。

• PARのキャッシュディレクトリから読み込ませる -> PAR にはキャッシュ位置を取得する公開インタフェースが用意されていない。(今後)常にキャッシュディレクトリに展開されるとも限らない。
• Template::Provider をオーバーライドして、PAR から直接テンプレートをロードできるようにする -> http からのテンプレートの取得についてなどの話で FAQ に掲載されている方法。面倒。キャッシュ処理とかももっと面倒。

ということで泥臭いが「起動時に一時ディレクトリに展開してしまう」という方法を選択。 %PAR::LibCache を舐めて拡張子が '.tt2' であるものを、File::Temp で作ったディレクトリに放り込んで、Template の INCLUDE_PATH に指定する (実際には上記の処理を行うオブジェクトを作って INCLUDE_PATH で指定)。 Daemon 系ならこれで充分。

で、順次 Perl モジュールに散財していたHTML出力をテンプレートベースに変更。 コードがかなりすっきりしてきて気持ちいい。

今回の作業で @INC にサブルーチンリファレンスやら、オブジェクトやらを渡せることを初めてしった。実際 PAR で利用している。 CODE の混ざった @INC をそのまま Template の INCLUDE_PATH に渡すとエラーが起きるので除外したものを渡すように。

• 音楽再生にあわせて処理をする amaroK スクリプトを書いてみる (2006-01-31)
• [ Java ] 22:30 Cocoon2 はどうかな? (2001-12-05)
• NSIS が再び Linux でコンパイルできるように (2005-01-08)
• CGI プログラム、Out of memory! に泣く (2001-01-04)
• 私的10大ニュース2004 [ comp ] (2004-12-31)

■ 久しぶりに WWWOFFLE

ノート PC に久しぶりにインストール。 正月は常時接続ではなくなる(場合によってはダイヤルアップも不可に)ので、今のうちに必要なものはできるだけキャッシュしておくように。

• CUPS で Debian から EPSON カラーレーザプリンタへ印刷 ... (2006-01-04)
• 例によってPHS接続用に WWWOFFLE を設定 (2005-08-02)
• [ Java ] 22:30 Cocoon2 はどうかな? (2001-12-05)
• Web広告に興味を持つ (2000-10-01)
• フレッシュリーダーから Google リーダーに乗り換え (2007-10-29)

■私的10大ニュース2004 [ comp ]

@ cool programs

• pdumpfs
  • 年初に買った外付けHDDへのバックアップは Linux、Windows とも pdumpfs で。
• Memcached
  • 簡単・高速なキャッシュシステム。使える。
• Firefox
  • Galeon がだんだん使いにくくなってから Mozilla へ。その後正式リリースされた Firefox に乗り換え。
• Subversion
  • 将来的に CVS から移行する事を考えて試験的に導入。良い。Windows でも TortoiseSVN のおかげで簡単に利用できる(CVS にも TortoiseCVS が出て便利になった)。
• 影舞
  • 今年前半のプロジェクトで活躍。
• PAR
  • Windows 向けのプログラムを Perl で書いて気軽に配布できるようになった。素晴しい。wxWidgets + wxPerl を使えば Windows / UNIX のどちらでも使えるGUIアプリケーションが作れる。そういう意味で Java 以外の選択肢として選べるようになった。最も wxWidgets はまだきちんと使い込んでいないけれど。
• NSIS
  • 前述の PAR で exe 化したプログラムのインストーラを作成するのに活用。
• Template Toolkit
  • Webアプリケーション開発プロジェクトで採用。www.naney.org の静的コンテンツの生成でも使い始めた。

@ Palm OS 生活復活

PEG-TJ25を購入し、Palm OS 生活復活。 最初はおもちゃのつもりで買ったのだが、プロジェクトマネジメントなどにシフトした仕事のスケジュール管理などで大活躍。

PDA 市場の明るい話はあまり聞かないが、末長く製品が出て続けて欲しい。

• Module::Build でソースパッケージング (2005-08-24)
• DAR で差分/増分バックアップ (2005-04-02)
• SCons は GNU Autotools のかわりになるか (2005-04-20)
• JSmooth で Win32 上でのJava プログラム起動ファイル作成 (2004-12-06)
• JAlbum で Webフォトアルバム (2004-11-14)

■ 私的10大ニュース2004 [ web ]

今年の大事件、マイブームなど。

@ Web 日記を DiKicker に。

2月22日に hns から DiKicker へ移行。 自分で開発しているので好きなように改良ができて楽しい。 比較的すんなり安定したので最近はあまりコードをいじらず。

@ WiKicker 安定。後半は spam がひどい。

WiKicker の方も安定し、(管理をのぞいて)必要な機能もだいたい実装された感じ。 秋ぐらいから NaneyOrgWiki の方にも spam 的な書き込みが多発。 パターンによる書き込み拒否の実装で年末それなりに収束しつつある感じ。

Memcached によるキャッシュ効果は絶大だった。

@ SNS

orkut、mixi に登録。 前者はそれほどはまらずフェードアウト。

mixi の方は結構面白い。

• RSSを介して既存のWeb 日記(Blog)を使えた。
• 日本人中心のコミュニティ。

というのが遊んでみるのに良かった。

ついついチェックしてしまうのは

• 足あと
• 最終ログイン時刻表示
• 知人の mixi 日記

の存在。 オフィスで広まったことで楽しさも増した。

来年の今ごろも継続しているだろうか? 今後カスタマイズ機能とかが充実してくれると嬉しい。

(SNSではないが)Gmailの方は登録したけどまだ活用できていない。

@ Google AdSense

導入。 USの小切手からの入金用にシティバンクの口座を開いたものの、シティバンクには数ヶ月後に4拠点閉鎖の命令がくだるなど安心できない状況ではある。

• mixiに登録 (2004-11-19)
• 私的10大ニュース2003 (2003-12-31)
• mixi 用として DiKicker に RSS生成機能を追加 (2004-11-21)
• 21:00 [ nDiki ] hnsからDiKickerへ (2004-02-22)
• [ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)

■ 年始回り

午後から親戚のところへ挨拶をしに。

「実家 -> 近所のスーパー -> 親戚のウチ -> 実家 -> 風呂 -> 実家」

というコース。スーパーではウルトラマンネクサスのショーがもう少しではじまるところだった。 始まるまでの間に流れているトークテープで、カネゴン(だか最近の別のやつだったか)がお札や硬貨とキャッシュカードとどっちが好きかとか興味深い話をやっていた。

親戚のウチでは妻のいとこも帰省していて、久しぶり会話をしたり。ビールをいただいたり。

風呂は昨日と同じところ。 ちょっと前に16人入ったとかで、大混雑が予想されるのでロビーで15分待ってから。

• 今日のさえずり - 金メダルのネックストラップには、ケータイ用のヒモが付い... (2008-08-24)
• 帰省 - 東北へ (2004-12-30)
• 有給休暇 - 妻の実家に帰省 (2005-08-05)
• ルービックキューブ買った (2007-10-01)
• 帰省 - 今年はお祭りを見物する (2008-08-18)

■ 例によってPHS接続用に WWWOFFLE を設定

夏休みでしばらく数日(常時接続ではない) PHS 接続生活になるので、例によって WWWOFFLE をインストール。しばらくは WWWOFFLE + Privoxy の2重 proxy 生活。

今回はDNS キャッシュサーバとして pdnsd も入れておく。

あわせて resolvconf パッケージもインストールして、ifup / ifdown の実行などで問い合わせにいく DNS サーバが変わっても pdnsd が追従するように設定(というか pdnsd のデフォルトの pdnsd.conf がそのようになっている)。

これで /etc/resolv.conf はいつも

 nameserver 127.0.0.1

にしておけるので 実際に問い合わせにいく DNS サーバが変わっても WWWOFFLE の再起動が必要なくなる。

[ Debian ]

• Tor で hidden service (2005-02-13)
• Apache での PostgreSQL を使った認証 (1999-12-18)
• Apache でミラー proxy (2002-04-17)
• 遅ればせながら Greasemonkey。mixi の未読・既読の色分けなど。 (2005-10-01)
• Web広告に興味を持つ (2000-10-01)

■ 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得

WiKicker や DiKicker でうまく他のサイトの情報を取り込んで利用できるようにしたい。 相手サイト・自サイトともに負荷をかけないように処理するには、うまくキャッシングする必要がある。

キャッシュ機能のあるPerl用HTTPユーザエージェントには

• WWW::Mechanize::Cached
• LWP::UserAgent::WithCache
• URI::Fetch

などがある。

@ WWW::Mechanize::Cached 1.32

WWW::Mechanize::Cached は1度取得したレスポンスを無条件に1日間キャッシュする。 WWW::Mechanize のサブクラスで、便利な機能が利用できるが、キャッシュは適当。

キャッシュは Cache::FileCache決め打ち。

@ LWP::UserAgent::WithCache 0.03

LWP::UserAgentのサブクラス。 Expires、Last-Modified、Etag ヘッダを考慮して処理する。

キャッシュは Cache::FileCache決め打ち。

@ URI::Fetch 0.04

fetch サブルーチンのみを提供するシンプルなモジュール。

キャッシュは Cache 系APIのモジュールを指定する。実際には Cache::Cache 系でもOK。 Last-Modified、Etag を考慮して処理する。

前回のアクセスから一定時間はキャッシュを返すようにする機能があり、RSS や Atom フィードを取得して利用するのに便利。

@ 今回は

URI::Fetch をチョイス。 our を使っているのでそのままでは Perl 5.005_03 では動かないが、use vars に書き換えれば問題なく動く。

• [ Perl ] Memcached を使ってみる (2004-01-12)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
• Cache::Memcached 1.13 の Perl 5.005_03 対応 (2004-06-05)
• さらにサーバ負荷状態悪化。対応に追われる。 (2006-03-04)