nDiki : Memcached

Memcached

設定ファイルいらずのハイパフォーマンス分散メモリオブジェクトキャッシュシステム。 Perl、PHP、Python、Java、Ruby、C#、C用のAPIが既に提供されている。

Memcached はメモリ上にキャッシュし特にファイルへ書き出したりしない。

拙作の WikiEngine 「WiKicker」も WikiPage の HTML 変換結果を Memcached 上にキャッシュする機能を備えている。

mixi やはてなブックマークでも利用されている (記事1、記事2)。

web

http://www.danga.com/memcached/
memcached for Win32
- http://jehiah.com/.../memcached-win32/

2003年12月31日 (水)

■ Memcached

最近 deb パッケージになって知った Memcached がとても気になる。シンプルなだけに、いろいろ活用できそうな感じ。

スポンサードリンク

[ permalink ]

私的10大ニュース2004 [ comp ] (2004-12-31)
サーバの負荷が高くなったら DiKicker が 503 を返して沈静化を... (2007-04-05)
[ WiKicker ] WikiPage のHTMLレンダリング結果のキ... (2004-02-14)
[ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)
www.naney.org サーバ断続的にダウン (2006-04-30)

[ 12月31日全て ]

2004年1月12日 (月)

■ [ Perl ] Memcached を使ってみる

WiKicker の高速化に Memcached が使えないかいろいろいじってみる。評価は今のところ「微妙」。 Memcached はメモリキャッシュを提供するデーモンプログラムで、キーと値の配列を記憶しておいてくれる。 Slashdot でも使っているらしい。

ホスティングサービスのサーバ(FreeBSD 4.4-RELEASE)に入れてみる。

@ Memcached 1.1.10

依存している libevent と一緒にビルドしてインストール。

 cd /tmp
 wget http://www.monkey.org/~provos/libevent-0.7c.tar.gz
 tar zxvf libevent-0.7c.tar.gz
 cd libevent-0.7c
 ./configure
 make
 cd ..
 wget http://www.danga.com/memcached/dist/memcached-1.1.10.tar.gz
 tar zxvf memcached-1.1.10.tar.gz
 cd memcached-1.1.10
 CFLAGS='-L../libevent-0.7c -I../libevent-0.7c' ./configure --prefix=$HOME/local/memcached-1.1.10
 make
 make install

'-l' オプションがうまく動かない。

 bind(): Can't assign requested address
 failed to listen
 /PRE

指定しなくても動くのでとりあえず、よしとする。

ちなみに、EVENT_SHOW_METHOD=1 の結果は以下の通り。

 $ EVENT_SHOW_METHOD=1 ./memcached
 libevent using: kqueue

@ Cache::Memcached 1.0.11

Perl 用の API モジュールを入れておく。 make test でこける。

 Your vendor has not defined Socket macro MSG_NOSIGNAL

use Socket qw(MSG_NOSIGNAL PF_INET SOCK_STREAM); のところ。 Solaris/*BSD だと駄目らしい。 CVS版だと解決されいるようなので、こちらを。

@ Cache::Memcached CVS

 cvs -d :pserver:anonymous@danga.com:/home/cvspub checkout wcmtools/memcached/api/perl

でとってくる。こちらは Perl 5.005_03 という古いバージョンでいくつか問題。

 our $SOCK_TIMEOUT = 2.6;

のところの our は Perl 5.005_03 には無いので、use vars に置き換え。 use bytes も 5.005_03 に無いのでコメントアウト。

IO::Handle::blocking() も無い。

 sub my_blocking {
   my ($sock, $bool) = @_;

   my $old_flags = fcntl($sock, F_GETFL, 0)
       or die "Can't get flags for the socket: $!\n";

   if ($bool) {
       my $flags = fcntl($sock, F_SETFL, $old_flags | O_NONBLOCK)
           or die "Can't set flags for the socket: $!\n";
   }
   else {
       my $new_flag = $old_flags & ~O_NONBLOCK;
       my $flags = fcntl($sock, F_SETFL, $new_flag)
           or die "Can't set flags for the socket: $!\n";
   }
   return $old_flags & O_NONBLOCK;
 }

...でいいのかな? ささっと書いたんで一部バグっているかもしれないが、とりあえず代替しておく。

ちなみに Cache::Memecached の古い版、MemCachedClient-1.0.7 も試してみたけれどこちらも IO::Socket::INET が必要だったり面倒(なので、1.0.11 のパッチ当ての方をがんばった)。

@ スピード

うーん。思ったほど速くないな。いや手元のLinuxだとかなり速いんだけれど、FreeBSD だとそうでもない。 Client側の問題が大きいようだ。下手するとLinux BOX からADSL経由でキャッシュを読み込む方が、FreeBSD のローカルホストから読むより速かったりする。

どうも Socket の接続/切断まわりでもたついている感じである。 (無駄なはずなのだが)毎回 disconnect_all してしまった方が、Benchmark の値が良かったりするし。接続 -> キャッシュ取得 -> 切断で 0.6秒というのはちょっと遅すぎる。もうちょっといじってみれば実用的な速度になるのだろうか?

[ permalink ]

Cache::Memcached 1.13 の Perl 5.005_03 対応 (2004-06-05)
WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
私的10大ニュース2004 [ comp ] (2004-12-31)
Berkeley DB 4.2.52 + DB_File 1.808 をホ... (2004-02-08)

[ 1月12日全て ]

2004年1月15日 (木)

■ [ WiKicker ] Memcached を使った検索結果のキャッシング

WiKicker の機能のうち、ヘビーな処理が必要なものの筆頭に検索機能がある。今のところ単純に全ページに対してマッチング処理を行うのでページ数が増えるに従い遅くなってくる。ロボットの総ナメが怖い*1ので NaneyOrgWiki では load average が 5 を越えたら一時的に検索機能が停止するようになっている。

そこで Memcached を使って検索結果をメモリキャッシュするようにしてみた。本当はWikiPageのパース・レンダリング結果をキャッシュして、通常のページ表示を高速化したいと考えているのだが、今はまず影響の少ないところから(何でもいいから Memcached を使ってみたいというのが本音)。

で、実装してみた。キャッシュがヒットすればすばやくレスポンスを返せるはずなのだが...やはり微妙だな。速くなった気もするのだが、サーバの状態によってかなり遅い時もあるようだし。まずはこれでしばらく運用テストしてみて、効果がありそうだったら他の部分にも適用することにしよう。

*1 検索を実行するGETリクエスト用URLへのリンクがページにある

[ permalink ]

[ WiKicker ] 古くても検索キャッシュを返す (2004-01-20)
[ WiKicker ] キャッシュまわりにバグ (2004-06-05)
[ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)
[ Perl ] Memcached を使ってみる (2004-01-12)
私的10大ニュース2004 [ web ] (2004-12-31)

[ 1月15日全て ]

2004年2月1日 (日)

■ WiKicker 0.20 リリース

1ヶ月ぶりにリリース。 tDiaryテーマ対応・共有メモリ使用・Memcached使用など実験的なコードを沢山いれた。

[ permalink ]

www.naney.org サーバ断続的にダウン (2006-04-30)
[ WiKicker ] 憧れのサイドバー (2004-01-23)
[ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)
[ WiKicker ] tDiaryテーマ互換モードの実装 (2003-12-29)
[ DiKicker ] くっつき BBSをくっつけてみた。 (2004-05-04)

[ 2月1日全て ]

2004年2月14日 (土)

■ [ WiKicker ] WikiPage のHTMLレンダリング結果のキャッシュ

ようやく、HTMLレンダリング結果のキャッシュに着手。 cookie ベースでユーザ毎のカスタマイズ(名前やTZ)があるので、デフォルトのまま表示リクエストのみキャッシュが効くようにする。キャッシュによる高速化を受けるのでは投稿してくれている常連ではなく検索エンジンから飛んできた一見さんということになるが、サーバの負荷が下がれば間接的に常連さんへのレスポンスも良くなるかと。

変換されたHTMLフラグメントをMemcachedにキャッシュ。最初、キャッシュを有効にすると逆に遅くなってしまって「まいったな」と思ったが、リクエスト処理終了毎にdisconnect_all するようにしたら、キャッシュの効果を体感できるぐらいの速度が出るようになった。

[ permalink ]

[ WiKicker ] キャッシュまわりにバグ (2004-06-05)
DiKicker に grep 検索機能を追加 (2007-02-02)
[ WiKicker ] Last-Modified: 実装準備 (2003-09-17)
[ WiKicker ] Memcached を使った検索結果のキャッシング (2004-01-15)
[ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)

[ 2月14日全て ]

現在 NaneyOrgWiki には946のページあるのだがHTMLフラグメントをMemcachedにキャッシュさせて、メモリ使用量が 24MBぐらい(検索結果キャッシュも含まれる)。キャッシュの expires は2時間(AutomaticLinkが無効な時にキャッシュした場合は30分)。こんなものかな。現在 max 32MB で Memcached を起動しているけど、20MBぐらいにして積極的に古いのは削除させてもいいかもしれない。

[ permalink ]

[ WiKicker ] Memcached を使った検索結果のキャッシング (2004-01-15)
[ WiKicker ] キャッシュまわりにバグ (2004-06-05)
DiKicker に grep 検索機能を追加 (2007-02-02)
[ WiKicker ] プレビューをレンダリング中も逐次出力するように (2004-05-03)
私的10大ニュース2004 [ web ] (2004-12-31)

[ 2月15日全て ]

2004年6月5日 (土)

■ [ WiKicker ] キャッシュまわりにバグ

Memcached まわりをいじったので、キャッシュ具合をテストしていたら変な現象が。 WikiPage が表示されるべきところに、検索結果が表示されている。あれ?

@ ページの内容が表示されるところに検索結果が

WiKicker では WikiPage のレンダリング結果も検索結果もキャッシュしているが、それぞれ別のキャッシュキーになるようにしている (WiKickerのバージョンを $V とすると、'$V:h:ページ名' と '$V:s:検索語')ので混ざるはずがないんだけれどな。キャッシュしているデータの形式も違うし。

最初は Memcached まわりのアップデートで不具合がでたのかと思ったが、戻しても変わらない。ということは、ずっと以前からこの問題が発生していたのか。やば。設定でニックネームを設定している(cookie に保存している)と、その Web ブラウザに対してはキャッシュ機能が働かないようになっているので発見が遅れてしまった。

で結局コードをチェックしてみたら「WikiPage 表示と検索結果表示の View クラスを同じにしていたため、検索結果のレンダリングが WikiPage レンダリング結果と同じ領域にキャッシュされる」という風になってしまっていた。ということで誰かがページ名で検索するとそれがキャッシュされてしまい、ページを読もうとしてもキャッシュ破棄されるまで検索結果が表示されてしまうというひどい状況になっていたと。

修正。

@ キャッシュキーのバグ

Memcached の出力をチェックしていたら、たまにエラーが起きていることを確認。 Memcached のプロトコルをチェックしたら、キーには制御文字と空白は使えないとある。 Cache::Memcached を見たらキーはそのまま through するだけ。ということでページ名に空白が含まれている場合などの時には、まずい事になっていたようだ。こちらは、キーを自前でエンコーディング(ページデータベースファイル名の作成に使っている base64 の亜種)するように修正。

[ permalink ]

[ Perl ] Memcached を使ってみる (2004-01-12)
[ WiKicker ] WikiPage のHTMLレンダリング結果のキ... (2004-02-14)
[ WiKicker ] Memcached を使った検索結果のキャッシング (2004-01-15)
[ WiKicker ] SpeedyCGI 対応するも…… (2003-11-09)
[ WiKicker ] 古くても検索キャッシュを返す (2004-01-20)

■ Cache::Memcached 1.13 の Perl 5.005_03 対応

WiKicker で使用しているキャッシュシステム Memcached 用の Perl API Cache::Memcached が新しくなっていたので、入れ換え。

1月に入れた時と同様、Perl 5.005_03 ではそのまま動かないので一部を修正。前回はCVSスナップショット(Memcached.pm revision 1.8)に対する修正だったので手元で修正しただけだったが、今回はパッチも作っておく。

修正点は

our を使わないようにする。
fields::new を代替コードに。
IO::Handl::blocking を代替コードに。
use bytes を使わないようにする。

といったところ(WiKicker で使っているところのみ修正)。

以前は Use of uninitialized value がかなり出ていたのだが、 Cache::Memcached のコード自体が綺麗になったのかこれらも出なくなっていい感じ。

Cache-Memcached-1.13-5.005_03-20040605.diff
- Cache-Memcached-1.13 ディレクトリのある場所で patch -p0 < パッチ

[ permalink ]

[ Perl ] Memcached を使ってみる (2004-01-12)
他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
Cache::Memcached 1.14 の Perl 5.005_03 対応 (2004-07-31)
私的10大ニュース2004 [ comp ] (2004-12-31)
WiKicker の Makefile.PL を Module::Inst... (2006-02-10)

■ Memcached 1.1.11

Perl API (Cache::Memcached)のアップデートのついでに、Memcached 自体もアップデート。

 cd /tmp
 wget http://www.monkey.org/~provos/libevent-0.8.tar.gz
 tar zxvf libevent-0.8.tar.gz
 cd libevent-0.8
 ./configure
 make
 cd ..
 wget http://www.danga.com/memcached/dist/memcached-1.1.11.tar.gz
 tar zxvf memcached-1.1.11.tar.gz
 cd memcached-1.1.11
 CFLAGS='-L../libevent-0.8 -I../libevent-0.8' ./configure --prefix=$HOME/local/memcached-1.1.11
 make
 make install

[ permalink ]

Cache::Memcached 1.13 の Perl 5.005_03 対応 (2004-06-05)
[ Perl ] Memcached を使ってみる (2004-01-12)
他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
はてなダイアリーキーワード自動リンクAPI (2004-02-05)
MAILPIA による Twitter リプライチェック (2008-11-18)

[ 6月5日全て ]

2004年7月3日 (土)

■ [ WiKicker ] 分あたり100アクセスオーバー

たまにあるテレビ放送後の猛烈アクセス。

RecentLogでチェックしてみたところ、1分あたりの処理数が100を超えていた。ここ最近は、いっても40台だったから驚き。

レスポンスは悪かったものの load average は極端には上がっていなかった。SpeedyCGI のパラメータの調整がいい感じだったようだ。ほとんど(編集ではなく)閲覧のみのアクセスだったことで、Memcached によるキャッシュもかなり有効に働いていたと思われる。

[ permalink ]

[ WiKicker ] WikiPage のHTMLレンダリング結果のキ... (2004-02-14)
[ WiKicker ] Memcached を使った検索結果のキャッシング (2004-01-15)
[ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)
Cache::Memcached 1.13 の Perl 5.005_03 対応 (2004-06-05)
[ WiKicker ] キャッシュまわりにバグ (2004-06-05)

[ 7月3日全て ]

2004年7月31日 (土)

■ Cache::Memcached 1.14 の Perl 5.005_03 対応

1.14 が 7月27日にリリースされていたのでパッチ作成。 1.13 用のパッチがあたったのでそのままいけるかなと思ったが、テストしたところまたいくつかの非互換コードが増えていたのでそれらの修正を行う。

 tar zxvf Cache-Memcached-1.14.tar.gz
 cp -a Cache-Memcached-1.14 Cache-Memcached-1.14.orig
 patch -d Cache-Memcached-1.14 -p1 \
   < Cache-Memcached-1.13-5.005_03-20040605.diff
 find Cache-Memcached-1.14 -name '*.orig' -exec rm {} ';'
 emacs Cache-Memcached-1.14/Memcached.pm
 LC_ALL=C TZ=UTC0 diff -Naur \
   Cache-Memcached-1.14.orig Cache-Memcached-1.14 \
   > Cache-Memcached-1.14-5.005_03-20040731.diff

新規修正点は

Socket モジュールでのインポートで IPPROTO_TCP が追加になったところが実験環境でエラー。コードの中では利用していないので削除。
ChangeLog 中の下記のため @+ を使うようになったようだが、5.005_03 では定義されていないのでエラー(perl.*delta のどこにものっていないのでチェックに苦労。perlretut に言及があって Perl v5.6.0 から提供されるようになった事を確認)。Cache::Memcached 1.13 で行っている pos を使った処理に戻す。

 2004-07-19
         * don't use pos() because it doesn't seem to work in
           taint mode.  use $+[0] instead.  (Dave Evans <..@djce.org.uk>)

それからパッチの作り方を変更。patch の man の通り LC_ALL=C TZ=UTC0 にするのとオプションを -Naur を使うように。

また 1.14 から String::CRC32 が必要になった。

Cache-Memcached-1.13-5.005_03-20040731.diff
- Cache-Memcached-1.14 ディレクトリのある場所で patch -p0 < パッチ

[ permalink ]

Time::Local::gmtime の範囲チェック (2003-12-23)
Cache::Memcached 1.13 の Perl 5.005_03 対応 (2004-06-05)
[ Perl ] Memcached を使ってみる (2004-01-12)
最新の Module::Install は Perl 5.005_03 ステ? (2006-04-29)
[ WiKicker ] キャッシュまわりにバグ (2004-06-05)

[ 7月31日全て ]

2004年12月31日 (金)

■私的10大ニュース2004 [ comp ]

@ cool programs

pdumpfs
- 年初に買った外付けHDDへのバックアップは Linux、Windows とも pdumpfs で。
Memcached
- 簡単・高速なキャッシュシステム。使える。
Firefox
- Galeon がだんだん使いにくくなってから Mozilla へ。その後正式リリースされた Firefox に乗り換え。
Subversion
- 将来的に CVS から移行する事を考えて試験的に導入。良い。Windows でも TortoiseSVN のおかげで簡単に利用できる(CVS にも TortoiseCVS が出て便利になった)。
影舞
- 今年前半のプロジェクトで活躍。
PAR
- Windows 向けのプログラムを Perl で書いて気軽に配布できるようになった。素晴しい。wxWidgets + wxPerl を使えば Windows / UNIX のどちらでも使えるGUIアプリケーションが作れる。そういう意味で Java 以外の選択肢として選べるようになった。最も wxWidgets はまだきちんと使い込んでいないけれど。
NSIS
- 前述の PAR で exe 化したプログラムのインストーラを作成するのに活用。
Template Toolkit
- Webアプリケーション開発プロジェクトで採用。www.naney.org の静的コンテンツの生成でも使い始めた。