nDiki : Berkeley DB

DiKicker Perl キャッシュ Perl でデータベース処理 DB_HASH MLDBM::Sync -rpath ビルド Oracle SQLite PostgreSQL MySQL パスワード SQL Server データベース svnadmin 検索 Perl 5.005_03 ロック 環境変数 Subversion リポジトリ MLDBM::Sync::SDBM_File Storable インストール 仕様 Subversion リポジトリレイアウト FreeBSD 転置ファイル svnserve GDBM_File

■ Berkeley DB 4.2.52 + DB_File 1.808 をホームにインストール

[ Perl ]

DiKicker の二次データの保存先を何にしようか思案中。 MLDBM::Sync が候補なのだが、MLDBM::Sync::SDBM_Fileだとデータが大きくなった時に速度が出ないようだ。

このサーバ(FreeBSD)のPerl(5.005_03)は、DB_File も GDBM_Fileも有効になかったので今までDBMパッケージの使用は避けてきたのだが、さすがに今回は使えないと辛いかも。

ということで Berkeley DB も含めて DB_File をホームにインストール。

@ db-4.2.52

 tar zxvf db-4.2.52.tar.gz
 cd db-4.2.52/build_unix
 ../dist/configure --prefix=$HOME/local/db-4.2.52
 make
 make install
 rm -rf $HOME/local/db-4.2.52/docs

インストール自体は特に依存するものも無く簡単。 ただし、このサーバでは丁度 busy だった事もあってビルドに2時間!もかかってしまった。 本来は暇そうな時にやるべきなのだろうけど、今日中にうまくいくか検証しておきたかったので、待った。

@ DB_File-1.808

 tar zxvf DB_File-1.808.tar.gz
 cd DB_File-1.808
 export DB_FILE_LIB=$HOME/local/db-4.2.52/lib
 export DB_FILE_INCLUDE=$HOME/local/db-4.2.52/include
 perl Makefile.PL INSTALLDIRS=site \
                  LIB=$HOME/local/lib/perl \
                  INSTALLMAN1DIR=/tmp/man/man1 \
                  INSTALLMAN3DIR=/tmp/man/man3
 make OTHERLDFLAGS="-Wl,-rpath -Wl,$HOME/local/db-4.2.52/lib"
 make test
 make install

libdb を実行時に検索させるのに LD_LIBRARY_PATH環境変数とか指定したくなかったので、-rpath を指定してしまった。 Makefile中の OTHERLDFLAGS 変数がリンク時に空だったので、ここで設定。

しかし libdb-4.2 でかいな。 Perl からの呼び出し一発目は結構時間がかかる。

• DBD::Oracle 1.16 を Debian GNU/Linux s... (2005-05-19)
• [ Perl ] Memcached を使ってみる (2004-01-12)
• WiKicker 0.29 リリース - ビルドまわりの改良など (2006-02-13)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)

■ [ Perl ] Search::InvertedIndex

DiKicker のキーワードインデックス用の転置ファイルの実装によさそげなモジュールはないかと CPAN をあたってみたところ、Search::InvertedIndex を発見。

Berkeley DB を複数束ねて大容量対応してあったりキャッシュが実装されていたりと高機能だが、それゆえ今回使うにはオーバースペックっぽい。 依存するモジュールもそれなりにあるし。

やっぱ、今回は自分で実装するかな。 しかし Search::InvertedIndex 自体は結構使えそうな感じなので機会があったら試してみたい。

• [ DiKicker ] 語リストを Term DB に保持 (2006-11-21)
• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
• Berkeley DB 4.2.52 + DB_File 1.808 をホ... (2004-02-08)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)

■ [ DiKicker ] キーワードDBを作り直し

キーワードインデックスファイル(Berkeley DB DB_HASH)の、レコード仕様を決めなおして修正。

• [ Perl ] Search::InvertedIndex (2004-02-09)
• Berkeley DB 4.2.52 + DB_File 1.808 をホ... (2004-02-08)
• [ DiKicker ] 語リストを Term DB に保持 (2006-11-21)
• [ DiKicker ] 実装作業 (2004-02-21)
• GRAPH GEAR セミハードタイプ デジタルカメラケース DGB-01... (2005-02-07)

■ [ DiKicker ] 語リストを Term DB に保持

自動リンクなどで語リストが必要な時に、今までは Term DB (Berkeley DB で実装)をスキャンしてリストアップしていた。 これだと語数が増えていくにつれ線形に遅くなるので、一度リストアップしたら Term DB の別レコードに Storable で freeze してキャッシュするようにしてみた。 ちょっと速くなることを期待。

あわせてロックまわりも改善。 DiKicker では Article DB と Term DB をセットでオープンすることとし、Article DB の方で排他制御をしている。 ただし、Term DB の方には排他ロックでオープンされているか、共有ロックでオープンされているのかの情報を伝えていなかったため、実は共有ロックの時にも書き込みをしてしまう部分が残っていた。

Term DB オープン時にどちらで開いているかを通知するようにし、キャッシュ情報などの書き込み時にはこれらを参照して間違えた書き込みをしないようにした。

• さらにサーバ負荷状態悪化。対応に追われる。 (2006-03-04)
• [ Perl ] Search::InvertedIndex (2004-02-09)
• DiKicker に grep 検索機能を追加 (2007-02-02)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• DiKicker の DB に余分な情報まで保存していた (2006-11-07)