nDiki : Namazu

検索 メール インストール Web www.naney.org Hyper Estraier Perl Web サーバ Google ビルド Debian パッケージ WiKicker Wiki インタフェース 検索エンジン Mew hns Google デスクトップ メモ 開発 WWWOFFLE Beagle Linux 社内 Blog 日本語 ノート PC iモード Debian GNU/Linux mknmz-wwwoffle tDiary

■ www.naney.org に Namazu 設置

本日 www.naney.org に、Namazu によるサイト内検索を追加。 以前公開していたサーバでは検索を提供していたのだが、今ホスティングサービスに移ってからは設置していなかった。

実は13日に一度、ports でいれようとしたのだが(サーバは FreeBSD)、一般ユーザー権限で自分のホームにいれる方法がよくわからず。

結局、依存しているライブラリ等から順番にインストールすることにした。 インストール自体はインストール先の変更以外に特に問題なし。 一応メモ。 まずは nkf。

 $mkdir NKF
 $sh nkf192.shar
 $make
 $mkdir $HOME/local
 $mkdir $HOME/local/bin
 $cp nkf $HOME/local/bin
 $cd NKF
 $perl Makefile.PL PREFIX=$HOME/local INSTALLSITELIB=$HOME/local/lib/site_perl INSTALLMAN3DIR=$HOME/local/man/man3
 $make
 $make install

次に kakasi。

 $tar zxvf kakasi-2.3.2.tar.gz
 $cd kakasi-2.3.2
 $./configure --prefix=$HOME/local
 $make
 $make install

次は Text::Kakasi。

 $tar zxvf Text-Kakasi-1.04.tar.gz
 $cd Text-Kakasi-1.04
 $perl Makefile.PL PREFIX=$HOME/local INSTALLSITELIB=$HOME/local/lib/site_perl INSTALLMAN3DIR=$HOME/local/man/man3 LIBS=-L$HOME/local/lib INC=-I$HOME/local/include
 $make
 $make install

そして Namazu。 最初に パッケージに同梱されている File::MMagic をインストールする。

 $tar zxvf namazu-2.0.5.tar.gz
 $cd namazu-2.0.5
 $cd File-MMagic
 $perl Makefile.PL PREFIX=$HOME/local INSTALLSITELIB=$HOME/local/lib/site_perl INSTALLMAN3DIR=$HOME/local/man/man3
 $make
 $make install
 $cd ..
 $./configure --prefix=$HOME/local --with-pmdir=$HOME/local/lib/site_perl
 $make
 $make install

これで、$HOME/local 以下に Namazu がインストールできた。

後は cron で定期的にインデックスを更新するように設定。 namazu.cgi を設置し .namazurc を書き、テンプレートを編集してできあがり。

一番時間がかかったのは、設定とかの FTP 転送待ちだったりして。

• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
• ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)

■ CGI プログラム、Out of memory! に泣く

昨日、Web サーバに WWW::Search モジュール、拙作 WWW::Search::Namazu2 をインストールし Namazu メタサーチ CGI も準備万端。手元でもきちんと動作している。

で Web サーバ上に CGI プログラムをセットアップ。 入力ページもきちんと出た。 が、検索させると結果がでない。 Apache のエラーログを見ると……Out of memory!

無限ループかなにかに落ちるところはないんだけどなぁ……。 いろいろコネクリまわしたが、Out of memory! は解消できず。 WWW::Search モジュールを手でいじって、使わないモジュールのロードをおさえたりすると、ちょっと先まで進むようになるがやはり Out of memory!

モジュール間の相性でメモリを食いすぎている……なんて事もないだろうなぁ。

 $ulimit -a
 cpu time               (seconds, -t)  unlimited
 file size           (512-blocks, -f)  unlimited
 data seg size           (kbytes, -d)  524288
 stack size              (kbytes, -s)  65536
 core file size      (512-blocks, -c)  unlimited
 max memory size         (kbytes, -m)  unlimited
 locked memory           (kbytes, -l)  unlimited
 max user processes              (-u)  4115
 open files                      (-n)  8232

の限界を越えたか? サーバのメモリはさすがに使いきってないようだし。 バーチャルサーバだけに1プロセスがメモリ食いすぎると(他人にされると自分も)困るので理解できるが、ちと苦しいなぁ。

「Perl をやめる」という案は「Perl モジュールの開発」と相反するから却下。

@ 追記

2001年5月6日に、Apache の設定で limit がかけられているらしい事が判明。 (2001年5月6日追記)

• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
• XAMPP で WiKicker を動かしてみた。PPM インストール OK。 (2007-02-09)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
• [ 日記 ] SpeedyCGI による、同時処理数制御 (2004-01-20)
• PAR::Repository でビルド済み Perl モジュールをネット... (2006-12-12)

■ [ mknmz-wwwoffle ] ギリシャから「win32 で動かないよ」

ちょうど、新婚旅行に行ってきたギリシャドメインの人から、mknmz-wwwoffle が win32 でうまく動かないよというメールを頂く。 Namazu はギリシャでも使わてれいるんですねぇ。

mknmz-wwwoffle の win32 対応は TODO のまま。 path の処理等をサボっているのでそのままでは動かないはず(試してみてもいないので不明)。 せっかくの機会なので win32 対応するかな。

Win32 に Namazu と WWWOFFLE (と要求ライブラリとかPerlとか)をセットアップするのがちょっと面倒かな。

• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• XAMPP で WiKicker を動かしてみた。PPM インストール OK。 (2007-02-09)
• 定型書式で内容を記述していくのに便利な形式は? (2005-11-21)
• 過去の今ごろ (2004-07-04)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)

■ [ www.naney.org ] またまたディスクが一杯になってきた

www.naney.org の使用容量がまたまた一杯になってきた。 Namazu の index が結構大きくなってきたので、一旦削除して作りなおす。 「なつみかん」の .lirs ファイルも対象になっている。 検索無用でサイズも大きく毎日更新されるとあって、インデックスの肥大化に貢献しているようなので、mknmz の exclude 指定に追加してインデックスに含めないように。

• www.naney.org に Namazu 設置 (2000-11-15)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• メールボックスを Gmail に集約 (2007-08-08)
• [ www.naney.org ] LIRS とか (2002-07-20)

■ [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定

サーバ移転関連の続き。

明日には移転先の Web サーバ、メールサーバの準備が完了する予定とのこと。 明日の夜にメールの設定、明後日に Web コンテンツの新サーバのアップロードをするかな。 はいぱー日記システムや、Namazu 等々の再インストールもしなければ。

• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• はいぱー日記システムで日記を開始 (2001-05-11)
• www.naney.org 容量超過警告につきダイエット開始 (2006-10-03)
• ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)
• はいぱー日記システムアップデート (2001-05-19)

■ やっぱ hns

tDiary に随分傾むいていたのだが。

自分自身の使用としては、

• tDiary で SUB できない?
• tDiary で 旬単位表示できない? (月まとめ表示はちょっと大きすぎる気が)
• tDiary には hns の log.cgi に当たる機能がない?
• Ruby プログラム、 hack できない (これを機に覚えれば良いのだが)
• WiKicker との連動コードを簡単に埋め込めなくなる(WiKicker はPerl)
• Unison 導入により hns 関連ファイル管理の整理ができたので、そこら辺が綺麗で気にいった tDiary のメリットが少なくなった。

といった感想。 最初から tDiary だったら問題を感じなかった部分も多いだろう。 慣れの問題。 あとこれから日記システムを提供してあげる予定の Tarebouzuさんに対しては、

• hns でも tDiary のテーマが使える事が判明した(tdiary-hns-theme 使用)ので、レイアウトの選択肢が広まった
• hns にも Web インタフェースがあるし
• hnf 記法の方が、tDiary 記法より簡単 (私が慣れているだけかもしれないが。まぁ教えやすいし。)

といった感想。 で、二転三転したが結局 hns でいこうかと。

hns のセットアップ、theme の入れかえ、mod_rewrite の設定あたりまで終わらせる。 後は、Namazu とかそのあたり。 週末には稼働できるかと。

• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• [ WiKicker ] 日記機能開発開始 (2003-12-27)
• はいぱー日記システムで日記を開始 (2001-05-11)
• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
• [ DiKicker ] hnsからのコンバータ作成開始 (2004-02-11)

■ 過去の今ごろ

過去の 2月29日より。

過去の2月29日は4年前まで遡らなければいけないわけで。

• Namazu の検索結果に WWWOFFLE のキャッシュ操作を追加
  • そのうち WiKicker 用の Namazuインデックス用モジュールを書きたい。

• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• やっぱ hns (2003-11-20)
• 定型書式で内容を記述していくのに便利な形式は? (2005-11-21)
• mixiに登録 (2004-11-19)
• WiKicker へのセッション管理/認証/承認機能追加開始 (2006-03-02)

■ 過去の今ごろ

過去の7月4日より。

• MHonArc
  • 社内MLアーカイブだが、プログラムのビルドアナウンスメールへのリンクを Wiki から貼って利用しているぐらい。Namazu で検索もできるのだが、あまり使ってないな。

• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• WiKicker 0.29 リリース - ビルドまわりの改良など (2006-02-13)
• メールボックスを Gmail に集約 (2007-08-08)
• Wiki考 (2002-09-20)

■ Debian GNU/Linux に Hyper Estraier 1.2.7 を野良インストールする

DiKicker を使って社内 Blog を始めてから早いものでもう半月ほど経ち、記事もそれなりにたまってきた。

DiKicker にはキーワードによる串刺し表示機能があるものの、検索機能は自前で持っていないため任意の文字列で検索をすることができない。 これだと過去記事が活用されなくなってしまう。

ということでそろそろ検索エンジンをセットアップすることにした。

同じサーバで Namazu をインストールして過去メールの検索に使用しているが、今回は Hyper Estraier を使ってみることにした。

• Web クローラが付属されていること
• P2P連携機能があること

が選択理由。 今回は自分の社内 Blog だけでなく、自分の立てている Wiki (WiKicker) や他人が立てている PukiWiki、静的な HTML ページなどもまとめて検索できるようにしたいという考えがある。 このため複数のサーバに分散したコンテンツを、クローラでインデックス生成できるというのは魅力的である。

P2P連携機能の方は技術的に面白そうということで。

@ Debian GNU/Linux でのテスト

まずは自分のノート PC 上にセットアップして、いろいろ試してみることにする。 さっそく apt-get で Hyper Estraier をパッケージインストール。

estmaster でノードマスタを起動し、ユーザ設定とノード作成を行う。

で次に Web クローラ estwaver の設定をして、ノート PC ローカルの Web サーバのコンテンツをインデックス化してみる。

で、検索。

あれ?

検索結果件数が 0。よくみるとインデックスされている文書が 0 だ。 確かに estwaver がモリモリ fetch して登録しているようなのだが……。

しこたま悩んだ末、Debian パッケージの Hyper Estraier は 1.2.5 でこのバージョンの estmaster は ノードサーバへの登録機能がまだないということにようやく気がついた。

とほほ。

@ ソースからインストール

ということなので、Hyper Estraier 1.2.7 をソースからインストールすることにした。 Debian パッケージの QDBM だと古いので、こちらもあわせてインストール。

今回はパッケージ化せずに /usr/local/hyperestraier-1.2.7 に、とりまとめてインストールすることにしておく。

@ QDBM

 wget http://qdbm.sourceforge.net/qdbm-1.8.58.tar.gz
 tar zxvf qdbm-1.8.58.tar.gz
 cd qdbm-1.8.58
 ./configure --enable-zlib --prefix=/usr/local/hyperestraier-1.2.7
 make
 make check
 make install

@ Hyper Estraier

 wget http://hyperestraier.sourceforge.net/hyperestraier-1.2.7.tar.gz
 tar zxvf hyperestraier-1.2.7.tar.gz
 cd hyperestraier-1.2.7
 PKG_CONFIG_PATH=/usr/local/hyperestraier-1.2.7/lib/pkgconfig ./configure --prefix=/usr/local/hyperestraier-1.2.7
 make
 make check

インストール完了。

最初インストールしたものを実行すると落ちて何だろうと思っていた。 これについては deb パッケージでインストールした関連パッケージを purge してビルドし直しインストールしたら問題なく動くようになった。

メデタシメデタシ。

明日は会社のサーバでも設定しよう。

• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• はいぱー日記システムで日記を開始 (2001-05-11)
• メールボックスを Gmail に集約 (2007-08-08)

■ Linux で使えるデスクトップ検索ツール Beagle でローカルファイルを検索

Windows だと Google Desktop でローカルファイルの検索ができるのだが、残念ながら Linux 版はでていない。 そこで Beagle を入れてみることにした。

Beagle はデーモン形式のバックエンドと、検索インタフェースであるフロンエンドに分かれたているデスクトップ検索ツールである。

ファイルシステム上にあるテキストファイルだけでなくメールや、Firefox でアクセスしたページ、OpenOffice.org や Microsoft Office のファイルなどをインデックス化し検索できるようにすることができるらしい。

@ ちなみに今まで

ローカルファイルの検索は

といった感じかな。

それ以外はだいたいファイルの位置をうろ覚えしているので、何カ所か探せば見つかることが多い。

問題はうろ覚えの場所になかった時。 その時はなかなか見つからない。

そんなファイルを見つけるのが楽になれば、導入効果あり。

@ インストールして試してみる

@ Linux kernel の inotify を有効にする

まずは Linux kernel の設定を確認。inotify が有効になっている方が良いらしい。 この間ビルドした時の .config を見て

 CONFIG_INOTIFY=y
 CONFIG_EXT2_FS_XATTR=y
 CONFIG_EXT3_FS_XATTR=y

となっていることを確認。

@ /home の extended attributes を有効にする。

/etc/fstab を編集し、

 /dev/hda4 /home ext3 defaults 0 2

を

 /dev/hda4 /home ext3 defaults,user_xattr 0 2

に変更する。書き換えたら、

 mount -o remount /home

でマウントしなおす。

@ Beagle のインストール

Debian パッケージでインストール

@ Beagle を起動

一般ユーザで

 beagled

で起動する。停止は

 beagle-shutdown

で。

@ Beagle を設定

 beagle-settings

で設定 UI を起動し、インデックスに含めたくないディレクトリなどを設定。

@ 検索してみる

 beagle-search

で検索 UI を起動し検索してみる。 日本語も OK のようである。

GNOME 環境をほとんどインストールしていなかったので、検索結果からファイルを開けずつまらなかたので gonome-control-center、gnome-panel あたりをインストールして環境設定等をしてみた。

KDE 系のクライアントもあるので別途いろいろ確認。

@ Firefox 拡張

xpi ファイルを入れておく。 後は普通に閲覧したページが、Beagle でインデックス化されて検索できるようになる。

設定してしまえば、以前開発して使っていた WWWOFFLE + Namazu よりお手軽である。

@ 感想

デーモンが逐次インデックス化していくので、明示的定期的にインデクサを走らせなくていいというのは楽でいい。

日本語関連がどの程度うまく検索できるのか、検索結果は使いやすい順に出力されるのかが未知数。 しばらく遊んでみて便利かどうか確かめてみたい。

• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
• Google Desktop Linux 版をインストール (2007-07-02)
• メールボックスを Gmail に集約 (2007-08-08)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)