nDiki : Namazu
Related term
2001年1月4日 (木)
■ CGI プログラム、Out of memory! に泣く 
昨日、Web サーバに WWW::Search モジュール、拙作 WWW::Search::Namazu2 をインストールし Namazu メタサーチ CGI も準備万端。手元でもきちんと動作している。
で Web サーバ上に CGI プログラムをセットアップ。 入力ページもきちんと出た。 が、検索させると結果がでない。 Apache のエラーログを見ると……Out of memory!
無限ループかなにかに落ちるところはないんだけどなぁ……。 いろいろコネクリまわしたが、Out of memory! は解消できず。 WWW::Search モジュールを手でいじって、使わないモジュールのロードをおさえたりすると、ちょっと先まで進むようになるがやはり Out of memory!
モジュール間の相性でメモリを食いすぎている……なんて事もないだろうなぁ。
$ulimit -a cpu time (seconds, -t) unlimited file size (512-blocks, -f) unlimited data seg size (kbytes, -d) 524288 stack size (kbytes, -s) 65536 core file size (512-blocks, -c) unlimited max memory size (kbytes, -m) unlimited locked memory (kbytes, -l) unlimited max user processes (-u) 4115 open files (-n) 8232
の限界を越えたか? サーバのメモリはさすがに使いきってないようだし。 バーチャルサーバだけに1プロセスがメモリ食いすぎると(他人にされると自分も)困るので理解できるが、ちと苦しいなぁ。
「Perl をやめる」という案は「Perl モジュールの開発」と相反するから却下。
@ 追記
2001年5月6日に、Apache の設定で limit がかけられているらしい事が判明。 (2001年5月6日追記)
- PAR::Repository でビルド済み Perl モジュールをネット... (2006-12-12)
- [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
- [ 日記 ] SpeedyCGI による、同時処理数制御 (2004-01-20)
- Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
- XAMPP で WiKicker を動かしてみた。PPM インストール OK。 (2007-02-09)
2001年9月17日 (月)
■ [ mknmz-wwwoffle ] ギリシャから「win32 で動かないよ」 
ちょうど、新婚旅行に行ってきたギリシャドメインの人から、mknmz-wwwoffle が win32 でうまく動かないよというメールを頂く。 Namazu はギリシャでも使わてれいるんですねぇ。
mknmz-wwwoffle の win32 対応は TODO のまま。 path の処理等をサボっているのでそのままでは動かないはず(試してみてもいないので不明)。 せっかくの機会なので win32 対応するかな。
Win32 に Namazu と WWWOFFLE (と要求ライブラリとかPerlとか)をセットアップするのがちょっと面倒かな。
- Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
- 専用サーバに移りたい (2005-11-13)
- Perl テストスクリプトの中で標準エラー出力を一時的に止める (2006-12-15)
- メールボックスを Gmail に集約 (2007-08-08)
- XAMPP で WiKicker を動かしてみた。PPM インストール OK。 (2007-02-09)
2001年10月21日 (日)
■ [ www.naney.org ] またまたディスクが一杯になってきた 
www.naney.org の使用容量がまたまた一杯になってきた。 Namazu の index が結構大きくなってきたので、一旦削除して作りなおす。 「なつみかん」の .lirs ファイルも対象になっている。 検索無用でサイズも大きく毎日更新されるとあって、インデックスの肥大化に貢献しているようなので、mknmz の exclude 指定に追加してインデックスに含めないように。
- Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
- www.naney.org に Namazu 設置 (2000-11-15)
- 過去の今ごろ (2004-07-04)
- メールボックスを Gmail に集約 (2007-08-08)
- [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
2002年1月22日 (火)
■ [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 
明日には移転先の Web サーバ、メールサーバの準備が完了する予定とのこと。 明日の夜にメールの設定、明後日に Web コンテンツの新サーバのアップロードをするかな。 はいぱー日記システムや、Namazu 等々の再インストールもしなければ。
- Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
- はいぱー日記システムで日記を開始 (2001-05-11)
- Flickr::UploadでLinuxから画像アップロード (2005-04-22)
- ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)
- はいぱー日記システムアップデート (2001-05-19)
2003年11月20日 (木)
■ やっぱ hns 
tDiary に随分傾むいていたのだが。
自分自身の使用としては、
- tDiary で SUB できない?
- tDiary で 旬単位表示できない? (月まとめ表示はちょっと大きすぎる気が)
- tDiary には hns の log.cgi に当たる機能がない?
- Ruby プログラム、 hack できない (これを機に覚えれば良いのだが)
- WiKicker との連動コードを簡単に埋め込めなくなる(WiKicker はPerl)
- Unison 導入により hns 関連ファイル管理の整理ができたので、そこら辺が綺麗で気にいった tDiary のメリットが少なくなった。
といった感想。 最初から tDiary だったら問題を感じなかった部分も多いだろう。 慣れの問題。 あとこれから日記システムを提供してあげる予定の Tarebouzuさんに対しては、
- hns でも tDiary のテーマが使える事が判明した(tdiary-hns-theme 使用)ので、レイアウトの選択肢が広まった
- hns にも Web インタフェースがあるし
- hnf 記法の方が、tDiary 記法より簡単 (私が慣れているだけかもしれないが。まぁ教えやすいし。)
といった感想。 で、二転三転したが結局 hns でいこうかと。
hns のセットアップ、theme の入れかえ、mod_rewrite の設定あたりまで終わらせる。 後は、Namazu とかそのあたり。 週末には稼働できるかと。
- Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
- [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
- 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
- [ WiKicker ] 日記機能開発開始 (2003-12-27)
- [ DiKicker ] hnsからのコンバータ作成開始 (2004-02-11)
2004年2月29日 (日)
■ 過去の今ごろ 
過去の 2月29日より。
過去の2月29日は4年前まで遡らなければいけないわけで。
- やっぱ hns (2003-11-20)
- Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
- Win32 で WiKicker が落ちるのは binmode の設定忘れのせい (2005-04-18)
- mixiに登録 (2004-11-19)
- WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
2004年7月4日 (日)
■ 過去の今ごろ 
過去の7月4日より。
- Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
- Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
- WiKicker 0.29 リリース - ビルドまわりの改良など (2006-02-13)
- Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
- Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
2006年5月31日 (水)
■ Debian GNU/Linux に Hyper Estraier 1.2.7 を野良インストールする 
DiKicker を使って社内 Blog を始めてから早いものでもう半月ほど経ち、記事もそれなりにたまってきた。
DiKicker にはキーワードによる串刺し表示機能があるものの、検索機能は自前で持っていないため任意の文字列で検索をすることができない。 これだと過去記事が活用されなくなってしまう。
ということでそろそろ検索エンジンをセットアップすることにした。
同じサーバで Namazu をインストールして過去メールの検索に使用しているが、今回は Hyper Estraier を使ってみることにした。
が選択理由。 今回は自分の社内 Blog だけでなく、自分の立てている Wiki (WiKicker) や他人が立てている PukiWiki、静的な HTML ページなどもまとめて検索できるようにしたいという考えがある。 このため複数のサーバに分散したコンテンツを、クローラでインデックス生成できるというのは魅力的である。
P2P連携機能の方は技術的に面白そうということで。
@ Debian GNU/Linux でのテスト
まずは自分のノート PC 上にセットアップして、いろいろ試してみることにする。 さっそく apt-get で Hyper Estraier をパッケージインストール。
estmaster でノードマスタを起動し、ユーザ設定とノード作成を行う。
で次に Web クローラ estwaver の設定をして、ノート PC ローカルの Web サーバのコンテンツをインデックス化してみる。
で、検索。
あれ?
検索結果件数が 0。よくみるとインデックスされている文書が 0 だ。 確かに estwaver がモリモリ fetch して登録しているようなのだが……。
しこたま悩んだ末、Debian パッケージの Hyper Estraier は 1.2.5 でこのバージョンの estmaster は ノードサーバへの登録機能がまだないということにようやく気がついた。
とほほ。
@ ソースからインストール
ということなので、Hyper Estraier 1.2.7 をソースからインストールすることにした。 Debian パッケージの QDBM だと古いので、こちらもあわせてインストール。
今回はパッケージ化せずに /usr/local/hyperestraier-1.2.7 に、とりまとめてインストールすることにしておく。
@ QDBM
wget http://qdbm.sourceforge.net/qdbm-1.8.58.tar.gz tar zxvf qdbm-1.8.58.tar.gz cd qdbm-1.8.58 ./configure --enable-zlib --prefix=/usr/local/hyperestraier-1.2.7 make make check make install
@ Hyper Estraier
wget http://hyperestraier.sourceforge.net/hyperestraier-1.2.7.tar.gz tar zxvf hyperestraier-1.2.7.tar.gz cd hyperestraier-1.2.7 PKG_CONFIG_PATH=/usr/local/hyperestraier-1.2.7/lib/pkgconfig ./configure --prefix=/usr/local/hyperestraier-1.2.7 make make check
インストール完了。
最初インストールしたものを実行すると落ちて何だろうと思っていた。 これについては deb パッケージでインストールした関連パッケージを purge してビルドし直しインストールしたら問題なく動くようになった。
メデタシメデタシ。
明日は会社のサーバでも設定しよう。
- Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
- Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
- Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
- はいぱー日記システムで日記を開始 (2001-05-11)
- メインノート PC の MTA を sendmail から qmail に変更 (1999-10-28)
2006年8月8日 (火)
■ Linux で使えるデスクトップ検索ツール Beagle でローカルファイルを検索 
Windows だと Google Desktop でローカルファイルの検索ができるのだが、残念ながら Linux 版はでていない。 そこで Beagle を入れてみることにした。
Beagle はデーモン形式のバックエンドと、検索インタフェースであるフロンエンドに分かれたているデスクトップ検索ツールである。
ファイルシステム上にあるテキストファイルだけでなくメールや、Firefox でアクセスしたページ、OpenOffice.org や Microsoft Office のファイルなどをインデックス化し検索できるようにすることができるらしい。
@ ちなみに今まで
ローカルファイルの検索は
| メール | Mew 4 での検索(with Namazu)。 |
| nDiki 記事 | howm で記事ソースデータを検索 (方法)、あるいは www.naney.org 公開記事を Google で。 |
| メモ | howm。 |
| 開発中のソースコード | Emacs の grep-find でだいたい事足りる。たまに ack。 |
| 仕事のメモ | できるだけ社内 Wiki か社内 Blog に書いておいて Hyper Estraier。 |
| その他 | grep 程度。 |
といった感じかな。
それ以外はだいたいファイルの位置をうろ覚えしているので、何カ所か探せば見つかることが多い。
問題はうろ覚えの場所になかった時。 その時はなかなか見つからない。
そんなファイルを見つけるのが楽になれば、導入効果あり。
@ インストールして試してみる
@ Linux kernel の inotify を有効にする
まずは Linux kernel の設定を確認。inotify が有効になっている方が良いらしい。 この間ビルドした時の .config を見て
CONFIG_INOTIFY=y CONFIG_EXT2_FS_XATTR=y CONFIG_EXT3_FS_XATTR=y
となっていることを確認。
@ /home の extended attributes を有効にする。
/etc/fstab を編集し、
/dev/hda4 /home ext3 defaults 0 2
を
/dev/hda4 /home ext3 defaults,user_xattr 0 2
に変更する。書き換えたら、
mount -o remount /home
でマウントしなおす。
@ Beagle のインストール
@ Beagle を起動
一般ユーザで
beagled
で起動する。停止は
beagle-shutdown
で。
@ Beagle を設定
beagle-settings
で設定 UI を起動し、インデックスに含めたくないディレクトリなどを設定。
@ 検索してみる
beagle-search
で検索 UI を起動し検索してみる。 日本語も OK のようである。
GNOME 環境をほとんどインストールしていなかったので、検索結果からファイルを開けずつまらなかたので gonome-control-center、gnome-panel あたりをインストールして環境設定等をしてみた。
@ Firefox 拡張
xpi ファイルを入れておく。 後は普通に閲覧したページが、Beagle でインデックス化されて検索できるようになる。
設定してしまえば、以前開発して使っていた WWWOFFLE + Namazu よりお手軽である。
@ 感想
デーモンが逐次インデックス化していくので、明示的定期的にインデクサを走らせなくていいというのは楽でいい。
日本語関連がどの程度うまく検索できるのか、検索結果は使いやすい順に出力されるのかが未知数。 しばらく遊んでみて便利かどうか確かめてみたい。
- Google Desktop Linux 版をインストール (2007-07-02)
- Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
- メールボックスを Gmail に集約 (2007-08-08)
- Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
- Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
2007年8月8日 (水)
■ メールボックスを Gmail に集約 
Gmail は2004年12月に招待してもらって登録していたのだが、アカウントは Google の各種サービス用として使っていたものの、メールボックスはほぼ全く使用していなかった。 なんだかんだいって抵抗感があった訳で。
しかし、
- ホスティングサービスで利用しているメインのメールボックスが1アカウント10MBで、数日 fetch できないと溢れてしまう。PHS を解約した今、帰省の時などは fetch できない状況になりヤバイ。
- パケ・ホーダイにしたのを機にモバイル Gmail で外出先でも仕事関連のメールをチェックできるようにしたい。
ということからメールボックス Gmail に集約してしまうことにした。
@ 移行作業
やった事は以下。
@ アカウントのパスワードを変更
pwgen で自動生成したパスワードを使っていたのだが、今後入力する機会が増えるので覚えられるものに変更。
@ メーラ (Mew) のバージョンアップ
普段使っている MUA である Mew のバージョンを 4 から 5 にバージョンアップ (Debian sid の Debian パッケージが上がった時に、ホールドしたままだった)。
もれなく k-/ が Namazu から Hyper Estraier になっていた。
@ Gmail に普段使っているメールアドレスを登録
「Gmail から直接」および「Gmail の SMTP サーバ経由」で普段使っているメールアドレスを使って送信できるようにアカウントを登録。
Web の設定画面で追加するとメールで確認コードが送られてくるので、それを使って有効化する。
@ Gmail から POP3 でメールをローカルに取れるように設定
Gmail 側で POP を有効にした後、fetchmail で fetch できるようにする。
defaults
no mimedecode
pass8bits
poll pop.gmail.com
protocol pop3
user xxx@gmail.com
password xxx
ssl
fetchall
SSL を使用して fetch できるようしておく。
設定を始めるまでは「POP3 で Gmail アカウント使うのどうよ」と思っていたけれど、SSL 経由なのでちょっと安心した。
POP 後 Gmail 側ではアーカイブに移動するようしておく。
@ Mew から Gmail の SMTP サーバ経由でメールを送れるようにする
今まで SMTP over SSH でホスティングサービス経由等で送っていたものを、Gmail に TARTTLS を使って送れるように設定する。
mew-config-alist の中で
("default"
("user" . "naney")
("mail-domain" . "naney.org")
("smtp-server" . "smtp.gmail.com")
("smtp-user" . "xxx@gmail.com")
("smtp-ssl" . t))
送信メールアドレスは user と mail-domain で設定。Gmail のアカウント名は smtp-user で設定。 smtp-ssl も t にしておく。
その他メールアドレス毎に経路を変えて送ったりしていたのだが全部同様の設定にして Gmail 経由にする。
@ Mew から自分宛のコピーを Dcc から Fcc に変更
今まで Dcc で自分宛にコピーを送って管理していたのだが、Gmail では自分が SMTP 経由で送信したメールは POP できないらしい。 げっ。
ということで Fcc を
(setq mew-fcc "+sent")
から
(setq mew-fcc "+sent,+inbox")
に変更して、sent/ 以外に inbox/ にも複製を作るようにして対処。
@ 各メールボックスから Gmail へ転送設定
普段使っている各メールアドレスのメールボックスから、全て Gmail へ転送するように設定。 たまっていた分は今まで通りの方法で fetch してクリアしておく。
@ Google ツールバーの設定を変更
Gmail カスタムボタンを表示するように変更。 ツールバーから Gmail にアクセスできるようにしておく。
@ Google Desktop (Linux 版)の設定を変更
Gmail アカウントを登録。 Google デスクトップで Gmail 上のメールを検索できるようにしておく。
@ iモードから、モバイル Gmailへアクセスしてみる
試しに使ってみる。
モバイル Gmail から送られるメールの From: は Gmail でデフォルト設定したもので固定らしい。 ちょっと融通が効かない。
ま、プライベートのメールはiモードメールで送ってしまっても良いので、Gmail のデフォルトのメールアドレスを仕事用のに設定しておくことで対応しよう。
これで大体設定完了。
@ 移行したことによるメリット
メリットは以下。
- メールボックスの溢れの心配がなくなる。
- Gmail spam 機能が使える。- ローカルで bsfilter 使っているけれども、それよりも強力 (多分)。
- Web ブラウザからメール送受信ができる。- 自分の端末以外でパスワードを入力するのが怖いのと、自分の端末があるなら Mew から送受信してしまうからサブで。
- iモードからメールをチェックできる。
Gmail で言うところのスレッドについては、ちょっと慣れが必要そうだな。
@ 移行したことによるデメリット
- メールがローカルまで落ちてくるのが遅くなる。- 各メールボックスからの転送分のタイムラグがある。さらに Gmail では受信してもすぐ POP できるわけではないようだ。なので、Web ブラウザ上で受信を確認していてもそれに対してローカルの Mew で引用返信がすぐできなくなってしまった。
- リモートサーバ上にメールを置いておくことに対する不安感がある。
- iモードからメールをチェックできる。見なくてもいい時に読んでしまう可能性が。
なにはともあれ、一気に移行してしまった。 細かい所で違和感がまだあるけれども、いずれ慣れるだろう。 きっとその時は便利に感じるに違いない。
ようやくこれで本当の Gmail ユーザだ。
- Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
- Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
- ケータイ用にプライベート Wiki を設置 (2008-01-07)
- Google Desktop Linux 版をインストール (2007-07-02)
- Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
■よく検索されるキーワード
torrent(173) expressions(80) 竹内まりや(58) x31(25) ドラマ(23) linux(23) 手帳(21) 壁紙(21) perl(21) windows(20) 動画(19) wiki(17) porter(17) debian(16) 使い方(16) 画像(15) thinkpad(15) 作り方(15) gmail(14) usb(14) 秋葉原(13) ヨドバシ(13) ほぼ日手帳(13) 提案書(12) 活用(12) 竹内(12) 古川小百合(12) 修理(12) ノート(11) 無印(11) ヨドバシカメラ(11) nikon(11) 書き方(10) ダイソー(10) 万年筆(10) 生年月日(10) 大井町(10) ミニ6穴(9) ほぼ日(9) tc-1(9) 冷蔵庫(9) 設定(9) ニコン(9) java(9) mp3(8) 故障(8) 方眼(8) xp(8) 日誌(8) 感想(8) カメラ(8) allinanchor:*.torrent(8) バッグ(8) firefox(7) インストール(7) キーボード(7) mixi(7) 無料(7) リフィル(7) 小林麻耶(7) nikkor(7) ジョイントラック(7) madwifi(7) 原田夏希(7) skype(6) 変更(6) 三条まゆみ(6) ペンケース(6) web(6) emacs(6) home(6) ポーター(6) 2009(6) itunes(6) a6(6) 無印良品(6) デジカメ(6) finepix(6) 無線lan(6) 評判(6)■注目キーワード
購入 買った 発売日 フリー 無料 価格 値段 作り方 選び方 方法 設定 サンプル ダウンロード セール 限定 在庫 予約 穴場 比較 検証 レビュー 感想 評価 評判 使用感 使ってみた 口コミ 最新 MP3 動画 Torrent 解説 意味 用語集 参考文献 お薦め お勧め おすすめ 便利 Blog ブログ mixi 待受画面 修理
Process Time: 1.472732s / load averages: 1.15, 1.27, 1.34
nDiki by WATANABE Yoshimasa (profile)
Powered by DiKicker
Base theme by Nana (for tDiary)
スポンサード リンク