nDiki : www.naney.org

Naney が管理している Web サイト。

http://www.naney.org/

nDiki メール NaneyOrgWiki Perl URL インストール WiKicker DiKicker CGI プログラム 検索 SpeedyCGI HTML Wiki Web 開発 画像 アクセスログ 検索エンジン speedy_backend 日本語 アップロード 日記 Web サーバ Firefox mixi Flickr 統計 Namazu YukiWiki Perl 5.005_03

■ 専用サーバに移りたい

そろそろ www.naney.org を専用サーバに移したいな。 今の共有サーバも悪くはないのだが、Perl が 5.005_03 というのが痛い。 自分のホームディレクトリでビルドして使うこともできなくはないのだが、それにはちょっとディスク容量が少なすぎる。

昨日思い立ってちょっと調べてみたが Debian GNU/Linux が選択できる専用サーバとなると、今だとやっぱりメジャーどころのさくらインターネットの専用サーバか。 ベーシック Athlon64 モデル (Athlon64 3200+ / 1GB / 120GB) + 10Mスタンダード回線 + Debian 3.1 で 初期費用 73,290円 + 月 10,290円。

初期費用が財布に優しくないな。

あとはドメインのレジストラ・トランスファとDNS変更がスムーズにいくかが不安。 メールが届かなくなる期間があるとやっぱり困るからなぁ。 要手順調査。

• 今日のさえずり - 京都の小学校のコンピュータ室にいったら、Squeak が (2008-03-06)
• 停電? サーバは落ちなかったみたい。 (2005-08-12)
• Debian Linux kernel 2.6.23 をビルドする。 (2007-12-23)
• 今日のさえずり - サーバ止めた。この静寂がたまらない。 (2008-11-16)
• WiKicker の Makefile.PL を Module::Inst... (2006-02-10)

■ 私的10大ニュース2005 [ comp ]

今年は主に開発等よりもオンラインサービスの活用が中心的な話題であった。 来年度は、積極的に何かを産み出していきたところである。

@ Skype

年初はまずは Skype。 社内でも本社との連絡に活用されるようになった。 これほどツールがスムーズに社内に広まるのは珍しい。

社内といえば、やっと Wiki の利用が社内で広まってきた。今後より利用が進むといろいろ不満も出てくるはず。 それをうまく吸い上げていくことが重要。

@ ソーシャルブックマークサービス

Squrl を使いはじめて、はてなブックマーク1本へ。 2月のサービス開始から使いはじめてブックマークの数は 3,337。

folksonomy という観点では folk (folc / people) を実感できなかった。 タグは主に自分で分類するのに使っているというところ。

@ Flickr

2月に使い始めて、5月に Pro Account へ。 これで www.naney.org の容量を気にしなくて良いようになった。

@ Bloglines

RSS を発行しているサイトの巡回は Bloglines へほぼ集約。 斜め読み化が進んだ。

@ reStructuredText

可読性の高いプレーンテキストマークアップ文法。

この文法で書いておけば、メールでやり取りをしてまとまった内容をそのまま書き換え直さずに、小綺麗に整形してHTMLやPDF形式にすることができる。

ちょっとした文書の作成にもってこい。

今後環境整備や、自分なりの運用スタイルの確立がポイント。

• 定型書式で内容を記述していくのに便利な形式は? (2005-11-21)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• Bloglines に巡回先の一部を集約 (2005-02-13)
• reStructuredText いいんじゃない? (2005-11-22)
• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)

■ サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更

www.naney.org をホスティングしているサーバが重いと思ったら、同じサーバ上のあるユーザの CGI プログラムが5プロセス無限ループしてるっぽい……。 load average 20前後。

あおりを受けて、nDiki が大変なことになっている。

nDiki は SpeedyCGI を使っているのだが、バックエンドの speedy_backend が捌ききれず、フロントエンドの speedy が大量に待ちに入ってしまっている。

MaxBackends を調整しても駄目(下手にバックエンドプロセス数を増やしても、結局処理が追いつかない)。

ということで急遽対策。

@ 高負荷時にはてなブックマークへのアクセスを停止

load average が高い時には、はてなブックマーク上の検索結果を表示させるために行なっているはてなブックマークへのアクセスを休止するように変更。 24時間に設定してあるキャッシュの有効期限が切れていても、高負荷の時にはアクセスにいかないようにする。

これで DiKicker の処理時間を短縮。相手側サーバへの負担も軽減。

@ Google Desktop からのアクセスを一時的に拒否

おかげ様でここ最近 nDiki の RSS へのアクセス数が増えてきている。 ありがたい事である。

しかしながら DiKicker の RSS レスポンスは、あまり賢くなく毎回データベースから最新記事情報を抽出して生成しているため、それほど処理が速くない。

なのでアクセス頻度を高くしている RSS リーダがどこかで同時に起動しているとちょっとしんどい。 特にここ最近 Google Desktop からのアクセス数が増えている感じ。

さすがに今日はサーバの負荷が高く処理が追いつかなくてどうしようもないので、一時的に Google Desktop を拒否することに。

.htaccess に設定を追加。

 BrowserMatch "Google Desktop" denybrowser
 deny from env=denybrowser

近日中に、RSS 処理を改善してすぐに解除する予定。

@ robots.txt に Crawl-delay: を追加

効果があるかどうかは不明だが、Crawl-delay: に対応するというクローラ (Slurp、msnbot) 向け設定を追加。

 User-agent: Slurp
 Crawl-delay: 20

 User-agent: msnbot
 Crawl-delay: 20

アクセス数としては Googlebot と Slurp がダントツ。 しかし Google は無下にする訳にもいかないしなぁ。

• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• さらにサーバ負荷状態悪化。対応に追われる。 (2006-03-04)
• www.naney.org サーバ断続的にダウン (2006-04-30)
• [ WiKicker ] SpeedyCGI 対応するも…… (2003-11-09)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)

■ 最新の Module::Install は Perl 5.005_03 ステ?

ゴールデンウィークに突入。 9連休を利用して、一気に WiKicker コーディングを企んでいる。

さっそくちょこちょこ修正してパッケージングし、www.naney.org へインストール。 …… Perl Makefile.PL でコケる。

どうも use inc::Module::Install; でエラーを起してしまっているようだ。 Makefile.PL は変更していないので、そうすると Module::Install の問題っぽい。

tarball をパッケージングするホスト側の Module::Install を 0.57 まで落としたところ、Perl 5.005_03 でも通るようになった。

Module::Install is a package for writing installers for CPAN (or CPAN-like) distributions that are clean, simple, minimalist, act in a strictly correct manner with both the ExtUtils::MakeMaker and Module::Build build systems, and will run on any Perl installation version 5.004 or newer. (Module::Install 0.61 より)

とあるように古い Perl もサポートにも気を払っているのが気にいって ExtUtils::MakeMaker から移行しただけにちょっと残念。

今後また 5.005_03 でも動くようになるのか、それとも捨てられるのか要チェック。

• WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
• Time::Local::gmtime の範囲チェック (2003-12-23)
• 野良パッケージと依存 Perl モジュールのインストールセット をCPAN... (2006-02-11)
• Perl 5.005_03 + Template Toolkit 2.14 (2004-11-10)
• [ Perl ] Memcached を使ってみる (2004-01-12)

■ www.naney.org サーバ断続的にダウン

朝 www.naney.org の過去記事を確認しつつ作業をしていたら、9:00 前に急にアクセスできなくなった。 ping も通らない。 9:20 ぐらいに 1度復帰したが、また10:00 前にダウン。

それから何度も落ちては復帰を繰り返すようになってしまっている。 SSH で接続している途中にも突然刺ささるし、傍から見ていても原因が良くわからない。

昨日 WiKicker をアップデートしたから「もしかしてうちが原因?」とちょっと心配もしたりするのだが、無限ループに入ったりメモリを使い尽すようなコードが追加してはいないはずだしなぁ(ローカルでのテストではそのような現象は見られない)。

落ちる直前まで見ていてもそれほど load average が高いわけでもないようだしなぁ。

とまぁ、しばらく様子を見ているうちに NaneyOrgWiki と nDiki が Internal Server Error。 止められた。 正確には SpeedyCGI のフロントエンド speedy コマンドの実行権限を管理者に落とされた。

• (大半はロボットによるものなのだけれども) NaneyOrgWiki と nDiki のどちらか(あるいは両方)に常にアクセスがあってスクリプトが動いている
• top すると他のユーザの CGI プログラムは 'perl' か 'perl 5.00503' と表示されるのに対し、これらは speedy、speedy_backend と表示されるため、管理者の目を引きやすい

ということもあって疑われたと推測。

一応こちらでも SpeedyCGI を使わないで直接 Perl で実行するように変更してみたり、Memcached を起動するのをやめてみたりなど設定を変更してみたりするのだけれど、関係なく落ちる落ちる。

管理者がシステムの設定を変えていないで発生するようになったのなら、ハードウェア障害が起きているんじゃないかと想像してしまうのだが、実際どうなんだろうか。

結局夜 23:00 過ぎだかに落ちたあとは復帰する様子がないので(管理者が落ちたかな?)、今日はあきらめ。

• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更 (2006-03-03)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
• [ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)
• サーバの負荷が高くなったら DiKicker が 503 を返して沈静化を... (2007-04-05)

■ ISP から Outbound Port25 Blocking を行うとのお知らせ

ISP から OP25B を行うとのメールがきた。

@ Mew の設定

ノート PC の設定変更が面倒だな……と思ったが、考えてみたら普段手で書いて送っているメールは Mew から「直接 www.naney.org か会社の SMTP サーバへ SSH port forwarding 経由で送っている」から、こちらは別に関係ないのか。

@ qmail の設定

とはいえローカルの qmail から送っているメールもあるから、これの設定をする必要あり。 こいつはどうやって設定しようか。

1. 自宅にいる時は「プロバイダの SMTP サーバ (25番ポート)経由」、外(別の接続からの時)では「ローカルの qmail から直接」
   • 切り替えが必要
2. 「プロバイダのサブミッションポート 587番 + POP before SMTP 経由」
   • qmail に POP before SMTP させるのはちょっと。
3. 「他のサブミッションポート 587番 で提供されている SMTP サーバ経由」
   • SMTP サーバのあてがない

さて、どうしたものか。 皆はそうしているのか、要調査。

• OP25B 回避のために PortForwarder で port fow... (2006-10-01)
• Mew 3.1 -> SMTP server -> docomo.ne.jp (2003-02-09)
• 一部のドメインのみ Gmail 経由ではなく SMTP over SSH ... (2008-09-04)
• Mew の設定とか (2004-01-13)
• メールボックスを Gmail に集約 (2007-08-08)

■ この間の www.naney.org サーバ障害は「ハードウェア障害による断続的なアクセス障害」

ここ数日受信メールがやたら遅延しているのでホスティングサービスのメンテナンス/障害情報を確認したら、「大量のスパムメールによりサーバに負荷がかかったことが原因」とのこと。で現在は復旧しているらしい(といいつつ、まだ遅延しているけど)。

ついでに確認したらゴールデンウィーク始めのサーバ落ちまくり事件は、「ハードウェア障害による断続的なアクセス障害」だったとのレポートが出ていた。 2006年5月1日付でアナウンスされているけれど、その頃には実際にはそのアナウンスは流れていなかったんだけれどねぇ。

まそのかわりといっては何だが、ここ最近やたらサーバが軽くなった(load average がやたら低くなった)。 ハードウェアが良くなったのか、それとも無駄なプロセスが無くなったのかわからないが、ちょっと快適になったのでよしとしよう。

• ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
• 要日本語コンソール環境整備 (2006-08-24)
• ISP から Outbound Port25 Blocking を行うとの... (2006-05-23)
• 633S ファーストインプレッション (2001-12-10)

■ Linux で使えるデスクトップ検索ツール Beagle でローカルファイルを検索

Windows だと Google Desktop でローカルファイルの検索ができるのだが、残念ながら Linux 版はでていない。 そこで Beagle を入れてみることにした。

Beagle はデーモン形式のバックエンドと、検索インタフェースであるフロンエンドに分かれたているデスクトップ検索ツールである。

ファイルシステム上にあるテキストファイルだけでなくメールや、Firefox でアクセスしたページ、OpenOffice.org や Microsoft Office のファイルなどをインデックス化し検索できるようにすることができるらしい。

@ ちなみに今まで

ローカルファイルの検索は

といった感じかな。

それ以外はだいたいファイルの位置をうろ覚えしているので、何カ所か探せば見つかることが多い。

問題はうろ覚えの場所になかった時。 その時はなかなか見つからない。

そんなファイルを見つけるのが楽になれば、導入効果あり。

@ インストールして試してみる

@ Linux kernel の inotify を有効にする

まずは Linux kernel の設定を確認。inotify が有効になっている方が良いらしい。 この間ビルドした時の .config を見て

 CONFIG_INOTIFY=y
 CONFIG_EXT2_FS_XATTR=y
 CONFIG_EXT3_FS_XATTR=y

となっていることを確認。

@ /home の extended attributes を有効にする。

/etc/fstab を編集し、

 /dev/hda4 /home ext3 defaults 0 2

を

 /dev/hda4 /home ext3 defaults,user_xattr 0 2

に変更する。書き換えたら、

 mount -o remount /home

でマウントしなおす。

@ Beagle のインストール

Debian パッケージでインストール

@ Beagle を起動

一般ユーザで

 beagled

で起動する。停止は

 beagle-shutdown

で。

@ Beagle を設定

 beagle-settings

で設定 UI を起動し、インデックスに含めたくないディレクトリなどを設定。

@ 検索してみる

 beagle-search

で検索 UI を起動し検索してみる。 日本語も OK のようである。

GNOME 環境をほとんどインストールしていなかったので、検索結果からファイルを開けずつまらなかたので gonome-control-center、gnome-panel あたりをインストールして環境設定等をしてみた。

KDE 系のクライアントもあるので別途いろいろ確認。

@ Firefox 拡張

xpi ファイルを入れておく。 後は普通に閲覧したページが、Beagle でインデックス化されて検索できるようになる。

設定してしまえば、以前開発して使っていた WWWOFFLE + Namazu よりお手軽である。

@ 感想

デーモンが逐次インデックス化していくので、明示的定期的にインデクサを走らせなくていいというのは楽でいい。

日本語関連がどの程度うまく検索できるのか、検索結果は使いやすい順に出力されるのかが未知数。 しばらく遊んでみて便利かどうか確かめてみたい。

• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
• Google Desktop Linux 版をインストール (2007-07-02)
• メールボックスを Gmail に集約 (2007-08-08)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)

■ www.naney.org 容量超過警告につきダイエット開始

ホスティングサービス会社より、www.naney.org が契約容量超過との警告のメールをもらった。まずい。

ということで急いでデータの整理を開始。

• ログファイルの見直し
  • nDiki のログ (Log::Log4perl) のログレベルを落とす
  • rogrotate の rotate、size パラメータを小さ目に設定しなおし
  • hns の log を削除
• バックアップの見直し
  • NaneyOrgWiki のバックアップファイルを削除
  • NaneyOrgWiki のバックアップ(daily)を停止
  • NaneyOrgWiki の RCS ファイル削除
• 作業ファイルの見直し
  • インストール作業ファイルを削除
  • 使っていないソフトウェアを削除
• コンテンツの見直し
  • emacs-wiki で作っていたコンテンツを削除

これでもまだまだ。コンテンツ系も、かなり整理する必要がありそうだ。 できれば他からリンクされているコンテンツについては対応する新しいものへリダイレクト設定しておきたいのだが、作業時間的にはちょっと無理。

• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• www.naney.org が書籍で紹介される? (2004-05-28)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)

■ DiKicker の出力する HTML コードを小さく

容量超過につき www.naney.org の容量削減中。

中でも結構な容量を食っているのが、nDiki (DiKicker) の HTML 変換済み記事データベースである。 毎回レンダリングし直すと遅いので、1度 HTML フラグメントに変換したら Bereley DB ファイルに保存しているのだが、これがどうしても大きくなってしまうのである。

NaneyOrgWiki (WiKicker) もそうなのだが、 UTF-8 を使用しているため日本語中心のテキストが思った以上にデカくなるのも痛い。

ということで生成する HTML フラグメントをちまちま小さくするようにすることにした。 チェックしてみると自動リンクの URL が絶対 URL になっているではないか。 まずはこれを短い URL を吐くように書き直し。

焼け石に水な感もあるが、ちょっとずつでも短くしていきたい。

• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• [ WiKicker ] spam と検索エンジン対応に noindex、... (2007-01-13)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• ケータイ用にプライベート Wiki を設置 (2008-01-07)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)