nDiki : なつみかん

ひや氏によって開発されたアンテナソフトウェア。 Perl で実装されている。

2006年10月4日に停止するまで、www.naney.org でも使用していた (旧 URL http://www.naney.org/var/natsumican/)。

NaneyOrgWiki インストール PHP Apache Web サイト 検索 ProxyRemote GNU GPL 研究 WWWOFFLE mod_proxy たまてばこ マニュアル Firefox wget Bloglines キャッシュ Sage WikiEngine proxy Ruby 日記 ライセンス RewriteRule RNA 無料 ノート PC mixipress Debian tDiary

■ Apache Proxy で アンテナの ?%MM%%DD%%HH%%TT% 除去

アンテナページの多くはリンクURLに更新日時を付加する。 例えば

 http://www.naney.org/personal/diary/hns/

が、10月02日 14:46 に最終更新されているとう情報を取得すると

 http://www.naney.org/personal/diary/hns/?10021446

という、URL を持つリンクをアンテナページに生成する。 ページが更新されるとURLも変化するので、(Mozilla, Internet Explorer 等の)以前にアクセスした事のあるリンクの色を変えるブラウザでは、更新されたことを確認しやすい。

が、これはキャッシュ proxy には仇になる。 更新されるたびにURLが変化するということは、そのURLごとにキャッシュが作られるということだ。 私の愛用の WWWOFFLE もご多分にもれずそうである。 私は3ヶ月間キャッシュを保持するようにしているから、一日に3度更新されるページをアンテナのリンク経由で見ると、約90のコピーがキャッシュされる事になる。 そして、最新以外のキャッシュは(通常)2度と利用されることもない。 もはや、その URL ではアクセスされないから。

これはもったいない。 ようは、アンテナ経由でのアクセスの ? 以下を削除してキャッシュすればいいのだが、WWWOFFLE にはあいにくそのような機能はない。 そこで、URL を書きかえる proxy をブラウザと WWWOFFLE の間にカマせようということになる。

 Mozilla -> rewrite proxy -> WWWOFFLE -> target site

ここでは、Apache を rewrite proxy にすることにしてみた。 Apache は mod_proxy で proxy になるし、mod_rewrite で URL を柔軟に変更できる。 もともと、自分の Web サイトのチェック用にローカルマシンで Apache も常時起動しているので設定を変更するだけだ。

とりあえず、大抵のアンテナは ?と8桁の数字(「なつみかん」でいうところの?%MM%%DD%%HH%%TT%)を付加するので、これをもぎとればよい。 以下、httpd.conf の修正。

 LoadModule proxy_module /usr/lib/apache/1.3/libproxy.so
 LoadModule rewrite_module /usr/lib/apache/1.3/mod_rewrite.so

とモジュールをそれぞれ有効にする。rewrite_module より proxy_module を先に Load するようにする(デフォルトでは逆順なので注意)。

そして、httpd.conf の最後に

 ProxyRequests On
 ProxyRemote * http://127.0.0.1:8080/
 NoCache *
 <IfModule mod_rewrite.c>
 RewriteEngine on
 #RewriteLog /tmp/rewrite_log
 #RewriteLogLevel 9
 RewriteRule ^proxy:(.*)\?[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]$ $1? [L]
 </IfModule>

を追加。ProxyRemote で、WWWOFFLE の proxy を指定。 RewriteLog, RewriteLogLevel はうまく書き替らない時に有効にしてログを確認するのに使う。 最後の RewriteRule で実際に書き替えを行う。 ポイントは $1? と、置換後の文字列指定で最後に ? をつけること。 これをつけないと query-string が削除されない(これに気がつくのに随分かかった)。

後はブラウザ側の http プロキシ先を 127.0.0.1:80 にすれば OK。

無条件に ?と8桁数字が末尾にくれば、取り除いてしまうので荒っぽい RewriteRule だ。 だが上記のような query string を使っているページは(多分)そうないから、とりあえず、これで良しとしよう。 困ったら直せばいい。

@ 追加リンク

• いやな日記:URL末尾の ?01234567 のような文字列を除去する
  • (2004年3月16日追加)

• Apache でミラー proxy (2002-04-17)
• 25:45 Apache Proxy で アンテナの ?%MM%%DD%%... (2001-10-02)
• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
• Web広告に興味を持つ (2000-10-01)
• FoxyProxy と autossh で社内 Web ページを閲覧 (2006-06-03)

■ [ www.naney.org ] またまたディスクが一杯になってきた

www.naney.org の使用容量がまたまた一杯になってきた。 Namazu の index が結構大きくなってきたので、一旦削除して作りなおす。 「なつみかん」の .lirs ファイルも対象になっている。 検索無用でサイズも大きく毎日更新されるとあって、インデックスの肥大化に貢献しているようなので、mknmz の exclude 指定に追加してインデックスに含めないように。

• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• www.naney.org に Namazu 設置 (2000-11-15)
• DiKicker に grep 検索機能を追加 (2007-02-02)
• Wiki ではロボット除けをしてはいけない (2007-01-21)
• メールボックスを Gmail に集約 (2007-08-08)

■ [ www.naney.org ] LIRS とか

昨日実装した NaneyOrgWiki の LIRSページ生成いじり。

@ , \ のエスケープ

LIRS仕様書通りエスケープするように修正。

@ なつみかんに食べさせてみる

なつみかん(on www.naney.org) に食べさせてみる。 URLの末尾が .gz でないと GZIP 圧縮された LIRS だと認識してくれないようなので、 http://www.naney.org/wiki/wiki.cgi?... というページも用意。 とりあえず、これでうまく読めているようだ。

……? test\test というタイトル (LIRS の中では test\\test) が、test\(tab)est になってしまうな。 これはなつみかん(ver.3.1b(20010312))側の問題かな?

• DiKicker の出力する HTML コードを小さく (2006-10-05)
• www.naney.org が書籍で紹介される? (2004-05-28)
• [ WiKicker ] spam と検索エンジン対応に noindex、... (2007-01-13)
• www.naney.org に「友人・知人に紹介メール」ページを新設 (2000-12-27)
• 「なつみかん」の開発・保守・運用を凍結します。 (2004-02-03)

■ はてなアンテナ登録

遅ればせながら、「はてな」に登録してはてなアンテナにアンテナをたててみる。

アンテナ自体はなつみかんがあるので不自由していないのだけれど、差分表示・おとなりアンテナ・おすすめページの機能は面白いかな。 そういえば以前 blink というブックマークサービスを使ってみたことがあり*1似たような機能があったんだけれど、こちらは重くで駄目だった。

さてさて、自前のなつみかんとどう使い分けていくかな? 登録するページがさして見当たらないなぁ。

@ 便利な検索機能

はてなアンテナで使える(かな?)と思ったのは検索機能。 アンテナをたてるという比較的ヘビーな輩が登録した、これまたディープなページ群の最新内容から検索できるのは嬉しい。 日記系のページにのるような時事ネタを検索できるサイトって少ないからね。

ということで NaneyOrgWiki からも一発で検索できるようにしてみる。

• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
• Bloglines に巡回先の一部を集約 (2005-02-13)
• mixi のプロフィールをランダム更新 (2005-09-30)
• 「なつみかん」の開発・保守・運用を凍結します。 (2004-02-03)
• はいぱー日記システムで日記を開始 (2001-05-11)

■ [ WiKicker ] touch

やまだ君から NaneyOrgWiki の更新情報が、なつみかんに反映されていないとのご指摘をいただく。Thanks。

WikiEngine を変えたのにあわせてなつみかんの設定を変更するのを忘れていた。 というか、WikiEngine 自体にも touch 機能まだ実装していなかったり。 ということでさっと実装。

• Wikiの文法の標準化 (2004-02-10)
• [ WiKicker ] RCSファイルのリビジョン間引き (2004-04-04)
• [ WiKicker ] WiKicker へ脚注機能追加 (2004-02-10)
• [ WiKicker ] 書き込みをパターンでチェック (2004-12-13)
• [ WiKicker ] 久しぶりにメンテナンス (2004-04-02)

■ なつみかん redirector(2)

昨日の redirector 設定だが、やっぱり不具合あり。

• リダイレクト先が http:/host.example/... となってしまう (→ リダイレクト先を path として埋め込んでいるので // が / に正規化されてしまっているらしい)。Galeon や IE だとそれでもリダイレクトしてくれちゃうのだが、wget だとエラーになる。

QUERY_STRING の問題もあるし、やっぱり素直にリダイレクト CGI プログラムを呼んだ方がよさそう。

@ はてなアンテナと同じ

結局リダイレクタ CGI プログラムにしてしまった。query 部分ははてなアンテナと同じで ?url...YYYYMMDDhhmmss にした。リダイレクタでこの部分をもぐ。

Natsumican on www.naney.orgのテンプレートも変更。

 http://www.naney.org/hgo?%url%%YYYY%%MM%%DD%%HH%%TT%%SS%

に。

• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
• なつみかん + はてなアンテナ おとなりページ (2003-12-28)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• はてなアンテナからなつみかんへ (2004-11-13)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)

■ なつみかん + はてなアンテナ おとなりページ

なつみかんの各エントリにはてなアンテナ おとなりページへのリンクをつけてみた。

多くのエントリできちんと「おとなりページ」が表示される。 ということは誰かが、はてなアンテナに登録しているということ。 しっかりカブっているってことか。

まぁなつみかん on www.naney.orgのエントリの多くは、リモート情報取得元やはてなアンテナ、巡回先からのリンクなどで見つけて登録しているので当然といえば当然。

• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
• なつみかん redirector(2) (2003-11-14)
• はてなアンテナからなつみかんへ (2004-11-13)
• 「なつみかん」の開発・保守・運用を凍結します。 (2004-02-03)
• はてなアンテナ登録 (2002-08-05)

■ 「なつみかん」の開発・保守・運用を凍結します。

見逃していたが、

2003/12/24(水) 「なつみかん」の開発・保守・運用を凍結します。 今後のバージョンアップ・フォロー等は、気が向かない限り無いと思います。 -- 「なつみかん(NATSU-MICAN)」オフィシャルサイト

か。残念。 はてなアンテナの有料オプションの話もあるし、アンテナ業界(?)も変化の時期か? RSSも含めて今後どうなっていくのだろう。 LIRSなどのリモート取得関係とか。

@ 他の実装

The diary formerly known as Go ahead make my day.より。

• たまてばこ
• 五月雨
• RNA (RSS)

「たまてばこ」「五月雨」はRubyか。サーバ容量に余裕があまりないので(ruby自体のインストールも必要とあって)ちょっと厳しいかな。 RNA は面白そう。RSS以外も取得できるといいな。pure Perlだし。 「第二アンテナ」はtDiary限定?

「なつみかん」がGNU GPLとかで、どこかが引き継げればいいんでしょうけどね。

@ 追記

「ありますよ、いよかんが」 (2004年2月6日追記)

• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
• SCons は GNU Autotools のかわりになるか (2005-04-20)
• 今日のさえずり - 京都の小学校のコンピュータ室にいったら、Squeak が (2008-03-06)
• Plagger で Twitter のあれこれをメールで通知 (2008-12-25)
• 私的10大ニュース2004 [ web ] (2004-12-31)

■ [ Perl ] $0 と ps

Perl で $0 を上書きするとps の表示が変わる事を、なつみかん実行中の ps を見て知る。 うまく設定しておけば便利だな(perldoc perlvar)。 NaneyOrgWiki と nDikiでも設定しておいてみる。

top コマンドの表示も変わってくれると嬉しいのだが、そうはいかないようだ。

• www.naney.org サーバ断続的にダウン (2006-04-30)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• Web 日誌 / Web 日記を書き始めてから10年 (2009-01-19)
• DiKicker の出力する HTML コードを小さく (2006-10-05)
• www.naney.org が書籍で紹介される? (2004-05-28)

■ 過去の今ごろ

過去の8月5日より。

• はてなアンテナ登録
  • なつみかんとあわせてなくてはならないツール。あればあったで時間を浪費するツール。

• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
• Apache Proxy で アンテナの ?%MM%%DD%%HH%%TT... (2001-10-02)
• [ www.naney.org ] またまたディスクが一杯になってきた (2001-10-21)
• [ Perl ] $0 と ps (2004-02-29)
• 「なつみかん」の開発・保守・運用を凍結します。 (2004-02-03)