nDiki : NaneyOrgWiki

www.naney.org を WikiForm とする WikiForum。

• http://www.naney.org/wiki

WikiEngine として WiKicker を使用している。 映画、ドラマネタなどが多い。

WikiPage nDiki DiKicker Perl HTML Wiki 検索 キャッシュ URL メール CGI プログラム RCS AutomaticLink 日記 hns メモリ InterWiki RSS URI Memcached なつみかん AutomaticInterLink 自動リンク 開発 WikiName JavaScript ファイル名 やまだ DanglingLink データベース

■ [ WiKicker ] 書き込みをパターンでチェック

ここ最近 link popularity アップを狙った、悪質な書き込みが NaneyOrgWiki で増えている。 気がついたら早めに削除して、IP アドレス指定のアクセス制限をかけるようにしているが、アクセス制限の方は連続的な荒らしをさけるための気休めでしかない。

やはりパターンベースで書き込みをはじくように WiKicker に手を加えた。

• 設定ファイルで無視パターンリストファイルを指定できるように。
• 無視パターンリストファイルでは、文字列または正規表現を指定可能。
• 書き込みがあった時にこのファイルを読み込み、パターンマッチング。
• マッチしたら書き込みを無視。

機能自体はすぐ実装できた。

後は、これもいたちごっこではあるが順次パターンを追加していくか。

Wiki は特性上、修正も再書き込み。 すでにある書き込み部分に無視パターンにマッチしてしまう文字列があると、追記でもコミットが無視されるという普通の人には不可解に感じる動作になる(パターンにマッチしている部分を探し出して消さないといけない)。 要注意。

• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• [ WiKicker ] 古くても検索キャッシュを返す (2004-01-20)
• [ WiKicker ] WiKicker へ脚注機能追加 (2004-02-10)
• 定型書式で内容を記述していくのに便利な形式は? (2005-11-21)
• [ WiKicker ] 複数のキーワード集合による、AutomaticLink (2004-02-07)

■ 私的10大ニュース2004 [ web ]

今年の大事件、マイブームなど。

@ Web 日記を DiKicker に。

2月22日に hns から DiKicker へ移行。 自分で開発しているので好きなように改良ができて楽しい。 比較的すんなり安定したので最近はあまりコードをいじらず。

@ WiKicker 安定。後半は spam がひどい。

WiKicker の方も安定し、(管理をのぞいて)必要な機能もだいたい実装された感じ。 秋ぐらいから NaneyOrgWiki の方にも spam 的な書き込みが多発。 パターンによる書き込み拒否の実装で年末それなりに収束しつつある感じ。

Memcached によるキャッシュ効果は絶大だった。

@ SNS

orkut、mixi に登録。 前者はそれほどはまらずフェードアウト。

mixi の方は結構面白い。

• RSSを介して既存のWeb 日記(Blog)を使えた。
• 日本人中心のコミュニティ。

というのが遊んでみるのに良かった。

ついついチェックしてしまうのは

• 足あと
• 最終ログイン時刻表示
• 知人の mixi 日記

の存在。 オフィスで広まったことで楽しさも増した。

来年の今ごろも継続しているだろうか? 今後カスタマイズ機能とかが充実してくれると嬉しい。

(SNSではないが)Gmailの方は登録したけどまだ活用できていない。

@ Google AdSense

導入。 USの小切手からの入金用にシティバンクの口座を開いたものの、シティバンクには数ヶ月後に4拠点閉鎖の命令がくだるなど安心できない状況ではある。

• mixiに登録 (2004-11-19)
• 私的10大ニュース2003 (2003-12-31)
• mixi 用として DiKicker に RSS生成機能を追加 (2004-11-21)
• 21:00 [ nDiki ] hnsからDiKickerへ (2004-02-22)
• [ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)

■ WiKicker 0.24 半年ぶりのリリース

NaneyOrgWiki の方でバグレポートをいただいたのを機に、これを修正してリリースパッケージを作成。 リリースは昨年の6月6日以来、約半年ぶり。

バグ修正以外で、大きな機能追加は

• 書き込み禁止パターン指定機能

ぐらい。 内部的には若干リファクタリングが行われている。

おまけの DiKicker の方はちょこちょこ修正があるが、もともとまだきちんとドキュメント化していないので変更点もきちんとおっかけていない。 DiKicker も安定してきたし、正式版扱いにしてもいいのだが利用者はいるのかな。

• [ WiKicker ] 日記機能開発開始 (2003-12-27)
• [ WiKicker ] 久しぶりに作業 (2004-04-29)
• mixiに登録 (2004-11-19)
• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• [ WiKicker ] 久しぶりにメンテナンス (2004-04-02)

■ GnuPG の布教失敗

仕事で本社にパスワードを伝えるなければならなくなった。 メールで送るのはもちんまずいので、暗号化(必要ならば電子署名も)しなければ。

ちょうど以前 NaneyOrgWiki に GnuPG の Windows 版 (gnupg-w32) の簡単な使い方を書いたことがあった。1.2.0 の時に書いたものだったので最新の 1.4.0a で、動作確認・出力等の再ドキュメント化などをする。

で、あとちょっとまとめたらその文書のポインタを本社の担当に送って鍵ペアをまずは作成してもらって……ふとMewでメールをチェックすると……別のスタッフがパスワードをメーリングリストに流しているんやないけー。

タッチの差で間にあわなかったか。

次回からはメールでパスワードをやりとりしないように指導。

• Linux で入力して Windows で参照できるパスワード管理ツール ... (2006-12-31)
• Mew と SSH (2004-04-23)
• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
• Flickr::UploadでLinuxから画像アップロード (2005-04-22)
• MAILPIA による Twitter リプライチェック (2008-11-18)

■ nDiki のコメント欄にコメントスパム

更新チェックをしたら、nDiki にコメントが入っていたので「どれどれ」と見てみる。

うぎゃー。

丁度攻撃を受けているところやんけ。

NaneyOrgWiki にもリンクスパムな書き込みがちょくちょくあるのだが、幸い絨毯爆撃的なものは受けていない。 今回もそんな感じでたかだか数十回ぐらいの書き込みだろうと、.htaccess で接続元のIPアドレスを deny しつつコメントを消していく。

……はっ、速い。

追いつかん。終わらん。

マジ攻撃ですか。IP アドレスもかなり散らしてきてますか。 あきらめて、CGI プログラムを移動して書き込みできないように。

その後もしばらく連続アクセスがあったが、途中で気がついたのか止まった。

ということで、現在一時的にコメントの全文表示・新規不能状態。

くっつき BBSを使っているのだが、まさかこれが攻撃されるとは。 そろそろ DiKicker 自体にコメント機能を直接実装しようとしていたところだったのだが、いろいろ対策を打たないといけないと思うと萎えるなあ。

• サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更 (2006-03-03)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• DiKicker にそろそろコメント機能を実装するか (2005-01-26)
• 速度改善のため nDiki からくっつき BBS を外す (2005-10-16)
• www.naney.org サーバ断続的にダウン (2006-04-30)

■ www.naney.org サーバ断続的にダウン

朝 www.naney.org の過去記事を確認しつつ作業をしていたら、9:00 前に急にアクセスできなくなった。 ping も通らない。 9:20 ぐらいに 1度復帰したが、また10:00 前にダウン。

それから何度も落ちては復帰を繰り返すようになってしまっている。 SSH で接続している途中にも突然刺ささるし、傍から見ていても原因が良くわからない。

昨日 WiKicker をアップデートしたから「もしかしてうちが原因?」とちょっと心配もしたりするのだが、無限ループに入ったりメモリを使い尽すようなコードが追加してはいないはずだしなぁ(ローカルでのテストではそのような現象は見られない)。

落ちる直前まで見ていてもそれほど load average が高いわけでもないようだしなぁ。

とまぁ、しばらく様子を見ているうちに NaneyOrgWiki と nDiki が Internal Server Error。 止められた。 正確には SpeedyCGI のフロントエンド speedy コマンドの実行権限を管理者に落とされた。

• (大半はロボットによるものなのだけれども) NaneyOrgWiki と nDiki のどちらか(あるいは両方)に常にアクセスがあってスクリプトが動いている
• top すると他のユーザの CGI プログラムは 'perl' か 'perl 5.00503' と表示されるのに対し、これらは speedy、speedy_backend と表示されるため、管理者の目を引きやすい

ということもあって疑われたと推測。

一応こちらでも SpeedyCGI を使わないで直接 Perl で実行するように変更してみたり、Memcached を起動するのをやめてみたりなど設定を変更してみたりするのだけれど、関係なく落ちる落ちる。

管理者がシステムの設定を変えていないで発生するようになったのなら、ハードウェア障害が起きているんじゃないかと想像してしまうのだが、実際どうなんだろうか。

結局夜 23:00 過ぎだかに落ちたあとは復帰する様子がないので(管理者が落ちたかな?)、今日はあきらめ。

• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更 (2006-03-03)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
• [ WiKicker ] Memcachedのメモリ使用量 (2004-02-15)
• サーバの負荷が高くなったら DiKicker が 503 を返して沈静化を... (2007-04-05)

■ www.naney.org 容量超過警告につきダイエット開始

ホスティングサービス会社より、www.naney.org が契約容量超過との警告のメールをもらった。まずい。

ということで急いでデータの整理を開始。

• ログファイルの見直し
  • nDiki のログ (Log::Log4perl) のログレベルを落とす
  • rogrotate の rotate、size パラメータを小さ目に設定しなおし
  • hns の log を削除
• バックアップの見直し
  • NaneyOrgWiki のバックアップファイルを削除
  • NaneyOrgWiki のバックアップ(daily)を停止
  • NaneyOrgWiki の RCS ファイル削除
• 作業ファイルの見直し
  • インストール作業ファイルを削除
  • 使っていないソフトウェアを削除
• コンテンツの見直し
  • emacs-wiki で作っていたコンテンツを削除

これでもまだまだ。コンテンツ系も、かなり整理する必要がありそうだ。 できれば他からリンクされているコンテンツについては対応する新しいものへリダイレクト設定しておきたいのだが、作業時間的にはちょっと無理。

• www.naney.org が書籍で紹介される? (2004-05-28)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• はいぱー日記システムで日記を開始 (2001-05-11)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)

■ DiKicker の出力する HTML コードを小さく

容量超過につき www.naney.org の容量削減中。

中でも結構な容量を食っているのが、nDiki (DiKicker) の HTML 変換済み記事データベースである。 毎回レンダリングし直すと遅いので、1度 HTML フラグメントに変換したら Bereley DB ファイルに保存しているのだが、これがどうしても大きくなってしまうのである。

NaneyOrgWiki (WiKicker) もそうなのだが、 UTF-8 を使用しているため日本語中心のテキストが思った以上にデカくなるのも痛い。

ということで生成する HTML フラグメントをちまちま小さくするようにすることにした。 チェックしてみると自動リンクの URL が絶対 URL になっているではないか。 まずはこれを短い URL を吐くように書き直し。

焼け石に水な感もあるが、ちょっとずつでも短くしていきたい。

• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• [ WiKicker ] spam と検索エンジン対応に noindex、... (2007-01-13)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• ケータイ用にプライベート Wiki を設置 (2008-01-07)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)

■ [ WiKicker ] spam と検索エンジン対応に noindex、nofollow を追加

@ <a rel="nofollow">

相変わらず www.naney.org 上の WikiForum (NaneyOrgWiki) にも毎日のようにリンク spam 書き込みがある。

気がつき次第削除と、その URL や関連キーワードの書き込み禁止文字列ブラックリストへの登録を行っているが、手間でしょうがない。

これらのリンク先に貢献するのは腹立たしいのでリンク (A 要素)へ

 rel="follow"

属性をデフォルトで設定するように WiKicker を書き換えた。 ようやく。

@ <meta name="robots" content="noindex,nofollow">

あわせて、検索エンジン対応もしていおくことにした。

編集ページや履歴ページは検索エンジンに登録してもしょうがないので、インデックスから除外されるように HTML の HEAD に

 <meta name="robots" content="noindex,nofollow">

を追加するように修正。

クエリ付きの URL のページで noindex した場合、クエリ無しや他のクエリを持つ URL のページまで一緒にインデックスから外されてしまわないかちょっと心配で、今まで保留にしていたのだけれど、Wikipedia などを見ても大丈夫のようだ。

[ SEO ]

• DiKicker の出力する HTML コードを小さく (2006-10-05)
• Wiki ではロボット除けをしてはいけない (2007-01-21)
• DiKicker に grep 検索機能を追加 (2007-02-02)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• WiKicker における PageName 最長文字数 (2006-06-10)

■ WiKicker に JSON でのページ出力機能を追加

最近は DiKicker ばかりに手を入れていたが、久しぶりに WiKicker の改良も行っている。 しばらく前から実装を始めていた JSON 形式での出力機能が今日完成。

今までは WikiPage について

• HTML 形式による出力
• Wiki 文法で書かれている生テキスト形式による出力

という2つの出力形式を持っていたので、JSON が加わることで3つめとなる。

@ サーバ側で WikiPage の構文解析まではやる

クライアントサイドの JavaScript でページの内容に合わせて様々な処理をできるように、サーバ側で構文解析まではしてあげるというのが主な目的。

JavaScript でまたパーサを書いてメンテしていくのも大変なので、その部分はサーバでやってしまおうかと。 構文解析した結果の解析木を JSON 形式で返して、JavaScript 側であとはお好きにという形。

@ CPAN にある JSON モジュールを使用

サーバ側の Perl プログラムには、構文解析をして解析木を作れるようになっている。 この解析木から Visitor パターンで JSON 形式を生成していく。

依存モジュールを増やすことを避けるべく、最初は自前で JSON 形式に変換していこうと思ったのだがやっぱり面倒だった。 ということで CPAN にあるモジュールをチョイス。

JSON 関連では JSON、JSON::Syck、JSON::PC などがあるが今回はインストールのしやすさを考えて pure Perl モジュールとして実装されている JSON を採用することにした。

Visitor クラスで解析木を無名ハッシュ/無名配列のツリーに変換して、JSON モジュールに流しこめば OK。

 use JSON;
 my $json = JSON->new(pretty => 1);
 my $js = $json->objToJson($tree);

WiKicker のフレームワークにはフォーマット別に出力を切り換える機構があるので、これに JSON を追加して application/json で送るようにして完成。

ちなみに残念ながら JSON 1.07 は Perl 5.005_03 では make test が fail するので、NaneyOrgWiki では使えない。

• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• [ WiKicker ] hell mode - HTMLタグ付けブロックの導入 (2005-09-13)
• WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
• 野良パッケージと依存 Perl モジュールのインストールセット をCPAN... (2006-02-11)
• 定型書式で内容を記述していくのに便利な形式は? (2005-11-21)