nDiki : www.naney.org

■ サーバの負荷が高くなったら DiKicker が 503 を返して沈静化を待つようにした

www.naney.org を収容しているサーバの負荷が高い状態。

1. Referer spam 弾きを強化。
2. 1日半前ぐらいに1度リブートしたようで、Memcached が起動していなかったので起動。

という対処をしたけれどそれでもなかなか負荷が落ちつかない。

傾向としては SpeedyCGI のバックエンド側(speedy_backend)が MaxBackends まで起動して処理が追いつかないと、起動しているフロントエンド側 (speedy) がどんどん増えてしまうという状況のようだ。

DiKicker の高速化も順次着手しているのだけれど追いつきそうにもないので、loave average が高い時は頑張らずに無条件に 503 を返すように修正して対応(以前 hns の時にも同じことをした)。

本当は SpeedyCGI フロントエンドの数に応じて負荷の軽い処理に切り換える等工夫したいんだけれど、フロントエンドの数を取得する方法は簡単にはなさそうなんだよなあ。

■ Google Analytics のデータからよく検索されるキーワードを表示するようにした

Google Analytics から1日1回キーワードのレポートを TSV 形式でメールで配信するように設定している。 このデータをもとに「よく検索されるキーワード」を抽出して、nDiki の下の方に表示するようにした。

@ 処理の流れ

1. メールで配信された TSV 形式データをファイルに保存する。
2. 検索質問とセッション数の組のデータを抽出する。
3. 1ワード単位でセッション数を集計する。
4. 上位のワードについて、nDiki のキーワードリストにあるか照合する。
   1. 完全一致するものがあれば、それを参照キーワードとする。
   2. 大文字小文字一致するものがあれば、それを参照キーワードとする。
   3. ワードを含むキーワードがあれば、その中で文字数の差が少ないものを参照キーワードとする。
   4. ワードで記事を grep 検索してマッチするものがあれば、それを(nDiki 内で検索して見つかる)キーワードとする。
   5. でなければ関連キーワード無しのワードとする。
5. 各ワードについて、対応するリンクを設定してフッタ埋め込み用の HTML フラグメントを生成しファイルを生成する。
6. ファイルをサーバにアップロードし、サーバ側でフッタにインクルードする。

1日1回の作業なので、メールからスクリプトにかける部分とアップロードする部分は手動で。

そこそこの処理なので、そこそこの精度なのだけれど傾向は何となくわかる感じだ。

実際にはアクセスログの対象となっているのは nDiki 以外の www.naney.org 内のアクセスも含まれているけれどもまあいいであろう。

@ キーワードの処理

キーワードの処理は細かいことをいうと結構面倒だったりする。

• 複合語の処理: 検索ワード側も、nDiki キーワード側も複合語を含むので空白で区切られた語の扱いが大変。特に検索ワード側は語順が正しいとは限らないし、各語が個別の語を表しているのか否かの判断が難しい。
• 曖昧一致処理: 検索ワード(や nDiki キーワード)が正確な語とは限らないので、曖昧一致させる必要がある。検索エンジン側で曖昧一致させて検索結果に上がっている可能性があるのでその辺りも考慮する必要がある。

などなど。

この辺りは精度を上げようとするといろいろ工夫の余地がって楽しそうではあるな。

■ フィード向け AdSense を追加してみた

Google AdSenseで「フィード向け AdSense」が利用可能になったので、nDiki に追加してみた。

Google AdSenseにログインして nDiki の URL を指定してフィードを登録すると、FeedBurner 上にフィードが作成される。

www.naney.org 側では nDiki のフィードへのアクセスがきたら、FeedBurner 上のフィードへリダイレクトするように設定する。 ただし FeedBurner から巡回がきた際にはリダイレクトせずに、nDiki のオリジナルフィードにアクセスさせる。

www.naney.org のトップディレクトリの .htaccess に以下を追加。

 RewriteEngine on
 RewriteCond %{HTTP_USER_AGENT} !FeedBurner
 RewriteRule ^diki/d/rss\.rdf$ http://feedproxy.google.com/nDiki [L,R]

思ったよりあっけなく設定終了。

今のフィード URL が既にフィードリーダーに登録してもらっていることを考えて nDiki (DiKicker) に「FeedBurner 向けに別 URL でのフィード出力機能」と「現在のフィード URL からのリダイレクト機能」を追加する必要があるなと思っていたのが、mod_rewrite が使えれば手間無しだった。

nDiki のフィードと同様の内容に広告が挿入されたバージョンのフィードが http://feedproxy.google.com/nDiki で表示されることを確認。

せっかくなので FeedBurner のレポート機能もチェックしてみることにしよう。

■ ホスティングサービスがメンテナンスからトラブルに

昨日の 18:00 から今朝の 6:00 まで、www.naney.org のホスティングサーバがメンテナンス作業で停止したのだが、その後もメールサーバは復旧せず。 ストレージのハードウェア障害が発生したらしい。

連続運用しているサーバって止めると立ち上がらなくなるってありがちだからなあ。

とはいえ12時間のメンテナンスだけでもかなり長いというのに、その後のトラブルで1日以上メールが止まるってホスティングサービスとしてはちょっとお粗末だよ。 ガンバレ。

■ さくらのレンタルサーバ プレミアム申し込んだ

www.naney.org で使っているホスティングサービスは

• SSH が使える。
• daemon プログラムを起動しておいても怒られない。
• cron が使える。

という点でいろいろ遊べるのだが、

• 今の相場的にはかなり高めなのにホームが容量 100MB (メールは別に 100MB)。
• Perl が10年以上前の Perl 5.005_03。自分で新しい Perl を入れようにも容量 100MB だと厳しい。5.005_03 だと Perl v5.6 系以降の文法が使えないし、使える Perl モジュールも限定されているので悲しい。
• 夜中になると analog が動いてサーバが重くなる。
• メールの送受信が遅延することがある。

などから使いづらくなってきた。 なにより容量を気にして記事を書き控えようという心理が働くのがよろしくない。 そろそろ今後を考えて他社に乗り換えようかと。

選んだのはやはり人気があって SSH も使える「さくらのレンタルサーバ」。

選んだプランは容量 10GB のプレミアム。 スタンダードでも容量 3GB でまずまずだし cron も使えるから機能的にも十分なんだけれど、1ホストあたりの収容ユーザ数により余裕があるであろう1つ上のプランにしておいた。

Web から申し込んで、風呂に入っている間に DNS 設定が反映されて SSH ログインできるように。 順次ソフトウェアのインストール・コンテンツの移行とメールの設定をしてから、naney.org をこちらに切り替える予定。

■ ドメイン移転について問い合わせた

そろそろ www.naney.org をさくらのレンタルサーバ プレミアムの方へ移さなければ。 その前にドメイン移管をする必要あり。

ありがちであるが退会手続きについてはほとんど説明がされていないので、昨日の夜にお願いのメールを出しておいた。

1. Whois 情報の Registrant Email、Admin Email を(現在ホスティングサービス会社の担当宛から)自分のメールアドレス宛に変更して欲しい。
2. AuthCode を教えて欲しい。

以前サポートメールアドレスにメールを出したがすっぽかされたことがあったので、午前中返信がないことを確認し、電話にて問い合わせ。

以下電話返答およびメール回答。

• メールアドレスはすぐに変更する(変更された)。
• AuthCode は退会通知後に教えてくれるとのこと。
• 退会手続き後月末まではサーバ利用可能。

25日が月末ということなので、ドメイン移管にかかる期間と Web サイトの移行(特にスクリプト関連)の作業を考えると今月中はちょっと厳しいかな。

ノート PC の乗り換えも同時にしなければならないし。

来月末退会で進めることにしよう。

■ VALUE-DOMAIN へのドメイン移管手続き開始

www.naney.org で使っているホスティングサービスへ契約解除通知を郵送し受理された後、ドメインの認証鍵をメールで頼んで通知してもらったのでドメイン移管を開始。

naney.org のサーバは先日契約したさくらのレンタルサーバ プレミアムへ移すのだが、ドメインの管理と DNS サーバは自由がきいて低価格の VALUE-DOMAIN (バリュードメイン)を使うことにした。

オンラインでユーザ登録後、ドメイン移管に必要な990円を入金。 サービスごとに支払うのではなくて、ポイントを買うような感じで前払いしておくという形式なので間違えないように慎重にする必要があってちょっと緊張した。

その他は手順解説が良くできているので指示通りにできるところまで手続き。 後はその後の通知等待ち。

今のサーバが12月25日までなので DNS サーバとゾーン設定の変更までちょっとギリギリ。ちょっとドキドキ。

■ さくらのレンタルサーバで独自ドメインの追加方法を間違えていてメール半日不通に

一昨日 VALUE-DOMAIN の DNS サーバに切り替えてうまくいっている様子。 なので次にメールサーバを移そうと、 昨晩 MX レコードを変更してさくらのレンタルサーバを指すように設定。 さくら側ではユーザ作成済みでウエルカム。 しかしなかなか設定が反映されないようなので、受信の確認をせずに就寝。

が今日になってもメールが届かない。おかしいなー。 と再度さくらインターネットサーバコントロールパネルを確認したら、どうもドメイン設定が期待する設定じゃなかったらしい。

[他社で取得された独自ドメインの追加] だと www. が付与されたサブドメインが自動的に追加されるとあったのが気になったので、[他社で取得された独自ドメインへのサブドメインの追加] で明示的に www.naney.org を追加したんだけれど、これだと @naney.org のメールは User Unknown になってしまうらしい。

あわてて [他社で取得された独自ドメインの追加] の方で naney.org を追加。 ほどなくしてメールが受信されるようになった。 ふう。 こういったコントロールパネルからの設定だと具体的に何が設定されるかぱっと見わからないのが辛いところ。

10時間ぐらいメールアドレスが User Unknown になっていたんだけれど大丈夫かな。 知人もしくは何かのサービスから送られたメールがエラーメールで返っていて、アドレス帳や登録から抹消されていないといいけど。

[ さくらのレンタルサーバ プレミアム ]

■ www.naney.org をさくらのレンタルサーバへ移転

naney.org メールサーバの移転に次いで、Web サーバの移転作業。

@ 静的コンテンツのアップロード

現行 Web サーバと Unison でファイル同期している Web コンテンツを、さくらのレンタルサーバへ Unison でファイル同期。

@ WiKicker のインストール

nDiki 用に DiKicker (WiKicker) を make install。

 %bash
 $perl -MCPAN -e mkmyconfig
 $perl -MCPAN -e shell
   o conf makepl_arg PREFIX=/home/naney/local/WiKicker
   o conf mbuildpl_arg --install_base=/home/naney/local/WiKicker
   o conf commit
   notest install CGI::SpeedyCGI

 $tar zxvf WiKicker-0.420.tar.gz
 $cd WiKicker-0.420
 $export PERL5LIB=$HOME/local/WiKicker/lib/perl5/site_perl/5.8.9
 $perl Makefile.PL PREFIX=$HOME/local/WiKicker
 $make
 $make install

以前きっちり Module::Install で Makefile.PL を作っておいたおかげで、比較的スムーズにインストールできた(自画自賛)。

ちょっとはまったところは CGI::SpeedyCGI の make test を実行する(される)と SSH 接続がサーバ側から切られてしまうという現象にあったところ。 テスト用に大量にスクリプトが起動されるの検出して自動的に kick されたのだろうか。

@ .htaccess の修正

さくらのレンタルサーバでは .htaccess Options が使えないようなので削除。 ExecCGI や MultiViews が有効になっているようなので問題なし。

@ いつくかのスクリプトの修正

Perl 5.005_03 用に書いてあったスクリプトについて、Perl v5.8.9 で文字化けしないように utf8 まわりを修正。

@ cron 設定

1時間毎に実行したい処理を列挙するシェルスクリプトを1つ作って、コントロールパネルから1時間毎に実行するように設定。

現行サーバでは任意の crontab を設定できたので、1時間毎はちょっと物足りない。 おいおい負荷にならない範囲で、外部から定期的に HTTP アクセスして処理を定期的に実行できるようにもするかな。

@ DNS 設定変更

まだ動いていないスクリプトもあるけれど(大きいところだと NaneyOrgWiki (Wiki))現行サーバの解約日もせまっているので、サーバ移転させてしまうことに。

VALUE-DOMAIN で DNS サーバ設定を変更し www.naney.org でさくらのレンタルサーバにアクセスできるように A レコードを変更。

今のところ特に重い等もなく順調。 現行サーバでは深夜非常に重くなる時間帯があったのだが、それが無くなるのが嬉しい。 また容量が100MB*1から10GB*2になったので心理的にセーブしなくて良くなった。

年内に移行できて良かった良かった。

[ さくらのレンタルサーバ プレミアム ]

■ www.naney.org のトップページを nDiki に

www.naney.org のトップページは、大学のサーバで /~naney/ として使っていたレガシーなものをたまーに修正しつつずっと置いておいたのだけれども、まあもういいでしょうということで。

302 Found で nDiki にリダイレクトするように .htaccess に設定を追加。

今は普通にできる 1+ 2 カラム構成を、当時 Web ブラウザの初期の CSS 実装の互換性に悩まされつつ試行錯誤したり、Content negotiation による言語設定にあわせた出力切り替えやってみたりとかは思いで。