nDiki : Referer

spam AWStats analog DiKicker www.naney.org アクセスログ SpeedyCGI SSI 統計 CGI インストール IP アドレス hns Web サーバ 日記 speedy_backend Apache Google Analytics URL 検索エンジン .htaccess Memcached cookie メモ 実装 ロック

■ 本サイトの Referer 統計復活

以前のサーバでは Apache で combined 形式のアクセスログをとっていて、Referer (リンク元)の統計をとっていたんだけれども、今のサーバでは Referer log が提供されていない (common 形式の提供)。

なもんで、しばらく Referer のない淋しい統計生活だったのであった。 で、今日 SSI でめでたく復活。 とりあえずちょちょっと作って実験中。 ログの出力を Apache の combined 形式と同じ形式にしたので、analog がそのまま使える(統計スクリプトの手間も省けるというもんだ)。 もっとも、combined に必要なフィールドの全ての情報が SSI では取得できない(ような)のでそこら辺は適当(適切)に埋めておいてある。

ついでに cookie による統計も実験してみようかなと思ったがサーバでは mod_usertrack が disable だった。 自前で cookie を焼くとなると、全ページを隠れCGI処理しなきゃならないので面倒だ(昔別のサーバ上でやってたけど)。 IMG でお茶を濁す方法もあるけど、なんなので cookie は見送り。

• AWStats 6.0 (2004-05-21)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
• SpeedyCGI と環境変数 (2003-11-27)
• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)

■ Referer チェック

AWStats だと (analog でもそうだが)各ページ毎の Referer が確認できないので、結局自前でちょちょっとスクリプトを作成。

• 本サイトの Referer 統計復活 (2000-11-05)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• Referer spam (2004-10-12)
• AWStats 6.0 (2004-05-21)
• [ DiKicker ] ロック獲得リトライをさらに減らす (2007-03-14)

■ Referer spam

うちも御多分に洩れず増えている。 リンク元表示とかやっていないのだが、AWStats をインストールした時のメモとかがあるせいなどからそれらのページにモリモリきているようだ。

さすがに気分が良くないので IP アドレスとかで弾くことにするか。 しかし deny のリストのメンテが面倒だなぁ。

• 全文検索システム Hyper Estraier をアップデート (2009-07-03)
• PEG-TJ25インストールメモ (2005-08-26)
• Gmail へのメールボックス移行で spam 誤判定と転送問題にぶつかる (2007-08-11)
• 今日のさえずり - 「意味わかんない」っていうセリフが伝染しないように (2010-02-19)
• Dropbox for Linux を Debian 用にビルドしてインストール (2009-11-24)

■ [ DiKicker ] キーワードのハイライト表示

指定したキーワードに関する記事を表示する際、日記記事内のそのキーワードをハイライト表示するようにしてみた。 どのような文脈でそのキーワードが使われているか、さっと探せてすこしは便利かな?

配色によっては記事の中で目立ちすぎて読みにくくなりそうだからそこら辺は検討の余地あり。

Referer見て検索エンジンから飛んできた場合は、そのキーワードをハイライト表示するようにも以前からしたいと思っているんだけれど、こちらはまだ未実装。

• [ DiKicker ] AutomaticLink・転置インデックス自動更新 (2004-02-26)
• 私的10大ニュース2004 [ web ] (2004-12-31)
• DiKicker に n 年日記機能を追加 (2006-11-03)
• mixi 用として DiKicker に RSS生成機能を追加 (2004-11-21)
• DiKicker に grep 検索機能を追加 (2007-02-02)

■ [ DiKicker ] ロック獲得リトライをさらに減らす

相変わらずここ最近 www.naney.org の負荷が上がり気味。 今日は Referer spam の爆撃もきていた様子。

DiKicker の挙動やログを見ていて気がついたのだが、さばききれなくなるのはどうも記事更新チェックの時間が長いからのようだ。 排他ロック獲得ループの回数が今の設定でも長い。

どのみち負荷が高い場合は共有ロックの方が勝ち気味で、排他ロックできなくて終わることが多いはずなので、思いきってもっとリトライの回数を減らしておいた。

それとロック獲得ループの中で「結局ロックできなかった時」に余計に1回 sleep() していたのでこれを削除。

• サーバの負荷が高くなったら DiKicker が 503 を返して沈静化を... (2007-04-05)
• [ DiKicker ] インデックス作成は別プロセスで (2004-02-17)
• [ DiKicker ] 語リストを Term DB に保持 (2006-11-21)
• DiKicker の出力する HTML コードを小さく (2006-10-05)
• 私的10大ニュース2004 [ web ] (2004-12-31)

■ サーバの負荷が高くなったら DiKicker が 503 を返して沈静化を待つようにした

www.naney.org を収容しているサーバの負荷が高い状態。

1. Referer spam 弾きを強化。
2. 1日半前ぐらいに1度リブートしたようで、Memcached が起動していなかったので起動。

という対処をしたけれどそれでもなかなか負荷が落ちつかない。

傾向としては SpeedyCGI のバックエンド側(speedy_backend)が MaxBackends まで起動して処理が追いつかないと、起動しているフロントエンド側 (speedy) がどんどん増えてしまうという状況のようだ。

DiKicker の高速化も順次着手しているのだけれど追いつきそうにもないので、loave average が高い時は頑張らずに無条件に 503 を返すように修正して対応(以前 hns の時にも同じことをした)。

本当は SpeedyCGI フロントエンドの数に応じて負荷の軽い処理に切り換える等工夫したいんだけれど、フロントエンドの数を取得する方法は簡単にはなさそうなんだよなあ。

• www.naney.org サーバ断続的にダウン (2006-04-30)
• サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更 (2006-03-03)
• [ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
• [ DiKicker ] ロック獲得リトライをさらに減らす (2007-03-14)
• 私的10大ニュース2004 [ web ] (2004-12-31)

■ Referer spam は # がお好き?

Referer spam が相変わらずきている。 今まで個別に .htaccess で拒否している。

ところでログを見ていてしばらく前から気になっていたのだが、なぜだか知らないがうちにくる Referer spam は

 http://www.example.com/#

のような最後に # がついた(通常は送られてこない) Referer URL を送ってきている。

サヨウナラ。

 SetEnvIf Referer "http://[^/]+/#" denyreferer
 deny from env=denyreferer

• Twitter から脅威のコンバージョン (2009-03-01)
• サーバの負荷が高くなったら DiKicker が 503 を返して沈静化を... (2007-04-05)
• 今日のさえずり - たまにコブラみたいに唾ピューって飛ぶよね (2009-10-16)
• Referer spam (2004-10-12)
• フィード向け AdSense を追加してみた (2008-08-23)