nDiki : 統計

2000年11月5日 (日)

■ 本サイトの Referer 統計復活

以前のサーバでは Apache で combined 形式のアクセスログをとっていて、Referer (リンク元)の統計をとっていたんだけれども、今のサーバでは Referer log が提供されていない (common 形式の提供)。

なもんで、しばらく Referer のない淋しい統計生活だったのであった。で、今日 SSI でめでたく復活。とりあえずちょちょっと作って実験中。ログの出力を Apache の combined 形式と同じ形式にしたので、analog がそのまま使える(統計スクリプトの手間も省けるというもんだ)。もっとも、combined に必要なフィールドの全ての情報が SSI では取得できない(ような)のでそこら辺は適当(適切)に埋めておいてある。

ついでに cookie による統計も実験してみようかなと思ったがサーバでは mod_usertrack が disable だった。自前で cookie を焼くとなると、全ページを隠れCGI処理しなきゃならないので面倒だ(昔別のサーバ上でやってたけど)。 IMG でお茶を濁す方法もあるけど、なんなので cookie は見送り。

スポンサードリンク

[ permalink ]

AWStats 6.0 (2004-05-21)
[ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
Web 解析サービス Google Analytics を申し込む (2006-10-26)
www.naney.org のアクセス統計停止 (2004-05-18)
Perl 5.005_03 + Template Toolkit 2.14 (2004-11-10)

[ 11月5日全て ]

2002年6月8日 (土)

■ 14:00 お買い物

新宿へ。

@ 「エーゲ海に誘われて」

昨年、新婚旅行でギリシャに行ってきた。エーゲ海のミコノス島・サントリーニ島へ行ってきてとても良かったのだが、案外この地を写した写真集って見かけない。「現地で買ってくれば良かったなぁ」とも思うのだが、実際現地でぷらぷら眺めたのだけれどいい奴なかったんだよね。

で紀伊國屋書店を覗いたら「萩野矢慶記写真集エーゲ海に誘われて」東方出版 ISBN4-88591-741-7 というのを発見。結構希望していたイメージのもので、お値段もリーズナルブルなので入手。

@ 「すぐわかる統計用語」

東京図書 ISBN4-489-005220-9。易しくまとめられた、事典っぽい統計の本。各語に英訳がついているのが嬉しい。プログラムを書く際の識別子のための辞書引きって結構大変だから。

@ マジシャン

伊勢丹のおもちゃ売場の手品コーナーにマジシャンがいましたよ。子供の頃は近くだった博品館によく通っていたのだが、ここにもマジシャンが常駐していたんだよね。その後いなくなったみたいだけど。子供ながらに、からかってみたりして楽しんでいたんだけど今だに健在だったようでちょっぴり嬉しい(別人だろうけどなんとなくね)。

[ permalink ]

[ 6月8日全て ]

2004年1月17日 (土)

■ [ WiKicker ] 「最近のアクセスログ」処理思案

今のところ WiKicker 自体にはアクセスログ機能はなく、Apache のそれに頼っている(NaneyOrgWiki ではサーバ側で combined log を提供していないので別途自前で、似非 combined log を吐かせている)。

1日毎程度のアクセス統計チェックはこれでまぁある程度済むのだが、それとは別に瞬間的なアクセス状況を知りたい時がままある。特にサーバの負荷が上がりつつある時は

特定のホストから連続的なアクセスがないか?(ロボットなど)
特定のページのリクエストが一時的に増えているのでは?(ドラマ放映終了直後など)
特定の訪問者がリロードしまくってないか?(チャット等と勘違いして)

などをチェックしたい。ロボットのアクセスがひどい場合は早急にはじく必要があるし。しかし、生アクセスログの目視チェック(+grep etc)では限界がある(wiki のURIはページ名がエスケープされているからパッと見どのページかわからないし)。

ということで、直近のログを簡単にチェックできるような機能を検討。まずはログをどこに取るか。複数のCGI プログラムのプロセスから、ガシガシ書ける必要有り。

普通のファイル
daemon
mmap
共有メモリ

あたりか。直近の数百アクセスだけあれば良く、逆にそれ以上のログはばんばん破棄したいのだが何が一番いい実装かなぁ。

シンプルに普通のファイルに append するのが一番楽だが、ログが増えると tail を取るのが遅くなるだろうし、ログを切り詰めるのも面倒。 Perl の Tie::File を使うとファイルの各行を配列要素に見立てて push、 unshift、splice ができるのだが、やはり切り詰めに時間がかかりすぎる。

使えそうなモジュールがないかいろいろCPANを検索して、とりあえずどんどんビルドしてみる(サーバの Perl が 5.005_03 なので、目的にあっても使えないかもしれないし)

[ permalink ]

CGI プログラム、Out of memory! に泣く (2001-01-04)
FreeBSD と Apache::Htpasswd (2006-03-02)
www.naney.org サーバ断続的にダウン (2006-04-30)
Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
[ WiKicker ] SpeedyCGI (2003-10-17)

[ 1月17日全て ]

2004年5月18日 (火)

■ www.naney.org のアクセス統計停止

ディスク容量などの問題から、www.naney.org 上で1日1回行っていた analog での統計処理を停止。 www.naney.org にインストールしてあった analog や logkf 等を削除。

一旦、統計処理はローカルで行うようにするつもり。ローカルで統計処理したものを定期アップロードするかは未定(まぁ見る人もあまりいないと思うので)。

[ permalink ]

[ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)
Web 解析サービス Google Analytics を申し込む (2006-10-26)
AWStats 6.0 (2004-05-21)
www.naney.org 容量超過警告につきダイエット開始 (2006-10-03)

[ 5月18日全て ]

2004年5月21日 (金)

■ AWStats 6.0

www.naney.org のアクセスログをローカルにもってきて統計解析をするのに、今回は analog ではなく AWStats を使うことに。

以前 www.naney.org に入れてみた時より、随分使いやすくなった感じ。

@ セットアップ

Debian パッケージを入れた後、awstats.naney.org というバーチャルドメインをローカルのApacheに用意(/var/www/awstats.naney.org)。

 Alias /icon/ "/usr/share/awstats/icon/"

も設定に追加しておく。

ファイルレイアウト:

 /var/www/awstats.naney.org/
  |
  +-- .htaccess
  |
  +-- awstats.conf  <-- 作成
  |
  +-- awstats.pl    <-- コピーしてきて一部修正
  |
  +-- cache         <-- DNSキャッシュ用 (まだ未使用)
  |
  +-- data          <-- データを保存
  |
  +-- plugins       <-- プラグイン
       |
       +-- wikicker.pm <-- /wiki/(.*).html を $1 で表示するプラグイン(自作)

awstats.pl はパッケージのものをコピー。DecodeEncodedString の中で Jcode.pm を使って文字列を UTF-8 に変換するように修正。

ローカル用なのであまり気にせず DocumentRoot の下にもりっとファイルを置いておく。

awstats.conf はこんな感じ。

 LogFile="/path/to/downloaded-log/access.log"
 LogType=W
 LogFormat=1
 LogSeparator=" "
 DNSLookup=2
 DirData="./data"
 SiteDomain="www.naney.org"
 HostAliases="localhost"
 DNSStaticCacheFile="cache/dnscache.txt"
 DNSLastUpdateCacheFile="cache/dnscachelastupdate.txt"
 URLWithQuery=1
 URLReferrerWithQuery=1
 LevelForWormsDetection=2
 ShowWormsStats=1
 LoadPlugin="wikicker"
 ValidHTTPCodes="200 304 -"

ValidHTTPCodes の '-' というのは、本来不要。自前のSSIで似非 Combined Log を生成する際に '-' を出力する事があるので追加。

日本語もきちんと出るしいい感じ。指定した月ではなく、指定した日のログを見れるといいのだが設定すればできるようにならないかな。

analog と違ってプラグインが使えるのが良い。 Perlスクリプトだから、その気になれば簡単に awstats.pl 自体を変更する事もできるし。

今回は ShowInfoURL 用プラグインを書いて、/wiki 以下のURLの際は unescape して PageName を表示するようにしてみた。

その他いろいろ遊べそう。

[ permalink ]