nDiki : 統計

www.naney.org アクセスログ analog Apache Perl 検索 インストール チャット Debian パッケージ SSI URL 識別子 Google Analytics AWStats UTF-8 日本語 博品館 辞書 新宿 cookie AIM Skype 東京 Sage GNU LGPL track feed Web Life Hacks 写真集 サイドバー

■ 14:00 お買い物

新宿へ。

@ 「エーゲ海に誘われて」

昨年、新婚旅行でギリシャに行ってきた。 エーゲ海のミコノス島・サントリーニ島へ行ってきてとても良かったのだが、案外この地を写した写真集って見かけない。 「現地で買ってくれば良かったなぁ」とも思うのだが、実際現地でぷらぷら眺めたのだけれどいい奴なかったんだよね。

で紀伊國屋書店を覗いたら「萩野矢慶記写真集 エーゲ海に誘われて」東方出版 ISBN4-88591-741-7 というのを発見。 結構希望していたイメージのもので、お値段もリーズナルブルなので入手。

@ 「すぐわかる統計用語」

東京図書 ISBN4-489-005220-9。 易しくまとめられた、事典っぽい統計の本。 各語に英訳がついているのが嬉しい。 プログラムを書く際の識別子のための辞書引きって結構大変だから。

@ マジシャン

伊勢丹のおもちゃ売場の手品コーナーにマジシャンがいましたよ。 子供の頃は近くだった博品館によく通っていたのだが、ここにもマジシャンが常駐していたんだよね。 その後いなくなったみたいだけど。 子供ながらに、からかってみたりして楽しんでいたんだけど今だに健在だったようでちょっぴり嬉しい(別人だろうけどなんとなくね)。

• 今日も新宿 (2005-11-05)
• 見せ書棚 (2005-10-08)
• 湯呑み茶碗 (2004-05-08)
• 手縫いで作る革のカバン (2005-07-17)
• 役に立たないプレゼント (2004-08-14)

■ [ WiKicker ] 「最近のアクセスログ」処理思案

今のところ WiKicker 自体にはアクセスログ機能はなく、Apache のそれに頼っている(NaneyOrgWiki ではサーバ側で combined log を提供していないので別途自前で、似非 combined log を吐かせている)。

1日毎程度のアクセス統計チェックはこれでまぁある程度済むのだが、それとは別に瞬間的なアクセス状況を知りたい時がままある。 特にサーバの負荷が上がりつつある時は

• 特定のホストから連続的なアクセスがないか?(ロボットなど)
• 特定のページのリクエストが一時的に増えているのでは?(ドラマ放映終了直後など)
• 特定の訪問者がリロードしまくってないか?(チャット等と勘違いして)

などをチェックしたい。 ロボットのアクセスがひどい場合は早急にはじく必要があるし。 しかし、生アクセスログの目視チェック(+grep etc)では限界がある(wiki のURIはページ名がエスケープされているからパッと見どのページかわからないし)。

ということで、直近のログを簡単にチェックできるような機能を検討。 まずはログをどこに取るか。 複数のCGI プログラムのプロセスから、ガシガシ書ける必要有り。

• 普通のファイル
• daemon
• mmap
• 共有メモリ

あたりか。 直近の数百アクセスだけあれば良く、逆にそれ以上のログはばんばん破棄したいのだが何が一番いい実装かなぁ。

シンプルに普通のファイルに append するのが一番楽だが、ログが増えると tail を取るのが遅くなるだろうし、ログを切り詰めるのも面倒。 Perl の Tie::File を使うとファイルの各行を配列要素に見立てて push、 unshift、splice ができるのだが、やはり切り詰めに時間がかかりすぎる。

使えそうなモジュールがないかいろいろCPANを検索して、とりあえずどんどんビルドしてみる(サーバの Perl が 5.005_03 なので、目的にあっても使えないかもしれないし)

• WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
• [ WiKicker ] SpeedyCGI (2003-10-17)
• FreeBSD と Apache::Htpasswd (2006-03-02)
• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)

■ www.naney.org のアクセス統計停止

ディスク容量などの問題から、www.naney.org 上で1日1回行っていた analog での統計処理を停止。 www.naney.org にインストールしてあった analog や logkf 等を削除。

一旦、統計処理はローカルで行うようにするつもり。 ローカルで統計処理したものを定期アップロードするかは未定(まぁ見る人もあまりいないと思うので)。

• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• AWStats 6.0 (2004-05-21)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
• ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)
• www.naney.org 容量超過警告につきダイエット開始 (2006-10-03)

■ AWStats 6.0

www.naney.org のアクセスログをローカルにもってきて統計解析をするのに、今回は analog ではなく AWStats を使うことに。

以前 www.naney.org に入れてみた時より、随分使いやすくなった感じ。

@ セットアップ

Debian パッケージを入れた後、awstats.naney.org というバーチャルドメインをローカルのApacheに用意(/var/www/awstats.naney.org)。

 Alias /icon/ "/usr/share/awstats/icon/"

も設定に追加しておく。

ファイルレイアウト:

 /var/www/awstats.naney.org/
  |
  +-- .htaccess
  |
  +-- awstats.conf  <-- 作成
  |
  +-- awstats.pl    <-- コピーしてきて一部修正
  |
  +-- cache         <-- DNSキャッシュ用 (まだ未使用)
  |
  +-- data          <-- データを保存
  |
  +-- plugins       <-- プラグイン
       |
       +-- wikicker.pm <-- /wiki/(.*).html を $1 で表示するプラグイン(自作)

awstats.pl はパッケージのものをコピー。DecodeEncodedString の中で Jcode.pm を使って文字列を UTF-8 に変換するように修正。

ローカル用なのであまり気にせず DocumentRoot の下にもりっとファイルを置いておく。

awstats.conf はこんな感じ。

 LogFile="/path/to/downloaded-log/access.log"
 LogType=W
 LogFormat=1
 LogSeparator=" "
 DNSLookup=2
 DirData="./data"
 SiteDomain="www.naney.org"
 HostAliases="localhost"
 DNSStaticCacheFile="cache/dnscache.txt"
 DNSLastUpdateCacheFile="cache/dnscachelastupdate.txt"
 URLWithQuery=1
 URLReferrerWithQuery=1
 LevelForWormsDetection=2
 ShowWormsStats=1
 LoadPlugin="wikicker"
 ValidHTTPCodes="200 304 -"

ValidHTTPCodes の '-' というのは、本来不要。自前のSSIで似非 Combined Log を生成する際に '-' を出力する事があるので追加。

日本語もきちんと出るしいい感じ。 指定した月ではなく、指定した日のログを見れるといいのだが設定すればできるようにならないかな。

analog と違ってプラグインが使えるのが良い。 Perlスクリプトだから、その気になれば簡単に awstats.pl 自体を変更する事もできるし。

今回は ShowInfoURL 用プラグインを書いて、/wiki 以下のURLの際は unescape して PageName を表示するようにしてみた。

その他いろいろ遊べそう。

• WiKicker における PageName 最長文字数 (2006-06-10)
• 本サイトの Referer 統計復活 (2000-11-05)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)

■ モンドセレクション の謎

モンドセレクション(MONDE SELECTION)は現在、年間どれぐらいの商品がエントリしどれぐらいの商品がメダル(賞)を獲得しているのだろう?

統計データも、受賞リストもまだ探し出せていない。

• Twitter のアカウントを作成して、今何をやっているかを晒す (2007-04-06)
• 統計情報を維持したままファイル/ディレクトリを移動する amaroK スク... (2006-08-22)
• AWStats 6.0 (2004-05-21)
• Bloglines に巡回先の一部を集約 (2005-02-13)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)

■ Bloglines に巡回先の一部を集約

最近急に巡回・チェック先が増えてきてしまった。 挙げてみると

• アンテナ経由での巡回
  • なつみかん
  • はてなアンテナ
• オンラインブックマークでの new / recommendation 等のチェック
  • Spurl
  • はてなブックマーク
• 注目キーワードの検索エンジンでの定期的検索
  • 各種検索エンジン、Bulkfeeds、未来検索livedoorなど。一部は RSSフィードあり。
• アクセス解析
  • www.naney.org の access.log (ローカル処理)
  • track feed
• mixi
• Flickr
• アフィリエイトの統計

その他もろもろ。

さすがにちょっとしんどくなってきた。 とりあえず RSS まわりを集約したい。 今は Sage を使っているのだけど、未読管理がいまいちうまくできていない。

ということで遅ればせながら Bloglines に登録。 RSSが取れるものはできるだけこちらに集約。

さて、これで巡回が楽になるのか。 それとも巡回先が増えるだけなのか。

• 私的10大ニュース2005 [ comp ] (2005-12-31)
• Firefox ユーザプロファイル作り直し (2005-09-11)
• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
• 「ほぼ日手帳 2006」でトラックワードα版プチコンテスト1位 (2005-12-14)
• mixipress でコミュニティ掲示板もチェック (2005-10-01)

■ 統計情報を維持したままファイル/ディレクトリを移動する amaroK スクリプト Move

久しぶりに amaroK をインストール・起動して音楽をかけてみる。 現在はすでに安定版で AAC 形式ファイルの中のタグに対応しているので、普通に Debian パッケージをインストールして使うことができる。

amaroK では再生回数やスコアなどの統計情報がデータベースに保存されており、これらを条件に設定したスマートプレイリストを作成できる。

しかし残念なことに、ファイルの場所を移動してしまうとこの情報を引き継ぐことができなかった。 このため一旦あるディレクトリに曲を保存すると移動させるわけにいかないのでちょっと不便であった。

もしかしたら最近はこれらをうまく扱えるのではと調べてみたところ、amaroK スクリプト Move がこれに対応していることを確認。

[ツール]->[スクリプトマネージャ]->[他のスクリプトを取得] で Move をインストールし実行しておくと、曲の上での右クリックメニューに Move というメニュー項目が追加される。

これを使うとその曲やその曲を含んでいるディレクトリを、別の場所に移動すると同時にデータベース上の統計情報を維持するように書き換えてくれえる。

これは便利。

• amaroK で Linux 上の iTunes 音楽データを聞く (2006-01-22)
• Perl モジュール XML::DOM が Debian GNU/Linu... (1999-08-18)
• メインノート PC の MTA を sendmail から qmail に変更 (1999-10-28)
• PEG-TJ25 インストールメモ (2004-09-06)
• Firefox 拡張機能の整理 (2005-02-05)

■ Web 解析サービス Google Analytics を申し込む

昨年無料サービス開始時には申し込みが殺到して新規登録を一時中止したという経緯があった Google Analytics、当時はそのうち試してみたいと思っていたのだが気がつけばもうすぐ1年だ。

アクセス解析を見るのは結構楽しいもので、周期的に見たいという衝動がくる。 analog やら AWStats やら自作やらで過去にもいろいろ解析してみた経験がある。

会社でも最近アクセスログ解析が話題になっているし、www.naney.org 用に Google Analytics に申し込んでみた。

解析を取りたいページの最後に JavaScript を埋め込むタイプの解析で、404 であったりその他のリソースのアクセス数のチェックには向かないものの、その分 Web サーバのアクセスログ解析では得られない統計を得ることができる。

レポートの種類は豊富で、最初は「あのレポートは、どれだっけ?」と何度もいろいろ見直したりしなければならないぐらい。

アクセス傾向が分かるようになるので、重点的に内容を充実させるべきページを把握してサイトを改良していきたい。

• AWStats 6.0 (2004-05-21)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
• Tor で hidden service (2005-02-13)
• www.naney.org のアクセス統計停止 (2004-05-18)
• 本サイトの Referer 統計復活 (2000-11-05)

■ Twitter のアカウントを作成して、今何をやっているかを晒す

しばらく前から話題になり始めている Twitter のアカウントを作成してみた。

• http://twitter.com/Naney

以前初めて Twitter のサイトを訪れた時には、何だか知らない人の1行メッセージが並んでいるだけに見えて(実際そうなのだけれども)「ふーん」という感じだった。

知っている仲間が使い始めると、チャットよりはユルく、 AIM や Skype などの1行コメントよりはコいコミュニケーションツールとして面白く使えるのかもしれない。 大学仲間の雰囲気が似合いそうなサービス。

自分の場合は、Blog のエセライブカメラを補完するアクティビティ晒し用として使うのがまずは良さそう。 ということで、nDiki のサイドバーに Badge を貼ってみた。

今していることを変えるたびに入力するのって、ある意味作業記録をつけているようなものだな。 統計とか取れるようになるとと Life Hacks 的には面白いかも。

• オフライン中も Gmail チャット機能は Twitter ステータスを記... (2007-08-20)
• 今日のさえずり - データベース設計していて enraku 登場見落としてた (2007-11-13)
• Gmail のチャット機能で Twitter ステータスを記録 (2007-08-16)
• Twitter を使い始めて1年 (2008-04-06)
• 会社に置き忘れた定期券の所在ををライブカメラで確認 (2006-04-27)

■ Google Analytics から TSV エクスポートしてキーワード詳細をチェック

Google Analytics で得られるキーワード情報で遊んでみようと思い、ちょっとその辺り触ってみた。

キーワードレポートを表示した後、Web ブラウザで今表示しているページの URL に末尾に&limit=50000 を追加 (公式ブログ参照)した URL のページを表示させて、次にエクスポートから TSV 形式でレポートを取得。

で、簡単なスクリプトで処理してキーワードを眺めてみた。

Google Analytics のページ上だと、現在このサイトのキーワード1位は「スーベレーンm400」。 ここにあがってくるのはキーワードの組み合わせによる順位なので、一旦バラしてみる。

そうすると結果はperlが1位。 最近そっち系の記事は減っているのだけれど、いちおうまだまだ主にコンピュータ関連のキーワードで検索されているようである。

個別に見てみると「-楽天」「-楽天市場」「-rakuten」「-yahoo」「-amazon」「-2ch」あたりもちらほら見かける。 検索結果の上位が通販ページで占められて、なかなか欲しい情報に辿りつけないことも実際多い。それらをうまく外したいという思惑だろう。 ちなみに自分は主要な通販サイトやオークションサイト を CustomizeGoogle でフィルタリングしてしまっている。

not 演算子って自分のサイトでどの語が嫌われてリーチしなかったかわわからない(当然アクセスしてこないから統計にあがらない)から、共有できると面白いとは思うんだけれどもな。

それと Google Analytics のエクスポートは API はないのかな。メールで定期的に送ってもらうことはできるので、設定すれば自動的にローカルでスクリプトにかけることはできるといえばできるのだけれど、こちらから簡単に取りにいければもっと嬉しい。

• JavaScript でのプログラミングやっぱり面倒くさい (2006-07-23)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• Google Analytics のデータからよく検索されるキーワードを表... (2007-12-18)
• 今日のさえずり - プリントゴッコ販売終了か。家族でまだ使っている人いるぞ。 (2008-05-31)
• AWStats 6.0 (2004-05-21)