nDiki : アクセスログ

見ていると楽しいもの。

• Web 解析 Hacks -オンラインビジネスで最大の効果をあげるテクニック & ツール

www.naney.org WiKicker SSI 統計 Apache 検索 メモリ Perl 5.005_03 nDiki メール CGI プログラム Wiki NaneyOrgWiki SpeedyCGI URI RSS JavaScript IP アドレス 日記 HTTP 日本語 grep Web Perl HTML Debian パッケージ 実装 JavaScript Include mixi 故障

■ [ WiKicker ] 憧れのサイドバー

Wiki はまぁ(ユーザからの視点において)シンプルな方が良いと思うのだが、やっぱサイドバーは出せてもいいかな。先日実装したIPC共有メモリを用いた直近のアクセスログ管理を使ってトップランキングも常にチェックできるようにしたいし。

@ tDiary テーマでサイドバー

レイアウトは tDiary のテーマにまかせる。 現在の blue-feather はサイドバー対応していないようなので、Nana 氏の flower に変更。 Wiki用に若干幅、配色等を修正。

で、WiKicker のフッタファイルに <div class="sidebar">...</div> を作ってそこに Google の検索フォーム等を移動。

@ Access Top 30

IPC共有メモリに置いてあるアクセスログを使って直近300アクセスによるランキングをサイドバーに表示できるようにする。

アクセスログは刻々と更新されるのでトップランキングもできるだけ更新表示させたいのだが、一方各WikiPageはレスポンス向上・負荷軽減のためできるだけ 304 を返したい。

なのでページ中の更新表示させたいトップランキングの部分を、JavaScriptファイルとして別ファイルに生成しておくことにした(いわゆる JavaScript Include)。 HTML出力自体に変更がなくて304を返しても、アクセスログの変更に合わせてJavaScriptファイルだけ更新しておけばクライアント側で表示を更新してくれる。

JavaScript はできるだけ避ける方針できているが、アクセスランキングは付加的情報なのでJavaScript off によって表示されなくてもそれほど問題ないと判断。 document.write だけだから互換性の問題もほとんどないだろうし。

JavaScriptファイルの更新は、RecentLogへアクセスがあった時についでに生成するという形で行うようにしてみた。 一応 cron で1時間毎に

 wget --quiet -O - http://www.naney.org/wiki/RecentLog.html > /dev/null

して、最低でも1時間に1回は更新されるようにしておく。

• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• [ WiKicker ] 古くても検索キャッシュを返す (2004-01-20)
• [ DiKicker ] くっつき BBSをくっつけてみた。 (2004-05-04)
• Plagger のインストールが大変なので XML::RSS で RSS ... (2006-06-10)
• [ WiKicker ] hell mode - HTMLタグ付けブロックの導入 (2005-09-13)

■ [ WiKicker ] WiKicker で Log::Log4perl を採用

他のプロジェクトでも使用していて「WiKicker でも使いたいのだけれど、これ以上依存するモジュールを増やすのものぁ」というものの一つであった Log::Log4perl をやはり採用する事に。

Perl 5.005_03 でもギリギリOKのようである。

Debugログおよび、アクセスログ等もすべてこの上にのせていくつもり。

• WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
• [ WiKicker ] IPC共有メモリを用いた直近のアクセスログ管理 (2004-01-18)
• テスト。More。 (2005-03-13)
• 他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)

■ AWStats 6.0

www.naney.org のアクセスログをローカルにもってきて統計解析をするのに、今回は analog ではなく AWStats を使うことに。

以前 www.naney.org に入れてみた時より、随分使いやすくなった感じ。

@ セットアップ

Debian パッケージを入れた後、awstats.naney.org というバーチャルドメインをローカルのApacheに用意(/var/www/awstats.naney.org)。

 Alias /icon/ "/usr/share/awstats/icon/"

も設定に追加しておく。

ファイルレイアウト:

 /var/www/awstats.naney.org/
  |
  +-- .htaccess
  |
  +-- awstats.conf  <-- 作成
  |
  +-- awstats.pl    <-- コピーしてきて一部修正
  |
  +-- cache         <-- DNSキャッシュ用 (まだ未使用)
  |
  +-- data          <-- データを保存
  |
  +-- plugins       <-- プラグイン
       |
       +-- wikicker.pm <-- /wiki/(.*).html を $1 で表示するプラグイン(自作)

awstats.pl はパッケージのものをコピー。DecodeEncodedString の中で Jcode.pm を使って文字列を UTF-8 に変換するように修正。

ローカル用なのであまり気にせず DocumentRoot の下にもりっとファイルを置いておく。

awstats.conf はこんな感じ。

 LogFile="/path/to/downloaded-log/access.log"
 LogType=W
 LogFormat=1
 LogSeparator=" "
 DNSLookup=2
 DirData="./data"
 SiteDomain="www.naney.org"
 HostAliases="localhost"
 DNSStaticCacheFile="cache/dnscache.txt"
 DNSLastUpdateCacheFile="cache/dnscachelastupdate.txt"
 URLWithQuery=1
 URLReferrerWithQuery=1
 LevelForWormsDetection=2
 ShowWormsStats=1
 LoadPlugin="wikicker"
 ValidHTTPCodes="200 304 -"

ValidHTTPCodes の '-' というのは、本来不要。自前のSSIで似非 Combined Log を生成する際に '-' を出力する事があるので追加。

日本語もきちんと出るしいい感じ。 指定した月ではなく、指定した日のログを見れるといいのだが設定すればできるようにならないかな。

analog と違ってプラグインが使えるのが良い。 Perlスクリプトだから、その気になれば簡単に awstats.pl 自体を変更する事もできるし。

今回は ShowInfoURL 用プラグインを書いて、/wiki 以下のURLの際は unescape して PageName を表示するようにしてみた。

その他いろいろ遊べそう。

• 本サイトの Referer 統計復活 (2000-11-05)
• WiKicker における PageName 最長文字数 (2006-06-10)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• DiKicker の出力する HTML コードを小さく (2006-10-05)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)

■ mixiに登録

ちょっと落ちついたので、2日ほど前に招待されていたmixiに登録してみる。 そういえばorkutは(予想通り)最近ほったらかし。

チェックしてみると mixi は日記に関して外部のものを(RSS)を通して使えるようなので、ちょっと興味が出てきた。

mixi のシステムから送られてくるメールは、行末に ^M がつくのでちょっと嫌。

で登録。

@ RSS を設定

nDiki (DiKicker) はまだ RSS を生成しないので、かわりに NaneyOrgWiki (WiKicker) の RSS を指定してみる。 フォームに入力して、送信。

 Internal Server Error

そうですか。die を捕捉してませんか。 こちらのサイトのアクセスログを見るとRSSは取得していっているので、解析移行でこけているらしい。

いろいろチェックしてみると一つは日付表示の問題らしい。 mixi の要求する dc:date 要素はあるのだが、WiKicker で生成している YYYY-MM-DDThh:mm:ssZ (W3CDTFの一つ)では駄目らしい。

でどうやら YYYY-MM-DDThh:mm:ss+09:00 でないと駄目らしい (YYYY-MM-DDThh:mm:ss+00:00 でも駄目)。 まあこれもW3CDTFの形式ではあるけれど、もうちょっと許容してくれてもいいのになと思う。 いや駄目でもいいけど、 Internal Server Error はよろしくないんじゃないか。

とにかく RSS は設定できた。 がうまく表示されない。

がくり。

@ 追記

mixi の dc:date について誤認。 いろいろ試してみたところタイムゾーン指定は Z でもOKだった。

(2004年11月21日追記)

• 私的10大ニュース2004 [ web ] (2004-12-31)
• 社内 Blog 開設 (2006-05-16)
• mixi 用として DiKicker に RSS生成機能を追加 (2004-11-21)
• www.naney.org をさくらのレンタルサーバへ移転 (2009-12-23)
• DiKicker の出力する HTML コードを小さく (2006-10-05)

■ track feed - 他のサイトからリンクが張られたことを瞬時にRSSでお知らせ

生成したスクリプトをHPに貼るだけで、他のサイトからリンクが張られたことを瞬時にRSSでお知らせします。-- http://trackfeed.com/

自前でアクセスログ解析をしなくてもリンク元をRSSで確認できることができるようになるサービス。素晴しい。

• Bloglines に巡回先の一部を集約 (2005-02-13)
• mixiに登録 (2004-11-19)
• FriendFeed から twitterfeed へ (2009-07-28)
• RSS 巡回しすぎなのでフレッシュリーダーを Web ブラウザのホームペー... (2006-09-18)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)

■ Tor で hidden service

Tor: An anonymous Internet communication system を試してみる。 Torは匿名接続を提供するシステム。 アプリケーションで Tor クライアント(あるいはサーバ)をSOCKSサーバとして指定すると、いくつかの Tor サーバを経由して目的のサービスに接続されるようになる。 途中の経路は時間とともにどんどん変わっていく(らしい)。

@ インストール

Debian パッケージになっているので apt-get。

@ Privoxy と連携させて Web閲覧

もともと普段から使用している Privoxy の config に、

 forward-socks4a / localhost:9050 .

という設定を追加して再起動。Privoxy がローカルサーバで動いている Tor 経由で接続するようになる。

 Firefox -> Privoxy(localhost:8118) -> Tor(localhost:9050)
         -> Tor server -> ... -> Tor server -> Web サーバ

という感じに複数の Tor サーバを経由して目的にサーバに接続されるようになる。

Web サーバのアクセスログを見ながら何度かHTTPアクセスをしてみると、IP アドレス(経路の最後の Tor server)が変わっていくのがわかる。

@ 使用感

かなりレスポンスが悪くなる。 現状では常時設定しておくのは辛い感じ。

Tor では名乗りを上げない限り(待ち受けポートを開けた上で、ディレクトリサーバに登録する)サーバにはならない。 このため、Tor server が絶対的に足りていないのかもしれない。

@ hidden service

Tor の面白い機能の一つに匿名サービスを提供する機能がある。 Web サーバやSSHサーバなどを匿名で晒すことができる。

この時動かす tor は Tor サーバである必要はなく Tor クライアントでかまわない。

/etc/tor/torrc に

 HiddenServerDir /var/lib/tor/hidden_http_service/
 HiddenServicePort 80 127.0.0.1:80

を追加して、tor を再起動。

/var/lib/tor/hiden_http_service/hostname というファイルに ****************.onion というホスト名が書かれているので、Tor + Privoxy 経由で http://****************.onion/ にアクセスすると、先ほどの tor が動いているサーバの Web サーバのページが見える。 hidden service を提供している tor は NAT の中にいてもOK(のようだ)。

閲覧者側に Tor (とPrivoxyなど)がインストールしてあれば、ダイナミックDNSに登録したりしなくても好きなタイミングで Web サーバにアクセスしてもらえるようになる。 面白い。

ローカルの Apache に 「ServerAlias *.onion」な Virtual Host の設定を追加して、Tor 経由専用のWebサイトも実験的に準備しておいてみた(例によって Wiki)。

• www.naney.org をさくらのレンタルサーバへ移転 (2009-12-23)
• [ Debian ] Privoxy + SSH (2004-01-28)
• ノート PC で Apache Virtual Host (2004-12-15)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• Firefox 拡張機能の整理 (2005-02-05)

■ Web 解析サービス Google Analytics を申し込む

昨年無料サービス開始時には申し込みが殺到して新規登録を一時中止したという経緯があった Google Analytics、当時はそのうち試してみたいと思っていたのだが気がつけばもうすぐ1年だ。

アクセス解析を見るのは結構楽しいもので、周期的に見たいという衝動がくる。 analog やら AWStats やら自作やらで過去にもいろいろ解析してみた経験がある。

会社でも最近アクセスログ解析が話題になっているし、www.naney.org 用に Google Analytics に申し込んでみた。

解析を取りたいページの最後に JavaScript を埋め込むタイプの解析で、404 であったりその他のリソースのアクセス数のチェックには向かないものの、その分 Web サーバのアクセスログ解析では得られない統計を得ることができる。

レポートの種類は豊富で、最初は「あのレポートは、どれだっけ?」と何度もいろいろ見直したりしなければならないぐらい。

アクセス傾向が分かるようになるので、重点的に内容を充実させるべきページを把握してサイトを改良していきたい。

• AWStats 6.0 (2004-05-21)
• 本サイトの Referer 統計復活 (2000-11-05)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
• www.naney.org のアクセス統計停止 (2004-05-18)
• Google Analytics のデータからよく検索されるキーワードを表... (2007-12-18)

■ Google Analytics のデータからよく検索されるキーワードを表示するようにした

Google Analytics から1日1回キーワードのレポートを TSV 形式でメールで配信するように設定している。 このデータをもとに「よく検索されるキーワード」を抽出して、nDiki の下の方に表示するようにした。

@ 処理の流れ

1. メールで配信された TSV 形式データをファイルに保存する。
2. 検索質問とセッション数の組のデータを抽出する。
3. 1ワード単位でセッション数を集計する。
4. 上位のワードについて、nDiki のキーワードリストにあるか照合する。
   1. 完全一致するものがあれば、それを参照キーワードとする。
   2. 大文字小文字一致するものがあれば、それを参照キーワードとする。
   3. ワードを含むキーワードがあれば、その中で文字数の差が少ないものを参照キーワードとする。
   4. ワードで記事を grep 検索してマッチするものがあれば、それを(nDiki 内で検索して見つかる)キーワードとする。
   5. でなければ関連キーワード無しのワードとする。
5. 各ワードについて、対応するリンクを設定してフッタ埋め込み用の HTML フラグメントを生成しファイルを生成する。
6. ファイルをサーバにアップロードし、サーバ側でフッタにインクルードする。

1日1回の作業なので、メールからスクリプトにかける部分とアップロードする部分は手動で。

そこそこの処理なので、そこそこの精度なのだけれど傾向は何となくわかる感じだ。

実際にはアクセスログの対象となっているのは nDiki 以外の www.naney.org 内のアクセスも含まれているけれどもまあいいであろう。

@ キーワードの処理

キーワードの処理は細かいことをいうと結構面倒だったりする。

• 複合語の処理: 検索ワード側も、nDiki キーワード側も複合語を含むので空白で区切られた語の扱いが大変。特に検索ワード側は語順が正しいとは限らないし、各語が個別の語を表しているのか否かの判断が難しい。
• 曖昧一致処理: 検索ワード(や nDiki キーワード)が正確な語とは限らないので、曖昧一致させる必要がある。検索エンジン側で曖昧一致させて検索結果に上がっている可能性があるのでその辺りも考慮する必要がある。

などなど。

この辺りは精度を上げようとするといろいろ工夫の余地がって楽しそうではあるな。

• Wiki ではロボット除けをしてはいけない (2007-01-21)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• はいぱー日記システムで日記を開始 (2001-05-11)
• Google Analytics から TSV エクスポートしてキーワード... (2007-11-18)
• 「ほぼ日手帳 2006」でトラックワードα版プチコンテスト1位 (2005-12-14)

■ 位置情報とアクセス解析「なかのひと」

2007年4月20日にベータ版が開始され話題になってから随分たつが、nDiki に「なかのひと」を昨晩からつけてみた。 なかのひとは、

「どんな組織からアクセスがあったか」に特化したサービス

である。地図表示付きなどその他の機能もあるが、組織名がわかるのが一番面白い点。

基本的にはアクセスログ解析でアクセス元の IP アドレスから組織がわかるのだが、実際のところ対応表をメンテナンスするのって面倒なので、こういったサービス便利である。

@ 優れている点

• タグクラウド形式のアクセス一覧が刺激的な表示で見やすい。
• あしあと表示で、ちょっと前までのアクセスが見られるのがライブ感があって良い。「激レア!!」等をゲットすると、なぜかちょぴり嬉しい。

別にどうといったことではないんだけれど、メジャーな組織名があると「おっ」と思ってしまうし、どの組織の人にどんな目的で見られているんだろうと考えると想像するだけで楽しくなってくる。

サイト運営の清涼剤になるな。

• mapperl.pl (2002-01-22)
• 2009年は nDiki 毎日更新が目標 (2009-01-01)
• nDiki のコメント欄にコメントスパム (2005-09-12)
• mixiに登録 (2004-11-19)
• Google Analytics のデータからよく検索されるキーワードを表... (2007-12-18)

■ 今日のさえずり - そうかあれネズミか

• 09:21 9:00 過ぎにシャープのサービスから電話があった。今日の冷蔵庫の出張修理は 12:00 から 14:00 とのこと。[mb]
• 11:17 アクセスログ見て「なんで『トッポ・ジージョ』でこんなに検索されているんだろう」と年末から思っていたが、そうかあれネズミか。
• 12:05 サービスマンきた。[mb]
• 12:14 冷凍室内分解中。[mb]
• 12:17 サイクル故障(コンプレッサー故障)の可能性大らしい。[mb]
• 12:31 コンプレッサー交換だと5万円ぐらいかかるとのこと。ひえー。買い換えるにしても修理するにしても痛い出費だ。

• 冷蔵庫が不調だとこんなにも不安になるものなのか (2005-06-24)
• 冷蔵庫はコンプレッサーが駄目になった可能性大 (2008-01-05)
• 冷蔵庫の修理は霜取り温度ヒューズ交換 (2005-06-28)
• 冷蔵庫の冷凍室が冷えなくなった (2008-01-04)
• やっと ONKYO の DVD コンポの修理を「ヨドバシカメラ引き取り修理... (2006-09-18)