nDiki : 統計

アクセスログ www.naney.org analog 検索 Apache URL Perl AWStats SSI 識別子 Twitter Google Analytics nDiki API チャット Debian パッケージ UTF-8 インストール 日本語 メモリ NaneyOrgWiki ギリシャ コミュニケーション URI モンドセレクション RSS 伊勢丹 ドラマ ビルド 無料

■ [ WiKicker ] 「最近のアクセスログ」処理思案

今のところ WiKicker 自体にはアクセスログ機能はなく、Apache のそれに頼っている(NaneyOrgWiki ではサーバ側で combined log を提供していないので別途自前で、似非 combined log を吐かせている)。

1日毎程度のアクセス統計チェックはこれでまぁある程度済むのだが、それとは別に瞬間的なアクセス状況を知りたい時がままある。 特にサーバの負荷が上がりつつある時は

• 特定のホストから連続的なアクセスがないか?(ロボットなど)
• 特定のページのリクエストが一時的に増えているのでは?(ドラマ放映終了直後など)
• 特定の訪問者がリロードしまくってないか?(チャット等と勘違いして)

などをチェックしたい。 ロボットのアクセスがひどい場合は早急にはじく必要があるし。 しかし、生アクセスログの目視チェック(+grep etc)では限界がある(wiki のURIはページ名がエスケープされているからパッと見どのページかわからないし)。

ということで、直近のログを簡単にチェックできるような機能を検討。 まずはログをどこに取るか。 複数のCGI プログラムのプロセスから、ガシガシ書ける必要有り。

• 普通のファイル
• daemon
• mmap
• 共有メモリ

あたりか。 直近の数百アクセスだけあれば良く、逆にそれ以上のログはばんばん破棄したいのだが何が一番いい実装かなぁ。

シンプルに普通のファイルに append するのが一番楽だが、ログが増えると tail を取るのが遅くなるだろうし、ログを切り詰めるのも面倒。 Perl の Tie::File を使うとファイルの各行を配列要素に見立てて push、 unshift、splice ができるのだが、やはり切り詰めに時間がかかりすぎる。

使えそうなモジュールがないかいろいろCPANを検索して、とりあえずどんどんビルドしてみる(サーバの Perl が 5.005_03 なので、目的にあっても使えないかもしれないし)

• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• [ WiKicker ] SpeedyCGI (2003-10-17)
• WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)

■ www.naney.org のアクセス統計停止

ディスク容量などの問題から、www.naney.org 上で1日1回行っていた analog での統計処理を停止。 www.naney.org にインストールしてあった analog や logkf 等を削除。

一旦、統計処理はローカルで行うようにするつもり。 ローカルで統計処理したものを定期アップロードするかは未定(まぁ見る人もあまりいないと思うので)。

• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
• ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• さくらのレンタルサーバ プレミアム申し込んだ (2009-10-23)
• AWStats 6.0 (2004-05-21)

■ AWStats 6.0

www.naney.org のアクセスログをローカルにもってきて統計解析をするのに、今回は analog ではなく AWStats を使うことに。

以前 www.naney.org に入れてみた時より、随分使いやすくなった感じ。

@ セットアップ

Debian パッケージを入れた後、awstats.naney.org というバーチャルドメインをローカルのApacheに用意(/var/www/awstats.naney.org)。

 Alias /icon/ "/usr/share/awstats/icon/"

も設定に追加しておく。

ファイルレイアウト:

 /var/www/awstats.naney.org/
  |
  +-- .htaccess
  |
  +-- awstats.conf  <-- 作成
  |
  +-- awstats.pl    <-- コピーしてきて一部修正
  |
  +-- cache         <-- DNSキャッシュ用 (まだ未使用)
  |
  +-- data          <-- データを保存
  |
  +-- plugins       <-- プラグイン
       |
       +-- wikicker.pm <-- /wiki/(.*).html を $1 で表示するプラグイン(自作)

awstats.pl はパッケージのものをコピー。DecodeEncodedString の中で Jcode.pm を使って文字列を UTF-8 に変換するように修正。

ローカル用なのであまり気にせず DocumentRoot の下にもりっとファイルを置いておく。

awstats.conf はこんな感じ。

 LogFile="/path/to/downloaded-log/access.log"
 LogType=W
 LogFormat=1
 LogSeparator=" "
 DNSLookup=2
 DirData="./data"
 SiteDomain="www.naney.org"
 HostAliases="localhost"
 DNSStaticCacheFile="cache/dnscache.txt"
 DNSLastUpdateCacheFile="cache/dnscachelastupdate.txt"
 URLWithQuery=1
 URLReferrerWithQuery=1
 LevelForWormsDetection=2
 ShowWormsStats=1
 LoadPlugin="wikicker"
 ValidHTTPCodes="200 304 -"

ValidHTTPCodes の '-' というのは、本来不要。自前のSSIで似非 Combined Log を生成する際に '-' を出力する事があるので追加。

日本語もきちんと出るしいい感じ。 指定した月ではなく、指定した日のログを見れるといいのだが設定すればできるようにならないかな。

analog と違ってプラグインが使えるのが良い。 Perlスクリプトだから、その気になれば簡単に awstats.pl 自体を変更する事もできるし。

今回は ShowInfoURL 用プラグインを書いて、/wiki 以下のURLの際は unescape して PageName を表示するようにしてみた。

その他いろいろ遊べそう。

• 本サイトの Referer 統計復活 (2000-11-05)
• WiKicker における PageName 最長文字数 (2006-06-10)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• DiKicker の出力する HTML コードを小さく (2006-10-05)
• 最後がピリオド(.)で終わるファイル名をつけられない (2005-04-19)

■ モンドセレクション の謎

モンドセレクション(MONDE SELECTION)は現在、年間どれぐらいの商品がエントリしどれぐらいの商品がメダル(賞)を獲得しているのだろう?

統計データも、受賞リストもまだ探し出せていない。

• これで確定? Twitter へのフィード投稿を FeedBurner へ。 (2009-12-16)
• Twitter のアカウントを作成して、今何をやっているかを晒す (2007-04-06)
• 本サイトの Referer 統計復活 (2000-11-05)
• Bloglines に巡回先の一部を集約 (2005-02-13)
• 黒豆の煮汁 黒豆エキス「サラサラ」ゴールド (2004-12-07)

■ Bloglines に巡回先の一部を集約

最近急に巡回・チェック先が増えてきてしまった。 挙げてみると

• アンテナ経由での巡回
  • なつみかん
  • はてなアンテナ
• オンラインブックマークでの new / recommendation 等のチェック
  • Spurl
  • はてなブックマーク
• 注目キーワードの検索エンジンでの定期的検索
  • 各種検索エンジン、Bulkfeeds、未来検索livedoorなど。一部は RSSフィードあり。
• アクセス解析
  • www.naney.org の access.log (ローカル処理)
  • track feed
• mixi
• Flickr
• アフィリエイトの統計

その他もろもろ。

さすがにちょっとしんどくなってきた。 とりあえず RSS まわりを集約したい。 今は Sage を使っているのだけど、未読管理がいまいちうまくできていない。

ということで遅ればせながら Bloglines に登録。 RSSが取れるものはできるだけこちらに集約。

さて、これで巡回が楽になるのか。 それとも巡回先が増えるだけなのか。

• 私的10大ニュース2005 [ comp ] (2005-12-31)
• Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
• Firefox ユーザプロファイル作り直し (2005-09-11)
• はてなブックマーク上の検索結果を nDiki に (2005-10-30)
• Wiki ではロボット除けをしてはいけない (2007-01-21)

■ 統計情報を維持したままファイル/ディレクトリを移動する amaroK スクリプト Move

久しぶりに amaroK をインストール・起動して音楽をかけてみる。 現在はすでに安定版で AAC 形式ファイルの中のタグに対応しているので、普通に Debian パッケージをインストールして使うことができる。

amaroK では再生回数やスコアなどの統計情報がデータベースに保存されており、これらを条件に設定したスマートプレイリストを作成できる。

しかし残念なことに、ファイルの場所を移動してしまうとこの情報を引き継ぐことができなかった。 このため一旦あるディレクトリに曲を保存すると移動させるわけにいかないのでちょっと不便であった。

もしかしたら最近はこれらをうまく扱えるのではと調べてみたところ、amaroK スクリプト Move がこれに対応していることを確認。

[ツール]->[スクリプトマネージャ]->[他のスクリプトを取得] で Move をインストールし実行しておくと、曲の上での右クリックメニューに Move というメニュー項目が追加される。

これを使うとその曲やその曲を含んでいるディレクトリを、別の場所に移動すると同時にデータベース上の統計情報を維持するように書き換えてくれえる。

これは便利。

• amaroK で Linux 上の iTunes 音楽データを聞く (2006-01-22)
• 今日のさえずり - ピカチュウと写真撮ってもらえる列に並んでる (2009-11-24)
• Linux kernel を 2.6.15 にしたらハードディスクへのアク... (2006-03-10)
• 音楽再生にあわせて処理をする amaroK スクリプトを書いてみる (2006-01-31)
• Debian には xplanet-images があった (2001-05-15)

■ Web 解析サービス Google Analytics を申し込む

昨年無料サービス開始時には申し込みが殺到して新規登録を一時中止したという経緯があった Google Analytics、当時はそのうち試してみたいと思っていたのだが気がつけばもうすぐ1年だ。

アクセス解析を見るのは結構楽しいもので、周期的に見たいという衝動がくる。 analog やら AWStats やら自作やらで過去にもいろいろ解析してみた経験がある。

会社でも最近アクセスログ解析が話題になっているし、www.naney.org 用に Google Analytics に申し込んでみた。

解析を取りたいページの最後に JavaScript を埋め込むタイプの解析で、404 であったりその他のリソースのアクセス数のチェックには向かないものの、その分 Web サーバのアクセスログ解析では得られない統計を得ることができる。

レポートの種類は豊富で、最初は「あのレポートは、どれだっけ?」と何度もいろいろ見直したりしなければならないぐらい。

アクセス傾向が分かるようになるので、重点的に内容を充実させるべきページを把握してサイトを改良していきたい。

• AWStats 6.0 (2004-05-21)
• 本サイトの Referer 統計復活 (2000-11-05)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
• さくらのレンタルサーバ プレミアム申し込んだ (2009-10-23)
• www.naney.org をさくらのレンタルサーバへ移転 (2009-12-23)

■ Twitter のアカウントを作成して、今何をやっているかを晒す

しばらく前から話題になり始めている Twitter のアカウントを作成してみた。

• http://twitter.com/Naney

以前初めて Twitter のサイトを訪れた時には、何だか知らない人の1行メッセージが並んでいるだけに見えて(実際そうなのだけれども)「ふーん」という感じだった。

知っている仲間が使い始めると、チャットよりはユルく、 AIM や Skype などの1行コメントよりはコいコミュニケーションツールとして面白く使えるのかもしれない。 大学仲間の雰囲気が似合いそうなサービス。

自分の場合は、Blog のエセライブカメラを補完するアクティビティ晒し用として使うのがまずは良さそう。 ということで、nDiki のサイドバーに Badge を貼ってみた。

今していることを変えるたびに入力するのって、ある意味作業記録をつけているようなものだな。 統計とか取れるようになるとと Life Hacks 的には面白いかも。

• これで確定? Twitter へのフィード投稿を FeedBurner へ。 (2009-12-16)
• 今日のさえずり - 鳥のフンの脳天直撃喰らった (2008-04-30)
• オフライン中も Gmail チャット機能は Twitter ステータスを記... (2007-08-20)
• 今日のさえずり - あ、今日 10000 tweets こえた (2010-01-29)
• 今日のさえずり - 子供がブランコから抜けなくなってる (2008-03-31)

■ Google Analytics から TSV エクスポートしてキーワード詳細をチェック

Google Analytics で得られるキーワード情報で遊んでみようと思い、ちょっとその辺り触ってみた。

キーワードレポートを表示した後、Web ブラウザで今表示しているページの URL に末尾に&limit=50000 を追加 (公式ブログ参照)した URL のページを表示させて、次にエクスポートから TSV 形式でレポートを取得。

で、簡単なスクリプトで処理してキーワードを眺めてみた。

Google Analytics のページ上だと、現在このサイトのキーワード1位は「スーベレーンm400」。 ここにあがってくるのはキーワードの組み合わせによる順位なので、一旦バラしてみる。

そうすると結果はperlが1位。 最近そっち系の記事は減っているのだけれど、いちおうまだまだ主にコンピュータ関連のキーワードで検索されているようである。

個別に見てみると「-楽天」「-楽天市場」「-rakuten」「-yahoo」「-amazon」「-2ch」あたりもちらほら見かける。 検索結果の上位が通販ページで占められて、なかなか欲しい情報に辿りつけないことも実際多い。それらをうまく外したいという思惑だろう。 ちなみに自分は主要な通販サイトやオークションサイト を CustomizeGoogle でフィルタリングしてしまっている。

not 演算子って自分のサイトでどの語が嫌われてリーチしなかったかわわからない(当然アクセスしてこないから統計にあがらない)から、共有できると面白いとは思うんだけれどもな。

それと Google Analytics のエクスポートは API はないのかな。メールで定期的に送ってもらうことはできるので、設定すれば自動的にローカルでスクリプトにかけることはできるといえばできるのだけれど、こちらから簡単に取りにいければもっと嬉しい。

• MAILPIA による Twitter リプライチェック (2008-11-18)
• Plagger で Twitter のあれこれをメールで通知 (2008-12-25)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• Google Analytics のデータからよく検索されるキーワードを表... (2007-12-18)
• JavaScript でのプログラミングやっぱり面倒くさい (2006-07-23)

■ これで確定? Twitter へのフィード投稿を FeedBurner へ。

Google が URL 短縮サービスを提供するのにあわせて FeedBurner に Twitter へのフィード投稿機能([集客支援]-[Socialize])がついた。

フィード投稿については twitterfeed・FriendFeed・FeedTweet と試してみたがそれぞれ癖がありベストチョイスといかないのが悩ましい。

以下不完全な比較。

• タ: title
• 内: description
• *1: 最近 FeedBurner でのはてなブックマーク連携のフィードアイテムにて発生。
• *2: 自分で試した範囲で。
• *3: ただし新着でもアイテムの日付が古い(数時間単位)と投稿しない。

twitterfeed は古参。機能が多いが投稿されなくなることが多々ある。また設定ページのレスポンスが遅め。bit.ly で自分の API key 設定ができるのでアクセス統計を自分で見られる。

FriendFeed は登録済みのフィードの中から対象をチェックだけで Twitter 投稿対象を選んで設定できる。URL 短縮サービスは ff.im 一択。安定しているが、リアルタイム偏向なのか FriendFeed が巡回時(?)にフィードアイテムの日付が古めだと新着でも投稿してくれないとう癖がある。

FeedTweet は新参。日本の会社が最近始めたサービスだが、自分のフィードはきちんと投稿してくれなかった。まだ荒削り。bit.ly API key を設定できるが(多分)人気リンクのために、投稿される URL は am6.jp URL 短縮になる。サービスの継続性が不透明なので気になるところ。

FeedBurner はできたてホヤホヤなので細かい挙動は未知数。 もともと FeedBurner を通してフィード提供しているサイトでは手間なし。 そのかわり当然 FeedBurner を使っていないフィードは設定できない。 サイトのフィードが FeedBurner を通している場合、他の Twitter 投稿サービスを使うと間接になる分タイムラグが生じやすいが、FeedBurner の機能を使うとその問題が解消される。 URL 短縮サービスは Google 謹製一択。今まで bit.ly で見られた統計情報が見られなくなるのが残念。 URL の永続性は Google ということで期待したい。

nDiki 用のフィード投稿サービスを見直していたところにちょうど FeedBurner に機能が追加されたので早速設定。 調子が良ければ FeedBurner の機能を使うつもり。

[ Twitter 関連サービス ]

• FeedTweet は今後に期待 (2009-12-11)
• twitterfeed から FriendFeed へ (2009-07-17)
• FriendFeed から twitterfeed へ (2009-07-28)
• 今日のさえずり - フロスティ食べたい (2009-12-10)
• URL 短縮サービスを TinyURL から bit.ly へ (2009-09-10)