nDiki : Google Analytics

www.naney.org アクセスログ メール Google 検索エンジン 検索 AWStats 統計 Google リーダー Google ドキュメント Google ノートブック PageRank analog Google マップ Google アカウント Google カレンダー nDiki TSV Web サーバ Google AdSense Gmail ドコモ Google AdWords 2010年 ソニッケアー ボーナス API Google トーク Norton Internet Security Perl

■ Web 解析サービス Google Analytics を申し込む

昨年無料サービス開始時には申し込みが殺到して新規登録を一時中止したという経緯があった Google Analytics、当時はそのうち試してみたいと思っていたのだが気がつけばもうすぐ1年だ。

アクセス解析を見るのは結構楽しいもので、周期的に見たいという衝動がくる。 analog やら AWStats やら自作やらで過去にもいろいろ解析してみた経験がある。

会社でも最近アクセスログ解析が話題になっているし、www.naney.org 用に Google Analytics に申し込んでみた。

解析を取りたいページの最後に JavaScript を埋め込むタイプの解析で、404 であったりその他のリソースのアクセス数のチェックには向かないものの、その分 Web サーバのアクセスログ解析では得られない統計を得ることができる。

レポートの種類は豊富で、最初は「あのレポートは、どれだっけ?」と何度もいろいろ見直したりしなければならないぐらい。

アクセス傾向が分かるようになるので、重点的に内容を充実させるべきページを把握してサイトを改良していきたい。

• AWStats 6.0 (2004-05-21)
• 本サイトの Referer 統計復活 (2000-11-05)
• [ www.naney.org ] 23:00 明日に移転先サーバの設定完了予定 (2002-01-22)
• さくらのレンタルサーバ プレミアム申し込んだ (2009-10-23)
• www.naney.org をさくらのレンタルサーバへ移転 (2009-12-23)

■ Wiki ではロボット除けをしてはいけない

昨日土曜日から nDiki を含め www.naney.org のアクセス数が激減している。 Google Analytics でみてみると先週の半分以下。 細かくみてみると Google 経由のアクセスが 3分の1になっている。

Google で検索してみると今まで上位であった検索結果がことごとくランク外に。 先週土曜日に行った検索エンジン対応のための一部ページへの robots メタタグの追加とそれらのページへのリンクへの nofollow の追加が裏目に出たらしい。

Wiki の過去のリビジョンのページや編集ページなどが予想以上にサイト全体の PageRank を下支えしていたようだ。

あわててこれらの設定を外す。

元に戻るにはまたそれなりにかかるだろう。 ショック。

[ SEO ]

• Google Analytics のデータからよく検索されるキーワードを表... (2007-12-18)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• 「ほぼ日手帳 2006」でトラックワードα版プチコンテスト1位 (2005-12-14)
• Google での順位はだいたい1週間ぐらいで反映される (2007-01-29)
• Bloglines に巡回先の一部を集約 (2005-02-13)

■ Google Analytics から TSV エクスポートしてキーワード詳細をチェック

Google Analytics で得られるキーワード情報で遊んでみようと思い、ちょっとその辺り触ってみた。

キーワードレポートを表示した後、Web ブラウザで今表示しているページの URL に末尾に&limit=50000 を追加 (公式ブログ参照)した URL のページを表示させて、次にエクスポートから TSV 形式でレポートを取得。

で、簡単なスクリプトで処理してキーワードを眺めてみた。

Google Analytics のページ上だと、現在このサイトのキーワード1位は「スーベレーンm400」。 ここにあがってくるのはキーワードの組み合わせによる順位なので、一旦バラしてみる。

そうすると結果はperlが1位。 最近そっち系の記事は減っているのだけれど、いちおうまだまだ主にコンピュータ関連のキーワードで検索されているようである。

個別に見てみると「-楽天」「-楽天市場」「-rakuten」「-yahoo」「-amazon」「-2ch」あたりもちらほら見かける。 検索結果の上位が通販ページで占められて、なかなか欲しい情報に辿りつけないことも実際多い。それらをうまく外したいという思惑だろう。 ちなみに自分は主要な通販サイトやオークションサイト を CustomizeGoogle でフィルタリングしてしまっている。

not 演算子って自分のサイトでどの語が嫌われてリーチしなかったかわわからない(当然アクセスしてこないから統計にあがらない)から、共有できると面白いとは思うんだけれどもな。

それと Google Analytics のエクスポートは API はないのかな。メールで定期的に送ってもらうことはできるので、設定すれば自動的にローカルでスクリプトにかけることはできるといえばできるのだけれど、こちらから簡単に取りにいければもっと嬉しい。

• MAILPIA による Twitter リプライチェック (2008-11-18)
• Plagger で Twitter のあれこれをメールで通知 (2008-12-25)
• Google Analytics のデータからよく検索されるキーワードを表... (2007-12-18)
• JavaScript でのプログラミングやっぱり面倒くさい (2006-07-23)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)

■ Google Analytics のデータからよく検索されるキーワードを表示するようにした

Google Analytics から1日1回キーワードのレポートを TSV 形式でメールで配信するように設定している。 このデータをもとに「よく検索されるキーワード」を抽出して、nDiki の下の方に表示するようにした。

@ 処理の流れ

1. メールで配信された TSV 形式データをファイルに保存する。
2. 検索質問とセッション数の組のデータを抽出する。
3. 1ワード単位でセッション数を集計する。
4. 上位のワードについて、nDiki のキーワードリストにあるか照合する。
   1. 完全一致するものがあれば、それを参照キーワードとする。
   2. 大文字小文字一致するものがあれば、それを参照キーワードとする。
   3. ワードを含むキーワードがあれば、その中で文字数の差が少ないものを参照キーワードとする。
   4. ワードで記事を grep 検索してマッチするものがあれば、それを(nDiki 内で検索して見つかる)キーワードとする。
   5. でなければ関連キーワード無しのワードとする。
5. 各ワードについて、対応するリンクを設定してフッタ埋め込み用の HTML フラグメントを生成しファイルを生成する。
6. ファイルをサーバにアップロードし、サーバ側でフッタにインクルードする。

1日1回の作業なので、メールからスクリプトにかける部分とアップロードする部分は手動で。

そこそこの処理なので、そこそこの精度なのだけれど傾向は何となくわかる感じだ。

実際にはアクセスログの対象となっているのは nDiki 以外の www.naney.org 内のアクセスも含まれているけれどもまあいいであろう。

@ キーワードの処理

キーワードの処理は細かいことをいうと結構面倒だったりする。

• 複合語の処理: 検索ワード側も、nDiki キーワード側も複合語を含むので空白で区切られた語の扱いが大変。特に検索ワード側は語順が正しいとは限らないし、各語が個別の語を表しているのか否かの判断が難しい。
• 曖昧一致処理: 検索ワード(や nDiki キーワード)が正確な語とは限らないので、曖昧一致させる必要がある。検索エンジン側で曖昧一致させて検索結果に上がっている可能性があるのでその辺りも考慮する必要がある。

などなど。

この辺りは精度を上げようとするといろいろ工夫の余地がって楽しそうではあるな。

• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• Wiki ではロボット除けをしてはいけない (2007-01-21)
• 「ほぼ日手帳 2006」でトラックワードα版プチコンテスト1位 (2005-12-14)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• はいぱー日記システムで日記を開始 (2001-05-11)

■ ビジネス用の Google アカウントを取得

Google については2004年につくった Gmail アカウントにくっつけて使ってきた (Google AdSense を除く)。

このアカウントで使っている Google サービスをリストアップしてみた。

• ◎ iGoogle
• ◎ Gmail
• ◎ Google リーダー
• ◎ Google カレンダー
• ◎ ブックマーク
• ◎ Google Analytics
• ◎ Google アラート
• ○ Google ウェブ履歴
• ○ Google ドキュメント
• ○ Google ノートブック
• △ Google ウェブマスター ツール
• △ Google マップ (マイマップ)
• △ Picasa ウェブ アルバム

こんな感じ。

基本的には個人的な利用なのだけれど、仕事でももう少し活用して見ようと思う。 Google カレンダーは試験的にスケジュール共有用に数人で使ってみたりしていたのだが、今後は Google ドキュメントやマイマップ なんかも共有して活用したい。 今まで個人アカウントで躊躇している部分もあったので、ビジネス用メールアドレスでもう1つ Google アカウントを取得することにした。

• アカウントの切り替えがちょっと面倒。
• 新しく作った Google アカウントは Gmail とバインドしていないので、招待メールアドレスの入力が面倒。

という点があるけれど、大した問題ではないかな。 まわりをうまく巻き込めるかが一番のポイントだ。

• Gmail 無しの Google アカウントで Google Contac... (2008-09-26)
• 今日のさえずり - わくわくしないのでやめとく (2010-02-17)
• Google Apps セットアップ所要時間4時間 (2010-02-17)
• Evernote 使用開始 (2009-03-03)
• ようやく AdSense アカウントを Google アカウントに更新した (2008-07-01)

■ 今日のさえずり - 完璧に完璧って手書きした記憶がない

@ 2009年12月25日

• 09:34 教育テレビで完璧が壁じゃないことを学習した。
• 09:38 仕事納めが buzz ってる。今日までの人が多いのかな、やっぱり。自分も今日が仕事納め。
• 09:42 首相が Twitter やるって NHK でもニュースで取り上げていた。まだやってない人どれだけ出遅れてるんだと。
• 09:44 完璧に完璧って手書きした記憶がない。 RT @Naney: 教育テレビで完璧が壁じゃないことを学習した。
• 09:46 AK848 と見間違えた。人数多すぎ。
• 09:56 ボーナスがあり得ん額でびっくりした。暗転。
• 12:39 動画も再生できるトランセンド・ジャパンのデジタルフォトフレーム PF810B を昼休みに買うつもりだったのだが財政難なので泣く泣く我慢するか迷っている。 http://bit.ly/88PG21
• 12:48 2009年12月24日の歩行: 5576歩、4.29km、47分、5.37km/h、消費 218.2kcal、脂肪燃焼 31.1g、3.2エクササイズ。
• 13:38 仕事納めの日なのでソースコード中の typo 大掃除。
• 14:14 識別子の乱れは心の乱れ。
• 16:59 Norton Internet Security 2010 の月単位レポートウインドウがいきなり開いた。おまえ、勝手すぎる。
• 17:15 ファブリック・マキノ・ヘリンボーンカバーをほぼ日手帳2009からほぼ日手帳2010につけかえ。
• 17:31 ドコモプレミアムクラブ オリジナルカレンダーを設置する。
• 17:33 今年のより休日色が薄くてちょっとわかりづらい。
• 18:57 HP Photosmart C4486 がオフィスにきているのだけれど LAN 接続できないのでどうしたものかと。PC 余ってないしな。
• 19:48 ヨドバシカメラ入店。今年最後になるか? L:秋葉原
• 19:55 ソニッケアーブラシ購入。
• 19:59 浄水器カートリッジ購入。
• 20:19 結局今回はボーナスの説明なしか。
• 23:00 しばらくアクセスしていなかった Google Analytics にログイン。
• 23:14 デコった。 [Flickr] http://goo.gl/fb/vdw5
• 23:56 ウィッシュリストいじった。現在お取り扱いできませんに結構なっちゃってるな。買えないと思うと余計欲しくなるものもあったり。 http://bit.ly/7alQom
• 24:37 またやるね。「2010年新春生放送! 年の初めはさだまさし」 #NHK http://www.nhk.or.jp/masashi/
• 24:42 えー、うらやましい。あ、でも布団でダラダラもたまらない。 RT @yaizawa: 実は国技館に見に行きますw RT @Naney: またやるね。「2010年新春生放送! 年の初めはさだまさし」 #NHK http://www.nhk.or.jp/masashi/
• 24:45 「年の初めはさだまさし」はハッシュタグ決めて欲しい。
• 25:01 namasada か。http://bit.ly/namasada って bit.ly にカスタム名つけている人がいるし、いいかも。

• 今日のさえずり - ファミリーマートにクリスマスケーキ4号・5号 (2008-12-24)
• 今日のさえずり - 電柱にいつの間にか「うんこ」って書かれていた。治安悪化。 (2009-12-31)
• 今日のさえずり - フロスティ食べたい (2009-12-10)
• 今日のさえずり - たまにオッサンみたいな驚き方する (2009-11-10)
• 今日のさえずり - 夏が終わったのに黄色かよ (2009-10-02)