nDiki : TSV

タブ区切り形式。

Google Analytics 検索 メール Web ブラウザ 統計 スーベレーン 検索エンジン アクセスログ grep Perl nDiki API アップロード URL HTML www.naney.org

■ Google Analytics から TSV エクスポートしてキーワード詳細をチェック

Google Analytics で得られるキーワード情報で遊んでみようと思い、ちょっとその辺り触ってみた。

キーワードレポートを表示した後、Web ブラウザで今表示しているページの URL に末尾に&limit=50000 を追加 (公式ブログ参照)した URL のページを表示させて、次にエクスポートから TSV 形式でレポートを取得。

で、簡単なスクリプトで処理してキーワードを眺めてみた。

Google Analytics のページ上だと、現在このサイトのキーワード1位は「スーベレーンm400」。 ここにあがってくるのはキーワードの組み合わせによる順位なので、一旦バラしてみる。

そうすると結果はperlが1位。 最近そっち系の記事は減っているのだけれど、いちおうまだまだ主にコンピュータ関連のキーワードで検索されているようである。

個別に見てみると「-楽天」「-楽天市場」「-rakuten」「-yahoo」「-amazon」「-2ch」あたりもちらほら見かける。 検索結果の上位が通販ページで占められて、なかなか欲しい情報に辿りつけないことも実際多い。それらをうまく外したいという思惑だろう。 ちなみに自分は主要な通販サイトやオークションサイト を CustomizeGoogle でフィルタリングしてしまっている。

not 演算子って自分のサイトでどの語が嫌われてリーチしなかったかわわからない(当然アクセスしてこないから統計にあがらない)から、共有できると面白いとは思うんだけれどもな。

それと Google Analytics のエクスポートは API はないのかな。メールで定期的に送ってもらうことはできるので、設定すれば自動的にローカルでスクリプトにかけることはできるといえばできるのだけれど、こちらから簡単に取りにいければもっと嬉しい。

• JavaScript でのプログラミングやっぱり面倒くさい (2006-07-23)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• Google Analytics のデータからよく検索されるキーワードを表... (2007-12-18)
• メールボックスを Gmail に集約 (2007-08-08)
• Twitter を使い始めて1年 (2008-04-06)

■ Google Analytics のデータからよく検索されるキーワードを表示するようにした

Google Analytics から1日1回キーワードのレポートを TSV 形式でメールで配信するように設定している。 このデータをもとに「よく検索されるキーワード」を抽出して、nDiki の下の方に表示するようにした。

@ 処理の流れ

1. メールで配信された TSV 形式データをファイルに保存する。
2. 検索質問とセッション数の組のデータを抽出する。
3. 1ワード単位でセッション数を集計する。
4. 上位のワードについて、nDiki のキーワードリストにあるか照合する。
   1. 完全一致するものがあれば、それを参照キーワードとする。
   2. 大文字小文字一致するものがあれば、それを参照キーワードとする。
   3. ワードを含むキーワードがあれば、その中で文字数の差が少ないものを参照キーワードとする。
   4. ワードで記事を grep 検索してマッチするものがあれば、それを(nDiki 内で検索して見つかる)キーワードとする。
   5. でなければ関連キーワード無しのワードとする。
5. 各ワードについて、対応するリンクを設定してフッタ埋め込み用の HTML フラグメントを生成しファイルを生成する。
6. ファイルをサーバにアップロードし、サーバ側でフッタにインクルードする。

1日1回の作業なので、メールからスクリプトにかける部分とアップロードする部分は手動で。

そこそこの処理なので、そこそこの精度なのだけれど傾向は何となくわかる感じだ。

実際にはアクセスログの対象となっているのは nDiki 以外の www.naney.org 内のアクセスも含まれているけれどもまあいいであろう。

@ キーワードの処理

キーワードの処理は細かいことをいうと結構面倒だったりする。

• 複合語の処理: 検索ワード側も、nDiki キーワード側も複合語を含むので空白で区切られた語の扱いが大変。特に検索ワード側は語順が正しいとは限らないし、各語が個別の語を表しているのか否かの判断が難しい。
• 曖昧一致処理: 検索ワード(や nDiki キーワード)が正確な語とは限らないので、曖昧一致させる必要がある。検索エンジン側で曖昧一致させて検索結果に上がっている可能性があるのでその辺りも考慮する必要がある。

などなど。

この辺りは精度を上げようとするといろいろ工夫の余地がって楽しそうではあるな。

• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• Wiki ではロボット除けをしてはいけない (2007-01-21)
• DiKicker に grep 検索機能を追加 (2007-02-02)
• Google Analytics から TSV エクスポートしてキーワード... (2007-11-18)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)