nDiki : 検索

スポンサードリンク

2007年5月30日 (水)

■ WiKicker 0.420 リリース - 変更いろいろ

去年の12月3日以来、約半年ぶりのリリース。リリースしそびれて、随分変更を累積してしまった。以下主な変更点。

@ バージョン番号形式を変更

前回の 0.41 に対して、今回は 0.420 とした。浮動小数点数的には、増分 0.01 で今まで通り。

今後 version.pm が普及した時のことと、developer release を出す時のことを考えて小数点以下3桁ずつのスタイルに移行することにした (関連記事)。

@ <meta name="robots" content="noindex,nofollow">

2007年1月に実装。編集ページや履歴ページが検索エンジンに登録されないようにするための機能。

@ <a rel="nofollow">

2007年1月に実装。リンク spam 対応。

@ AutomaticLink 長を可変にした

2007年3月に実装。特に DiKicker で1文字キーワードによる自動リンクを有効にするために追加した。

@ '/' の前を省略した自動リンクを有効にするか無効にするかを設定できるように

前述の機能で1文字での自動リンクを有効にしたら、不便な面が出た。

WiKicker / DiKicker では '/' を階層の区切り文字としても扱うことができるようになっていて、サフィックス部分だけでも自動リンクするようになっている。自動リンクを1文字にしたら「OS/2」というキーワードに対して '2' でも自動リンクが働き、望まないリンクが張られるようになってしまった。 DiKicker では階層的キーワードは無くてもあまり困らないので、'/' の前を省略した自動リンクを無効にできるようにした。

@ (DiKicker) grep 検索機能を追加

2007年2月に実装。自分としては重宝している。

@ (DiKicker) キーワード記事の下部への文字列挿入機能

Google AdSense 挿入用。

@ (DiKicker) サーバの負荷が高くなったら 503 を返して沈静化を待つようにした

2007年4月に実装 load average をチェックして負荷が高い時は、503 を返すようにした。

@ 内部コードの結構な書き換え

ソースコードを結構いじった。 deprecated なメソッドの削除も実施したので、0.41 以前から派生しているソフトウェアは多くの場合修正が必要。

スポンサードリンク

[ permalink ]

DiKicker に grep 検索機能を追加 (2007-02-02)
WiKicker / DiKicker の AutomaticLink 長... (2007-03-01)
私的10大ニュース2004 [ web ] (2004-12-31)
[ WiKicker ] 自動InterWiki (2004-02-09)
WiKicker 0.29 リリース - ビルドまわりの改良など (2006-02-13)

[ 5月30日全て ]

2007年7月2日 (月)

■ Google Desktop Linux 版をインストール

Google より、ついに Google デスクトップ Linux 版がリリースされたのでインストールしてみた。サイドバーなどの機能はないが、もちろんデスクトップ検索機能備えている。

@ インストール

Debian 用のパッケージ (google-desktop-linux_1.0.1.0060_i386.deb) があるので、これをインストールすれば OK。インストールは楽ちん。

@ 動作

KDE を使っている自分の場合、K メニューに「Google デスクトップ」が追加されるので、ここから Google デスクトップを起動する。あとは Windows 版と同様にインデックス関係の設定をしたらおしまい。じわじわとインデックスが生成されていくのを待つ。

Ctrl キー2クリックで表示される「クイック検索ボックス」あるいは、Web ブラウザの検索画面から検索ができるようになる。検索結果画面から各ファイルへのリンクは、Konqueror および関連付けされているアプリケーションで開くようになっている。

Beagle はアイドル中に CPU パワーを食いすぎるので、結局アンインストールしてしまったが Google Desktop ではどうだろうか。

http://desktop.google.com/ja/linux/

[ permalink ]

Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
メールボックスを Gmail に集約 (2007-08-08)
今日のさえずり - 勢いあまって NCSA Mosaic 3.0 for ... (2007-11-08)
KDE Installer for Windows で KDE をインストール (2008-01-30)
ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)

[ 7月2日全て ]

2007年8月8日 (水)

■ メールボックスを Gmail に集約

Gmail は2004年12月に招待してもらって登録していたのだが、アカウントは Google の各種サービス用として使っていたものの、メールボックスはほぼ全く使用していなかった。なんだかんだいって抵抗感があった訳で。

しかし、

ホスティングサービスで利用しているメインのメールボックスが1アカウント10MBで、数日 fetch できないと溢れてしまう。PHS を解約した今、帰省の時などは fetch できない状況になりヤバイ。
パケ・ホーダイにしたのを機にモバイル Gmail で外出先でも仕事関連のメールをチェックできるようにしたい。

ということからメールボックス Gmail に集約してしまうことにした。

@ 移行作業

やった事は以下。

@ アカウントのパスワードを変更

pwgen で自動生成したパスワードを使っていたのだが、今後入力する機会が増えるので覚えられるものに変更。

@ メーラ (Mew) のバージョンアップ

普段使っている MUA である Mew のバージョンを 4 から 5 にバージョンアップ (Debian sid の Debian パッケージが上がった時に、ホールドしたままだった)。

もれなく k-/ が Namazu から Hyper Estraier になっていた。

@ Gmail に普段使っているメールアドレスを登録

「Gmail から直接」および「Gmail の SMTP サーバ経由」で普段使っているメールアドレスを使って送信できるようにアカウントを登録。

Web の設定画面で追加するとメールで確認コードが送られてくるので、それを使って有効化する。

@ Gmail から POP3 でメールをローカルに取れるように設定

Gmail 側で POP を有効にした後、fetchmail で fetch できるようにする。

 defaults
   no mimedecode
   pass8bits

 poll pop.gmail.com
   protocol pop3
      user xxx@gmail.com
      password xxx
      ssl
      fetchall

SSL を使用して fetch できるようしておく。

設定を始めるまでは「POP3 で Gmail アカウント使うのどうよ」と思っていたけれど、SSL 経由なのでちょっと安心した。

POP 後 Gmail 側ではアーカイブに移動するようしておく。

@ Mew から Gmail の SMTP サーバ経由でメールを送れるようにする

今まで SMTP over SSH でホスティングサービス経由等で送っていたものを、Gmail に TARTTLS を使って送れるように設定する。

mew-config-alist の中で

 ("default"
  ("user" . "naney")
  ("mail-domain"     . "naney.org")
  ("smtp-server"     . "smtp.gmail.com")
  ("smtp-user"       . "xxx@gmail.com")
  ("smtp-ssl" . t))

送信メールアドレスは user と mail-domain で設定。Gmail のアカウント名は smtp-user で設定。 smtp-ssl も t にしておく。

その他メールアドレス毎に経路を変えて送ったりしていたのだが全部同様の設定にして Gmail 経由にする。

@ Mew から自分宛のコピーを Dcc から Fcc に変更

今まで Dcc で自分宛にコピーを送って管理していたのだが、Gmail では自分が SMTP 経由で送信したメールは POP できないらしい。げっ。

ということで Fcc を

 (setq mew-fcc "+sent")

から

 (setq mew-fcc "+sent,+inbox")

に変更して、sent/ 以外に inbox/ にも複製を作るようにして対処。

@ 各メールボックスから Gmail へ転送設定

普段使っている各メールアドレスのメールボックスから、全て Gmail へ転送するように設定。たまっていた分は今まで通りの方法で fetch してクリアしておく。

@ Google ツールバーの設定を変更

Gmail カスタムボタンを表示するように変更。ツールバーから Gmail にアクセスできるようにしておく。

@ Google Desktop (Linux 版)の設定を変更

Gmail アカウントを登録。 Google デスクトップで Gmail 上のメールを検索できるようにしておく。

@ iモードから、モバイル Gmailへアクセスしてみる

試しに使ってみる。

モバイル Gmail から送られるメールの From: は Gmail でデフォルト設定したもので固定らしい。ちょっと融通が効かない。

ま、プライベートのメールはiモードメールで送ってしまっても良いので、Gmail のデフォルトのメールアドレスを仕事用のに設定しておくことで対応しよう。

これで大体設定完了。

@ 移行したことによるメリット

メリットは以下。

メールボックスの溢れの心配がなくなる。
Gmail spam 機能が使える。- ローカルで bsfilter 使っているけれども、それよりも強力 (多分)。
Web ブラウザからメール送受信ができる。- 自分の端末以外でパスワードを入力するのが怖いのと、自分の端末があるなら Mew から送受信してしまうからサブで。
iモードからメールをチェックできる。

Gmail で言うところのスレッドについては、ちょっと慣れが必要そうだな。

@ 移行したことによるデメリット

メールがローカルまで落ちてくるのが遅くなる。- 各メールボックスからの転送分のタイムラグがある。さらに Gmail では受信してもすぐ POP できるわけではないようだ。なので、Web ブラウザ上で受信を確認していてもそれに対してローカルの Mew で引用返信がすぐできなくなってしまった。
リモートサーバ上にメールを置いておくことに対する不安感がある。
iモードからメールをチェックできる。見なくてもいい時に読んでしまう可能性が。

なにはともあれ、一気に移行してしまった。細かい所で違和感がまだあるけれども、いずれ慣れるだろう。きっとその時は便利に感じるに違いない。

ようやくこれで本当の Gmail ユーザだ。

[ permalink ]

Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
ケータイ用にプライベート Wiki を設置 (2008-01-07)
Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
Google Desktop Linux 版をインストール (2007-07-02)

[ 8月8日全て ]

2007年8月17日 (金)

■ Twitter の自分のステータスログを「はてなRSS」のメール通知で保存

Gmail のチャット履歴で、Twitter のステータスを保存していこうと思ったが、Gmail にアクセスしていない間は保存されないらしい。また IM 通知自体抜けが多く、保存しておいてあとで検索して探すのにはイマイチのようだ。

ということで IM 経由ではなく、RSS フィード経由で保存する方向にした。すでに RSS フィードで Tumblr に流しこんでいて、自分のステータスの履歴はうまく取れていることを確認している。ただ Tumblr では検索ができないので、結局あまり役に立たない。

なので「はてなRSS」にフィードを食わせて、1日1回メールで送ってもらうことにした。これなら取りこぼししなさそうだし、きちんと保存して後で検索できそうだ。

しばらくはこれでうまくいくか試してみよう。

[ permalink ]

MAILPIA による Twitter チェック (2008-04-04)
Twitter を使い始めて1年 (2008-04-06)
クリッピングに便利な CMS 「Tumblr」を使ってみる (2007-04-13)
今日のさえずり - 鳥のフンの脳天直撃喰らった (2008-04-30)
フレッシュリーダーから Google リーダーに乗り換え (2007-10-29)

[ 8月17日全て ]

2007年11月18日 (日)

■ Google Analytics から TSV エクスポートしてキーワード詳細をチェック

Google Analytics で得られるキーワード情報で遊んでみようと思い、ちょっとその辺り触ってみた。

キーワードレポートを表示した後、Web ブラウザで今表示しているページの URL に末尾に&limit=50000 を追加 (公式ブログ参照)した URL のページを表示させて、次にエクスポートから TSV 形式でレポートを取得。

で、簡単なスクリプトで処理してキーワードを眺めてみた。

Google Analytics のページ上だと、現在このサイトのキーワード1位は「スーベレーンm400」。ここにあがってくるのはキーワードの組み合わせによる順位なので、一旦バラしてみる。

そうすると結果はperlが1位。最近そっち系の記事は減っているのだけれど、いちおうまだまだ主にコンピュータ関連のキーワードで検索されているようである。

個別に見てみると「-楽天」「-楽天市場」「-rakuten」「-yahoo」「-amazon」「-2ch」あたりもちらほら見かける。検索結果の上位が通販ページで占められて、なかなか欲しい情報に辿りつけないことも実際多い。それらをうまく外したいという思惑だろう。ちなみに自分は主要な通販サイトやオークションサイトを CustomizeGoogle でフィルタリングしてしまっている。

not 演算子って自分のサイトでどの語が嫌われてリーチしなかったかわわからない(当然アクセスしてこないから統計にあがらない)から、共有できると面白いとは思うんだけれどもな。

それと Google Analytics のエクスポートは API はないのかな。メールで定期的に送ってもらうことはできるので、設定すれば自動的にローカルでスクリプトにかけることはできるといえばできるのだけれど、こちらから簡単に取りにいければもっと嬉しい。

[ permalink ]

MAILPIA による Twitter リプライチェック (2008-11-18)
Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
JavaScript でのプログラミングやっぱり面倒くさい (2006-07-23)
Google Analytics のデータからよく検索されるキーワードを表... (2007-12-18)
メールボックスを Gmail に集約 (2007-08-08)

[ 11月18日全て ]

2007年12月14日 (金)

■ アリシア・キーズの As I Am

このあいだ、とくダネ!で紹介されていて、妻がご所望だったのでアルバムを購入。

As I Am

ちなみに Google で「とくダネ!」を検索すると、

関連検索:とくダネ小倉かつら, とくダネ小倉カツラ, とくダネ佐々木恭子

と出た。

[ CD アルバム ]

[ permalink ]

一澤帆布でお土産に小バッグを (2005-10-22)
今日のさえずり - 金メダルのネックストラップには、ケータイ用のヒモが付い... (2008-08-24)
落ちついた感じの竹内まりやニューアルバム「Denim」 (2007-05-25)
Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
「へ」こんでいるから「へべそ」? (2006-04-16)

[ 12月14日全て ]

2007年12月17日 (月)

■ 今日のさえずり - アダルト版 mixi ってしってますか?

10:13 Twit 0.97 にアップデート。 *Tw*
10:58 今日の 16:15 病院予約した。 *Tw*
11:14 ジャンバー着て仕事する。 *Tw*
11:35 Google Toolbar の Generate Custom Search... って昔からあったっけ? 簡単に検索ボタンを追加できるようになってる。 *Tw*
11:43 @code_air_edge 今まで気がつきませんでした。新しい環境に入れたら閲覧したページのフォームが黄色になっているので、これ何かなと思いまして。 *Tw*
12:18 久しぶりにオフィスにきた同僚に「アダルト版 mixi ってしってますか? セクシィ。」って聞かれた。知らんよ (sexi? sexii?)。 *Tw*
12:34 グリコパピー久しぶりに食べたい。おまけも欲しい。 *Tw*
12:49 SEO に使いたいからドメインを 3.000円 + 実費で売ってくれってメールがきた。悪い冗談? spam メールだよね。 *Tw*
12:50 @tomozo お。詐欺系サイトではないんですね。sexi。 *Tw*
13:52 寒気モードから火照りモードに変化した。 *Tw*
14:22 ギブアップ。早退した。[mb]
14:28 現金輸送車が来ると、行員がカラーボールを持って出てくる。バンババンみたいに投げないか期待している。[mb]
15:04 西友で家族と合流。自分の Blog からケータイで腹に優しい献立を検索して買い物。[mb]
15:38 布団インして 15:30 37.6℃ [OKUZASHIKI]
15:43 OKUZASHIKI をD703i にツータッチ登録した。[OKUZASHIKI]
17:52 病院から帰って、布団にはいったところ。熱さまシートと冷たい枕で、冷却中。 [OKUZASHIKI]
17:56 Twitter メンテナンス中だと、布団のお供がなくて寂しい。[OKUZASHIKI]

[ permalink ]

今日のさえずり - プリントゴッコ販売終了か。家族でまだ使っている人いるぞ。 (2008-05-31)
Twitter を使い始めて1年 (2008-04-06)
MAILPIA による Twitter チェック (2008-04-04)
ケータイ用にプライベート Wiki を設置 (2008-01-07)
今日のさえずり - 鳩三郎が会社にきた (2008-09-25)

[ 12月17日全て ]

2007年12月18日 (火)

■ Google Analytics のデータからよく検索されるキーワードを表示するようにした

Google Analytics から1日1回キーワードのレポートを TSV 形式でメールで配信するように設定している。このデータをもとに「よく検索されるキーワード」を抽出して、nDiki の下の方に表示するようにした。

@ 処理の流れ

メールで配信された TSV 形式データをファイルに保存する。
検索質問とセッション数の組のデータを抽出する。
1ワード単位でセッション数を集計する。
上位のワードについて、nDiki のキーワードリストにあるか照合する。
1. 完全一致するものがあれば、それを参照キーワードとする。
2. 大文字小文字一致するものがあれば、それを参照キーワードとする。
3. ワードを含むキーワードがあれば、その中で文字数の差が少ないものを参照キーワードとする。
4. ワードで記事を grep 検索してマッチするものがあれば、それを(nDiki 内で検索して見つかる)キーワードとする。
5. でなければ関連キーワード無しのワードとする。
各ワードについて、対応するリンクを設定してフッタ埋め込み用の HTML フラグメントを生成しファイルを生成する。
ファイルをサーバにアップロードし、サーバ側でフッタにインクルードする。

1日1回の作業なので、メールからスクリプトにかける部分とアップロードする部分は手動で。

そこそこの処理なので、そこそこの精度なのだけれど傾向は何となくわかる感じだ。

実際にはアクセスログの対象となっているのは nDiki 以外の www.naney.org 内のアクセスも含まれているけれどもまあいいであろう。

@ キーワードの処理

キーワードの処理は細かいことをいうと結構面倒だったりする。

複合語の処理: 検索ワード側も、nDiki キーワード側も複合語を含むので空白で区切られた語の扱いが大変。特に検索ワード側は語順が正しいとは限らないし、各語が個別の語を表しているのか否かの判断が難しい。
曖昧一致処理: 検索ワード(や nDiki キーワード)が正確な語とは限らないので、曖昧一致させる必要がある。検索エンジン側で曖昧一致させて検索結果に上がっている可能性があるのでその辺りも考慮する必要がある。

などなど。

この辺りは精度を上げようとするといろいろ工夫の余地がって楽しそうではあるな。

[ permalink ]

Wiki ではロボット除けをしてはいけない (2007-01-21)
Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
はてなブックマーク上の最新ブックマークを nDiki に (2005-05-16)
「ほぼ日手帳 2006」でトラックワードα版プチコンテスト1位 (2005-12-14)

[ 12月18日全て ]

2007年12月26日 (水)

■ 今日のさえずり - 割るやつとかほじるやつとか無くて苦戦

11:43 クセロReader ZERO 1.5.0.4 インストール。 *Tw*
12:16 郵便局で年賀はがき110枚購入。[mb]
12:38 アールサンジュウゴ買った。35歳だから。[mb]
13:13 昼休みの間にクセロReader ZERO での 75ページ分 OCR 処理終わってた。スキャンしたドキュメントがそれなりに認識されていて検索できるようになった。素晴らしい。 *Tw*
14:08 今日のサウンドロップは、「ウルトラセブンエメリウム光線」(ウルトラマンシリーズ2)。プギャーーーーッ。 *Tw*
15:23 Visual C# でコントロールの配置にはまってた。Panel 1枚かましたら、あっさりうまく並ぶようになった。 *Tw*
16:31 Twit 1.00 にアップデート。 *Tw*
23:55 今日の夕食は頂き物のカニだった。買って食ったりしないので割るやつとかほじるやつとか無くて苦戦した(美味しゅうございました)。