nDiki : Google デスクトップ

Google デスクトップ - Google Desktop

Google デスクトップはローカルファイルを検索する Google デスクトップ検索(Google Desktop Search)機能などを持つアプリケーションである。

2006年10月28日現在、Windows XP、Windows 2000 SP 3 以降で使えるバージョンが公開されている。Linux では残念ながら動かない。Linux で使えるデスクトップ検索ソフトウェアとしては Beagle がある。

→ その後 Linux 版の Google デスクトップも公開された。 Naney も Debian GNU/Linux sid で使用中。

2006年3月3日 (金)

■ サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更

www.naney.org をホスティングしているサーバが重いと思ったら、同じサーバ上のあるユーザの CGI プログラムが5プロセス無限ループしてるっぽい……。 load average 20前後。

あおりを受けて、nDiki が大変なことになっている。

nDiki は SpeedyCGI を使っているのだが、バックエンドの speedy_backend が捌ききれず、フロントエンドの speedy が大量に待ちに入ってしまっている。

MaxBackends を調整しても駄目(下手にバックエンドプロセス数を増やしても、結局処理が追いつかない)。

ということで急遽対策。

@ 高負荷時にはてなブックマークへのアクセスを停止

load average が高い時には、はてなブックマーク上の検索結果を表示させるために行なっているはてなブックマークへのアクセスを休止するように変更。 24時間に設定してあるキャッシュの有効期限が切れていても、高負荷の時にはアクセスにいかないようにする。

これで DiKicker の処理時間を短縮。相手側サーバへの負担も軽減。

@ Google Desktop からのアクセスを一時的に拒否

おかげ様でここ最近 nDiki の RSS へのアクセス数が増えてきている。ありがたい事である。

しかしながら DiKicker の RSS レスポンスは、あまり賢くなく毎回データベースから最新記事情報を抽出して生成しているため、それほど処理が速くない。

なのでアクセス頻度を高くしている RSS リーダがどこかで同時に起動しているとちょっとしんどい。特にここ最近 Google Desktop からのアクセス数が増えている感じ。

さすがに今日はサーバの負荷が高く処理が追いつかなくてどうしようもないので、一時的に Google Desktop を拒否することに。

.htaccess に設定を追加。

 BrowserMatch "Google Desktop" denybrowser
 deny from env=denybrowser

近日中に、RSS 処理を改善してすぐに解除する予定。

@ robots.txt に Crawl-delay: を追加

効果があるかどうかは不明だが、Crawl-delay: に対応するというクローラ (Slurp、msnbot) 向け設定を追加。

 User-agent: Slurp
 Crawl-delay: 20

 User-agent: msnbot
 Crawl-delay: 20

アクセス数としては Googlebot と Slurp がダントツ。しかし Google は無下にする訳にもいかないしなぁ。

スポンサードリンク

[ permalink ]

[ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
www.naney.org サーバ断続的にダウン (2006-04-30)
[ WiKicker ] SpeedyCGI 対応するも…… (2003-11-09)
さらにサーバ負荷状態悪化。対応に追われる。 (2006-03-04)
Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)

[ 3月3日全て ]

2006年3月4日 (土)

■ さらにサーバ負荷状態悪化。対応に追われる。

CPU パワーを消費し続けているプロセスが昨日の 5 個から、今日は 21個に増えている……。

対応するも、焼け石に水か。

@ データベースロックタイムアウト時間を短く

120秒から60秒に。

@ 生成した RSS をキャッシュするようにする

生成した RSS を Cache::FileCache で有効期間30分でキャッシュするように変更。あわせて Google Desktop からのアクセス拒否を解除。

@ 旬カレンダーナビゲーションをキャッシュするようにする

ページ下部にある各月上中下旬へのリンクは、どこに記事が追加されたかディレクトリをスキャンするしか知りようがないので毎回そのようにしていたのだが、これが結構重くなってきたので、これも有効期間1時間でキャッシュするように変更。

@ 高負荷時のページ更新停止機能を改善

DiKicker では新しいキーワードが追加されると、過去の記事についてもアクセスがあり次第、自動リンクし直していくようになっている。

高負荷時にはこの機能が止まるようにしてあったのだが、「キーワード記事」については止まるようになっていなかった。また「1記事のみのページ」へのアクセスの場合も(1記事ぐらいの更新ならいいだろうということで)止まるようにしていない。

このためこれらへのアクセスあると、(必要であれば)アップデート処理が発生。データベースの排他ロックも必要となるため、全体のレスポンス低下につながっていた。

これらも、高負荷時には止まるように修正。

[ permalink ]

サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更 (2006-03-03)
[ DiKicker ] 語リストを Term DB に保持 (2006-11-21)
他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
nDiki のレスポンスが悪くなってきたので DiKicker 修正 (2006-08-29)

[ 3月4日全て ]

2006年5月18日 (木)

■ Google Desktop の web clips で RSS を読む

社内での情報共有を目的に社内 Blog を立ち上げた。次のステップは以下だ。

スタッフが定期的に社内 Blog をチェックする/したくなるようにもっていく。

読んでもらえなければ Blog を書くメリットがあまりなくなってしまうので、これは重要だ。逆に良さがわかってくれば、自分も書こうという人が自然ど増えてくるはず。

まわりを見た感じだと、普段から RSS リーダを使っているというという人はほとんどいないようなので、まずは RSS リーダを普及させる必要がありそうだ。

うちのオフィスでの推奨 RSS リーダの条件としては

Windows で動くこと。
わざわざソフトを立ち上げてチェックというスタイルだと定着しなさそうなので、常駐型がいいのではないか。
特定の Web ブラウザへの組み込み型ではないこと (人によって使っている Web ブラウザが違ったりするので、推奨しにくい)。

あたりかなと。むろん個人で気にいったのがあればそれにこしたことはないのだが、ここでは初めての人に薦められるものをということで。

@ Google デスクトップ 3

まずは Google Desktop を試してみる (Windows をメインに使っていなかったため、今までインストールしたことがなかった)。

ウェブクリップで RSS/Atom フィードを読むことができる。

感蝕は「まあまあ」。他の機能も含めて使っている場合はいいかもしれないが、巡回用の RSS リーダとして使うにはそれほど良いというほどでもないな。

フィードの表示順がちょっとわかりにくいのと、フィードの URI を誤認するのがマイナスポイント。

[ permalink ]

Debian に RSS リーダ「フレッシュリーダー」をインストール (2006-03-06)
Google Desktop Linux 版をインストール (2007-07-02)
今日のさえずり - 勢いあまって NCSA Mosaic 3.0 for ... (2007-11-08)
Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
自宅の無線 LAN を復旧 & IEEE 802.11g 化 (2004-11-26)

[ 5月18日全て ]

2006年8月8日 (火)

■ Linux で使えるデスクトップ検索ツール Beagle でローカルファイルを検索

Windows だと Google Desktop でローカルファイルの検索ができるのだが、残念ながら Linux 版はでていない。そこで Beagle を入れてみることにした。

Beagle はデーモン形式のバックエンドと、検索インタフェースであるフロンエンドに分かれたているデスクトップ検索ツールである。

ファイルシステム上にあるテキストファイルだけでなくメールや、Firefox でアクセスしたページ、OpenOffice.org や Microsoft Office のファイルなどをインデックス化し検索できるようにすることができるらしい。

@ ちなみに今まで

ローカルファイルの検索は

メール	Mew 4 での検索(with Namazu)。
nDiki 記事	howm で記事ソースデータを検索 (方法)、あるいは www.naney.org 公開記事を Google で。
メモ	howm。
開発中のソースコード	Emacs の grep-find でだいたい事足りる。たまに ack。
仕事のメモ	できるだけ社内 Wiki か社内 Blog に書いておいて Hyper Estraier。
その他	grep 程度。

といった感じかな。

それ以外はだいたいファイルの位置をうろ覚えしているので、何カ所か探せば見つかることが多い。

問題はうろ覚えの場所になかった時。その時はなかなか見つからない。

そんなファイルを見つけるのが楽になれば、導入効果あり。

@ インストールして試してみる

@ Linux kernel の inotify を有効にする

まずは Linux kernel の設定を確認。inotify が有効になっている方が良いらしい。この間ビルドした時の .config を見て

 CONFIG_INOTIFY=y
 CONFIG_EXT2_FS_XATTR=y
 CONFIG_EXT3_FS_XATTR=y

となっていることを確認。

@ /home の extended attributes を有効にする。

/etc/fstab を編集し、

 /dev/hda4 /home ext3 defaults 0 2

を

 /dev/hda4 /home ext3 defaults,user_xattr 0 2

に変更する。書き換えたら、

 mount -o remount /home

でマウントしなおす。

@ Beagle のインストール

Debian パッケージでインストール

@ Beagle を起動

一般ユーザで

 beagled

で起動する。停止は

 beagle-shutdown

で。

@ Beagle を設定

 beagle-settings

で設定 UI を起動し、インデックスに含めたくないディレクトリなどを設定。

@ 検索してみる

 beagle-search

で検索 UI を起動し検索してみる。日本語も OK のようである。

GNOME 環境をほとんどインストールしていなかったので、検索結果からファイルを開けずつまらなかたので gonome-control-center、gnome-panel あたりをインストールして環境設定等をしてみた。

KDE 系のクライアントもあるので別途いろいろ確認。

@ Firefox 拡張

xpi ファイルを入れておく。後は普通に閲覧したページが、Beagle でインデックス化されて検索できるようになる。

設定してしまえば、以前開発して使っていた WWWOFFLE + Namazu よりお手軽である。

@ 感想

デーモンが逐次インデックス化していくので、明示的定期的にインデクサを走らせなくていいというのは楽でいい。

日本語関連がどの程度うまく検索できるのか、検索結果は使いやすい順に出力されるのかが未知数。しばらく遊んでみて便利かどうか確かめてみたい。

[ permalink ]

Google Desktop Linux 版をインストール (2007-07-02)
Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
メールボックスを Gmail に集約 (2007-08-08)
Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)

[ 8月8日全て ]

2007年7月2日 (月)

■ Google Desktop Linux 版をインストール

Google より、ついに Google デスクトップ Linux 版がリリースされたのでインストールしてみた。サイドバーなどの機能はないが、もちろんデスクトップ検索機能備えている。

@ インストール

Debian 用のパッケージ (google-desktop-linux_1.0.1.0060_i386.deb) があるので、これをインストールすれば OK。インストールは楽ちん。

@ 動作

KDE を使っている自分の場合、K メニューに「Google デスクトップ」が追加されるので、ここから Google デスクトップを起動する。あとは Windows 版と同様にインデックス関係の設定をしたらおしまい。じわじわとインデックスが生成されていくのを待つ。

Ctrl キー2クリックで表示される「クイック検索ボックス」あるいは、Web ブラウザの検索画面から検索ができるようになる。検索結果画面から各ファイルへのリンクは、Konqueror および関連付けされているアプリケーションで開くようになっている。

Beagle はアイドル中に CPU パワーを食いすぎるので、結局アンインストールしてしまったが Google Desktop ではどうだろうか。

http://desktop.google.com/ja/linux/

[ permalink ]

Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
メールボックスを Gmail に集約 (2007-08-08)
今日のさえずり - 勢いあまって NCSA Mosaic 3.0 for ... (2007-11-08)
KDE Installer for Windows で KDE をインストール (2008-01-30)
JSmooth で Win32 上でのJava プログラム起動ファイル作成 (2004-12-06)

[ 7月2日全て ]

2007年8月8日 (水)

■ メールボックスを Gmail に集約

Gmail は2004年12月に招待してもらって登録していたのだが、アカウントは Google の各種サービス用として使っていたものの、メールボックスはほぼ全く使用していなかった。なんだかんだいって抵抗感があった訳で。

しかし、

ホスティングサービスで利用しているメインのメールボックスが1アカウント10MBで、数日 fetch できないと溢れてしまう。PHS を解約した今、帰省の時などは fetch できない状況になりヤバイ。
パケ・ホーダイにしたのを機にモバイル Gmail で外出先でも仕事関連のメールをチェックできるようにしたい。

ということからメールボックス Gmail に集約してしまうことにした。

@ 移行作業

やった事は以下。

@ アカウントのパスワードを変更

pwgen で自動生成したパスワードを使っていたのだが、今後入力する機会が増えるので覚えられるものに変更。

@ メーラ (Mew) のバージョンアップ

普段使っている MUA である Mew のバージョンを 4 から 5 にバージョンアップ (Debian sid の Debian パッケージが上がった時に、ホールドしたままだった)。

もれなく k-/ が Namazu から Hyper Estraier になっていた。

@ Gmail に普段使っているメールアドレスを登録

「Gmail から直接」および「Gmail の SMTP サーバ経由」で普段使っているメールアドレスを使って送信できるようにアカウントを登録。

Web の設定画面で追加するとメールで確認コードが送られてくるので、それを使って有効化する。

@ Gmail から POP3 でメールをローカルに取れるように設定

Gmail 側で POP を有効にした後、fetchmail で fetch できるようにする。

 defaults
   no mimedecode
   pass8bits

 poll pop.gmail.com
   protocol pop3
      user xxx@gmail.com
      password xxx
      ssl
      fetchall

SSL を使用して fetch できるようしておく。

設定を始めるまでは「POP3 で Gmail アカウント使うのどうよ」と思っていたけれど、SSL 経由なのでちょっと安心した。

POP 後 Gmail 側ではアーカイブに移動するようしておく。

@ Mew から Gmail の SMTP サーバ経由でメールを送れるようにする

今まで SMTP over SSH でホスティングサービス経由等で送っていたものを、Gmail に TARTTLS を使って送れるように設定する。

mew-config-alist の中で

 ("default"
  ("user" . "naney")
  ("mail-domain"     . "naney.org")
  ("smtp-server"     . "smtp.gmail.com")
  ("smtp-user"       . "xxx@gmail.com")
  ("smtp-ssl" . t))

送信メールアドレスは user と mail-domain で設定。Gmail のアカウント名は smtp-user で設定。 smtp-ssl も t にしておく。

その他メールアドレス毎に経路を変えて送ったりしていたのだが全部同様の設定にして Gmail 経由にする。

@ Mew から自分宛のコピーを Dcc から Fcc に変更

今まで Dcc で自分宛にコピーを送って管理していたのだが、Gmail では自分が SMTP 経由で送信したメールは POP できないらしい。げっ。

ということで Fcc を

 (setq mew-fcc "+sent")

から

 (setq mew-fcc "+sent,+inbox")

に変更して、sent/ 以外に inbox/ にも複製を作るようにして対処。

@ 各メールボックスから Gmail へ転送設定

普段使っている各メールアドレスのメールボックスから、全て Gmail へ転送するように設定。たまっていた分は今まで通りの方法で fetch してクリアしておく。

@ Google ツールバーの設定を変更

Gmail カスタムボタンを表示するように変更。ツールバーから Gmail にアクセスできるようにしておく。

@ Google Desktop (Linux 版)の設定を変更

Gmail アカウントを登録。 Google デスクトップで Gmail 上のメールを検索できるようにしておく。

@ iモードから、モバイル Gmailへアクセスしてみる

試しに使ってみる。

モバイル Gmail から送られるメールの From: は Gmail でデフォルト設定したもので固定らしい。ちょっと融通が効かない。

ま、プライベートのメールはiモードメールで送ってしまっても良いので、Gmail のデフォルトのメールアドレスを仕事用のに設定しておくことで対応しよう。

これで大体設定完了。

@ 移行したことによるメリット

メリットは以下。

メールボックスの溢れの心配がなくなる。
Gmail spam 機能が使える。- ローカルで bsfilter 使っているけれども、それよりも強力 (多分)。
Web ブラウザからメール送受信ができる。- 自分の端末以外でパスワードを入力するのが怖いのと、自分の端末があるなら Mew から送受信してしまうからサブで。
iモードからメールをチェックできる。

Gmail で言うところのスレッドについては、ちょっと慣れが必要そうだな。

@ 移行したことによるデメリット

メールがローカルまで落ちてくるのが遅くなる。- 各メールボックスからの転送分のタイムラグがある。さらに Gmail では受信してもすぐ POP できるわけではないようだ。なので、Web ブラウザ上で受信を確認していてもそれに対してローカルの Mew で引用返信がすぐできなくなってしまった。
リモートサーバ上にメールを置いておくことに対する不安感がある。
iモードからメールをチェックできる。見なくてもいい時に読んでしまう可能性が。

なにはともあれ、一気に移行してしまった。細かい所で違和感がまだあるけれども、いずれ慣れるだろう。きっとその時は便利に感じるに違いない。

ようやくこれで本当の Gmail ユーザだ。

[ permalink ]

Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
ケータイ用にプライベート Wiki を設置 (2008-01-07)
Google Desktop Linux 版をインストール (2007-07-02)
Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)

[ 8月8日全て ]

2007年8月31日 (金)

■ Google Desktop Linux がようやくインデックス生成を終了

約2カ月前にインストールした、Google デスクトップ Linux がようやく、インデックス生成を終えた。

(だいたい)終えた直後のアイテム数は、355,220個 (Gmail の2,096 個を含む)。最初の1カ月半は、何度も数%のところをうろうろしていたのは、何でだろ。 14万通あるメールを何度も再インデックスしていたのだろうか。

[ permalink ]

メールボックスを Gmail に集約 (2007-08-08)
Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)
Google Desktop Linux 版をインストール (2007-07-02)
Flickr::UploadでLinuxから画像アップロード (2005-04-22)

[ 8月31日全て ]

2007年11月8日 (木)

■ 今日のさえずり - 勢いあまって NCSA Mosaic 3.0 for Windows インストール

17:52 Google Desktop Linux が自動アップデートされたようだ。 *Tw*
18:28 勢いあまって NCSA Mosaic 3.0 for Windows インストールしてみた。Google トップページすら表示できない。 *Tw*
18:30 NCSA Mosaic 3.0 落ちまくりのなか、www.w3c.com はきちんと表示できた。さすが。 *Tw*
18:47 最初に使った Web ブラウザって OmniWeb だったと思うんだけれど、どうだったかなー。 *Tw*
19:59 LABI品川大井町初めてぐるっとまわってみた。思っていたほどスゴくない。ヨドバシカメラやビックカメラに比べてスカスカ。L:大井町[mb]
20:01 書籍フロアに計画の科学があったので、これはゲット。[mb]

[ permalink ]

Google Desktop Linux 版をインストール (2007-07-02)
今日のさえずり - Mobile Google Notebook、iモード... (2007-11-15)
自宅の無線 LAN を復旧 & IEEE 802.11g 化 (2004-11-26)
Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)

[ 11月8日全て ]

2007年11月15日 (木)

■ 今日のさえずり - Mobile Google Notebook、iモードではまだ駄目

09:30 バッグの中で発信してしまっていたので、やっぱり D703i のタイマープロテクトキー設定を ON にした。[mb]
10:06 会社の Windows BOX が最近遅いので、 Google デスクトップをまずはアンインストールした。
12:12 朝「白い恋人」の紙袋を持っている人を見た。今日から再開らしいが、この紙袋は以前の時のかも。 *Tw*
13:27 ActivePerl 5.8.8.822 が8月1日に出ていたか。手元は ActivePerl 5.8.8.820。 *Tw*
15:22 Mobile Google Notebook、iモードではまだ駄目。http://googlesystem.blogspot.com/...
16:16 今月の給料明細書はやいなと思ったら、先月のだった。 *Tw*
16:25 社内で FM ラジオが流れていた頃が懐しい。 *Tw*
17:03 PostgreSQL 8.2.5 を Windows XP にインストールしたが途中でこけた。プログレスバーが後戻りして悲しい。 *Tw*
17:35 お。今日は enraku きてるのか。今 Windows セーフモードで起動しなおそうと思っていたんだけれども。 *Tw*
19:18 MovaTwitter やっぱりアイコン表示するようにした。[mb]
19:47 今日の LABI ポイントマシーンも100ポイント。L:大井町[mb]
24:02 Better Gmail 2 入れて Gmail の言語設定を English にした。あれ? Better Gmail 2 は、まだ Better Gmail と同じってわけじゃないんだ。

[ permalink ]

今日のさえずり - 勢いあまって NCSA Mosaic 3.0 for ... (2007-11-08)
メールボックスを Gmail に集約 (2007-08-08)
Google Desktop Linux 版をインストール (2007-07-02)
今日のさえずり - Windows XP に入れた Konqueror で... (2008-01-30)
D703i から datalink でデジカメ画像を取り出してみた (2007-02-21)

[ 11月15日全て ]

2007年11月19日 (月)

■ 今日のさえずり - Google ドキュメント、フォントでP明朝指定したら PDF にもきちんと変換できた

09:30 近日オープンするエクセルシオールカフェの囲いがとれてる。L:大井町[mb]
10:06 最近 Google デスクトップ Linux が、サスペンド/リジュームすると終了している。前はそうではなかったのだが。v1.1.0.0068
11:49 deb http://apt.wxwidgets.org/ etch-wx main を APT ラインに追加。
11:56 Task Coach 最新 Debian パッケージ(0.66.2-1)入れたけれど動かない。Python 2.5 用のパッケージらしいのでそれもこれから入れる。
12:02 うーん動かない。2.4 と 2.5 がごっちゃになってる。
13:23 Todoist に入れたプロジェクト/タスクを Task Coach に移した。 *Tw*
16:14 RTM と Task Coach をうまく連動させるいいアイデアはないかな。 *Tw*
17:53 Google ドキュメント、フォントでP明朝指定したら PDF にもきちんと変換できた。そういうことか。 *Tw*
19:21 同時プリント受け取り。後ろに並んでた人、APS フィルムだった。L:秋葉原[mb]