nDiki : 社内 Blog

Wiki インストール HTML 検索 DiKicker Web RSS メール アウトプット主義 Hyper Estraier Google nDiki WiKicker ビルド CGI プログラム 電子化 サイドバー 生産性 Windows RSS リーダ KDE Debian パッケージ 書き出す Perl ポイント インタフェース JavaScript 検索エンジン イベント CPAN

■ Debian GNU/Linux に Hyper Estraier 1.2.7 を野良インストールする

DiKicker を使って社内 Blog を始めてから早いものでもう半月ほど経ち、記事もそれなりにたまってきた。

DiKicker にはキーワードによる串刺し表示機能があるものの、検索機能は自前で持っていないため任意の文字列で検索をすることができない。 これだと過去記事が活用されなくなってしまう。

ということでそろそろ検索エンジンをセットアップすることにした。

同じサーバで Namazu をインストールして過去メールの検索に使用しているが、今回は Hyper Estraier を使ってみることにした。

• Web クローラが付属されていること
• P2P連携機能があること

が選択理由。 今回は自分の社内 Blog だけでなく、自分の立てている Wiki (WiKicker) や他人が立てている PukiWiki、静的な HTML ページなどもまとめて検索できるようにしたいという考えがある。 このため複数のサーバに分散したコンテンツを、クローラでインデックス生成できるというのは魅力的である。

P2P連携機能の方は技術的に面白そうということで。

@ Debian GNU/Linux でのテスト

まずは自分のノート PC 上にセットアップして、いろいろ試してみることにする。 さっそく apt-get で Hyper Estraier をパッケージインストール。

estmaster でノードマスタを起動し、ユーザ設定とノード作成を行う。

で次に Web クローラ estwaver の設定をして、ノート PC ローカルの Web サーバのコンテンツをインデックス化してみる。

で、検索。

あれ?

検索結果件数が 0。よくみるとインデックスされている文書が 0 だ。 確かに estwaver がモリモリ fetch して登録しているようなのだが……。

しこたま悩んだ末、Debian パッケージの Hyper Estraier は 1.2.5 でこのバージョンの estmaster は ノードサーバへの登録機能がまだないということにようやく気がついた。

とほほ。

@ ソースからインストール

ということなので、Hyper Estraier 1.2.7 をソースからインストールすることにした。 Debian パッケージの QDBM だと古いので、こちらもあわせてインストール。

今回はパッケージ化せずに /usr/local/hyperestraier-1.2.7 に、とりまとめてインストールすることにしておく。

@ QDBM

 wget http://qdbm.sourceforge.net/qdbm-1.8.58.tar.gz
 tar zxvf qdbm-1.8.58.tar.gz
 cd qdbm-1.8.58
 ./configure --enable-zlib --prefix=/usr/local/hyperestraier-1.2.7
 make
 make check
 make install

@ Hyper Estraier

 wget http://hyperestraier.sourceforge.net/hyperestraier-1.2.7.tar.gz
 tar zxvf hyperestraier-1.2.7.tar.gz
 cd hyperestraier-1.2.7
 PKG_CONFIG_PATH=/usr/local/hyperestraier-1.2.7/lib/pkgconfig ./configure --prefix=/usr/local/hyperestraier-1.2.7
 make
 make check

インストール完了。

最初インストールしたものを実行すると落ちて何だろうと思っていた。 これについては deb パッケージでインストールした関連パッケージを purge してビルドし直しインストールしたら問題なく動くようになった。

メデタシメデタシ。

明日は会社のサーバでも設定しよう。

• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• はいぱー日記システムで日記を開始 (2001-05-11)
• WiKicker 0.29 リリース - ビルドまわりの改良など (2006-02-13)

■ Hyper Estraier で社内 Web コンテンツ検索

昨日の自分のノート PC で Hyper Estraier の試用を踏まえて、社内のサーバに Hyper Estraier を設置する。

@ インストール

いまだ Red Hat Linux 8.0 であるサーバに、昨日と同様に Hyper Estraier 1.2.7 を /usr/local/hyperestraier-1.2.7 以下にインストール。

この環境では ./configure 時に iconv が見つからないため、最初に libiconv 1.9.2 を /usr/local/hyperestraier-1.2.7 に入れ、続けて QDBM、Hyper Estraier の順にインストール。

estwaver + estmaster でクローリング + 文書登録も問題なく完了。

@ search_ui がうまく動かない。

で検索をしようと http://ホスト:1978/node/ノード名/search_ui にアクセスするも、検索フォームを含め何も表示されない。あれ? 他の管理ページは問題なく表示されるのに search_ui だけ駄目。

GNU Wget だときちんと HTML を GET できるのだけれど、Firefox や Internet Explorer からだと駄目である。

いろいろビルドしなおしてみたけれどやっぱり駄目なので、今回は結局 estmaster をやめて CGI プログラム版の UI を使うことにした。 こちらだとクローリング中は検索ができなくなってしまうけれど、夜中に cron で回すから別にかまわないか。

@ インデックスの方針

以下のような感じでクロールし、登録することにした。

• 社内メイン Wiki、自分の社内 Blog、公開 Web サイトのトップページをクロールの種文書とする。
• それと社内メイン Wiki の更新情報ページも種文書とする。
• 社内のサーバ、および公開 Web サイトのみクロールするように allowrx、denyrx を設定。
• Wiki の編集ページ等をクロールしないように denyrx を設定。
• 1日1回深夜に cron でインデックスを更新。
• revisit は3日に設定。
  • いくつかの種文書は -revcont 付きで estwaver を実行しても毎回巡回して欲しいのだけれど、それはいまのところできないようだ。

特定の Wiki や Blog 内のみを検索したい時は、検索インタフェースの方で URL を指定絞り込めば良いので、それほど規模も大きくないし全部ひとまとめにインデックス化することにした。

後は使いながら微調整していくこととしよう。

• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• クリッピングに便利な CMS 「Tumblr」を使ってみる (2007-04-13)
• はいぱー日記システムで日記を開始 (2001-05-11)

■ Plagger のインストールが大変なので XML::RSS で RSS から JavaScript コードへ変換するスクリプトを自作

一昨日社内メイン Wiki のレイアウトを変更してサイドバーを設けたので、徐々に増えてきた社内 Blog の ヘッドラインをそこに表示することにした。

最初は Plagger を使ってみようと思ったのだが、依存 CPAN モジュールが多くて CPAN.pm を使ってもなかなかインストールが終わらない。

ということで今回は Plagger を見送って、XML::RSS でちょちょっと aggregator を自作して済ますことにした。

基本的には nDiki 用に書いた「はてなブックマーク上の最新ブックマークを表示するためのコード(2005年5月16日)」をちょっと修正して利用。 HTML フラグメントを生成するかわりに、JavaScript Include 用 JavaScript ファイルを生成するように変更した。

これで社内 Blog が読まれる回数も増えるかな。

• はてなブックマーク上の最新ブックマークを nDiki に (2005-05-16)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• はてなブックマーク上の検索結果を nDiki に (2005-10-30)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• クリッピングに便利な CMS 「Tumblr」を使ってみる (2007-04-13)

■ Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合

入社してから社内情報共有の一環として

• Wiki (WiKicker)
• ML アーカイブ公開 (MHonArc)
• 検索システム (Hyper Estraier)
• 社内 Blog (DiKicker)

といろいろ手をつけてきた。 次に狙っているのは SBS である。

Wiki や社内 Blog に書くほどではないけれどメモ程度にブックマークしておきたい URL を、気軽に晒せるようにするのが目的。

はてなブックマークのような公開サービスは

• タグ・コメント・傾向などが外に出るのはよろしくない
• あるいは、それを気にして活用されない
• そもそも社内リソースについてはブックマークできない

という点から、今回は利用できない。

ということで社内に SBS を設置したい考えている。

最初は Scuttle にしてみようと思ったのだが、PHP ベースであるのと MySQL を使うというところで気遅れしている。 いや SQLite でもいけそうらしいということで、実は Debian でちょっと試そうとしたのだが、テーブル作成の SQL が MySQL 用で、これを修正するのが面倒なので断念。

次に Perl + SQLite で動く Rubric を試してみることにした。

@ Rubric 0.140

Rubric は CPAN にあがっているので CPAN.pm から install Rubric でインストールできる。 モジュールをインストールしたら、セットアップ。

1. CGI プログラムを動かすディレクトリを決める (以下 $RUBRIC)
2. Rubric tarball の bin/rubric.cgi を $RUBRIC/ にコピーし、必要なら #! を修正する。
3. Rubric tarball の templates ディレクトリを $RUBRIC/ にコピーする。
4. Rubric tarball の style/rubric.css を $RUBRIC/ にコピーする。
5. Rubric tarball の etc/rubric.yml を $RUBRIC/ にコピーして環境に合わせて編集する。
6. データベースを初期化する。0.140 には makedb.pl が同梱されていないので、0.13_01 の bin/makedb.pl を参考に perl -MRubric::DBI::Setup -e 'Rubric::DBI::Setup->setup_tables' で初期化する。ちなみに 0.140 付属の rubric コマンドで rubric db -s してみたが、これはうまく動かなかった。
7. 必要に応じて .htaccess を作成・編集し rubric.cgi を CGI プログラムとして実行できるようにする。またその他アクセスされたくないファイルを deny するようにしておく。

これで OK。

rubric.cgi にアクセスしページが表示されればひとまず成功。 メニューの「register」から、ユーザ登録する。 確認用のメールが届くはずだが、面倒くさいのでこれを待たずに

 rubric user -a ユーザ名

でアクティベートする。

Rubric の HTML フォームからのブックマーキングは成功し、うまく動いているようである。 ただし、日本語の処理はどうもよくない。 title や description が化ける。 惜しい。

基本的には UTF-8 ベースでうまくいきそうなのだが、どこかで化けるようだ。 ちょっと手を入れれば直るかなと思ったが、化けるところと化けないところとがあるので逆に直す場所が多そうなので今日はやめておくことにした。

とりあえず Rubric はおいておいて、他のものも試してみることにするか。

• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• DiKicker の出力する HTML コードを小さく (2006-10-05)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)

■ 私が情報発信を勧める理由

「社内 Blog」をまわりのスタッフに勧めているのだけれど、

• 「やってみてメリットを感じている人」
• 「とりあえず(私に)勧めらたので書いてみてくれている(のかな?)という人」
• 「Blog という形態にメリットが感じられないので、やる気がしない人」

と様々だ。

話を聞いているなかで、情報発信のメリットやポイントについて自分でも整理してみたくなったので思うところを列挙してみた。

• あなたが発信すれば、あなたにも発信してくれる。
• 発信のための「とりまとめ」や「書き出す」という作業は、自分の中での理解を深めることにつながる。
• 迅速に。情報の多くは時間とともに価値が下がる。
• 送り手ではなく受け手が選別する。
• 「受け手は知っているはずだから」と遠慮しない。実は知らないということも多い。
• Web ページ・Wiki・Blog・あるいは張り出しなど、うまくメディアを選ぶ。
• 情報発信そのものよりも、その情報でいろいろな事が良くなること(生産性の向上など)が重要。

すぐに思い受かんだ点はこんなところ。

どれもすでにいろいろな人に語られているようなものであり、やってみれば実感できるものである。

人のためのようで、一番自分のためだったりするのが情報発信。

[ アウトプット主義 ]

• すべての情報を共有する。情報閲覧者が判断する。 (2006-05-15)
• 新幹線でウェブ進化論を読み終えた (2006-05-25)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• キックオフミーティング2日目 (2004-10-26)

■ Linux で使えるデスクトップ検索ツール Beagle でローカルファイルを検索

Windows だと Google Desktop でローカルファイルの検索ができるのだが、残念ながら Linux 版はでていない。 そこで Beagle を入れてみることにした。

Beagle はデーモン形式のバックエンドと、検索インタフェースであるフロンエンドに分かれたているデスクトップ検索ツールである。

ファイルシステム上にあるテキストファイルだけでなくメールや、Firefox でアクセスしたページ、OpenOffice.org や Microsoft Office のファイルなどをインデックス化し検索できるようにすることができるらしい。

@ ちなみに今まで

ローカルファイルの検索は

といった感じかな。

それ以外はだいたいファイルの位置をうろ覚えしているので、何カ所か探せば見つかることが多い。

問題はうろ覚えの場所になかった時。 その時はなかなか見つからない。

そんなファイルを見つけるのが楽になれば、導入効果あり。

@ インストールして試してみる

@ Linux kernel の inotify を有効にする

まずは Linux kernel の設定を確認。inotify が有効になっている方が良いらしい。 この間ビルドした時の .config を見て

 CONFIG_INOTIFY=y
 CONFIG_EXT2_FS_XATTR=y
 CONFIG_EXT3_FS_XATTR=y

となっていることを確認。

@ /home の extended attributes を有効にする。

/etc/fstab を編集し、

 /dev/hda4 /home ext3 defaults 0 2

を

 /dev/hda4 /home ext3 defaults,user_xattr 0 2

に変更する。書き換えたら、

 mount -o remount /home

でマウントしなおす。

@ Beagle のインストール

Debian パッケージでインストール

@ Beagle を起動

一般ユーザで

 beagled

で起動する。停止は

 beagle-shutdown

で。

@ Beagle を設定

 beagle-settings

で設定 UI を起動し、インデックスに含めたくないディレクトリなどを設定。

@ 検索してみる

 beagle-search

で検索 UI を起動し検索してみる。 日本語も OK のようである。

GNOME 環境をほとんどインストールしていなかったので、検索結果からファイルを開けずつまらなかたので gonome-control-center、gnome-panel あたりをインストールして環境設定等をしてみた。

KDE 系のクライアントもあるので別途いろいろ確認。

@ Firefox 拡張

xpi ファイルを入れておく。 後は普通に閲覧したページが、Beagle でインデックス化されて検索できるようになる。

設定してしまえば、以前開発して使っていた WWWOFFLE + Namazu よりお手軽である。

@ 感想

デーモンが逐次インデックス化していくので、明示的定期的にインデクサを走らせなくていいというのは楽でいい。

日本語関連がどの程度うまく検索できるのか、検索結果は使いやすい順に出力されるのかが未知数。 しばらく遊んでみて便利かどうか確かめてみたい。

• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
• Google Desktop Linux 版をインストール (2007-07-02)
• メールボックスを Gmail に集約 (2007-08-08)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)

■ 社内 Blog でのぼやき

社内 Blog にはどんな事を書くべきであろうか?

ネタものはスパイスになるが、ぼやきはどうも見ていてあまりいい感じがしない。 閉塞感や焦燥感を表現するにせよ、その先につなげる何かが欲しい。

その記事が読んでいる人・組織にどんなメリット・インパクトを与えるのかを考える書くととより価値のある情報になるはずである。

とぼやいてみる。

• 第13回産業用バーチャル リアリティ展第3日目 (2005-06-24)
• Google Desktop の web clips で RSS を読む (2006-05-18)
• すべての情報を共有する。情報閲覧者が判断する。 (2006-05-15)
• 社内 Blog 開設 (2006-05-16)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)

■ 社内 Blog をテーマ別に分けるべきか?

会社で

「テーマ別に社内 Blog を分けるべきか?」

という質問をもらった。

私の意見としては、ほとんどの場合分けるべきではないと思う。

• 分けると閲覧者が巡回する負担が増える (RSS リーダ活用などが浸透していない現状で)
• 各 Blog の更新頻度が下がる
• そのテーマが終了した時に、その Blog がメンテナンスされなくなる → 忘れられる → 蓄積された情報が目に触れる機会が減る
• そのテーマが終了した時に、その Blog がメンテナンスされなくなる → メンテナンスされていない Blog が一つ増える → 社内 Blog が活用されていないという印象が広まる

Blog 分けてそれぞれをきちんと更新していくのは、結構な手間と時間がかかるものだ。

たいがいの場合 Blog のカテゴリ機能やタギング機能を使うことで十分整理でき、その方が効果的に運用できると思う。

• Google Desktop の web clips で RSS を読む (2006-05-18)
• すべての情報を共有する。情報閲覧者が判断する。 (2006-05-15)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
• 私が情報発信を勧める理由 (2006-07-26)
• iCalendar 形式経由でスケジュールを社内 Blog に表示 (2007-01-08)

■ iCalendar 形式経由でスケジュールを社内 Blog に表示

仕事用に Skype 名を作成し、ついでに社内 Blog に Skype ボタンを貼りつけてログイン状態を表示できるようにしてみた。

そういえば電話もそうなんだけれど、本社に連絡を取るとき「もしかして会議中?」などと勘繰ってかけるかどうか迷ってしまうことがある。 かけたい人の予定がわかればいいのになと。

ならば逆もしかりだろうということで、自分の仕事のスケジュールを晒してみようと思いついた。 グループウェアとかそういうのは大袈裟なので、まずは社内 Blog のサイドバーに表示するようにしたい。

ということでこの3連休に実装してみた。

@ 構成

@ 入力

完全なスケジュールはほぼ日手帳に手書きで管理しているので、ミーティング・外出など晒しカテゴリのイベントだけを、電子化する必要がある。 手で HTML 毎回ごりごり書き直すのも嫌なので、スケジュール管理ソフトを使いたい。 この部分は KDE の KOrganizer を使うことにした。

@ サーバへアップロード

で、KOrganizer のスケジュールを iCalendar 形式でエクスポート。 このファイルを社内 Blog を配信しているサーバに rsync で転送。

この処理はちょっと手間なので自動化したいところ。

@ 社内 Blog 内表示用 JavaScript Include ファイル生成 CGI プログラム

この iCalendar 形式ファイルを読み込んで、今日以降の10件(程度)を HTML フラグメントに変換し JavaScript プログラム (document.write() 列) として出力する Perl CGI プログラムを作成。

iCalendar の形式の読み込みについては Data::ICal や iCal::Paraser などの Perl モジュールを利用できる。 今回はシンプルに使えそうな iCal::Parser をチョイス。 基本的には

 use iCal::Parser;
 my $parser = iCal::Parser->new;
 my $calendar = $parser->parse($ics_file_name);

で読み込んだデータがハッシュリファレンスとして $calendar に設定される。 イベントは $calendar->{2007}->{01}->{01}->{$uid} のように「年、月、日、イベントUID」のハッシュ階層として格納されているので、これを読み出せばよい。

@ 社内 Blog サイドバーに表示

で、この CGI プログラムが生成する JavaScript プログラムをサイドバーで JavaScript Include。

まずは表示までできるようになった。

これで

• [未来] スケジュール
• [現在] 在籍状況 (Skype ボタン)
• [現在] 顔色 (ネットワークカメラ画像の貼り付け)
• [過去] 業務情報 (Blog 記事)

をまとめて公開できる社内 Blog にアップグレード。

おいおいスケジュールの表示デザインとかは改良していきたい。 hCalendar 形式にして CSS でデザインするのがいいのかな。

• Plagger のインストールが大変なので XML::RSS で RSS ... (2006-06-10)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
• DiKicker にそろそろコメント機能を実装するか (2005-01-26)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)

■ 週次レポートは社内 Blog には邪魔

去年の11月から会社で、電子化した週次レポートをベースに週次定例ミーティングを行うようになった。 それにあわせて、書いた週次レポートを DiKicker で立てている 社内 Blog に毎週載せておいたのだが、これが思ったよりよろしくない。

DiKicker でキーワード串刺し表示を行うと、これらの週次レポートが記事リストに毎度のように沢山表示されてしまうのである。 自分が担当している各プロジェクトの1週間の成果・進捗報告なので当然各プロジェクトのキーワードを使って文が書かれているわけで、キーワードで一覧表示すると大概ひっかかってしまうというワケ。

週次レポートはその他のプロジェクトの情報も浅く広く書かれているから、串刺しで見るには邪魔なのである。肝心のキーワードに関する情報も、週次レポートという要約記事の前に別途詳細の記事があることも多いし。

ということでとりあえず週次レポート専用に社内 Blog を作って、それらの記事はひとまとめにしておくことにした。 社内 Blog にしておいて役立つかどうかちょっと様子見。

• iCalendar 形式経由でスケジュールを社内 Blog に表示 (2007-01-08)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• 紙ベースのファイリング (2005-11-08)
• 社内 Blog 開設 (2006-05-16)
• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)