nDiki : cron

検索 RSS Perl インストール Linux HTML Twitter アップロード Skype ノート PC URL XML::RSS Windows 画像 URI::Fetch USB ビルド HDD 写真 Web カメラ D-Bus バックアップ Che-ez! SPYZ メール DiKicker nDiki sid www.naney.org WiKicker pdumpfs

■ ファイルシステム作成はノート PC でやっておいた

昨日のHDD問題であるが、今日再度試してみたもののやはり途中で止まってしまう。

しょうがないので自分のノート PC 上で ext3 ファイルシステムを作成してからあらためて接続。 マウントは DELL PowerEdge 2600でも問題なくできた。 cron で毎夜実行している pdumpfs のバックアップ先を、USB HDD 側に変更しておく。 ちゃんと書き込めているか後で確認。

• USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ (2006-01-16)
• DAR で差分/増分バックアップ (2005-04-02)
• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• お買い物 (2004-01-02)
• 私的10大ニュース2004 [ comp ] (2004-12-31)

■ Hyper Estraier で社内 Web コンテンツ検索

昨日の自分のノート PC で Hyper Estraier の試用を踏まえて、社内のサーバに Hyper Estraier を設置する。

@ インストール

いまだ Red Hat Linux 8.0 であるサーバに、昨日と同様に Hyper Estraier 1.2.7 を /usr/local/hyperestraier-1.2.7 以下にインストール。

この環境では ./configure 時に iconv が見つからないため、最初に libiconv 1.9.2 を /usr/local/hyperestraier-1.2.7 に入れ、続けて QDBM、Hyper Estraier の順にインストール。

estwaver + estmaster でクローリング + 文書登録も問題なく完了。

@ search_ui がうまく動かない。

で検索をしようと http://ホスト:1978/node/ノード名/search_ui にアクセスするも、検索フォームを含め何も表示されない。あれ? 他の管理ページは問題なく表示されるのに search_ui だけ駄目。

GNU Wget だときちんと HTML を GET できるのだけれど、Firefox や Internet Explorer からだと駄目である。

いろいろビルドしなおしてみたけれどやっぱり駄目なので、今回は結局 estmaster をやめて CGI プログラム版の UI を使うことにした。 こちらだとクローリング中は検索ができなくなってしまうけれど、夜中に cron で回すから別にかまわないか。

@ インデックスの方針

以下のような感じでクロールし、登録することにした。

• 社内メイン Wiki、自分の社内 Blog、公開 Web サイトのトップページをクロールの種文書とする。
• それと社内メイン Wiki の更新情報ページも種文書とする。
• 社内のサーバ、および公開 Web サイトのみクロールするように allowrx、denyrx を設定。
• Wiki の編集ページ等をクロールしないように denyrx を設定。
• 1日1回深夜に cron でインデックスを更新。
• revisit は3日に設定。
  • いくつかの種文書は -revcont 付きで estwaver を実行しても毎回巡回して欲しいのだけれど、それはいまのところできないようだ。

特定の Wiki や Blog 内のみを検索したい時は、検索インタフェースの方で URL を指定絞り込めば良いので、それほど規模も大きくないし全部ひとまとめにインデックス化することにした。

後は使いながら微調整していくこととしよう。

• Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
• Linux で使えるデスクトップ検索ツール Beagle でローカルファイ... (2006-08-08)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• クリッピングに便利な CMS 「Tumblr」を使ってみる (2007-04-13)
• ホームネットワークカメラ BL-C10 買っちゃった (2005-01-18)

■ Debian GNU/Linux sid 環境を新 HDD へ

朝から ThinkPad X31 の HDD 新しく入れ替えて Debian GNU/Linux sid のインストールを開始。

@ Debian GNU/Linux のインストール

今日は sarge のネットワークインストール CD イメージからブートしてインストール。 今回はブートドライブにできる「ThinkPad USB ポータブルCD－ROMドライブ」があり、またこのイメージで起動して e1000 が認識できるので楽勝である。

(第1回目は USB FDD + PC カード NIC でインストール、第2回目 は HDD 上のインストーラから GRUB からの起動によるインストールだった)

最低限のものを入れたらすぐ sid へアップグレード。

@ 旧 HDD からのコピー

ヤバイ状態の旧 HDD を USB 外付け HDD ケースに詰めて

• /home 全部
• /usr/local で必要なもの
• 参照用に /etc の複製
• /var/www、/var/spool

を新しい HDD にコピー。

次に環境の復旧。 以下備忘録。

@ MADWIFI

以前作った Linux kernel 2.6.15 deb パッケージをインストールした後 module-assistant で madwifi をインストールするも、ビルドした GCC のバージョンが違ってロードできず。 kernel は GCC 4.0 の時にビルドしたもので、madwifi は現在のバージョンである GCC 4.1 によるビルドであることが問題。

まずは前にビルドした 2.6.15 のソースディレクトリでカーネルパッケージを GCC 4.1 で作りなおしてインストールし、あらためて module-assistant。

 module-assistant prepare
 module-assistant auto-install madwifi

で /etc/network/interfaces を書き戻す。

@ SMTP サーバを Postfix に

ここずっと使っていた qmail をこの機会にやめることにした。 Postfix へ。

全体の設定はインストーラに従って設定。

個人設定は、

~/.qmail に

 | preline /usr/bin/procmail

として procmail を使っていたので、~/.forward を作って同様に procmail に流すようにする。

 "|IFS='' && exec /usr/bin/procmail -f- || exit 75 #naney"

~/.procmailrc は以前のまま。ClamAV と bsfilter でふるいにかけた後、Maildir へ。

@ bsfilter は deb のものに

以前入れた時は deb が古かったので /usr/local に自前でインストールした。 まずはこれを古い HDD から戻して動作確認後 deb のものに切り替え。

.mew.el の中も

 (load "/usr/share/doc/bsfilter/examples/mua/mew4/mew.el")

に変更。

@ Samba

/etc/samba/smb.conf を書き戻す。smbpasswd でパスワード再設定。

@ X

とりあえずインストール時の設定で xorg.conf を作る。

 Load "freetype"

をコメントアウトして、

 Load "xtt"

に変更。

@ KDE

sid は現在 3.5.3 と 3.5.4 混在状態になっているため、依存関係の問題で簡単にはインストールできずてこずった。 kdebase-data と kdelibs-data の 3.5.3 を http://snapshot.debian.net/ からとってきて hold して 3.5.3 系 KDE として各種パッケージをインストール。

@ フレッシュリーダー

以前インスールした状態に復旧。

1. libapache2-mod-suphp php5-cli をインストール
2. /var/www/freshreader、/etc/apache2/sites-available/freshreader を戻す
3. a2ensite freshreader
4. /etc/init.d/apache2 reload
5. /etc/hosts に freshreader を追加

@ cpufreqd

1. cpufreqd をインストール
2. /etc/cpufreqd.conf を戻す
3. /etc/init.d/cpufreqd restart

@ Skype

skype-beta-1.3.0.30-1_i386.deb をインストール。

@ cron

一般ユーザ naney の crontab ファイルを再登録。

@ Perl モジュール

足りないと気がついた時点で順次インストール。

@ autofs + smbfs (2006年8月3日)

/etc/auto.master、/etc/auto.misc を書き戻して /etc/init.d/autofs restart。

@ mt-daapd (2006年8月22日)

deb パッケージを公式サイトからダウンロードし、/etc/mt-daapd.conf を書き戻して /etc/init.d/mt-daapd restart

• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• Debian Linux kernel 2.6.23 をビルドする。 (2007-12-23)
• [ Debian ] ThinkPad X31 にインストール (2003-12-03)
• CD-R ドライブが使えない (2006-07-27)
• Linux kernel を 2.6.8 に (2004-09-17)

■ そんなにこまめにメールをチェックしなくてもいいのではないか

今までメール自動受信は GKrellM + fetchmail で 10分毎に行っていたのだが、1時間毎に変更してみた。

メールで気をわずらわせる回数を減らすのが目的。 短い間隔でメールが届いたことが知らされるたびにチェックしても、結局処理は先送りしてしまいがち。 であればもう少しチェック回数を減らして、そのかわりまとめて一気に処理してしまった方が効率が良いし結果的に返信も早くなるという目論見。

うまくいくようなら2時間間隔でもいいかもしれない (GKrellM では 60分毎より長い間隔には設定できないようなので cron か何かで)。

ということでお急ぎの方は電話かチャットか Skype か携帯電話メールへ。

• 会社のメールアドレス宛のメールを直接 inbox に入らないようにした (2008-08-25)
• 今日のさえずり - 除虫菊を栽培していただきます (2008-08-05)
• ビジネス用電話番号をマルチナンバーで追加した (2007-09-20)
• 今日のさえずり - Che-ez! SPYZ ユーザとしては Genie ... (2008-03-03)
• シカゴ・サンフランシスコ出張 2006 ログ - 1日目 (2006-08-13)

■ Twitter ステータスを nDiki サイドバーに表示

公式の Flash 版 Twitter badge をこのページのサイドバーに表示していたが、以下の点でちょっと不満だった。

• 「Flash, Just Me」: 自分のみのステータスを表示できるが、1度に1つのみ。キャッシュの関係で古い情報が表示されがち。
• 「Flash, With Friends」: 自分のみのステータスを表示できない。
• 「HTML/JavaScript」: JavaScript ファイル読み込みなので、Twitter 側が重いとページのその先のレンダリングが止まってしまう。

「自分の過去のステータスを一覧的にサイドバーに表示する」のがしたいことなのだが、ちょっとマッチしない。 ということで Twitter から RSS フィードを取ってきて、サイドバーに表示することにした。

使ったモジュールは URI::Fetch + XML::RSS + Date::Parse。 それとユーティリティとして WiKicker::HTML と WiKicker::URI。

1. cron で定期的に Twitter から RSS フィードをとってきて、Perl スクリプトで HTML フラグメントに変換。
2. DiKicker が読み込む(サイドバーを含む)フッタファイルに挿入。

と簡単に実装してみた。機能的には概ね満足。

今後は L:～ や URL の自動リンク化、キーワードの自動リンク化を適宜したい。

• はてなブックマーク上の最新ブックマークを nDiki に (2005-05-16)
• はてなブックマーク上の検索結果を nDiki に (2005-10-30)
• Plagger のインストールが大変なので XML::RSS で RSS ... (2006-06-10)
• クリッピングに便利な CMS 「Tumblr」を使ってみる (2007-04-13)
• Flickr の写真を自動的に Twitter アイコンにする (2008-03-13)

■ Twitter への書き込みを自動的に Skype ムードメッセージに設定する

Linux for Skype の Skype API は D-Bus を使ってアクセスすることができる。 Debian GNU/Linux sid 上の Skype for Linux 2.0.0.43 で、Perl スクリプトから自動的にムードメッセージを更新するようにしてみた。

Skype が起動している状態で以下のスクリプトを実行する。

 #!/usr/bin/perl

 use strict;
 use warnings;
 use Net::DBus;
 use URI::Fetch;
 use XML::RSS;
 use Date::Parse;

 my $id = '自分の Twitter ID';

 my $time = time;
 my $fetch_response
   = URI::Fetch->fetch(
               "http://twitter.com/statuses/user_timeline/$id.rss?dummy=$time")
   or die URI::Fetch->errstr;
 my $rss = XML::RSS->new;
 $rss->parse($fetch_response->content);
 die 'no items' if @{$rss->{items}} == 0;
 my $item = $rss->{items}->[0];
 my ($sec, $min, $hour, $mday, $mon, $year, $wday, $yday, $isdst)
   = localtime(str2time($item->{pubDate}));
 my $title = $item->{title};

 my $mood
   = sprintf("[%02d/%02d %02d:%02d] $title", $mon + 1, $mday, $hour, $min);
 my $bus      = Net::DBus->session;
 my $service  = $bus->get_service('com.Skype.API') or die;
 my $invoker  = $service->get_object('/com/Skype') or die;
 my $response = $invoker->Invoke('NAME twitter2skypemood');
 die $response if $response ne 'OK';
 $response = $invoker->Invoke('PROTOCOL 5');
 die $response if $response ne 'PROTOCOL 5';
 $response = $invoker->Invoke("SET PROFILE MOOD_TEXT $mood");

のようなダイアログが表示されるので、「この選択を記憶する」をチェックして、はいを選択。

そうすると RSS フィードとしてとってきた 自分の Twitter メッセージが、Skype のムードメッセージに表示される。自分の環境では日本語も問題なく表示される。

うまくいったので cron で定期的に更新するようにしてみた。

Skype API 面白いかも。

@ 追記

• Twitter への書き込みを自動的に Skype ムードメッセージに設定する for Windows

• Twitter への書き込みを自動的に Skype ムードメッセージに設定... (2008-08-05)
• Twitter を使い始めて1年 (2008-04-06)
• 今日のさえずり - Twitter 日本語表示みた (2008-04-23)
• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
• Linux 上で Flex 2 SDK を使った Flash コンテンツ開... (2007-09-11)

■ cron 呼び出しから D-Bus (Net::DBus) 使おうとしたら失敗していた

Twitter への書き込みを自動的に Skype ムードメッセージに設定するスクリプトを定期的に実行しようと cron に設定しておいたのだが、一向にうまくいく気配がない。

cron からのメッセージを見たら

process 22612: arguments to dbus_connection_ref() were incorrect, assertion "connection != NULL" failed in file dbus-connection.c line 2465.

This is normally a bug in some application using the D-Bus library.

org.freedesktop.DBus.Error.Spawn.ExecFailed: dbus-launch failed to autolaunch D-Bus session: Autolaunch error: X11 initialization failed.

と出ていた。 X 関連か?

cron から呼び出す際には DISPLAY=:0.0 してからこのスクリプトを呼ぶようにしたらうまく動くようになった。

• Twitter への書き込みを自動的に Skype ムードメッセージに設定... (2008-08-05)
• Twitter への書き込みを自動的に Skype ムードメッセージに設定する (2008-02-25)
• DAR で差分/増分バックアップ (2005-04-02)
• Clam AntiVirus + procmail でウイルス除去 (2004-12-11)
• ファイルシステム作成はノート PC でやっておいた (2006-01-17)

■ Flickr の写真を自動的に Twitter アイコンにする

2週間ほど前にtwitterfeed で Flickr に写真をアップロードしたら自動的に Twitter にタイトルと URL をポストするようにしたのだが、これだと写ツみたいに画像そのものはポストされず今一歩なので、写真自体を自動的に Twitter アイコンにアップロードするようにしてみた。

流れは以下:

1. cron で定期的に Flickr の RSS フィードをフェッチする (URI::Fetch + XML::RSS)。
2. 新しい写真がアップロードされていたら(最新の写真が変化していたら)、RSS フィード中のサムネイル画像 URL を抜き出して画像をダウンロードする (URI::Fetch)。
3. 正方形に crop。それからころころ Twitter アイコンを変えると誰だかわからなくなるので、決まった画像 (今のところ自分の写真)を重ねる (ImageMagick / PerlMagick)。
4. Twitter にアップロードする(アップロードスクリプト)。

例えば今日 VQ1005 で撮影して Flickr にアップロードした写真を自動的に加工させたものがコレ。

なんか偽中継のような嘘臭さがあるけれど、まあだいたいアップロードした写真は自分が実際にその場にいたのだから、あながちでもないんじゃないか。

• Twitter にケータイ写真を流すのに twitterfeed を使う (2008-02-22)
• デジカメ写真管理ソフトウェア digiKam (2006-03-10)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• mixi 用画像アップローダ (2004-11-21)
• Twitter を使い始めて1年 (2008-04-06)

■ 今日のさえずり - 初歩的なミスだが PATH の違い

@ 2008年03月15日

• 17:09 さて、飲み会に向けてそろそろ準備して秋葉原に出かける。
• 17:21 この時間から遊びにでるのすごい久しぶり。[mb]
• 18:08 [photo] リラックマ@秋葉原 http://tinyurl.com/3ywquj
• 19:56 飲み会の途中ですが、ミーティングが始まりました。[mb]
• 22:20 後ろ髪を引かれつつ飲み会から抜けた。[mb]
• 22:26 yamakiyo が Flickr を布教。信者増えるかな?[mb]

@ 2008年03月16日

• 00:47 手で実行すると動くのに cron からだと動かないスクリプトの問題がわかった。初歩的なミスだが PATH の違い。
• 22:33 VQ1005、プロキッチン楽天市場店は売り切れたけれど、本店やYahoo!ショッピング店はまだ売っているみたい。
• 22:52 1本単位で単4形ニッケル水素電池を充電できる充電器が欲しい。

• 近谷研 OB 飲み会 (2008-03-15)
• 今日のさえずり - 首なし犬 (2008-03-26)
• Flickr の写真を自動的に Twitter アイコンにする (2008-03-13)
• 今日のさえずり - 向島志 ゛満ん草餅 (2008-03-28)
• 今日のさえずり - みどりの窓口で、明日からの乗車券つかまされてた (2008-04-10)

■ Twitter への書き込みを自動的に Skype ムードメッセージに設定する for Windows

半年ぐらい前に Skype for Linux で Twitter への書き込みを自動的に Skype ムードメッセージに設定するスクリプト(記事)を作って cron で 10分毎に更新するようにした。

Windows BOX 上 Skype を使っている時も同様にできるように、Skype4COM を使うバージョンも書いてみた。 D-Bus ではなく Skype4COM を使うようにすることと、Skype4COM にはシフト JIS の文字列を渡すようにすること以外はほとんど同じ。

Skype4COM の DLL を登録し、Skype が起動している状態で以下の Perl スクリプトを実行。

 #!/usr/bin/perl

 use strict;
 use warnings;
 use Win32::OLE;
 use URI::Fetch;
 use XML::RSS;
 use Date::Parse;
 use Encode;

 my $id = '自分の Twitter ID';

 my $time = time;
 my $fetch_response
   = URI::Fetch->fetch(
               "http://twitter.com/statuses/user_timeline/$id.rss?dummy=$time")
   or die URI::Fetch->errstr;
 my $rss = XML::RSS->new;
 $rss->parse($fetch_response->content);
 die 'no items' if @{$rss->{items}} == 0;
 my $item = $rss->{items}->[0];
 my ($sec, $min, $hour, $mday, $mon, $year, $wday, $yday, $isdst)
   = localtime(str2time($item->{pubDate}));
 my $title = $item->{title};

 my $mood
   = sprintf("$title [%02d/%02d %02d:%02d]", $mon + 1, $mday, $hour, $min);

 $mood = Encode::encode('shiftjis', $mood);

 my $skype = Win32::OLE->new('Skype4COM.Skype');
 $skype->Client->Start unless $skype->Client->IsRunning;
 my $profile = $skype->CurrentUserProfile;
 $profile->{MoodText} = $mood;

インストール済みだった ActivePerl 5.8.8.822 で動作を確認(ちなみに現時点での最新は ActivePerl 5.10.0.1003)。なお URI::Fetch、XML::RSS、Date::Parse(TimeDate) は標準では入っていないので PPM パッケージでインストール。

タスク スケジューラで10分毎に上記のスクリプトを wperl.exe で実行するように設定。 これで Windows 上でもさえずりをムードメッセージに設定できるようになった。

• Twitter への書き込みを自動的に Skype ムードメッセージに設定する (2008-02-25)
• PAR::Repository でビルド済み Perl モジュールをネット... (2006-12-12)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• ちょっと複雑なネット用統合アドレス帳 Ripplex (2008-04-30)
• ActivePerl で Ming (2005-02-23)