nDiki : cron

インストール 検索 ノート PC Skype アップロード Linux Twitter 写真 HDD RSS Windows Perl ビルド USB Debian GNU/Linux バックアップ Flickr HTML メール mixi URL Google usr XML::RSS VQ1005 sid パスワード D-Bus 停電 日記

■ 12:30 Che-ez! SPYZ + pensnap 0.21

先週の金曜日の午後から、Che-ez! SPYZ での、Web カメラ が動かなくなった。 pensnap がカメラを認識しない。 なんでだろ。 USB ドライバもいじってないしな。

金曜日は社内のレイアウト変更でゴタゴタしていたので放置。 ガチャガチャやっている間に当たり所が悪くてお亡くなりなったのではないかと、ちょっと心配。

で、せっかくなので pensnap も pencam2 0.65 にしようかな と。 コンパイル。 ふむ。 問題なく動くな。 しかしインターフェースが変わったので cron スクリプトを書き替えなければならなくて面倒。

……もしや。 と思い、 pensnap 改をリコンパイル。 ふむ。 問題なく動くな。 libusb 辺りが変わったのかな。 まぁ、そういう事で現状維持で落ちつく。

• Che-ez! SPYZによる Web カメラ復活 (2004-07-29)
• ネットワークカメラが欲しい (2005-01-15)
• トイデジカメ VQ1005 来た (2008-03-08)
• [ Linux ] SSH remote port forwarding (2004-02-02)
• D703i から datalink でデジカメ画像を取り出してみた (2007-02-21)

■ [ WiKicker ] 憧れのサイドバー

Wiki はまぁ(ユーザからの視点において)シンプルな方が良いと思うのだが、やっぱサイドバーは出せてもいいかな。先日実装したIPC共有メモリを用いた直近のアクセスログ管理を使ってトップランキングも常にチェックできるようにしたいし。

@ tDiary テーマでサイドバー

レイアウトは tDiary のテーマにまかせる。 現在の blue-feather はサイドバー対応していないようなので、Nana 氏の flower に変更。 Wiki用に若干幅、配色等を修正。

で、WiKicker のフッタファイルに <div class="sidebar">...</div> を作ってそこに Google の検索フォーム等を移動。

@ Access Top 30

IPC共有メモリに置いてあるアクセスログを使って直近300アクセスによるランキングをサイドバーに表示できるようにする。

アクセスログは刻々と更新されるのでトップランキングもできるだけ更新表示させたいのだが、一方各WikiPageはレスポンス向上・負荷軽減のためできるだけ 304 を返したい。

なのでページ中の更新表示させたいトップランキングの部分を、JavaScriptファイルとして別ファイルに生成しておくことにした(いわゆる JavaScript Include)。 HTML出力自体に変更がなくて304を返しても、アクセスログの変更に合わせてJavaScriptファイルだけ更新しておけばクライアント側で表示を更新してくれる。

JavaScript はできるだけ避ける方針できているが、アクセスランキングは付加的情報なのでJavaScript off によって表示されなくてもそれほど問題ないと判断。 document.write だけだから互換性の問題もほとんどないだろうし。

JavaScriptファイルの更新は、RecentLogへアクセスがあった時についでに生成するという形で行うようにしてみた。 一応 cron で1時間毎に

 wget --quiet -O - http://www.naney.org/wiki/RecentLog.html > /dev/null

して、最低でも1時間に1回は更新されるようにしておく。

• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• [ WiKicker ] destination anchor を打てるように (2005-09-13)
• [ WiKicker ] 自動InterWiki (2004-02-09)
• iCalendar 形式経由でスケジュールを社内 Blog に表示 (2007-01-08)
• [ DiKicker ] くっつき BBSをくっつけてみた。 (2004-05-04)

■ [ Linux ] SSH remote port forwarding

Web カメラ*1の画像ファイルとか、ノート PC から cron で定期的にサーバへ送信している。しかしPUSHじゃなくてPULLも活用したい。

それから Web サーバはホスティングサーバなのであまりヘビーな事はできないし、ツールのビルドに必要なライブラリとかを一般ユーザで用意するのもいろいろ面倒ということで、一部の処理は手元のホストでやらせてもいいかなと。

だいたいいつもIPマスカレード下にいるので、トンネルを用意しないと。 SSHがやはりお手軽かな。 例えば、

 ssh -R XXXX:127.0.0.1:80 www.naney.org

しておけば www.naney.org 上からそのホストに

 wget http://localhost:XXXX/service.cgi?foo=1234

などとしてPULLできるようになる。 ...はずだがうまくいかないや。何故?

プライベートネットワーク同士ではうまくいったので「ルータがらみ?」かと思ったが、別の外部ホストに対して実験してみたところそっちではうまくいったので、そうでもない様子。

でいろいろチェックしてみたところ www.naney.org で

 Feb  2 12:08:41 yyyy sshd[61628]: error: Hm, dispatch protocol error: type 80 plen 33

とエラー吐いてた。 もしやと思って ssh 実行時に -1 したら成功。 通常の SSH接続だと ssh -2 でもつながるし、LocalForward でもプロトコル2でつながっているんだけどなぁ。

そういえば ssh -4 は 'Use IPv4 only.' (OpenSSH_3.6.1p2)。 'Force protocol version 4' が必要な時代がきたらどうするのかな?

• sid の CinePaint がプラグイン読み込みでエラー (2006-04-15)
• YAMAHA RTW65b で DHCP 予約アドレスの設定 (2006-11-23)
• 過去の今ごろ (2004-02-01)
• OpenSSH for Windows (2004-08-05)
• リモートポートフォワーディングでライブカメラを晒す (2005-01-21)

■ [ WiKicker ] 自動InterWiki

一昨日実装した、 複数のキーワード集合による、AutomaticLinkモジュールを WiKicker CGI プログラムから使えるようにしてみた。

ローカルにおいておいたキーワードリストファイルを読み込み AutomaticLink 処理(WikiForum 内で AutomaticLink でマッチしていない部分文字列に対して)。 マッチした場合は InterWiki を使ってURIに変換しリンク化する。

あわせてIndexPage.txtでWiKicker WikiForum 内の PageName を取得できるようにした。

これで例えば、2つの WiKicker WikiForum が cron で互いの IndexPage.txt を定期的に取得し、AutomaticLink するようにすれば、相補的に連携する事ができるようになる(ただし AutomaticLink のみ。WikiName や BracketName は依然としてその WikiForum 内のみ)。

AutomaticLink でのリンク先は(指定した)任意の InterWiki で定義できるので、あるキーワード集合について Google の検索結果ページや「はてなダイアリーキーワード」への自動リンクも実現可能(はてなダイアリーキーワード自動リンクAPIはキーワードリストではなく正規表現を返してくるので、元に戻す必要有り。またあれだけ巨大なキーワードリストだと毎回 AutomaticLink のために、trie 再生成するのも辛いのでもう一工夫必要)。

• [ WiKicker ] 複数のキーワード集合による、AutomaticLink (2004-02-07)
• [ WiKicker ] 憧れのサイドバー (2004-01-23)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• はてなダイアリーキーワード自動リンクAPI (2004-02-05)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)

■ Che-ez! SPYZによる Web カメラ復活

4月5日に最後に動かして以降しばらく止めていた Web カメラであるが、この水・木と本社から出張してきたスタッフに「最近ずっと更新されてないですね」と言われてしまった。

ということで復活準備。

• Che-ez! SPYZでの撮影、PCへの転送は動作。
• GIMPによるレベル調整等の Script-Fu は 1.3 用に作った奴。GIMP の方を 2.0 に上げたので 2.0 のディレクトリへコピーして動作確認。問題なく動作。

ということで問題なく撮影からアップロードまで動作。

cron で 10分毎にアップロードするようにもしてあったのだが、こちらはなぜかうまく動かず。 チェックしたら、ちょうど今日アップデートされた cron 3.0pl1-84 がアップデート失敗していた。3.0pl1-83 に戻して動作。

• mixi の写真にメッセージを (2004-11-28)
• 12:30 Che-ez! SPYZ + pensnap 0.21 (2002-04-22)
• 過去の今ごろ (2004-02-01)
• GIMP でアニメーション GIF を作るメモ (2006-11-25)
• mixi 用画像アップローダ (2004-11-21)

■ mixi 用画像アップローダ

エセライブカメラの画像を定期的にアップロードできるようにアップローダを書く。 塚本牧生氏によるWWW::Mixi 0.15 モジュールを使って20行ちょっと(自分用なのでエラーチェックとか省略)。

mixi では写真は3枚アップロードできて1枚を「メイン写真」にできるのだが、そこら辺の処理が面倒なので常に1枚のみアップロードしておく事にする。 最初に全て削除して1枚アップロードするという作戦で。

動作確認したので後は手動か cron か。 cron だと1時間間隔か2時間間隔ぐらいなら負荷的には問題ないのかな? mixi は RSS を2時間に1回見にくるので、こちらもそれぐらいの間隔なら許される?

• mixi の写真にメッセージを (2004-11-28)
• Flickr の写真を自動的に Twitter アイコンにする (2008-03-13)
• Twitter にケータイ写真を流すのに twitterfeed を使う (2008-02-22)
• mixi のプロフィールをランダム更新 (2005-09-30)
• sid の CinePaint がプラグイン読み込みでエラー (2006-04-15)

■ Clam AntiVirus + procmail でウイルス除去

• Samba で Windows から書き込めるようにしてあるディレクトリのウイルスチェック用
• ウイルスメールの振り分け用

として Clam AntiVirus (ClamAV) を入れてみた。

debパッケージで clamav 他関連パッケージをインストール。 データベースの更新は cron による更新を選択。 お手軽。

@ ファイルのチェック

ディレクトリのチェックは

 clamscan -r

で。

@ メールの振り分け

ウイルスメールの振り分けは spam メールとあわせて bogofilter で行ってきていた。 ウイルスメールもだいたい検出できているのだが、すり抜けるものもある。 procmail で bogofilter の前に ClamAV で振り分けるようにしよう。

.procmailrc に

 #------------------------
 # Clam Antivirus
 #------------------------
 :0 HB
 * ? /usr/bin/clamscan --log=$HOME/clamscan.log --quiet - ;test $? = "1"
 $HOME/Mail/newvirus/.

を追加。

• bogofilter のDB作り直し (2004-12-12)
• Debian GNU/Linux sid 環境を新 HDD へ (2006-07-29)
• ウイルス感染者が出たので ClamWin (2005-02-22)
• bogofilter が日本語 spam メールを弾けなくなったのでDB作り直し (2005-03-09)
• 今日のさえずり - それ多分 Gmail spam フォルダの中 (2007-12-27)

■ DAR で差分/増分バックアップ

普段使っているノート PC は pdumpfs でバックアップをとっている。 任意のスナップショットから簡単にファイルを復元できるので、バックアップ用HDDを別に用意できる場合はこれが便利。

@ 問題1

会社で使っている Windows デスクトップは、rsync でWindowsファイルサーバへ同期。 1世代しかバックアップが無い。 少なくとも数世代前のファイルが復元できるようにしておきたい。

@ 問題2

某 Linux サーバはバックアップ無し! マズイ。 現状、たまに手動で tarball にして保存しているぐらい。

@ DAR

DAR というバックアップコマンドの紹介を見て興味をひかれた。 シンプルながらも使い勝手の良さそう。 Linux でも Windows でも動くというのも嬉しい。

@ DAR を使ってみる

Linux 上で試してみる。

@ テスト用ディレクトリを作成

/tmp の下にテスト用ディレクトリ dar を作成。 その下に home ディレクトリと var ディレクトリを作成する。

 mkdir -p /tmp/dar/home/naney
 mkdir -p /tmp/dar/var/lib/dar
 echo 'abc' > /tmp/dar/home/naney/file1.txt

/tmp/dar/home 以下バックアップ対象として /tmp/dar/var/lib/dar 以下にバックアップファイルを作成してみることにする。

@ フルバックアップ

最初はフルバックアップ:

 dar -c /tmp/dar/var/lib/dar/home-full \
     -y9 \
     -R /tmp/dar \
     home

/tmp/dar/home をフルバックアップした home-full.1.1.dar が /tmp/dar/var/lib/dar にできる。

@ 差分バックアップ(1回目)

ファイルを1つ追加。

 echo 'def' > /tmp/dar/home/naney/file2.txt

ここで差分バックアップをとる:

 dar -c /tmp/dar/var/lib/dar/home-diff-1 \
     -A /tmp/dar/var/lib/dar/home-full \
     -y9 \
     -R /tmp/dar \
     home

home-full.1.dar に対する差分バックアップファイル home-diff-1.1.dar ができる。

@ 差分バックアップ(2回目)および増分バックアップ

もう1つファイルを追加。それから最初にあったファイルを削除してみる。

 echo 'ghi' > /tmp/dar/home/naney/file3.txt
 rm /tmp/dar/home/naney/file1.txt

ここで差分バックアップ(2回目):

 dar -c /tmp/dar/var/lib/dar/home-diff-2 \
     -A /tmp/dar/var/lib/dar/home-full \
     -y9 \
     -R /tmp/dar \
     home

home-full.1.dar に対する差分バックアップファイル home-diff-1.2.dar ができる。

またインクリメンタルバックアップもとってみる dar -c /tmp/dar/var/lib/dar/home-inc-2 \

    -A /tmp/dar/var/lib/dar/home-diff-1 \
    -y9 \
    -R /tmp/dar \
    home

差分バックアップファイル home-diff-1.1.dar に対する差分バックアップファイル home-diff-2.1.dar ができる。

@ フルバックアップからの復元

 dar -x /tmp/dar/var/lib/dar/home-full

を実行。

 home/naney/file1.txt

が復元される。

@ フルバックアップ+差分1回目からの復元

 dar -x /tmp/dar/var/lib/dar/home-full
 dar -x /tmp/dar/var/lib/dar/home-diff-1

を実行。

 home/naney/file1.txt
 home/naney/file2.txt

が復元される。

@ フルバックアップ+差分2回目からの復元

 dar -x /tmp/dar/var/lib/dar/home-full
 dar -x /tmp/dar/var/lib/dar/home-diff-2

を実行。

 home/naney/file2.txt
 home/naney/file3.txt

が復元される。

@ フルバックアップ+増分1回目(=差分1回目)+増分2回目からの復元

 dar -x /tmp/dar/var/lib/dar/home-full
 dar -x /tmp/dar/var/lib/dar/home-diff-1
 dar -x /tmp/dar/var/lib/dar/home-inc-2

を実行。

 home/naney/file2.txt
 home/naney/file3.txt

が復元される。

@ 運用するには

• dar を使ったバックアップスクリプトの作成(ファイル名生成の処理など)
• cron による定期バックアップの設定
• バックアップファイルをリモートサーバへ転送する手段の用意
• 古いバックアップファイルの削除(ローカル、サーバ)処理の用意

などが必要か。 エラー処理まで含めると結構面倒くさいな。 Perlあたりでまずは簡単なスクリプトを用意するか。

• 私的10大ニュース2004 [ comp ] (2004-12-31)
• ファイルシステム作成はノート PC でやっておいた (2006-01-17)
• 今日のさえずり - スポーツの制裁金ってどこにいくのだ? (2008-06-11)
• Linux、rsync でバックアップ (1999-01-23)
• 今日の秋葉原 (2002-12-16)

■ はてなブックマーク上の最新ブックマークを nDiki に

自分でタグ付けできないのでどうなのかと思っていたはてなブックマークであるが、気がつけば登録したブックマークももうすぐ1500。

タグ付けできない部分は、検索機能である程度カバー。 お気に入り機能のおかげで旬のネタ収集もできる。 なんだかんだいっても、さすが「はてな」という感じ。

日々登録しているブックマークを活用したいということで RSS を利用して、nDiki に表示してみることにした。 出勤前のちょっとした時間で Perl スクリプトとしてささっと実装。

• ローカルPCで以下の作業を行うスクリプトを書く
  1. LWP::Simple を使用して RSS を取得
  2. XML::RSS で parse() したあと、items から HTMLフラグメントを生成
  3. nDiki のフッタに挿入
• cron で1時間毎に
  1. 上記スクリプトを走らせ、フッタファイルを書き換え
  2. フッタファイルを Unison で Web サーバにアップロード

という形で実現。

• DiKicker にはフッタファイルに別のファイルをインクルードする機能がないので、フッタを書き換えてしまえ。
• サーバに XML::RSS を入れるのが面倒なので、ローカルPCでやってしまえ。どうせブックマークが更新されるのは、そのPCを使っている時だけだから。

という手ぬきであっさり実装。

• はてなブックマーク上の検索結果を nDiki に (2005-10-30)
• Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
• Plagger のインストールが大変なので XML::RSS で RSS ... (2006-06-10)
• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• クリッピングに便利な CMS 「Tumblr」を使ってみる (2007-04-13)

■ mixi のプロフィールをランダム更新

mixi であるが、何だかんだといって登録以来定期的に巡回している。

• マイミクシィの方達の日記 (ふむふむ、そんな出来事が)
• 足あと (ほうほう、そんな人が)
• 新着日記検索 (その時興味があるキーワードの検索結果URLをブックマークに入れて、最近の動向をウオッチ)

あたり。

mixi で残念なのは、マイミクシィとコミュニティの紹介文を、(他人からみた)自分のトップページに表示できないこと。 マイミクシィの紹介文は相手のところに書くことができるけれど自分のところでは紹介できない。 コミュニティも「なぜ参加(登録)してみた」のか一言書いてみたい。

今の mixi だとトップページで比較的自由になるのは、写真と自己紹介の欄ぐらい。 写真は既に一言コメントを画像に埋め込んでいるから、あとはいじるとしたら自己紹介。

ということで、この部分を定期的にランダムに更新できるように、スクリプトを書いてみることにした。

最初は WWW::Mixi で行こうと思ったが、フォームの一部分だけ変更してPOSTするには LWP::RobotUA のサブクラスである WWW::Mixi より WWW::Mechanize の方が楽そうなので、そちらでスクリプトを書くことにした。 ログイン後の refresh あたりの処理以外は面倒なこともなく、さらりと。

あるディレクトリの下にあるテキストファイルからランダムに1つ選び、その内容で*1自己紹介を更新するスクリプトを書き cron で定期的に更新するようにしてみた。

今のところテスト的なテキストしかないのでランダムといってもほとんど変わらないけれど、そのうちマイミクシィの紹介とかネタとかを増やしていく予定。

• Mixi: Naney

• mixipress でコミュニティ掲示板もチェック (2005-10-01)
• mixi 用画像アップローダ (2004-11-21)
• Firefox mixiツールバー 0.0.4 (2005-02-04)
• 今日のさえずり - 「はてなMobileGateway」かましてから、OK... (2008-01-03)
• mixi の写真にメッセージを (2004-11-28)