nDiki : procmail

メール bogofilter spam usr ClamAV Mew ウイルス Postfix インストール sid cron bsfilter Samba Skype Gmail 復旧 Google ドキュメント ビルド GRUB USB CD ThinkPad USB ポータブルCD－ROMドライブ Debian GNU/Linux 夏休み 神田 HDD KDE 散歩 fetchmail PC カード

■ Clam AntiVirus + procmail でウイルス除去

• Samba で Windows から書き込めるようにしてあるディレクトリのウイルスチェック用
• ウイルスメールの振り分け用

として Clam AntiVirus (ClamAV) を入れてみた。

debパッケージで clamav 他関連パッケージをインストール。 データベースの更新は cron による更新を選択。 お手軽。

@ ファイルのチェック

ディレクトリのチェックは

 clamscan -r

で。

@ メールの振り分け

ウイルスメールの振り分けは spam メールとあわせて bogofilter で行ってきていた。 ウイルスメールもだいたい検出できているのだが、すり抜けるものもある。 procmail で bogofilter の前に ClamAV で振り分けるようにしよう。

.procmailrc に

 #------------------------
 # Clam Antivirus
 #------------------------
 :0 HB
 * ? /usr/bin/clamscan --log=$HOME/clamscan.log --quiet - ;test $? = "1"
 $HOME/Mail/newvirus/.

を追加。

• bogofilter のDB作り直し (2004-12-12)
• Debian GNU/Linux sid 環境を新 HDD へ (2006-07-29)
• bogofilter が日本語 spam メールを弾けなくなったのでDB作り直し (2005-03-09)
• ウイルス感染者が出たので ClamWin (2005-02-22)
• 今日のさえずり - それ多分 Gmail spam フォルダの中 (2007-12-27)

■ bogofilter のDB作り直し

昨日 ClamAV を設定したので、bogofilter の DB からウイルスメール登録の undo をかけた。 結果、うまくフィルタリングができなくなった。

しょうがないのでDBを一旦削除し、約19,000ある過去spamメールを登録し直す。 が、フィルタリングしない。

あれ?

bogofilter -t でチェックをしてみても spam を spam と判定していない様子。

でいろいろいじったところ non-spamメールの方の登録が全く無いと駄目のようだ。 さっき作り直したDBは削除してしまったので、non-spam をある程度登録した後に spamメール約19,000を登録し直し。 かなり時間がかかってしまったが、これで元通りきちんとフィルタリングできるようになった。

ついでに今回からは procmail から呼び出す bogofilter に -u オプションを設定して、どんどん DB を強化する事にする。 なので、今までは誤認識した場合は -s / -n で新規登録のみしていたところを、今後は -Ns / -Sn で undo してから登録するようにする必要あり(本当は spam として振り分けなかった場合 non-spam か unsure のどちらかなので、後者の場合は -Sn ではなく -n にすべき)。

• Clam AntiVirus + procmail でウイルス除去 (2004-12-11)
• bogofilter が日本語 spam メールを弾けなくなったのでDB作り直し (2005-03-09)
• bogofilter から bsfilter に乗り換え (2005-07-09)
• [ Debian ] bogofilter の db が壊れた (2003-12-19)
• 久しぶりの低速回線で spam メール・ウイルスメールの邪魔臭さを再認識 (2005-01-01)

■ bogofilter が日本語 spam メールを弾けなくなったのでDB作り直し

最近 bogofilter が日本語 spam メールをほとんど弾かなくなってきている。 英語や中国語のspamメールはきちんと弾いているのだけれども。

チェックしてみると逆に積極的に non-spam 判定されている spam メールもある。

前回設定を見直した時、procmail から bogofilter を呼び出した際に -u オプションでどんどん新規登録するようにしたのだが、どうもこれで誤登録を重ねてしまっているようだ。

spam メールも non-spam メールも最終的には全て目視でチェックしており、不適切な振り分けがあった場合は手動で再学習させるようにしている。 spam メールが bogofilter -u で spam として振り分けられなかった場合

• non-spam 判定されている -> bogofilter -Ns で一旦 undo してから登録
• unsure 判定されている -> bogofilter -s で登録

とするべきで当初そうしていたのだが、最近横着をしてすべて -s してしまっていた。

どうもこれでspamに特有な語が non-spam 側のテーブルにも残ってしまい、結果 non-spam 側に判定が傾きがちになってしまったようだ。そうこしているあいだに -u でどんどん誤登録が進んでしまったと思われる。

手動ではもはやDBをいい塩梅にもっていけなさそうなので、DBを作り直し。 26,000件の spam メールの登録をしかけて、就寝。

• bogofilter のDB作り直し (2004-12-12)
• bogofilter から bsfilter に乗り換え (2005-07-09)
• Clam AntiVirus + procmail でウイルス除去 (2004-12-11)
• [ Debian ] bogofilter の db が壊れた (2003-12-19)
• Google AdSense (2004-07-03)

■ bogofilter から bsfilter に乗り換え

spam メールは procmail で bogofilter (with nkf + KAKASI) しているのだが、以前からちょっと挙動が変である。 すり抜けてきた spam メールをあらためて、bogofilter で判定してみると spam メール判定になることがしばしば。

ということで、Mew を 4.2 にアップデートしたついでに spam フィルタを bsfilter にかえてみることにした。

sid のパッケージはちょっと古いので、tarball を持ってきて /usr/local の下に展開。

@ procmail

.procmailrc に以下を追加:

 #------------------------
 # bsfilter
 #------------------------
 :0 HB:
 * ? /usr/local/bsfilter-1.0.7/bsfilter/bsfilter
 $HOME/Mail/newspam/.

@ Mew

それから Mew の方は /usr/local/bsfilter-1.0.7/mua/mew4/ の下の emacs.el と mew.el をロードするようにしておく。

• inbox に spam メールがきたら、Summary mode で 'ls'。
• (procmail の振り分けで)newspam に ham メールがきたら、Summary mode で 'lh'。

今回は収集済みの spam メールをまとめて登録することなく、新着のもののみポチポチ登録しているのだがそれでも十分振り分けてくれる。

使い始めの感蝕としては、 bogofilter より bsfilter の方が積極的に spam メール判定になっている感じだ。bigram による傾向なのかな?

• メールボックスを Gmail に集約 (2007-08-08)
• Gmail へのメールボックス移行で spam 誤判定と転送問題にぶつかる (2007-08-11)
• bogofilter のDB作り直し (2004-12-12)
• bogofilter が日本語 spam メールを弾けなくなったのでDB作り直し (2005-03-09)
• Clam AntiVirus + procmail でウイルス除去 (2004-12-11)

■ Debian GNU/Linux sid 環境を新 HDD へ

朝から ThinkPad X31 の HDD 新しく入れ替えて Debian GNU/Linux sid のインストールを開始。

@ Debian GNU/Linux のインストール

今日は sarge のネットワークインストール CD イメージからブートしてインストール。 今回はブートドライブにできる「ThinkPad USB ポータブルCD－ROMドライブ」があり、またこのイメージで起動して e1000 が認識できるので楽勝である。

(第1回目は USB FDD + PC カード NIC でインストール、第2回目 は HDD 上のインストーラから GRUB からの起動によるインストールだった)

最低限のものを入れたらすぐ sid へアップグレード。

@ 旧 HDD からのコピー

ヤバイ状態の旧 HDD を USB 外付け HDD ケースに詰めて

• /home 全部
• /usr/local で必要なもの
• 参照用に /etc の複製
• /var/www、/var/spool

を新しい HDD にコピー。

次に環境の復旧。 以下備忘録。

@ MADWIFI

以前作った Linux kernel 2.6.15 deb パッケージをインストールした後 module-assistant で madwifi をインストールするも、ビルドした GCC のバージョンが違ってロードできず。 kernel は GCC 4.0 の時にビルドしたもので、madwifi は現在のバージョンである GCC 4.1 によるビルドであることが問題。

まずは前にビルドした 2.6.15 のソースディレクトリでカーネルパッケージを GCC 4.1 で作りなおしてインストールし、あらためて module-assistant。

 module-assistant prepare
 module-assistant auto-install madwifi

で /etc/network/interfaces を書き戻す。

@ SMTP サーバを Postfix に

ここずっと使っていた qmail をこの機会にやめることにした。 Postfix へ。

全体の設定はインストーラに従って設定。

個人設定は、

~/.qmail に

 | preline /usr/bin/procmail

として procmail を使っていたので、~/.forward を作って同様に procmail に流すようにする。

 "|IFS='' && exec /usr/bin/procmail -f- || exit 75 #naney"

~/.procmailrc は以前のまま。ClamAV と bsfilter でふるいにかけた後、Maildir へ。

@ bsfilter は deb のものに

以前入れた時は deb が古かったので /usr/local に自前でインストールした。 まずはこれを古い HDD から戻して動作確認後 deb のものに切り替え。

.mew.el の中も

 (load "/usr/share/doc/bsfilter/examples/mua/mew4/mew.el")

に変更。

@ Samba

/etc/samba/smb.conf を書き戻す。smbpasswd でパスワード再設定。

@ X

とりあえずインストール時の設定で xorg.conf を作る。

 Load "freetype"

をコメントアウトして、

 Load "xtt"

に変更。

@ KDE

sid は現在 3.5.3 と 3.5.4 混在状態になっているため、依存関係の問題で簡単にはインストールできずてこずった。 kdebase-data と kdelibs-data の 3.5.3 を http://snapshot.debian.net/ からとってきて hold して 3.5.3 系 KDE として各種パッケージをインストール。

@ フレッシュリーダー

以前インスールした状態に復旧。

1. libapache2-mod-suphp php5-cli をインストール
2. /var/www/freshreader、/etc/apache2/sites-available/freshreader を戻す
3. a2ensite freshreader
4. /etc/init.d/apache2 reload
5. /etc/hosts に freshreader を追加

@ cpufreqd

1. cpufreqd をインストール
2. /etc/cpufreqd.conf を戻す
3. /etc/init.d/cpufreqd restart

@ Skype

skype-beta-1.3.0.30-1_i386.deb をインストール。

@ cron

一般ユーザ naney の crontab ファイルを再登録。

@ Perl モジュール

足りないと気がついた時点で順次インストール。

@ autofs + smbfs (2006年8月3日)

/etc/auto.master、/etc/auto.misc を書き戻して /etc/init.d/autofs restart。

@ mt-daapd (2006年8月22日)

deb パッケージを公式サイトからダウンロードし、/etc/mt-daapd.conf を書き戻して /etc/init.d/mt-daapd restart

• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• Debian Linux kernel 2.6.23 をビルドする。 (2007-12-23)
• CD-R ドライブが使えない (2006-07-27)
• [ Debian ] ThinkPad X31 にインストール (2003-12-03)
• Linux ノート PCを iTunes サーバにしてみる (2006-01-21)

■ 今日のさえずり - 大人が全員黄色い帽子をかぶれば

@ 2008年04月01日

• 09:48 予想に反して電車内に新入社員タムロ組がいない。[mb]
• 09:52 大人が全員黄色い帽子をかぶれば、園児のそれの機能が奪われる。[mb]
• 12:22 [B!] 鳥取県と船橋市の人口がだいたい同じくらいで驚く：ある nakagami の日記：So-net blog http://tinyurl.com/37ma3z
• 12:52 いい陽気なので VQ1005 持って散歩してきた。L:東京都千代田区東神田3
• 15:43 繰り返し stat=Deferred: local mailer (/usr/bin/procmail) exited with EX_TEMPFAIL になっていて重いと思ったら /var/spool/mail/root が 2GB になってた。
• 17:32 MovaTwitter に削除機能があることを知った。[mb]
• 18:22 これから歯医者。[mb]
• 18:30 nearmiss が、スゲー怖いことになっている。背後って。[mb]
• 18:57 歯のクリーニング終了。今回も虫歯無しとのこと。[mb]
• 23:14 Gmail アカウントを2つ同時に使おうと Firefox の profile をもう1つ作って起動したものの、素の Firefox を見たら2つ目を使う気が失せた。
• 23:30 揺れたね。

@ 2008年04月02日

• 08:41 [photo] VQ1005 - 青い自販機 http://tinyurl.com/yurk5c
• 13:00 @kengo0831 Blog の写真とか拝見しましたよ。近くですね。うちの会社は美倉橋のところです。
• 14:53 Google ドキュメント 文書に H4 が欲しい。
• 15:05 @kdmsnr Google ドキュメント 文書のあの pretty ではない HTML を編集する気には……。
• 15:19 グラスホッパー(タミヤRCカー ミニチュアプルバックカーコレクション)つき BOSS を買いそうになった。
• 17:40 @namaRyo VQ1005、フォーカスがどこにあるのかまだ掴めていないんですよねぇ。結構適当に撮ってます。

• 今日のさえずり - 子供がブランコから抜けなくなってる (2008-03-31)
• Hyper Estraier で社内 Web コンテンツ検索 (2006-06-01)
• 今日のさえずり - 首なし犬 (2008-03-26)
• 今日のさえずり - 除虫菊を栽培していただきます (2008-08-05)
• 今日のさえずり - イトーヨーカドーのポイント付加が削られる (2008-04-05)

■ 会社のメールアドレス宛のメールを直接 inbox に入らないようにした

夏休み中は充電のため会社からのメールの携帯電話への転送を一時的に止めておいた。 転送しなくても別に困らないので、このまま止めておくことにした。

それと休日や夜に会社からのしんどいメールを見てしまうと、けっこう後を引いてしまってそんな時はちょっと辛いと感じる。 やはりオンとオフは主体的にコントロールしたい(やる時はもちろんやる)。

Mew の inbox に入ってしまうと否が応でも目にとまり気になってしまうので、会社のメールアドレス宛のメールは直接 inbox に入らないように設定してみた。

~/.procmailrc に以下を追加。

 :0
 * ^TO_会社のメールアドレス
 $HOME/Mail/会社名/inbox/.

これで会社のメールサーバ -> Gmail -> fetchmail -> Postfix -> procmail -> Mew と流れてきた時に Mew では +会社名/inbox に入るようになった。

でメールチェック時に +会社名/inbox から +inbox にもってきて処理していくと。

オフィスにいる時も +inbox には直接入らなくなって受信に気がつくのが遅くなるわけだが「そんなにこまめにメールをチェックしなくてもいいのではないか」をさらに一歩進めたという感じで生産性的には向上することを期待。お急ぎの方は電話かチャットか Skype か携帯電話メールへ。

Gmail 上については迷いどころ。 フィルタで Skip the Inbox してもいいけど、モバイル Gmail からいざ新着チェックしたい時に不便だ。 Gmail については現状維持でいくか。

• そんなにこまめにメールをチェックしなくてもいいのではないか (2007-04-16)
• メールボックスを Gmail に集約 (2007-08-08)
• 一部のドメインのみ Gmail 経由ではなく SMTP over SSH ... (2008-09-04)
• Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)
• 今日のさえずり - 除虫菊を栽培していただきます (2008-08-05)