nDiki : procmail

Clam AntiVirus + procmail でウイルス除去

• Samba で Windows から書き込めるようにしてあるディレクトリのウイルスチェック用
• ウイルスメールの振り分け用

として Clam AntiVirus (ClamAV) を入れてみた。

debパッケージで clamav 他関連パッケージをインストール。 データベースの更新は cron による更新を選択。 お手軽。

ファイルのチェック

ディレクトリのチェックは

 clamscan -r

で。

メールの振り分け

ウイルスメールの振り分けは spam メールとあわせて bogofilter で行ってきていた。 ウイルスメールもだいたい検出できているのだが、すり抜けるものもある。 procmail で bogofilter の前に ClamAV で振り分けるようにしよう。

.procmailrc に

 #------------------------
 # Clam Antivirus
 #------------------------
 :0 HB
 * ? /usr/bin/clamscan --log=$HOME/clamscan.log --quiet - ;test $? = "1"
 $HOME/Mail/newvirus/.

を追加。

bogofilter のDB作り直し

昨日 ClamAV を設定したので、bogofilter の DB からウイルスメール登録の undo をかけた。 結果、うまくフィルタリングができなくなった。

しょうがないのでDBを一旦削除し、約19,000ある過去spamメールを登録し直す。 が、フィルタリングしない。

あれ?

bogofilter -t でチェックをしてみても spam を spam と判定していない様子。

でいろいろいじったところ non-spamメールの方の登録が全く無いと駄目のようだ。 さっき作り直したDBは削除してしまったので、non-spam をある程度登録した後に spamメール約19,000を登録し直し。 かなり時間がかかってしまったが、これで元通りきちんとフィルタリングできるようになった。

ついでに今回からは procmail から呼び出す bogofilter に -u オプションを設定して、どんどん DB を強化する事にする。 なので、今までは誤認識した場合は -s / -n で新規登録のみしていたところを、今後は -Ns / -Sn で undo してから登録するようにする必要あり(本当は spam として振り分けなかった場合 non-spam か unsure のどちらかなので、後者の場合は -Sn ではなく -n にすべき)。

bogofilter が日本語 spam メールを弾けなくなったのでDB作り直し

最近 bogofilter が日本語 spam メールをほとんど弾かなくなってきている。 英語や中国語のspamメールはきちんと弾いているのだけれども。

チェックしてみると逆に積極的に non-spam 判定されている spam メールもある。

前回設定を見直した時、procmail から bogofilter を呼び出した際に -u オプションでどんどん新規登録するようにしたのだが、どうもこれで誤登録を重ねてしまっているようだ。

spam メールも non-spam メールも最終的には全て目視でチェックしており、不適切な振り分けがあった場合は手動で再学習させるようにしている。 spam メールが bogofilter -u で spam として振り分けられなかった場合

• non-spam 判定されている -> bogofilter -Ns で一旦 undo してから登録
• unsure 判定されている -> bogofilter -s で登録

とするべきで当初そうしていたのだが、最近横着をしてすべて -s してしまっていた。

どうもこれでspamに特有な語が non-spam 側のテーブルにも残ってしまい、結果 non-spam 側に判定が傾きがちになってしまったようだ。そうこしているあいだに -u でどんどん誤登録が進んでしまったと思われる。

手動ではもはやDBをいい塩梅にもっていけなさそうなので、DBを作り直し。 26,000件の spam メールの登録をしかけて、就寝。

bogofilter から bsfilter に乗り換え

spam メールは procmail で bogofilter (with nkf + KAKASI) しているのだが、以前からちょっと挙動が変である。 すり抜けてきた spam メールをあらためて、bogofilter で判定してみると spam メール判定になることがしばしば。

ということで、Mew を 4.2 にアップデートしたついでに spam フィルタを bsfilter にかえてみることにした。

sid のパッケージはちょっと古いので、tarball を持ってきて /usr/local の下に展開。

procmail

.procmailrc に以下を追加:

 #------------------------
 # bsfilter
 #------------------------
 :0 HB:
 * ? /usr/local/bsfilter-1.0.7/bsfilter/bsfilter
 $HOME/Mail/newspam/.

Mew

それから Mew の方は /usr/local/bsfilter-1.0.7/mua/mew4/ の下の emacs.el と mew.el をロードするようにしておく。

• inbox に spam メールがきたら、Summary mode で 'ls'。
• (procmail の振り分けで)newspam に ham メールがきたら、Summary mode で 'lh'。

今回は収集済みの spam メールをまとめて登録することなく、新着のもののみポチポチ登録しているのだがそれでも十分振り分けてくれる。

使い始めの感蝕としては、 bogofilter より bsfilter の方が積極的に spam メール判定になっている感じだ。bigram による傾向なのかな?

Debian GNU/Linux sid 環境を新 HDD へ

朝から ThinkPad X31 の HDD 新しく入れ替えて Debian GNU/Linux sid のインストールを開始。

Debian GNU/Linux のインストール

今日は sarge のネットワークインストール CD イメージからブートしてインストール。 今回はブートドライブにできる「ThinkPad USB ポータブルCD－ROMドライブ」があり、またこのイメージで起動して e1000 が認識できるので楽勝である。

(第1回目は USB FDD + PC カード NIC でインストール、第2回目 は HDD 上のインストーラから GRUB からの起動によるインストールだった)

最低限のものを入れたらすぐ sid へアップグレード。

旧 HDD からのコピー

ヤバイ状態の旧 HDD を USB 外付け HDD ケースに詰めて

• /home 全部
• /usr/local で必要なもの
• 参照用に /etc の複製
• /var/www、/var/spool

を新しい HDD にコピー。

次に環境の復旧。 以下備忘録。

MADWIFI

以前作った Linux kernel 2.6.15 deb パッケージをインストールした後 module-assistant で madwifi をインストールするも、ビルドした GCC のバージョンが違ってロードできず。 kernel は GCC 4.0 の時にビルドしたもので、madwifi は現在のバージョンである GCC 4.1 によるビルドであることが問題。

まずは前にビルドした 2.6.15 のソースディレクトリでカーネルパッケージを GCC 4.1 で作りなおしてインストールし、あらためて module-assistant。

 module-assistant prepare
 module-assistant auto-install madwifi

で /etc/network/interfaces を書き戻す。

SMTP サーバを Postfix に

ここずっと使っていた qmail をこの機会にやめることにした。 Postfix へ。

全体の設定はインストーラに従って設定。

個人設定は、

~/.qmail に

 | preline /usr/bin/procmail

として procmail を使っていたので、~/.forward を作って同様に procmail に流すようにする。

 "|IFS='' && exec /usr/bin/procmail -f- || exit 75 #naney"

~/.procmailrc は以前のまま。ClamAV と bsfilter でふるいにかけた後、Maildir へ。

bsfilter は deb のものに

以前入れた時は deb が古かったので /usr/local に自前でインストールした。 まずはこれを古い HDD から戻して動作確認後 deb のものに切り替え。

.mew.el の中も

 (load "/usr/share/doc/bsfilter/examples/mua/mew4/mew.el")

に変更。

Samba

/etc/samba/smb.conf を書き戻す。smbpasswd でパスワード再設定。

X

とりあえずインストール時の設定で xorg.conf を作る。

 Load "freetype"

をコメントアウトして、

 Load "xtt"

に変更。

KDE

sid は現在 3.5.3 と 3.5.4 混在状態になっているため、依存関係の問題で簡単にはインストールできずてこずった。 kdebase-data と kdelibs-data の 3.5.3 を http://snapshot.debian.net/ からとってきて hold して 3.5.3 系 KDE として各種パッケージをインストール。

フレッシュリーダー

以前インスールした状態に復旧。

1. libapache2-mod-suphp php5-cli をインストール
2. /var/www/freshreader、/etc/apache2/sites-available/freshreader を戻す
3. a2ensite freshreader
4. /etc/init.d/apache2 reload
5. /etc/hosts に freshreader を追加

cpufreqd

1. cpufreqd をインストール
2. /etc/cpufreqd.conf を戻す
3. /etc/init.d/cpufreqd restart

Skype

skype-beta-1.3.0.30-1_i386.deb をインストール。

cron

一般ユーザ naney の crontab ファイルを再登録。

Perl モジュール

足りないと気がついた時点で順次インストール。

autofs + smbfs (2006年8月3日)

/etc/auto.master、/etc/auto.misc を書き戻して /etc/init.d/autofs restart。

mt-daapd (2006年8月22日)

deb パッケージを公式サイトからダウンロードし、/etc/mt-daapd.conf を書き戻して /etc/init.d/mt-daapd restart

今日のさえずり - 大人が全員黄色い帽子をかぶれば

2008年04月01日

• 09:48 予想に反して電車内に新入社員タムロ組がいない。[mb]
• 09:52 大人が全員黄色い帽子をかぶれば、園児のそれの機能が奪われる。[mb]
• 12:22 [B!] 鳥取県と船橋市の人口がだいたい同じくらいで驚く：ある nakagami の日記：So-net blog http://tinyurl.com/37ma3z
• 12:52 いい陽気なので VQ1005 持って散歩してきた。L:東京都千代田区東神田3
• 15:43 繰り返し stat=Deferred: local mailer (/usr/bin/procmail) exited with EX_TEMPFAIL になっていて重いと思ったら /var/spool/mail/root が 2GB になってた。
• 17:32 MovaTwitter に削除機能があることを知った。[mb]
• 18:22 これから歯医者。[mb]
• 18:30 nearmiss が、スゲー怖いことになっている。背後って。[mb]
• 18:57 歯のクリーニング終了。今回も虫歯無しとのこと。[mb]
• 23:14 Gmail アカウントを2つ同時に使おうと Firefox の profile をもう1つ作って起動したものの、素の Firefox を見たら2つ目を使う気が失せた。
• 23:30 揺れたね。

2008年04月02日

• 08:41 [photo] VQ1005 - 青い自販機 http://tinyurl.com/yurk5c
• 13:00 @kengo0831 Blog の写真とか拝見しましたよ。近くですね。うちの会社は美倉橋のところです。
• 14:53 Google ドキュメント 文書に H4 が欲しい。
• 15:05 @kdmsnr Google ドキュメント 文書のあの pretty ではない HTML を編集する気には……。
• 15:19 グラスホッパー(タミヤRCカー ミニチュアプルバックカーコレクション)つき BOSS を買いそうになった。
• 17:40 @namaRyo VQ1005、フォーカスがどこにあるのかまだ掴めていないんですよねぇ。結構適当に撮ってます。

会社のメールアドレス宛のメールを直接 inbox に入らないようにした

夏休み中は充電のため会社からのメールの携帯電話への転送を一時的に止めておいた。 転送しなくても別に困らないので、このまま止めておくことにした。

それと休日や夜に会社からのしんどいメールを見てしまうと、けっこう後を引いてしまってそんな時はちょっと辛いと感じる。 やはりオンとオフは主体的にコントロールしたい(やる時はもちろんやる)。

Mew の inbox に入ってしまうと否が応でも目にとまり気になってしまうので、会社のメールアドレス宛のメールは直接 inbox に入らないように設定してみた。

~/.procmailrc に以下を追加。

 :0
 * ^TO_会社のメールアドレス
 $HOME/Mail/会社名/inbox/.

これで会社のメールサーバ -> Gmail -> fetchmail -> Postfix -> procmail -> Mew と流れてきた時に Mew では +会社名/inbox に入るようになった。

でメールチェック時に +会社名/inbox から +inbox にもってきて処理していくと。

オフィスにいる時も +inbox には直接入らなくなって受信に気がつくのが遅くなるわけだが「そんなにこまめにメールをチェックしなくてもいいのではないか」をさらに一歩進めたという感じで生産性的には向上することを期待。お急ぎの方は電話かチャットか Skype か携帯電話メールへ。

Gmail 上については迷いどころ。 フィルタで Skip the Inbox してもいいけど、モバイル Gmail からいざ新着チェックしたい時に不便だ。 Gmail については現状維持でいくか。

/home を書き戻して ThinkPad X200 へ乗り換え完了

昨日からの作業は以下。

ロストすると一番痛いのはメール。 現行の設定を引き継ぐのに必要な Debian パッケージ (postfix、fetchmail、procmail、mew、bsfilter、clamav など) をインストール。

それからいきなり X Window System が起動しないように gdm をアンインストール。 デスクトップは KDE を使っているので必要そうなパッケージを変わりにインストール。

その後 ThinkPad X31 でいつも通りに pdumpfs を実行して外付け HDD に /home・/etc・/var のスナップショットを保存。で ThinkPad X200 につなぎかえて cp -a で /home をコピー。

~/.kde/ は前回途中で KDE のバージョンが大きく上がったこともあって、移行的な設定も残っていそうなので今回は破棄して心機一転とした。

それと、こちら過去のものをそのまま使いたかったのだがなんか挙動が変だったので ~/.mozilla/ も削除して(リネームして)作り直し。ブックマークはとりあえずエクスポートして移した。 ScrapBook で保存したページも後で移行しなければな。

これで /home の移行完了。あとは同期するのも面倒なので ThinkPad X31 は退役として ThinkPad X200 を母艦とすることにしよう。

明日から ThinkPad X200 持ち歩き。

Gmail から Gmail へ転送したメールを procmail で分類

Google Buzz 導入の流れで Gmail アカウントを2つに分けた。 で、新アカウントから現アカウントへは受信メールを全て転送するように設定しつつ、両方から POP でローカルに受信するように設定したら当然同じメールが2回 POP されるようになった(現アカウントからの POP だけだと新アカウントの Web インタフェースから送信した自分のメールがローカルに残らないので両方から POP 受信するようにしている)。

2通ずつ届くのは繁雑なので Gmail -> fetchmail -> procmail -> maildir -> Mew とくる際に、procmail で別フォルダへ移してしまうように設定。

 :0
 * ^X-Forwarded-For: me.from@gmail.com me.to@gmail.com
 $HOME/Mail/me.from/forwarded/.

X-Forwaded-For ヘッダを見て自分の Gmail アカウントから Gmail アカウントへ転送したメールだったら直接指定したフォルダへ移すようにした。 これで余分な1通は目に見えなくなった (今のところは一応バックアップ的に残しておく)。

なお「IMAP 使えばいいじゃん」というコメントももらっているので、今後はそちらも検討。Mew で久しぶりに IMAP でアクセスしてみて使えることは確認。 今のメール処理の流れが体に染みついているのと、コピーをローカルフォルダに残しておきたい気持ちがあるので、そのあたりも含めてちょっと整理したいところ。

今日のさえずり - 入り口に盛り塩?

2010年02月15日

• 09:41 I'm at 秋葉原駅 w/ @hoge_systemz. http://4sq.com/68fhHr
• 11:09 Gmail -> Gmail で転送設定して、両方から POP 受信していると当然メールがダブる。 X-Forwarded-For ヘッダを見て転送された方のメールは fetchmail した際に procmail で別フォルダに自動的に分けるように設定した。
• 11:20 @Keiichi_SHIGA Gmail はやはり IMAP ですか? Mew からの IMAP に慣れていなくて、以前設定しましたがあまり使ってませんでした。
• 11:33 @Keiichi_SHIGA Gmail の IMAP よくできているんですか。では久しぶりにまた使ってみます。情報ありがとうございます。
• 12:00 Mew の IMAP だと Mew の mark = Gmail の star なのか。間違えて外してしまった。
• 12:05 入り口に盛り塩? (@ ファミリーマート神田佐久間町店) http://4sq.com/biJuCj
• 12:10 がっつり!398弁当(昼食) 398円。ファミリーマート。
• 12:11 会社でバレンタインデーのチョコレートもらったよ。この会社でもらうの初めてかな。
• 12:27 Buzz2Twitter って誰か使っている人いるかな。ピンポン防止とかあるのかな。 http://bit.ly/aMPQxO
• 12:40 チョコレートありがとう。 http://movapic.com/...
• 12:45 2010年2月13日の歩行: 3886歩、2.97km、34分、5.12km/h、消費 153.8kcal、脂肪燃焼 22.0g、2.1エクササイズ。
• 12:47 2010年2月14日の歩行: 4179歩、3.19km、39分、4.89km/h、消費 159.2kcal、脂肪燃焼 22.7g、2.2エクササイズ。
• 12:53 Xperia X10 mini と Xperia X10 mini pro か。軽薄短小はいいことだ。
• 16:01 TrueCrypt 仮想ボリュームに入れていた Google Chrome Portable を削除して、Google Chrome 4.0 をインストールし --user-data-dir を TrueCrypt 仮想ボリューム上に作るように変更。
• 16:04 Google Chrome の拡張機能をある程度入れて、デスクトップ PC の Web ブラウザは Firefox から移行するかな。
• 17:41 お腹が空いたので @nyafuru にもらったなんとかケーキ頂いた。東京駅の味がした。ごちそうさまです。
• 18:53 事業統括にこの間見せたマインドマップについて質問された。そういえば最近テレビでマインドマップが取り上げられたんだっけ?
• 19:36 I'm at 秋葉原駅 (秋葉原駅, 千代田区) w/ 2 others. http://4sq.com/68fhHr
• 19:57 PC2M がキープしてくれていた foursquare のセッションが切れた。パスワード憶えていないからオアズケ状態。
• 21:26 @nyafuru レモンケーキか。東京土産でこんな感じの味のお菓子があった気がしたな。美味しかったよ。
• 23:59 Google Chrome って Firefox よりメモリ食いなのか。
• 24:10 RT @kiribansan: @seijiueda フォロワー数 777 番目は多分 @Naney でした。
• 24:30 ん? Google Chrome のブックマークの同期機能って、同期先は Google ブックマークではなくて Google ドキュメントなのか。これだと Google ツールバー上のブックマークボタンのと共有されないんだな。