nDiki : バックアップ

HDD ノート PC USB Linux ソフトウェア メール 妻 ファイルシステム 開発 メモリ 秋葉原 インストーラ CD-ROM カメラ ThinkPad X31 ビルド Debian 復旧 ヨドバシカメラ ext3 SSH 再起動 地震 メモ ファイル名 sid cron バッグ ThinkPad スターバックス

■私的10大ニュース2004 [ comp ]

@ cool programs

• pdumpfs
  • 年初に買った外付けHDDへのバックアップは Linux、Windows とも pdumpfs で。
• Memcached
  • 簡単・高速なキャッシュシステム。使える。
• Firefox
  • Galeon がだんだん使いにくくなってから Mozilla へ。その後正式リリースされた Firefox に乗り換え。
• Subversion
  • 将来的に CVS から移行する事を考えて試験的に導入。良い。Windows でも TortoiseSVN のおかげで簡単に利用できる(CVS にも TortoiseCVS が出て便利になった)。
• 影舞
  • 今年前半のプロジェクトで活躍。
• PAR
  • Windows 向けのプログラムを Perl で書いて気軽に配布できるようになった。素晴しい。wxWidgets + wxPerl を使えば Windows / UNIX のどちらでも使えるGUIアプリケーションが作れる。そういう意味で Java 以外の選択肢として選べるようになった。最も wxWidgets はまだきちんと使い込んでいないけれど。
• NSIS
  • 前述の PAR で exe 化したプログラムのインストーラを作成するのに活用。
• Template Toolkit
  • Webアプリケーション開発プロジェクトで採用。www.naney.org の静的コンテンツの生成でも使い始めた。

@ Palm OS 生活復活

PEG-TJ25を購入し、Palm OS 生活復活。 最初はおもちゃのつもりで買ったのだが、プロジェクトマネジメントなどにシフトした仕事のスケジュール管理などで大活躍。

PDA 市場の明るい話はあまり聞かないが、末長く製品が出て続けて欲しい。

• DAR で差分/増分バックアップ (2005-04-02)
• Module::Build でソースパッケージング (2005-08-24)
• TortoiseCVS 1.8.0-RC4 (2004-08-26)
• JAlbum で Webフォトアルバム (2004-11-14)
• [ Perl ] Memcached を使ってみる (2004-01-12)

■ DAR で差分/増分バックアップ

普段使っているノート PC は pdumpfs でバックアップをとっている。 任意のスナップショットから簡単にファイルを復元できるので、バックアップ用HDDを別に用意できる場合はこれが便利。

@ 問題1

会社で使っている Windows デスクトップは、rsync でWindowsファイルサーバへ同期。 1世代しかバックアップが無い。 少なくとも数世代前のファイルが復元できるようにしておきたい。

@ 問題2

某 Linux サーバはバックアップ無し! マズイ。 現状、たまに手動で tarball にして保存しているぐらい。

@ DAR

DAR というバックアップコマンドの紹介を見て興味をひかれた。 シンプルながらも使い勝手の良さそう。 Linux でも Windows でも動くというのも嬉しい。

@ DAR を使ってみる

Linux 上で試してみる。

@ テスト用ディレクトリを作成

/tmp の下にテスト用ディレクトリ dar を作成。 その下に home ディレクトリと var ディレクトリを作成する。

 mkdir -p /tmp/dar/home/naney
 mkdir -p /tmp/dar/var/lib/dar
 echo 'abc' > /tmp/dar/home/naney/file1.txt

/tmp/dar/home 以下バックアップ対象として /tmp/dar/var/lib/dar 以下にバックアップファイルを作成してみることにする。

@ フルバックアップ

最初はフルバックアップ:

 dar -c /tmp/dar/var/lib/dar/home-full \
     -y9 \
     -R /tmp/dar \
     home

/tmp/dar/home をフルバックアップした home-full.1.1.dar が /tmp/dar/var/lib/dar にできる。

@ 差分バックアップ(1回目)

ファイルを1つ追加。

 echo 'def' > /tmp/dar/home/naney/file2.txt

ここで差分バックアップをとる:

 dar -c /tmp/dar/var/lib/dar/home-diff-1 \
     -A /tmp/dar/var/lib/dar/home-full \
     -y9 \
     -R /tmp/dar \
     home

home-full.1.dar に対する差分バックアップファイル home-diff-1.1.dar ができる。

@ 差分バックアップ(2回目)および増分バックアップ

もう1つファイルを追加。それから最初にあったファイルを削除してみる。

 echo 'ghi' > /tmp/dar/home/naney/file3.txt
 rm /tmp/dar/home/naney/file1.txt

ここで差分バックアップ(2回目):

 dar -c /tmp/dar/var/lib/dar/home-diff-2 \
     -A /tmp/dar/var/lib/dar/home-full \
     -y9 \
     -R /tmp/dar \
     home

home-full.1.dar に対する差分バックアップファイル home-diff-1.2.dar ができる。

またインクリメンタルバックアップもとってみる dar -c /tmp/dar/var/lib/dar/home-inc-2 \

    -A /tmp/dar/var/lib/dar/home-diff-1 \
    -y9 \
    -R /tmp/dar \
    home

差分バックアップファイル home-diff-1.1.dar に対する差分バックアップファイル home-diff-2.1.dar ができる。

@ フルバックアップからの復元

 dar -x /tmp/dar/var/lib/dar/home-full

を実行。

 home/naney/file1.txt

が復元される。

@ フルバックアップ+差分1回目からの復元

 dar -x /tmp/dar/var/lib/dar/home-full
 dar -x /tmp/dar/var/lib/dar/home-diff-1

を実行。

 home/naney/file1.txt
 home/naney/file2.txt

が復元される。

@ フルバックアップ+差分2回目からの復元

 dar -x /tmp/dar/var/lib/dar/home-full
 dar -x /tmp/dar/var/lib/dar/home-diff-2

を実行。

 home/naney/file2.txt
 home/naney/file3.txt

が復元される。

@ フルバックアップ+増分1回目(=差分1回目)+増分2回目からの復元

 dar -x /tmp/dar/var/lib/dar/home-full
 dar -x /tmp/dar/var/lib/dar/home-diff-1
 dar -x /tmp/dar/var/lib/dar/home-inc-2

を実行。

 home/naney/file2.txt
 home/naney/file3.txt

が復元される。

@ 運用するには

• dar を使ったバックアップスクリプトの作成(ファイル名生成の処理など)
• cron による定期バックアップの設定
• バックアップファイルをリモートサーバへ転送する手段の用意
• 古いバックアップファイルの削除(ローカル、サーバ)処理の用意

などが必要か。 エラー処理まで含めると結構面倒くさいな。 Perlあたりでまずは簡単なスクリプトを用意するか。

• 私的10大ニュース2004 [ comp ] (2004-12-31)
• Linux、rsync でバックアップ (1999-01-23)
• 今日のさえずり - スポーツの制裁金ってどこにいくのだ? (2008-06-11)
• ファイルシステム作成はノート PC でやっておいた (2006-01-17)
• Windows で pdumpfs (2004-11-14)

■ [ WiKicker ] Storable 永続化データの互換性

fkimura 氏から WiKicker の障害レポートをいただいた。 Perl v5.8.6 へ移行した環境で WiKicker 0.26 を試してみたところエラーになってしまうとのこと。

 "Error
 action: do_read: Byte order is not compatible at blib/lib/Storable.pm
 (autosplit into blib/lib/auto/Storable/thaw.al) line 366,
 at /usr/local/lib/perl5/site_perl/5.8.6/WiKicker/DB/File.pm line 161
 at /usr/local/lib/perl5/site_perl/5.8.6/WiKicker/CGI/AbstractController.pm line 93"

(FreeBSD 4.11-RELEASE-p9)

Storable がエラーを吐いている。 Storable データ形式に互換性のない環境 (Perl and/or Storable) 変化があったようだ。

例えば Storable のマニュアルによれば 64bit integer をサポートするように構築された Perl v5.6.0 や v5.6.1 で Storable 2.02 以前を使って書き出したデータを他の環境で読み出すと 'Byte order is not compatible' エラーが出るとある。

確認したところ前のバージョンは Perl v5.6.2 だそうなので、もしかしたら上記の非互換性にあたってしまったのかもしれない (FreeBSD の Perl って 64bit integer サポートでビルドされるようになっている?)。

@ WiKicker での対応方法

WiKicker で使用している Perl のアップグレードで上記問題にあたった場合、一番簡単な方法は Storable で書き出しているページ情報ファイルを一旦全部消してしまうという方法。

WiKicker のデータベースディレクトリ (wikicker.database.directory プロパティで指定しているディレクトリ)の下の、info/basic/* を全て消してしまう(一応バックアップとしてコピーした方が良い)。

この場合、各ページの「最終更新時刻、最終更新者名、要約文」が消えてしまうが、これらの消えてしまった情報は次にページを更新した時に最新の情報で上書きされる。

WikiPage そのものおよび古いリビジョンは影響がなく全て残っているので、通常の運用ではまあ許容できる範囲の対処方法か。

情報ファイルを消したくない場合は、コンバートする必要があるけれど古い Storable データを読み出せる環境で export して、新しい形式で書き直す必要があるので作業する人にとってもちょっと面倒かもしれない。いや、新しい Storable ならば $Storable::interwork_56_64bit あたりを使えば両方をきりかえて読めそうであるので、新しい環境だけあればいいのかな。

• SQLite とか DbUnit とか (2005-05-23)
• [ WiKicker ] キャッシュまわりにバグ (2004-06-05)
• [ Perl ] Memcached を使ってみる (2004-01-12)
• [ WiKicker ] SpeedyCGI 対応するも…… (2003-11-09)
• aufs で inotify を使ってブランチ上の直接の変更をすぐに反映させる (2008-01-05)

■ お気に入りの Palmware

松下君が PEG-TH55 を入手。 これでオフィスの Palm OS ユーザの割合が増えた。

ここら辺で自分が PEG-TJ25 で良く使っている Palmware を再確認してみよう。

@ [ 入力 ] Graffiti

Graffiti 2 は嫌。

@ [ 入力 ] POBoxFEP

予測入力。必須。

@ [ 入力 ] Block Auto-Shifting

オートシフト機能を無効化。

@ [ 入力 ] Capitalizer

PEG-TJ25 + Graffiti で境界またぎの大文字入力をするためにインストール (Graffiti 2 のままなら不要)。

@ [ 予定表 + To Do ] DateBk5

予定表 + To Do

自分にとってキラーアプリ。

@ [ To Do ] Progect

プロジェクト単位などで To Do、コミットメントなどを管理したい時に利用。

自分にとってキラーアプリ。

@ [ メモ帳 ] PsMemo

メモ帳の置き換えアプリ。

@ [ 電源 ] OffStroke

PEG-TJ25 は若干電源ボタンで電源オフしづらいので、ペンストロークで電源オフできるように。

@ [ 電源 ] AutoDimmer

しばらく操作をしないと輝度を落とす。バッテリー消費を押さえてくれる。

@ [ 起動 ] DA Launcher

DA起動用。

@ [ 起動 ] BDAL

ハードウェアボタンから AdA を起動するために使用。

@ [ 起動 ] AdA

BDAL と組み合わせて、ハードウェアボタンから起動できるアプリケーションを増やす。

@ [ ユーティリティ ] 電卓(内蔵)

特に置き換えてなかったな。

@ [ バックアップ ] Ms Backup(内蔵)

結局今のところ、数日毎に手動でメモリースティックに手動バックアップ。

@ [ 日本語 ] PowerLOCALIZER

DateBk5、AutoDimmer などのローカライズに使用。

@ [ 日本語 ] tsPatch

DateBk5 でのTiny/Small表示用。

@ [ HotSync ] HotSync (内蔵)

普段使っているものはこれぐらい。 あといくつか、たまにしか使わない Palmware (含む DA) がインストールされている。

基本的には

• DateBk5
• Progect

2本を中心に作業をしているといった感じ。

• PEG-TJ25購入 (2004-03-05)
• PEG-TJ25インストールメモ (2004-03-28)
• PEG-TJ25インストールメモ (2004-10-20)
• [ CLIE ] PEG-TJ25 の Graffiti 2 を Graf... (2004-03-25)
• Windows でも Linux でも動くタスク管理ツール Task Coach (2006-01-12)

■ 納品前日なのに /var が壊れた! HDDからのブートで Debian 再インストール

午後になって「今日はメールがあまりこないな」と思っていたら、実はノート PCの /var が 100% を越えていた。 しかし急に何で?

 Filesystem          サイズ  使用  残り 使用% マウント位置
 /dev/hda1             9.2G  7.5G  1.3G  86% /
 tmpfs                 505M   16K  505M   1% /dev/shm
 /dev/hda2              19G   14G  3.9G  79% /home
 /dev/hda3             185M  -64Z  163M 101% /var
 /dev/hda5             1.2G  347M  813M  30% /tmp

いや、そもそも /var は 3.7GB ぐらい取ってあったはず。……ヤバイ? /var を除くと空の /var/lib と、空の lost+found のみ。 おや? あれ?

一旦シャットダウン。/var が無いので各 daemon が悲鳴をあげつつ終了。 でシングルユーザで起動して fsck。 酷い有様のようだ。 ここまで /var が壊れるとどうしようもないなあ。/var/lib/dpkg 以下がごっそり無いのは Debian 的に痛い。

納品を明日に控えているんですけどね。TeX のドキュメントもまだまだ書かなければいけないんですけどね (/var/lib/texmf も無い)。 メールのチェックもままならない(/var/qmail も /var/spool も無い)。

再インストールかぁ。幸い / と /home が生きているから被害は最小限。 下手に無理して使い続けて他に悪影響が出てファイルを壊したりしないうちに、やってしまった方が良さそうだ。

@ 再インストール

まずは sarge で Debian GNU/Linux を入れ直す。 USB FDD も USB CD-ROM ドライブも自宅で手元にないという状態の ThinkPad X31 ということで、 HDD からのブートをチョイス。

最初に / パーティションにある /usr/local を /home/naney 以下に退避。 次にGRUBからインストーラが起動するようにする。

 mkdir /boot/newinstall
 cd /boot/newinstall
 wget http://http.us.debian.org/debian/dists/sarge/main\
 /installer-i386/current/images/netboot/debian-installer/i386/initrd.gz
 wget http://http.us.debian.org/debian/dists/sarge/main\
 /installer-i386/current/images/netboot/debian-installer/i386/linux
 mv linux vmlinuz

/boot/grub/menu.lst に

 title New Install
 kernel (hd0,0)/boot/newinstall/vmlinuz root=/dev/ram0 ramdisk_size=12000
 initrd (hd0,0)/boot/newinstall/initrd.gz

を追加してリブート。GRUB のメニューから New Install を選んで起動させ、インストーラを立ち上げる。 パーティションの設定で

• / と /var があったパーティションは初期化 (ext3)
• /var と /tmp と のパーティションはそのままマウントするように設定
• swap は今までと同じ /dev/hda6

あとは普通にネットワークインストール。 思ったより簡単に復旧できそうだ。CD-ROM やフロッピーディスクを作るよりよっぽど簡単。

最小限のパッケージだけ入れたらすぐに sid にアップグレードし、後は作業しながら足りないものを順次インストール・設定。

/etc の下のバックアップは自宅にある外付けHDにあり、これを参照しないかゆいところまで手の届いた設定に戻していくのは大変。 とりあえず 会社では qmail の設定など必要な範囲のみに留めておく。

Linu kernel は以前作った deb 一式をとっておいたのでそれで置き換え。 有線LAN + DHCPな難境だったので、ネットワークまわりほぼ設定不要で助かった。

MADWIFI や cpufreqd あたりの設定は自宅に戻ってから復旧させた。

@ 被害状況

/var の lost+found をみると 11:35 ぐらいに /var に書き込めなくなったようだ。 気がついたのが 14:30 ぐらいで、再インストールしてある程度作業ができる状態 (メールまわり、X、Emacs まわり他)になったのが、19:00すぎ。

問題確認後、作業中のファイルを失わずに Subversion リポジトリにコミットでき、もう一台のデスクトップ Windows PC で作業を継続できたのは不幸中の幸い。

しかし /var の破損の原因は何なんだろう。HDDの問題に起因するとなると今後もこわすぎるな。

• Debian GNU/Linux sid 環境を新 HDD へ (2006-07-29)
• QEMU を使って Debian GNU/Linux 上で Windows... (2005-04-08)
• [ Debian ] ThinkPad X31 にインストール (2003-12-03)
• 今日のさえずり - サーバ止めた。この静寂がたまらない。 (2008-11-16)
• DynaBook SS 3440を再セットアップして里子に (2004-03-06)

■ Konqueror それとも Nautilus

普段は mlterm 上で ls しながらボチボチファイルの整理をするのだが、さすがにファイルが増えてしまっているファイル・ディレクトリはちょっとかったるい。 定期バックアップを前にいらないファイルをチェックして捨てたいので、なんかファイルマネージャを使おう。

この間 Nautilus 2.10.1 を使ってみたが、いまいち使い勝手がよくないので今日は Konqueror 3.4.2 にしてみた。 ほう。こっちの方がいいね。 GTK+ / GNOME派 か Qt / KDE 派かといわれれば前者の方を使う機会が多かったのだが、後者もなかなかいいなと思ったり。

• Window Makerでシステムトレイ (2005-02-01)
• 今日のさえずり - Windows XP に入れた Konqueror で... (2008-01-30)
• 日本語ファイル名どんとこい (2005-03-07)
• amaroK で Linux 上の iTunes 音楽データを聞く (2006-01-22)
• LinuxWorld Conference & Expo (2006-08-16)

■ X.Org X server 6.9.0 の ATI ドライバは駄目?

昨日の夜 X が上がらなくなってしまった。 さすがに X が上がらないと、仕事でも困る。

昨年9月に同じPCで/var が壊れたということもあり、HDD関連の問題で関連ファイルが壊れることによる問題であるとしたらかなりマズい。 とりあえずバックアップ。

で、Webで情報を漁りながらいろいろと確認。 去年末あたりから sid の X.Org X server 関連の deb パッケージが 6.9 系にあがっているのだが、どうもこのバージョンの ATI ドライバで不具合にあたっている人がいるようだ。

使っている ThinkPad X31 (2672-PHJ) は ATI MOBILITY RADEON (AGP 4X) で、まさに ATI ドライバを使っている。 これかな?

とりあえず VESA ドライバにして起動したところ、X が立ち上がった。 ふう。まずはとりあえず一安心。VESA ドライバのままだと遅いのだが、起動しないよりはずっとマシだ。 しばらくはこれで様子見しよう。

ちなみに昨日の dvipdfmx の方は /etc/texmf/dvipdfm/dvipdfmx.cfg に

 f jis-cjk.map

の行を追加して横書きのフォント処理が通るように。 縦書きの方はどうすればいいのかな。

• ThinkPad X31 + Debian で Google Earth ... (2006-12-09)
• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ (2006-01-16)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• まいった、X 起動しなくなっちゃったよ (2006-01-10)

■ USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ

会社で使っている Linux サーバ (DELL PowerEdge 2600)内のファイルについて、バックアップをとっていないのがずっと不安であった。 なので、まずは外付け HDD を接続して pdumpfs でバックアップしておくことにした。

以下の実作業は松下君が行ってくれたもの。

電源内蔵の HDD BUFFALO HD-H300U2 を購入。 比較的人気なのか、市場では品薄の様子。

購入時は FAT32 で1パーティションでフォーマットされている。 なんかいろいろソフトが入っているみたいだけれど、まあ使わないからいいや。 さっそく接続して mkfs.ext3 でファイルシステムの作成。

ここでトラブル。

inode table を書き込んでいる途中で進行状況を示す数字のカウントアップがだんだん遅くなっていき最後には止まってしまった。 おかしいなと思っているうちに Linux 自体がフリーズ。 SSHもWebも接続できないし、コンソールも反応なし。

一瞬「マズ。もしかして間違えて、システムの入っているパーティション指定しちゃった?」と思ったが、再起動すると問題なく立ち上がって一安心。

うーん。原因はなんだろう。いまだに Red Hat Linux 8.0 で Linux kernel も 2.4.20 のままなんだけれど、そのあたりに何かあるのだろうか。

• ファイルシステム作成はノート PC でやっておいた (2006-01-17)
• [ Debian ] GRUB でソフトウェアRAID1 ブート設定 (2004-01-05)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• 今日のさえずり - スポーツの制裁金ってどこにいくのだ? (2008-06-11)
• 買ってもすぐ飽きるだろうけどデジタルオーディオプレーヤー選び (2005-12-28)

■ ファイルシステム作成はノート PC でやっておいた

昨日のHDD問題であるが、今日再度試してみたもののやはり途中で止まってしまう。

しょうがないので自分のノート PC 上で ext3 ファイルシステムを作成してからあらためて接続。 マウントは DELL PowerEdge 2600でも問題なくできた。 cron で毎夜実行している pdumpfs のバックアップ先を、USB HDD 側に変更しておく。 ちゃんと書き込めているか後で確認。

• USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ (2006-01-16)
• DAR で差分/増分バックアップ (2005-04-02)
• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• お買い物 (2004-01-02)
• 私的10大ニュース2004 [ comp ] (2004-12-31)

■ Palm の充電池が切れてた

ゴールデンウィーク中に、その気になったら一部データを GTD システムの方へ転記しておこうと思って、会社を出る時に手帳の入っている CLIE をポーチに放り込んでおいた。

ふと見たら、カバーがズレていた。 PEG-TJ25、たまにカバーが外れるんだよね。

そういえば電池どれぐらい残っているかな?

……動きません。

もしかしたら、液晶に何かがずっと触れて電源が入りっぱなしだったのかもしれない。 あちゃ。

ゴールデンウィーク明けにメモリースティック上のバックアップから復旧するか。 ここ最近電卓としてしか使ってなかったから、ロストしたデータは無いはず。

• ソニー サイバーショットU DSC-U40/B 購入 (2004-03-18)
• 私にとっての PDA の長所と短所 (2005-11-27)
• PEG-TJ25 インストールメモ (2004-04-30)
• 渋谷のロフトにほぼ日手帳2006を見にいった (2005-09-11)
• TC-1 壊れた? (2003-04-30)