nDiki : pdumpfs

pdumpfs

Plan9 の dumpfs もどきのバックアップシステム (ファイルシステムではない)。バックアップ先ディレクトリからバックアップを取った任意の日のスナップショットを取得できる。

web

http://namazu.org/~satoru/pdumpfs/

2005年4月2日 (土)

■ DAR で差分/増分バックアップ

普段使っているノート PC は pdumpfs でバックアップをとっている。任意のスナップショットから簡単にファイルを復元できるので、バックアップ用HDDを別に用意できる場合はこれが便利。

@ 問題1

会社で使っている Windows デスクトップは、rsync でWindowsファイルサーバへ同期。 1世代しかバックアップが無い。少なくとも数世代前のファイルが復元できるようにしておきたい。

@ 問題2

某 Linux サーバはバックアップ無し! マズイ。現状、たまに手動で tarball にして保存しているぐらい。

@ DAR

DAR というバックアップコマンドの紹介を見て興味をひかれた。シンプルながらも使い勝手の良さそう。 Linux でも Windows でも動くというのも嬉しい。

@ DAR を使ってみる

Linux 上で試してみる。

@ テスト用ディレクトリを作成

/tmp の下にテスト用ディレクトリ dar を作成。その下に home ディレクトリと var ディレクトリを作成する。

 mkdir -p /tmp/dar/home/naney
 mkdir -p /tmp/dar/var/lib/dar
 echo 'abc' > /tmp/dar/home/naney/file1.txt

/tmp/dar/home 以下バックアップ対象として /tmp/dar/var/lib/dar 以下にバックアップファイルを作成してみることにする。

@ フルバックアップ

最初はフルバックアップ:

 dar -c /tmp/dar/var/lib/dar/home-full \
     -y9 \
     -R /tmp/dar \
     home

/tmp/dar/home をフルバックアップした home-full.1.1.dar が /tmp/dar/var/lib/dar にできる。

@ 差分バックアップ(1回目)

ファイルを1つ追加。

 echo 'def' > /tmp/dar/home/naney/file2.txt

ここで差分バックアップをとる:

 dar -c /tmp/dar/var/lib/dar/home-diff-1 \
     -A /tmp/dar/var/lib/dar/home-full \
     -y9 \
     -R /tmp/dar \
     home

home-full.1.dar に対する差分バックアップファイル home-diff-1.1.dar ができる。

@ 差分バックアップ(2回目)および増分バックアップ

もう1つファイルを追加。それから最初にあったファイルを削除してみる。

 echo 'ghi' > /tmp/dar/home/naney/file3.txt
 rm /tmp/dar/home/naney/file1.txt

ここで差分バックアップ(2回目):

 dar -c /tmp/dar/var/lib/dar/home-diff-2 \
     -A /tmp/dar/var/lib/dar/home-full \
     -y9 \
     -R /tmp/dar \
     home

home-full.1.dar に対する差分バックアップファイル home-diff-1.2.dar ができる。

またインクリメンタルバックアップもとってみる dar -c /tmp/dar/var/lib/dar/home-inc-2 \

    -A /tmp/dar/var/lib/dar/home-diff-1 \
    -y9 \
    -R /tmp/dar \
    home

差分バックアップファイル home-diff-1.1.dar に対する差分バックアップファイル home-diff-2.1.dar ができる。

@ フルバックアップからの復元

 dar -x /tmp/dar/var/lib/dar/home-full

を実行。

 home/naney/file1.txt

が復元される。

@ フルバックアップ+差分1回目からの復元

 dar -x /tmp/dar/var/lib/dar/home-full
 dar -x /tmp/dar/var/lib/dar/home-diff-1

を実行。

 home/naney/file1.txt
 home/naney/file2.txt

が復元される。

@ フルバックアップ+差分2回目からの復元

 dar -x /tmp/dar/var/lib/dar/home-full
 dar -x /tmp/dar/var/lib/dar/home-diff-2

を実行。

 home/naney/file2.txt
 home/naney/file3.txt

が復元される。

@ フルバックアップ+増分1回目(=差分1回目)+増分2回目からの復元

 dar -x /tmp/dar/var/lib/dar/home-full
 dar -x /tmp/dar/var/lib/dar/home-diff-1
 dar -x /tmp/dar/var/lib/dar/home-inc-2

を実行。

 home/naney/file2.txt
 home/naney/file3.txt

が復元される。

@ 運用するには

dar を使ったバックアップスクリプトの作成(ファイル名生成の処理など)
cron による定期バックアップの設定
バックアップファイルをリモートサーバへ転送する手段の用意
古いバックアップファイルの削除(ローカル、サーバ)処理の用意

などが必要か。エラー処理まで含めると結構面倒くさいな。 Perlあたりでまずは簡単なスクリプトを用意するか。

スポンサードリンク

[ permalink ]

私的10大ニュース2004 [ comp ] (2004-12-31)
ファイルシステム作成はノート PC でやっておいた (2006-01-17)
今日のさえずり - スポーツの制裁金ってどこにいくのだ? (2008-06-11)
Linux、rsync でバックアップ (1999-01-23)
今日の秋葉原 (2002-12-16)

[ 4月2日全て ]

2005年4月25日 (月)

■ 痛恨のミス対策に pdumpfs を入れておく

新しいCVS リポジトリを準備しようとして実験しているうちに、別の既存のCVS リポジトリを消してしまったアナタのために(そして将来の自分のために)。

 #!/bin/sh
 /usr/local/bin/pdumpfs /home /var/local/pdumpfs >/var/local/pdumpfs/log \
                        2>/var/local/pdumpfs/error-log
 /usr/local/bin/pdumpfs-clean --keep 2Y12M24W30D /var/local/pdumpfs

同じディスク上なのでもちろんディスク障害がおきたらパーであるが、それはまた別の話として。 pdumpfs-clean の keep 具合は、今後のディスク使用量をみて要調整。

[ permalink ]

[ 4月25日全て ]

2006年1月16日 (月)

■ USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ

会社で使っている Linux サーバ (DELL PowerEdge 2600)内のファイルについて、バックアップをとっていないのがずっと不安であった。なので、まずは外付け HDD を接続して pdumpfs でバックアップしておくことにした。

以下の実作業は松下君が行ってくれたもの。

電源内蔵の HDD BUFFALO HD-H300U2 を購入。比較的人気なのか、市場では品薄の様子。

購入時は FAT32 で1パーティションでフォーマットされている。なんかいろいろソフトが入っているみたいだけれど、まあ使わないからいいや。さっそく接続して mkfs.ext3 でファイルシステムの作成。

ここでトラブル。

inode table を書き込んでいる途中で進行状況を示す数字のカウントアップがだんだん遅くなっていき最後には止まってしまった。おかしいなと思っているうちに Linux 自体がフリーズ。 SSHもWebも接続できないし、コンソールも反応なし。

一瞬「マズ。もしかして間違えて、システムの入っているパーティション指定しちゃった?」と思ったが、再起動すると問題なく立ち上がって一安心。

うーん。原因はなんだろう。いまだに Red Hat Linux 8.0 で Linux kernel も 2.4.20 のままなんだけれど、そのあたりに何かあるのだろうか。

[ permalink ]

ファイルシステム作成はノート PC でやっておいた (2006-01-17)
[ Debian ] GRUB でソフトウェアRAID1 ブート設定 (2004-01-05)
私的10大ニュース2004 [ comp ] (2004-12-31)
今日のさえずり - スポーツの制裁金ってどこにいくのだ? (2008-06-11)
[ Debian ] ThinkPad X31 にインストール (2003-12-03)

[ 1月16日全て ]

2006年1月17日 (火)

■ ファイルシステム作成はノート PC でやっておいた

昨日のHDD問題であるが、今日再度試してみたもののやはり途中で止まってしまう。

しょうがないので自分のノート PC 上で ext3 ファイルシステムを作成してからあらためて接続。マウントは DELL PowerEdge 2600でも問題なくできた。 cron で毎夜実行している pdumpfs のバックアップ先を、USB HDD 側に変更しておく。ちゃんと書き込めているか後で確認。

[ permalink ]

USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ (2006-01-16)
DAR で差分/増分バックアップ (2005-04-02)
納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
お買い物 (2004-01-02)
私的10大ニュース2004 [ comp ] (2004-12-31)

[ 1月17日全て ]

2007年9月22日 (土)

■ 今日のさえずり

7月23日より2カ月ぶりにノート PC を pdumpfs バックアップ。ずいぶんあいてしまった。11:45 AM September 22, 2007

[ permalink ]

[ 9月22日全て ]

2007年12月9日 (日)

■ 今日のさえずり - 1皿に盛られてきた

10:01 明日の一般外来予約した。[mb]
14:00 pdumpfs でノート PC のデータをバックアップ中。気がつけば9月22日から2カ月半以上間があいてしまった。
17:33 鮫洲公園に散歩にいったけれど何の変哲もなかったのでスルーしてきた。
17:40 すかいらーくでプチデザート2つ(2人で)注文したら、1皿に盛られてきた。2つ以上注文すると安くなるのだけれど、これはどうか。

[ permalink ]

ファイルシステム作成はノート PC でやっておいた (2006-01-17)
DAR で差分/増分バックアップ (2005-04-02)
1ヶ月以上ぶりのバックアップ (2004-05-05)
今日のさえずり (2007-09-22)
YAMAHA RTW65b で DHCP 予約アドレスの設定 (2006-11-23)

[ 12月9日全て ]

2008年3月24日 (月)

■ 今日のさえずり - 「ちびたれ」って何だよ。スゲー気になる!

07:47 久しぶりに pdumpfs 実行。前回12月9日か。バックアップさぼりすぎ。
09:03 終了しろ、pdumpfs! (出勤前に)
09:13 pdumpfs 終了した。sync 待ち。
09:26 いつまでも外付け HDD にアクセスし続けていると思ったら、updatedb が動いてた。
11:48 会社のメールアドレスで Google アカウント作った。
12:41 地震? L:東京都千代田区東神田3-1-2
13:14 会社用 Google アカウントの Google カレンダーを週末を表示「いいえ」に設定。
16:18 SafeBoot File Encryptor で暗号化されたファイルをもらった。.exe。
16:54 「ちびたれ」って何だよ。スゲー気になる!
17:59 Microsoft にあわせて「[ファイル] メニュー」のように書いてみたら、LaTeX だとちょっと面倒。\item の直後とか。
19:55 アトレカード新しいのに切り替えた。インフォメーションのお姉ちゃん肌荒れてた。[mb]

[ permalink ]

今日のさえずり - PuTTY って「パティ」なのか (2008-09-11)
今日のさえずり - イトーヨーカドーのポイント付加が削られる (2008-04-05)
過去の今ごろ (2004-01-23)
USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ (2006-01-16)
今日のさえずり - もりもり加湿中 (2008-01-15)

[ 3月24日全て ]

2008年4月22日 (火)

■ 今日のさえずり - 住宅情報マンションズ、すごい重そうだ

@ 2008年04月19日

12:24 プレミアムステージなので、Do Something! 無料購読申し込んでみた。[mb]
17:09 木曜日朝からの肩の痛み(寝違えた?)がまだ残っているのでサロンパス買って貼ったところ。[mb]

@ 2008年04月20日

22:12 間違えてディレクトリツリー消した。バックアップから復旧せねば。
22:16 ありがとう pdumpfs。

@ 2008年04月21日

10:01 スターバックスの秋葉原駅前店で To Go してきた。
12:13 スターバックスラテトールサイズのミルクの量は自分にはやはりキツいようだ。2度トイレにいった。
12:25 Tweetbar アンインストール。
12:26 TwitterFox アンインストール。
13:32 最近妙に疲れる気がする。足元にいっぱい本を積んでいて姿勢が良くなさそうなので、オフィスの机まわりのレイアウトを変更してみた。

@ 2008年04月22日

15:19 Google カレンダー埋め込み支援ツールで作った iframe カレンダーには2個以上非公開カレンダーがあると予定が表示されなくなるな(1個なら大丈夫)。
19:38 駅前で配っている住宅情報マンションズ、すごい重そうだ。配っている人、手首痛めないか? L:秋葉原[mb]

[ permalink ]

今日のさえずり - 港区出身者とはニコニコ学園ネタで盛りあがる (2008-06-24)
今日のさえずり - 先っちょ、あけぼの鮭フレークの瓶に漬けた (2008-11-11)
今日のさえずり - 上げ潮特大号 (2008-09-18)
今日のさえずり - 「ちびたれ」って何だよ。スゲー気になる! (2008-03-24)
納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)

[ 4月22日全て ]

2008年5月28日 (水)

■ 今日のさえずり - 100g 減る前にアタック買いだめ

@ 2008年05月26日

09:28 ヨドバシカメラの開店待ち。L:秋葉原[mb]
09:30 オープン。[mb]
09:40 デジカメプリントオーダー完了。[mb]
22:36 PC2M がプライベートネットワークを晒してしまうことに気付いたので潰しておいた。
23:38 pdumpfs しかけた。風呂。

@ 2008年05月27日

09:43 めざマガ GET。L:秋葉原[mb]
09:47 キャラメルマキアート To Go[mb]
11:49 DataGridView の列幅 AutoSizeMode を AllCells にするのをやめたら劇的にはやくなった。
16:17 久しぶりに Todoist にログイン。
20:27 ヨドバシカメラ 906i の予約始まってる。L:秋葉原[mb]
22:10 SH906i は Bluetooth ワイヤレスキーボードが使えるのか。

@ 2008年05月28日

12:18 イトーヨーカドー大井町店で刑務所作業製品の「キャピック展」展示即売会。今日から。[mb]
12:26 ここ最近 P3 起動していると途中でタイムラインが取れなくなる。
12:28 今の状況だと MovaTwitter 共有ログ表示モード + AutoPagerize が過去ログ見るのに一番快適。
12:30 @lynmock Twitter API 変ですね。間隔3分にしてみていたんですがそれでも駄目でした。[mb]
16:59 Google ドキュメントから「ドキュメントのメール送信」したら、メッセージの改行が全部とっぱらわれてた。[mb]
19:30 そそくさと優先席に座るデブを見ると「だから太るんだよ」と思ってしまう。[mb]
19:48 SO905iCS ソフトウェア更新またきたか。[mb]
19:54 100g 減る前にアタック買いだめしておいた。[mb]
23:46 [B!] FON_APからFON_FREE_INTERNETへ表示変更のお知らせ | FON Blog http://tinyurl.com/6dv2qa
23:56 久しぶりに sid のアップデートかけてる。Perl v5.8.8 から Perl v5.10.0 になるのか。
25:36 sid のアップデートようやく終わった。寝る。

[ permalink ]

今日のさえずり - ささやかな気持ちDES (2008-11-07)
今日のさえずり - ホームレスグーチョコランタン (2008-10-27)
今日のさえずり - 昭和通り側に鯛焼き屋あり (2008-09-30)
今日のさえずり - Twitter ずっと見てたら仕事の効率落ちるんじゃない? (2008-10-31)
SO905iCS ファーストインプレッション (2008-02-16)

[ 5月28日全て ]

2008年7月16日 (水)

■ 今日のさえずり - ミニストップでかにパン発見

@ 2008年07月14日

09:44 ビックカメラ有楽町店でうちわをご自由にお持ちくださいしてる。[mb]
11:52 イマココ! L:八幡宿[mb]
11:54 五井は却下。[mb]
18:04 [photo] 送風猫 http://tinyurl.com/56bmqc
19:00 乗り換え回数1回多くなるけどこの時間京葉線 + りんかい線快適であることが判明。L:新木場[mb]

@ 2008年07月16日

12:23 イマココ! L:千葉駅[mb]
16:35 ミニストップでかにパン発見。[mb]
19:47 Pen 8/1号No.226 の中吊り広告でみたグフの表紙が気になる。[mb]
23:57 pdumpfs 用 HDD が一杯になったので適当に間引き中。

[ permalink ]

今日のさえずり - 上げ潮特大号 (2008-09-18)
今日のさえずり - 公園きたら冬芝種まき中 (2008-10-05)
今日のさえずり - 電話番号が「ニイサンイロジロ」の食事処 (2008-07-03)
今日のさえずり - 「ドン吉くんの鳥グッズ展」終了間近 (2008-08-08)
今日のさえずり - サヨナラ、サンジュウ (2008-11-05)

[ 7月16日全て ]

スポンサードリンク

Related web page

vimrc diary / 2005-11 Bontmia - rsync + pdumpfsのようなバックアップツール

pdumpfsのようなハードリンクを使ったバックアップができる。また、最近1週間分だけ残すとか、1か月おきに残しておくなどという事ができる。多分、これがあればもう他のバックアップツールは要らないだろう。http://folk.uio.no/johnen/bontmia/
http://vimrc.hp.infoseek.co.jp/diary/2005-11.html#2005-11-15-1

nDiki: pdumpfs-clean - 痛恨のミス対策に pdumpfs を入れておく (2005-04-25)

１毎日、領域を決めないで、最低1件、オリジナルな発想を思いつく。２簡潔に手帳に書き込み、できれば絵を描く。３同僚、友人、家族に話し、さらに発展させる ... ■シゴタノ！ - 先送りを繰り返さないようにするコツ仕事につきものなのが「先送り」です。「先送り」対策については、これまでも何度か取り上げていますが、その中で総集編と言えそうなのが以下のエン
http://www.naney.org/diki/dk/pdumpfs-clean.html

シナモン pdumpfs 用パーティションのバックアップ又は移行

受かりました。勉強できなかったのだけれど、アホみたいに良い成績かも。せっかくなんで、自慢。になるのかしらないけど、公開してみる。なんとなく、午後 I で、あと 5 点ほしかったな……… 平成17年度春期情報処理技術者試験成績照会ソフトウェア開発技術者受験番号 SW340 - 1352 の方は，合格です。午前試験のスコアは，765 点です。午後I試験のスコアは，745 点です
http://infobsession.net/~ryu1/d/?200506b&to=200506192#200506192

tach.arege.net: pdumpfs-clean: pdumpfs のバックアップを掃除するツール

のバックアップを掃除します．pdumpfs では，基本的に毎日ディレクトリツリーのスナップショットをとっていくのですが，ハードリンクでとっていくとはいえ，とり続けるといずれはディスクが溢れてしまいます．pdumpfs-clean を使うことにより，不要なバックアップを削除することができます． pdumpfs のバックアップは一日ごとにディレクトリが分かれています． pdumpfs-clean では
http://tach.arege.net/software/pdumpfs-clean/