nDiki : ext3

USB HDD 再起動 バックアップ RAID Debian インストール ノート PC Debian GNU/Linux CD-ROM PCI GRUB ソフトウェア NTFS PowerEdge 2600 pdumpfs Linux kernel DHCP メール インストーラ ISO イメージ ISO 9660 CD-ROM ドライブ ThinkPad X31 新宿 ECMAScript qmail やまだ HDX-UE160 Windows XP

■ [ Debian お仕事 ] Debian インストール

前回の続き。

@ インストール

CD-ROMブート。ext3 にするのでbf24 で起動。

 bf24 ide0=0x1440,0x1436 ide1=0x1438,0x1432

ソフトウェアRAIDにするので、パーティションは4つにしておく。

 cfdisk 2.11n
 -------------------------------------
 name 入力サイズ(M) type      マウント
 hda1 10000         83 Boot   /
 hda2 60000         83        /home
 hda3 11827         83        /var
 hda4 (509)         82        swap

 -------------------------------------

NIC が ELECOM Laneed LD-10/100 AL PCI Fast Ethernet Adapter なので via-rhine を追加。

lilo は /dev/hda1 にしておいたけど、両方のディスクで起動できるようにするソフトウェアRAID1にしておくのにはこれで良かったのだろうか?

再起動後、tasksel してパッケージをインストール。 /etc/lilo.conf に

 append="ide0=0x1440,0x1436 ide1=0x1438,0x1432"

を追加しておく。

@ カーネル構築

 cd /usr/local/src/linux
 tar jxvf /usr/src/kernel-source-2.4.18.tar.bz
 cd kernel-source-2.4.18
 cp /boot/config-2.4.18-bf2.4 .config
 make oldconfig
 make menuconfig
 fakeroot make-kpkg clean
 fakeroot make-kpkg --revision=gate.1.0 kernel_image
 include/linux/fs.h でエラー

Debian公式 kernel-image の .config をベースにしても、いろいろ入りすぎていて結局1から設定するのとほとんど変わらないことに気がつく。 それより、コンパイルが通らん。 …… kernel-image でいっか。

@ ソフトウェアRAID

まず raidtools2 をインストール。

 apt-get install raidtools2

dpkg が segmentation fault。やな感じ。

 cfdisk /dev/hdc

hda と同じ値を設定したのだが、サイズが違うんですけど。 hdc1, hdc1, hdc3 のタイプを fd に。

raidtab の設定。

 raiddev /dev/md1
         raid-level      1
         nr-raid-disks   2
         nr-spare-disks  0
         chunk-size     4
         persistent-superblock 1
         device          /dev/hdc1
         raid-disk       0
         device          /dev/hda1
         raid-disk       1

 raiddev /dev/md2
         raid-level      1
         nr-raid-disks   2
         nr-spare-disks  0
         chunk-size     4
         persistent-superblock 1
         device          /dev/hdc2
         raid-disk       0
         device          /dev/hda2
         raid-disk       1

 raiddev /dev/md3
         raid-level      1
         nr-raid-disks   2
         nr-spare-disks  0
         chunk-size     4
         persistent-superblock 1
         device          /dev/hdc3
         raid-disk       0
         device          /dev/hda3
         raid-disk       1

ただし、この時点で /dev/hdaX はマウント中なので、 各 「device /dev/hdaX \n raid-disk 1」はコメントアウトしておき、nr-raid-disks も 1にしておく。

で、hdc を RAID化 / ext3 化。

 mkraid /dev/md1
 mkraid /dev/md2
 mkraid /dev/md3
 cat /proc/mdstat
 mkfs.ext3 /dev/md1
 mkfs.ext3 /dev/md2
 mkfs.ext3 /dev/md3

シングルユーザでリブート(linux single)し、hda から hdc へコピー

 mkdir /mnt/raid
 mount /dev/md1 /mnt/raid
 mkdir /mnt/raid/home
 mkdir /mnt/raid/var
 mount /dev/md2 /mnt/raid/home
 mount /dev/md3 /mnt/raid/var
 cd /
 cp -a /bin /mnt/raid/
 cp -a /boot /mnt/raid/
 cp -a /cdrom /mnt/raid/
 cp -a /dev /mnt/raid/
 cp -a /etc /mnt/raid/
 cp -a /floppy /mnt/raid/
 cp -a /home /mnt/raid/
 cp -a /initrd /mnt/raid/
 cp -a /lib /mnt/raid/
 cp -a /opt /mnt/raid/
 cp -a /root /mnt/raid/
 cp -a /sbin /mnt/raid/
 cp -a /tmp /mnt/raid/
 cp -a /usr /mnt/raid/
 cp -a /var /mnt/raid/
 cp -a /vmlinuz /mnt/raid/
 mkdir /mnt/raid/mnt
 mkdir /mnt/raid/proc

hdc 側の設定。/mnt/raid/etc/fstab の /dev/hdaX を /dev/mdX に。

hda 側の起動設定。hda のローダから hdc 側を起動できるように。

 echo 'other=/dev/hdc' >> /etc/lilo.cnf
 echo '  label=hdc' >> /etc/lilo.conf
 lilo

hdc 側の起動設定。ディスクの設定をとって

 fdisk -ul /dev/hdc
 Disk /dev/hdc: 16heds, 63 sectors, 159560 cylinders
 ...

hda 側の lilo.conf (/mnt/raid/etc/lilo.conf.hdc)を書く。

 (lilo.conf の内容。後で追記)

で lilo

 lilo -C /mnt/raid/etc/lilo.conf.hdc

hdc を umount して再起動。

 umount /dev/md3
 umount /dev/md2
 umount /dev/md1

hda での起動を確認。 hdc での起動も確認。失敗。Kernel Panic。 あそういえば、append し忘れてた。

続きはまた。

• [ Debian ] GRUB でソフトウェアRAID1 ブート設定 (2004-01-05)
• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• ソフトウェアRAID設定失敗 (2003-12-16)
• DynaBook SS 3440を再セットアップして里子に (2004-03-06)
• QEMU を使って Debian GNU/Linux 上で Windows... (2005-04-08)

■ お買い物

昨年と同じく新宿へ。

@ I-O DATA HDX-UE160

ノート PC のバックアップ用に購入。 USB 2.0 + 電源内蔵タイプということで HDX-UE160を。 22,800円(税別) + 20%ポイントということで、価格.com の最安値21,280円と比べても、まぁいい買物だったかな。

@ SAMSUNG製

中身はSAMSUNG製。 箱には緑丸シールが貼ってあった。

 Heads 255
 Sectors per Track 63
 Cylinders: 19457

@ パーティション

初期状態で Primary W95 FAT32 (LBA) 1パーティションなので、cfdisk で先頭40GBをNTFSに、残りを ext3 に。

Windows XP BOX に接続しなおして、NTFSで sda1 をフォーマット(フォーマットする前は fdisk後でも160GB FAT32 として認識したのでちょっとビックリ)。

@ 電源内蔵 + 電源連動機能

思ったより良い。 電源スイッチが入っていてもUSB/IEEE1394が接続されるまではOFFの状態でいてくれるのでタッチ&ゴー*1が可能。

[ 製品レポート ]

• ファイルシステム作成はノート PC でやっておいた (2006-01-17)
• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• xDピクチャーカード対応 USBリーダ/ライタ MAUSB-100 (2005-04-23)
• 1インチポータブル HDD HDMC-U12 インプレッション (2006-12-28)
• USB コネクタの向きを変えるアダプタ サンワサプライ AD-3DUSB8 (2007-01-05)

■ [ Debian ] GRUB でソフトウェアRAID1 ブート設定

年末にうまくいかなかった「ソフトウェアRAID1なHDD2台両ブート」に再チャレンジ。 というか、既にネットワーク構成変更までに期限がないので頑張らないと。

@ Debian GNU/Linux Woody CD-ROMでブート

 bf24 ide0=0x1440,0x1436 ide1=0x1438,0x1432

で起動。cfdisk ではがつんと1パーティションにしてしまう(何度もパーティションを切りなおすのが嫌になったのと、やまだ君のところは1パーティションでやっているという話から)。

ドライバのところでは NIC が ELECOM Laneed LD-10/100 AL PCI Fast Ethernet Adapter なので via-rhine を追加。

後は普通に進めて再起動。

@ GRUB のインストール

 apt-get install grub raidtools2 emacs21 wget lv

でGRUB。

 grub-install --root-directory=/boot /dev/hda

stage1 ファイルが grub から見えないでエラーになる場合があった。 その場合は、再起動したら成功するようになった。

 update-grub

再起動。OK。GRUBで起動するようになった。

@ kernel オプションの追加

/boot/grub/menu.lst の kopt を編集

 # kopt=root=/dev/hda1 ro ide0=0x1440,0x1436 ide1=0x1438,0x1432

コメントマーク(#)を残さなければならない事に最初気がつかず。

 update-grub

再起動。OK。

@ kernel アップデート

年末に作ったRAIDを有効にしてある Linux kernel をインストール。 /etc/kernel-img.conf に

 postinst_hook = /sbin/update-grub
 postrm_hook = /sbin/update-grub
 do_bootloader = no

を書いておいてから、

 dpkg --install kernel-image-2.4.18_gate.1.0_i386.deb

再起動。OK。

@ hdc を RAID1 に

cfdisk /dev/hdc で1パーティションに切り、タイプを fd に。 その後 /etc/raidtab を編集。

 raiddev                 /dev/md1
 raid-level              1
 nr-raid-disks           2
 chunk-size              64
 nr-spare-disks          0
 persistent-superblock   1
 device                  /dev/hdc1
 raid-disk               0
 device                  /dev/hda1
 failed-disk             1

書いたら hdc を RAID1にし、ext3 ファイルシステムを作成。

 mkraid /dev/md1
 mkfs.ext3 /dev/md1

@ hdc へシステムをコピー

シングルユーザモードで再起動し、/dev/md1 (hdc) へコピー。

 cd /
 mount /dev/md1 /mnt
 cp -a /bin /mnt/
 cp -a /boot /mnt/
 cp -a /cdrom /mnt/
 cp -a /dev /mnt/
 cp -a /etc /mnt/
 cp -a /floppy /mnt/
 cp -a /home /mnt/
 cp -a /initrd /mnt/
 cp -a /lib /mnt/
 cp -a /opt /mnt/
 cp -a /root /mnt/
 cp -a /sbin /mnt/
 cp -a /tmp /mnt/
 cp -a /usr /mnt/
 cp -a /var /mnt/
 cp -a /vmlinuz /mnt/
 cp -a /vmlinuz.old /mnt/
 mkdir /mnt/mnt
 mkdir /mnt/proc

/mnt/etc/fstab を編集し /dev/hda1 のところを /dev/md1 に。RAID1ディスクをルートパーティションにする。 書き換えたら

 /umount /mnt

し、再起動。

 kernel /boot/vmlinuz-2.4.18 root=/dev/md1 ro ide0...

で起動できる事を確認。

@ GRUB での起動でも /dev/md1 を root に

/boot/grub/menu.lst を編集。kopt を

 # kopt=root=/dev/md1 ro ide0=0x1440,0x1436 ide1=0x1438,0x1432

に書き換え、update-grub。

@ hdc から起動できるように

grub-install で hda から起動できるように先にしてあるが、次に hdc 側からも起動できるように。 この段階では grub-install だとエラーになるので、grub で直接。

 grub
 grub> device (hd0) /dev/hdc
 grub> root (hd0,0)
 grub> install /boot/grub/stage1 d (hd0) /boot/grub/stage2 0x8000 (hd0,0)/boot/grub/menu.lst
 grub> quit

• hda - 奥のラック - IDEカードの背面から遠い側のコネクタ
• hdc - 手前のラック - IDEカード背面側のコネクタ

という構成になっているので hda 側のケーブルを抜き、hdc だけ接続した状態で起動してみる。OK。

@ hda 側を消して RAIDに参加 (失敗)

両方のHDDを接続してroot=dev/md1 で再起動。 cfdisk /dev/hda し、1パーティション・type fd に。

/etc/raidtab を編集。 /dev/hda1 を failed-disk から raid-disk にする。 で、

 raidhotadd /dev/md1 /dev/hda1
 md: trying to hot-add to md1 ...
 md1: disk size 80413248 blocks < array size 80418112
 /dev/md1: can not hot-add disk: too small disk!

あれ? cfdisk で確認。

 /dev/hdc
   16 Heads, 63 Sectors, 159560 Cylinders
   82348277760 bytes

 /hdc1 82348.28MB

 /dev/hda
   255 Heads, 63 Sectors, 10011 Cylinders
   82348277760 bytes

 /hda1 82343.28MB

おーまいがー。一緒に買ったディスクなのだが、パーティションを切ると5MB違う。

さて。 hda を /dev/md2 にして /dev/md1 -> /dev/md2 してから再度、hdc を /md2 にして... というのも思い浮かんだのだが、やっぱりあきらめて最初からやりなおす。 hda と hdc のケーブルを入れ換えて hdc 側に(ほんのちょっと)小さいディスクを配置。

• hda - 手前のラック - IDEカード背面側のコネクタ
• hdc - 奥のラック - IDEカードの背面から遠い側のコネクタ

で最初から、やりなおして次のセクションへ。

@ hda 側を消して RAIDに参加 (成功)

両方のHDDを接続してroot=dev/md1 で再起動。 cfdisk /dev/hda し、1パーティション・type fd に。

/etc/raidtab を編集。 /dev/hda1 を failed-disk から raid-disk にする。 で、

 raidhotadd /dev/md1 /dev/hda1

リカバリが始まる。

 lv /proc/mdstat

ちゃんとリカバリしている模様。年末にやった時は一瞬で終わってしまったのだが、あれ本当にリカバリしていたのかなぁ。今回はじめて recovery している様子が見れた。一安心。 560min ほどかかる予定。

@ swap 作成

RAID1上だと遅いんだろうな。メモリ512MBなので、一応作っておく。

 dd if=/dev/zero of=/var/swap bs=1024 count=524288
 mkswap /var/swap
 swapon /var/swap
 lv /proc/swaps
 emacs /etc/fstab
 /var/swap none swap exec,dev,suid,rw,sw 0 0

RAIDのリカバリが時間がかかるので、hda 側でブート設定は明日にもちこし。 他の設定をちゃっちゃか始める。

@ 以下予定

hda 側でのブート設定。

 grub
 grub> device (hd0) /dev/hda
 grub> root (hd0,0)
 grub> install /boot/grub/stage1 d (hd0) /boot/grub/stage2 0x8000 (hd0,0)/boot/grub/menu.lst
 grub> quit

で両方のHDDでブートできることと、データが複製されている事の確認をする事。

• [ Debian お仕事 ] Debian インストール (2003-12-15)
• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• QEMU を使って Debian GNU/Linux 上で Windows... (2005-04-08)
• [ お仕事 ] サーバ構築開始 (2003-12-09)
• [ Debian ] ThinkPad X31 にインストール (2003-12-03)

■ 納品前日なのに /var が壊れた! HDDからのブートで Debian 再インストール

午後になって「今日はメールがあまりこないな」と思っていたら、実はノート PCの /var が 100% を越えていた。 しかし急に何で?

 Filesystem          サイズ  使用  残り 使用% マウント位置
 /dev/hda1             9.2G  7.5G  1.3G  86% /
 tmpfs                 505M   16K  505M   1% /dev/shm
 /dev/hda2              19G   14G  3.9G  79% /home
 /dev/hda3             185M  -64Z  163M 101% /var
 /dev/hda5             1.2G  347M  813M  30% /tmp

いや、そもそも /var は 3.7GB ぐらい取ってあったはず。……ヤバイ? /var を除くと空の /var/lib と、空の lost+found のみ。 おや? あれ?

一旦シャットダウン。/var が無いので各 daemon が悲鳴をあげつつ終了。 でシングルユーザで起動して fsck。 酷い有様のようだ。 ここまで /var が壊れるとどうしようもないなあ。/var/lib/dpkg 以下がごっそり無いのは Debian 的に痛い。

納品を明日に控えているんですけどね。TeX のドキュメントもまだまだ書かなければいけないんですけどね (/var/lib/texmf も無い)。 メールのチェックもままならない(/var/qmail も /var/spool も無い)。

再インストールかぁ。幸い / と /home が生きているから被害は最小限。 下手に無理して使い続けて他に悪影響が出てファイルを壊したりしないうちに、やってしまった方が良さそうだ。

@ 再インストール

まずは sarge で Debian GNU/Linux を入れ直す。 USB FDD も USB CD-ROM ドライブも自宅で手元にないという状態の ThinkPad X31 ということで、 HDD からのブートをチョイス。

最初に / パーティションにある /usr/local を /home/naney 以下に退避。 次にGRUBからインストーラが起動するようにする。

 mkdir /boot/newinstall
 cd /boot/newinstall
 wget http://http.us.debian.org/debian/dists/sarge/main\
 /installer-i386/current/images/netboot/debian-installer/i386/initrd.gz
 wget http://http.us.debian.org/debian/dists/sarge/main\
 /installer-i386/current/images/netboot/debian-installer/i386/linux
 mv linux vmlinuz

/boot/grub/menu.lst に

 title New Install
 kernel (hd0,0)/boot/newinstall/vmlinuz root=/dev/ram0 ramdisk_size=12000
 initrd (hd0,0)/boot/newinstall/initrd.gz

を追加してリブート。GRUB のメニューから New Install を選んで起動させ、インストーラを立ち上げる。 パーティションの設定で

• / と /var があったパーティションは初期化 (ext3)
• /var と /tmp と のパーティションはそのままマウントするように設定
• swap は今までと同じ /dev/hda6

あとは普通にネットワークインストール。 思ったより簡単に復旧できそうだ。CD-ROM やフロッピーディスクを作るよりよっぽど簡単。

最小限のパッケージだけ入れたらすぐに sid にアップグレードし、後は作業しながら足りないものを順次インストール・設定。

/etc の下のバックアップは自宅にある外付けHDにあり、これを参照しないかゆいところまで手の届いた設定に戻していくのは大変。 とりあえず 会社では qmail の設定など必要な範囲のみに留めておく。

Linu kernel は以前作った deb 一式をとっておいたのでそれで置き換え。 有線LAN + DHCPな難境だったので、ネットワークまわりほぼ設定不要で助かった。

MADWIFI や cpufreqd あたりの設定は自宅に戻ってから復旧させた。

@ 被害状況

/var の lost+found をみると 11:35 ぐらいに /var に書き込めなくなったようだ。 気がついたのが 14:30 ぐらいで、再インストールしてある程度作業ができる状態 (メールまわり、X、Emacs まわり他)になったのが、19:00すぎ。

問題確認後、作業中のファイルを失わずに Subversion リポジトリにコミットでき、もう一台のデスクトップ Windows PC で作業を継続できたのは不幸中の幸い。

しかし /var の破損の原因は何なんだろう。HDDの問題に起因するとなると今後もこわすぎるな。

• Debian GNU/Linux sid 環境を新 HDD へ (2006-07-29)
• QEMU を使って Debian GNU/Linux 上で Windows... (2005-04-08)
• [ Debian ] ThinkPad X31 にインストール (2003-12-03)
• DynaBook SS 3440を再セットアップして里子に (2004-03-06)
• 自宅の無線 LAN を復旧 & IEEE 802.11g 化 (2004-11-26)

■ USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ

会社で使っている Linux サーバ (DELL PowerEdge 2600)内のファイルについて、バックアップをとっていないのがずっと不安であった。 なので、まずは外付け HDD を接続して pdumpfs でバックアップしておくことにした。

以下の実作業は松下君が行ってくれたもの。

電源内蔵の HDD BUFFALO HD-H300U2 を購入。 比較的人気なのか、市場では品薄の様子。

購入時は FAT32 で1パーティションでフォーマットされている。 なんかいろいろソフトが入っているみたいだけれど、まあ使わないからいいや。 さっそく接続して mkfs.ext3 でファイルシステムの作成。

ここでトラブル。

inode table を書き込んでいる途中で進行状況を示す数字のカウントアップがだんだん遅くなっていき最後には止まってしまった。 おかしいなと思っているうちに Linux 自体がフリーズ。 SSHもWebも接続できないし、コンソールも反応なし。

一瞬「マズ。もしかして間違えて、システムの入っているパーティション指定しちゃった?」と思ったが、再起動すると問題なく立ち上がって一安心。

うーん。原因はなんだろう。いまだに Red Hat Linux 8.0 で Linux kernel も 2.4.20 のままなんだけれど、そのあたりに何かあるのだろうか。

• ファイルシステム作成はノート PC でやっておいた (2006-01-17)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• 今日のさえずり - スポーツの制裁金ってどこにいくのだ? (2008-06-11)
• [ Debian ] GRUB でソフトウェアRAID1 ブート設定 (2004-01-05)
• DAR で差分/増分バックアップ (2005-04-02)

■ ファイルシステム作成はノート PC でやっておいた

昨日のHDD問題であるが、今日再度試してみたもののやはり途中で止まってしまう。

しょうがないので自分のノート PC 上で ext3 ファイルシステムを作成してからあらためて接続。 マウントは DELL PowerEdge 2600でも問題なくできた。 cron で毎夜実行している pdumpfs のバックアップ先を、USB HDD 側に変更しておく。 ちゃんと書き込めているか後で確認。

• USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ (2006-01-16)
• DAR で差分/増分バックアップ (2005-04-02)
• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• お買い物 (2004-01-02)
• 過去の今ごろ (2004-01-23)

■ 今日のさえずり - 部長なのか?

@ 2008年06月09日

• 09:45 秋葉原駅中央改札口はいつもと変わらない。[mb]
• 09:45 ヨドバシカメラで HDD 下見中。[mb]
• 10:37 P3 で発言するとタイムラインがつまるので、久しぶりに Twit 使ってみる。Twit 2.12。 *Tw*
• 10:42 @lynmock Twitter API が変になった頃から発生しているのですが、それ以降 API が安定している時も駄目なことが多いです。 *Tw*
• 10:44 @lynmock ちなみに Debian GNU/Linux + J2SE 1.6.0_04 + P3 3.03 です。 *Tw*
• 10:47 @lynmock P3 を再起動するとまたタイムラインを取るようになるのですが、発言をすると自分のタイムラインが一番上に表示されたところでそれ以降取得できなくなります。矢印がアニメーションして取りにいこうとしているみたいですが。 *Tw*
• 10:52 @lynmock こちらでデバッガとかで追いかけられればいいんですけどね。何かわかったら報告します。 *Tw*
• 13:54 これからヨドバシカメラ行ってくる。
• 14:22 TS-H1.0TGL/R5 買ってきた。みんなテラテラ騒いでる。
• 14:37 @maru_kei はい。RAID 5 で使います。まあ「テラ」という響きを楽しんでいるって感じ。
• 15:11 TeraStation PRO を起動した。DHCP サーバからの IP アドレス取得に失敗してる。
• 17:03 シュウォッチ進捗状況報告メールきてる。進んでいるみたい。
• 24:33 [photo] フルーティー。シャトー ランドロー シロ AC アントル ドゥ メール。 http://tinyurl.com/5b6mrd

@ 2008年06月10日

• 09:54 USB 外付け HDD 購入。L:秋葉原[mb]
• 10:28 mkfs.ext3 中。
• 12:18 お茶のティーバッグ切れていたの忘れてお湯いれてきた。今日は湯で我慢する。
• 19:24 ミーティングで部長って呼ばれた。部長なのか?
• 22:18 [B!] 諸君、私は ECMAScript が好きだ - IT戦記 http://d.hatena.ne.jp/.../1213088843

• 納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
• [ Debian ] GRUB でソフトウェアRAID1 ブート設定 (2004-01-05)
• 今日のさえずり - 100g 減る前にアタック買いだめ (2008-05-28)
• USB HDD 上に ext3 ファイルシステムを作ろうとしたらフリーズ (2006-01-16)
• Twitter ベイジアンフィルタプロキシ (2007-12-29)