nDiki : Unison

Unison

Unison File Synchronizer

rsh/SSH/socket を利用した双方向ファイル同期化ツール。Windows、Linux などで使用可能。
いつも双方向に同期したい方にはおすすめ。

web

http://www.cis.upenn.edu/.../unison/

2003年11月20日 (木)

■ やっぱ hns

tDiary に随分傾むいていたのだが。

自分自身の使用としては、

tDiary で SUB できない?
tDiary で旬単位表示できない? (月まとめ表示はちょっと大きすぎる気が)
tDiary には hns の log.cgi に当たる機能がない?
Ruby プログラム、 hack できない (これを機に覚えれば良いのだが)
WiKicker との連動コードを簡単に埋め込めなくなる(WiKicker はPerl)
Unison 導入により hns 関連ファイル管理の整理ができたので、そこら辺が綺麗で気にいった tDiary のメリットが少なくなった。

といった感想。最初から tDiary だったら問題を感じなかった部分も多いだろう。慣れの問題。あとこれから日記システムを提供してあげる予定の Tarebouzuさんに対しては、

hns でも tDiary のテーマが使える事が判明した(tdiary-hns-theme 使用)ので、レイアウトの選択肢が広まった
hns にも Web インタフェースがあるし
hnf 記法の方が、tDiary 記法より簡単 (私が慣れているだけかもしれないが。まぁ教えやすいし。)

といった感想。で、二転三転したが結局 hns でいこうかと。

hns のセットアップ、theme の入れかえ、mod_rewrite の設定あたりまで終わらせる。後は、Namazu とかそのあたり。週末には稼働できるかと。

スポンサードリンク

[ permalink ]

Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
[ WiKicker ] 日記機能開発開始 (2003-12-27)
はいぱー日記システムで日記を開始 (2001-05-11)
Perl CGI プログラムのテストには WWW::Mechanize::... (2006-02-18)
[ DiKicker ] hnsからのコンバータ作成開始 (2004-02-11)

■ www.naney.org のファイルを全て Unison で同期

www.naney.org 上のコンテンツは、ローカルで一旦構築したファイル(ディレクトリ構造)を rsync で1方向に sync している。

@ しかし細かくみてみると

(L) ローカルで xml -> html し、サーバに送るファイル (html/ 以下のファイルなど)
(L) ローカル上で直接作成し、サーバに送るファイル (etc/ 以下のファイルなど)
(L) ローカルから定期的に送るファイル(webcamの画像など)
(S) サーバ上でインストールし、オリジナルがサーバにあるファイル (local/ 以下のファイルなど)
(L) サーバ上でインストール後、ローカルにコピーし改変して送るファイル(設定ファイルなど)
(S) サーバ上で生成されるファイル (Wikiのデータベース、ログなど。var/ 以下)

とかなりかなり混在中。(L) はローカルにマスターがあるもの。(S) はサーバにマスターがあるもの。

できるだけ(L)と(S)を分離するようにはしているのだが(例えばサーバでインストールしたものの中で手元にコピーして編集したファイルは別ディレクトリにまとめておいて、サーバ上ではそちらへ symbolic link を張るとか)、これはこれで訳がわからなくなってしまう訳で。 rsync の実行も --exclude オプションがからみあい、--delete を付けられたり付けられなかったりとちょっとトリッキーな状態。

@ Unison で同期

日記システム関連の導入検討の前に、一旦ここら辺を整理し簡略化したい。ということで、これからは Unison を使って www.naney.org とローカルを基本的に同期させてしまう事にした。

これならばどれがサーバオリジナルのファイルで、どれがローカルがオリジナルのファイルか迷わなくて済むようになると。

で、設定。ローカルの /usr/local/www.naney.org ディレクトリで同期させる事にする(ディレクトリ名は実際は違うところ)。ローカルホストの ~/.unison/naneyorg.prf に

 times = true

 # Roots
 root = /usr/local/www.naney.org
 root = ssh://www.naney.org//home/naney

 # ignore backup
 ignore = Name *~
 ignore = Name .*~

 # ignore files
 ignore = Path .cpan
 ignore = Path .union
 ignore = Path var/log/access_log

 # hns
 ignore = Name referer_log
 ignore = Name referer_batta_log

と書く(ignore は一部抜粋。ディレクトリ等は実際は微妙に違う)。で、

 unison naneyorg

で同期。同期処理中に、(ログファイルなど)書き換わってしまうものがあるとそれを含むディレクトリの同期がごっそり abort させられるようなので、ignore を調整しつつ何回か実行して完全に同期をかける。

これで、ローカル・サーバどちらでファイルを書き換えてもOK。

rsync よりパスの指定が簡単だし(rsync はパス指定最後の / の有り・無しでの挙動の違いをいつも忘れてしまうので怖い)、なかなか使い勝手が良いかも。

ちなみにローカルで xml -> html しているファイル群だけは一旦別ディレクトリに生成してから、ローカルの www.naney.org 同期ディレクトリへ rsync で一方向 sync するようにしておいた(その後サーバと同期するという2段階処理)。

@ はまり所

最初 -times オプションを指定していなかったので、サーバからローカルへ同期したファイルの更新時刻が全て現在のものになってしまった。後から -times オプションを指定して unison しなおすと、全部再同期しようとしてしまうようだ。よくわからないので、一旦同期ディレクトリを消して全部取り直し。

[ permalink ]

Unison で Windows 間 sync (2003-10-24)
私的10大ニュース2003 (2003-12-31)
Debian GNU/Linux に Hyper Estraier 1.2... (2006-05-31)
14:15 Oracle8i for Linux (2002-03-06)
[ Debian ] DynaBook SS -> X31 (2003-12-05)

[ 11月20日全て ]

2003年12月2日 (火)

■ Unison での日本語処理

Unison がなかなかよろしいので、ちょこっと実験。

local(Windows XP) <-> local(Windows XP) ... 日本語OK
local(Windows XP) <-> local(Windows 2000上をネットワークドライブで) ... 日本語OK

普通に使えると考えてよいのかな*1 ちなみに GUI版はしょぼかった。コマンドライン版で充分。

*1自分では日本語のファイル名は使わないけれど、他人のファイルを扱う時とかに問題が発生しないと助かる。

@ remote <-> remote

remote(ssh) <-> remote(ssh) はさすがに駄目か。

[ permalink ]

JAlbum で Webフォトアルバム (2004-11-14)
今日のさえずり - 上げ潮特大号 (2008-09-18)
TrueCrypt で USB メモリに Windows と Linux ... (2006-12-14)
Apache でミラー proxy (2002-04-17)
Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)

[ 12月2日全て ]

2003年12月5日 (金)

■ [ Debian ] DynaBook SS -> X31

作業中は、両方同時に使用する事になるのでホームディレクトリを Unison で同期。 DynaBook SSの方はメモリ192MBなのであるが、ホームディレクトリをまるごと転送するとスワッピング発生しまくりで、かなり遅い(それに加えて使用しているのが3C589なので10Base-Tだし)。同期するファイル群の絶対的なファイル数はそれほどメモリ使用量には関係ないのかな。非同期になっているファイル数に応じてメモリを消費している感じ。-path で何回かに分割すれば良いようだ。

他、/etc、/usr/local、/var の下の一部、/home の下の一部を X31 の /usr/local/ss2 以下に rsync。もともと DynaBook SS の /usr/local にはさらに前の Debian BOX の退避ファイルを残してあるので、

 /usr/local
   |
   +- ss2
       |
       +- usr-local
           |
           +- ss
              |
              +- 2代前のDebianBOXの
                 /usr/localファイル

なんて事になっている。そろそろあきらかに必要のないファイルを削除しないといかんな。

とにかく、ほぼ必要なファイルを転送終了。 qmail と Mew の設定が無事 X31 で動いたので、今日からこちらで作業する事にする。

[ permalink ]

DynaBook SS 3440を再セットアップして里子に (2004-03-06)
私的10大ニュース2003 (2003-12-31)
納品前日なのに /var が壊れた! HDDからのブートで Debian ... (2005-09-27)
www.naney.org のファイルを全て Unison で同期 (2003-11-20)
ThinkPad X31 メモリ増設 (2003-12-07)

[ 12月5日全て ]

2003年12月31日 (水)

■ 私的10大ニュース2003

今年の大事件、マイブームなど。

@ [web] WiKicker 公開

オリジナル WikiEngine 「WiKicker」を公開し、 www.naney.org での運用を開始。機能追加、負荷軽減など定期的にメンテナンスを継続中。今年も1年 Wiki の年だった。

12月からは WiKicker ベースの日記システム「DiKicker」の開発も開始。

@ [comp] cool programs

bogofilter ... spam メールが苦にならなくなった & 楽しくなった。
SpeedyCGI ... WiKicker の高速化にかなり効果
Unison ... 双方向同期では rsync より便利。

@ [net] ADSLトラブル

モデム

春の数ヶ月間悩まされ続けた。一度常時接続に慣れてしまうと、もう戻れない。結局モデムの故障。その間「@FreeD」も契約してみたが、ADSL復旧に合わせて解約。

P-in Free 1P

@ [comp] 適応型ソフトウェア開発

仕事でのソフトウェアプロジェクトでの適用を開始しはじめてみた。

@ [comp] ThinkPad X31 2672-PHJ

ThinkPad

3年ぶりのメインノート PC の買い換え。 Pentium M 1.6GHz + 1GBメモリ。また3年は頑張ってもらわないと。

@ [camera] TC-1、GR1s修理

TC-1 GR1s

愛用のTC-1が故障したため修理。修理費16,300円也。

妻の GR1s も修理。

新規に購入したのは、Ai Nikkor 45mm F2.8P(10月12日)、 F3接眼補助レンズ、ドンケ F-2 ぐらい。あまり散財しなかった。

接眼補助レンズドンケ F-2 Ai Nikkor 45mm F2.8P

今年は撮影枚数が伸びず。

近所のミニラボが閉店したのも痛い。

@ [misc] レザークラフト

昨年買ったままだったレザークラフトセットを使ってレザークラフトを始めた。パスケース、LEDフラッシュライトケース x 2、ツールナイフケース x 2、露出計ケースなどを製作。最近は何も作ってないな。また何か作りたい。

LEATHERMAN MICRA 革ケースツインメイトカバー SureFire エクゼクティブ・エリート E1e + KL1 レザーケースマグライトソリテールケース Leatherman juice S2 レザーケース Arc-LS 用レザーケース

@ [misc] LEDフラッシュライト

LEDフラッシュライトに興味を持つ。 SureFire E1e + KL1 、 ARC-AAA 、 Arc LSL-P などを購入。

SureFire E1E-HA Arc-AAA Arc LSL-P

[ permalink ]

[ WiKicker ] 日記機能開発開始 (2003-12-27)
私的10大ニュース2004 [ web ] (2004-12-31)
ケータイ用にプライベート Wiki を設置 (2008-01-07)
私的10大ニュース2005 [ comp ] (2005-12-31)
Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)

[ 12月31日全て ]

2004年2月13日 (金)

■ 過去の今ごろ

過去の2月13日より。

TRAMP 初体験
- Unisonを使うようになってからローカル・リモートのどちらで編集しても気にせず同期できるので TRAMP の使い勝手も良くなった。けど、まぁそんなにしょっちゅうは使わないけど。

[ permalink ]

TrueCrypt で USB メモリに Windows と Linux ... (2006-12-14)
今日のさえずり - JugemKey ID がいつもので取れない (2008-04-25)
FreeBSD 上の Unison をアップグレード (2005-05-04)
Unison 2.9.1 (2003-11-18)
www.naney.org のファイルを全て Unison で同期 (2003-11-20)

[ 2月13日全て ]

2004年6月7日 (月)

■ Unison で展示会機器のセットアップ

来週の展示会の準備として、数台のWindows BOXにソフトウェアやらデータやらをセットアップ。まだ確定していないデータなどもあるので、こまめに同期する必要あり。

ということで USB メモリに

unison.exe
ブートストラップバッチファイル
- 共通ディレクトリ作成バッチファイル
- USB メモリと共通ディレクトリのbinを同期させるための Unison 実行バッチファイル
- 共通ディレクトリをUnisonで同期するためのバッチファイル (クライアント用と daemon 用)

を書き込む。

1台目(マスター):

ブートストラップ関連を USB メモリから共通ディレクトリへ
共通ディレクトリ下にデータをセットアップ
ブートストラップ関連の変更があれば、共通ディレクトリから USB メモリへ同期

2台目以降:

ブートストラップ関連を USB メモリから共通ディレクトリへ
マスターPCと同期

後はどっかで変更したら適宜同期。

Unisonはインストール不要で exe 1個で動くのでこういう時に便利。 Windows だと -fastcheck true にしないとかなり遅いので注意。

時限的な作業で sshd を入れるのもなんなので Unison の Socket メソッドを使っているのだが、この方法だとまったく認証が無いのでちょっと気持ち悪い。 Socket モードでも rsync 程度の認証機能ぐらいは欲しい。

[ permalink ]

TrueCrypt で USB メモリに Windows と Linux ... (2006-12-14)
Unison + Zebedee (2004-06-11)
xyzzyを読み取り専用メディアから起動する (2004-07-28)
Unison で Windows 間 sync (2003-10-24)
1インチポータブル HDD HDMC-U12 インプレッション (2006-12-28)

[ 6月7日全て ]

2004年6月11日 (金)

■ Internet Connection Firewall (ICF)

Unison + Zebedee がらみで、自分が使っている Windows XP の ICF を試してみる。

「ローカルエリア接続のプロパティ」で「インターネット接続ファイアウォール」をチェック。

このままだとファイル共有できないので(そのホストへだけでなく、他のホストの共有ディレクトリへのアクセスも駄目だった)同「設定...」からサービスを追加。

TCP 445 (CIFS)
TCP 137,139 (NetBIOS)
UPD 137,138 (NetBIOS)

[ permalink ]

Unison での日本語処理 (2003-12-02)
OpenSSH for Windows (2004-08-05)
Unison + Zebedee (2004-06-11)
今日のさえずり - 顔は忘れられてはいなかった (2008-09-15)
社内ファイルサーバの代替として TeraStation PRO を導入 (2008-06-09)

■ Unison + Zebedee

記事「Unison で展示会機器のセットアップ」に、

wtnabe 2004-06-10 15:51:09 rsync もまともな認証とは呼べないような気がしますが。。。同じことをするなら tcpwrapper を使うって形になるんでしょうけど、Zebedee などで認証を掛けるともっと融通が利いてなおかつセキュアなんじゃないでしょうか。

という貴重なコメントをいただく。

Zebedee 最近使ってなかったな。ホスティングサーバ(FreeBSD)がSSH接続を提供してくれていなかった時は、Linux BOX からZebedee 経由で telnet したり、mirror したりしていた。

ちなみに今回の用途では、通信路の暗号化はあまり重視していない(社内ネットワークで、対象ファイルはもともと皆が閲覧できるものだし、端末の前にも座れるから)。

@ Unison Soket メソッドでのサーバ側の問題

認証なし
接続ホストによるアクセスコントロール不可
同期対象となるローカルファイルの制限不可。

というのが問題。

c:ドライブ全体(だけでなく全てのドライブ)をパスワード無しで「読み書き可能なWindowsファイル共有」しているような感じであり、気持ち悪い。

@ rsync サーバの認証

パスワード認証。平文では流れない。パスワードファイルは自体は平文で管理。
接続ホストによるアクセスコントロール可。
同期対象となるローカルファイル/ディレクトリは指定される。

平文でパスワードが流れることはないし、Unison でもこれぐらいの認証ができれば今回の用途では充分という感じ。

@ Unison + Zebedee

Windows 同士だと結局一方は Unison を Socket メソッドで起動しなければならない。そのポートへは認証有のZebedeeトンネルで接続するとして、外部からは直接アクセスできないようにしなければならないので面倒。

Zebedee 自体はナイスなプログラムではあるのだが、Unison と組み合わせには使えないかな。普段使いには Unison + SSH だし。

@ Windows 版

本家に Windows 版もあるのか。インストーラの形になっているがインストールされる zebedee.exe は単体でも動く。 Unison との連携は別にしても、入れておいて損はないのでこれもUSBメモリにいれておこう。

[ permalink ]

TrueCrypt で USB メモリに Windows と Linux ... (2006-12-14)
普通の人向けに svnserve を立ち上げるか (2005-07-26)
OpenSSH for Windows (2004-08-05)
自宅の無線 LAN を復旧 & IEEE 802.11g 化 (2004-11-26)
ノート PC を持たずに会社に行きたい (2006-12-21)

[ 6月11日全て ]

2004年7月31日 (土)

■ cwRsync

Windows でのファイルの同期には Unison を使ったりしているのだが双方向むけのものなので、目的によっては向かない事もある。

やっぱり rsync も使いたい。かといって Cygwin をインストールするのも面倒だし。

で探してみたところ cwRsync というのを発見。これも Cygwin 上で動くものなのだが、rsync, ssh, ssh-keygen と cygwin1.dll 等必要最低限のDLL だけがパッケージされていて気軽にインストールできるようになっている。

exe 1個で済む Unison ほど扱いやすくはないが、Cygwin を1から入れるよりはずっと楽。

 daemon-mode protocol:
 rsync -rv rsync://rsync.samba.org/ftp/unpacked/rsync/ .

 ローカル:
 rsync -rv /usr/local/aaa .

 ローカル(ドライブ指定):
 rsync -rv /cygdrive/c/usr/local/aaa .

 リモート:
 rsync -e ssh -v www.example.com:/home/naney/a.txt .

などの動作を確認。ファイル共有しているリモートファイルのUNCによる指定はうまくいかない(Cygwin ではどうやって指定する?)が、ネットワークドライブ割り当てをすればアクセスできる。

[ permalink ]

[ 7月31日全て ]

2004年8月3日 (火)

■ Unison で Windowsのローカルディレクトリとリモートの共有フォルダ間の同期

オフィスのPC上のホームディレクトリを別のWindows BOX にミラーしておくのに DirSync (ディルシンク)を利用している。最近ちょっとさぼっていたミラー作業を、今回は実験をかねて Unison でやってみた。

Windows 間なので今回は、共有フォルダに直接同期。

遅い。

オプションで -fastcheck true を指定しても、ファイル自体のスキャンは実行されるのか。10GBオーバーのファイル群の同期をこの方法で取ると、リモートのファイルのスキャンのために結局全て1度転送が起きることになる(同期の必要なものはまた転送が起きる)。

転送が始まってからも共有フォルダ内での renaming が Permission denied で失敗したりするしどうもよろしくない。

ということ共有フォルダを使った Unison はいまいち。やはり規模が大きい時には、サーバ側でも Unison が動く形でないと駄目だな。

@ 追記 (2004年8月4日)

全部転送される旨がマニュアルに書いてあった。

(However, running Unison this way is only a good idea if the remote host is reached by a very fast network connection, since the full contents of every file in the remote replica will have to be transferred to the local machine to detect updates.)

[ permalink ]