nDiki : FreeBSD

FreeBSD

2004年1月18日 (日)

■ [ WiKicker ] IPC共有メモリを用いた直近のアクセスログ管理

スポンサードリンク

昨日から本格的に検討していたアクセスログ管理であるが、今回は IPC::ShareLite モジュールを使って、IPC共有メモリに置くことにした。

共有メモリなのでファイルに書くより圧倒的に速い。
(ipc key を変更した時など)削除し忘れてメモリに残るおそれがあるので注意。
IPC::ShareLite は Perl 5.005_03 でも動く。
FreeBSDを使っているサーバで共有メモリが使えた(共有メモリを使うPostgreSQL が使えるようになっている事からも心配なし)。1024 * 512 bytes 取っても問題なし。
Storable を使ってシリアライズ。
この共有メモリを扱うモジュールファイル名を__FILE__で取得し、その更新ファイルをマジックナンバーとして、共有メモリに一緒に書いておく。読んだ時に一致しなければ破棄するようにする(今後しばらく、ちょくちょく形式を変更すると思うので)。

ちゃちゃっと実装して、やっつけであるが直近のログを見れるようにした(RecentLog )。順次表示する情報の追加や、表示数の調整を行う予定。それから、各ページでのロギング処理が高負荷時に重荷にならないか要チェック。

◇ Twitter やってます。この記事が気にいったらぜひ twitter.com/Naney の follower になってください。

[ permalink ]

[ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
[ WiKicker ] SunOS 5.6 にインストール (2003-04-23)
FreeBSD と Apache::Htpasswd (2006-03-02)
WiKicker 0.38 リリース - 認証・承認用コードの実装 (2006-09-14)
WiKicker に JSON でのページ出力機能を追加 (2007-04-03)

[ 1月18日全て ]

2004年2月8日 (日)

■ Berkeley DB 4.2.52 + DB_File 1.808 をホームにインストール

[ Perl ]

DiKicker の二次データの保存先を何にしようか思案中。 MLDBM::Sync が候補なのだが、MLDBM::Sync::SDBM_Fileだとデータが大きくなった時に速度が出ないようだ。

このサーバ(FreeBSD)のPerl(5.005_03)は、DB_File も GDBM_Fileも有効になかったので今までDBMパッケージの使用は避けてきたのだが、さすがに今回は使えないと辛いかも。

ということで Berkeley DB も含めて DB_File をホームにインストール。

@ db-4.2.52

 tar zxvf db-4.2.52.tar.gz
 cd db-4.2.52/build_unix
 ../dist/configure --prefix=$HOME/local/db-4.2.52
 make
 make install
 rm -rf $HOME/local/db-4.2.52/docs

インストール自体は特に依存するものも無く簡単。ただし、このサーバでは丁度 busy だった事もあってビルドに2時間!もかかってしまった。本来は暇そうな時にやるべきなのだろうけど、今日中にうまくいくか検証しておきたかったので、待った。

@ DB_File-1.808

 tar zxvf DB_File-1.808.tar.gz
 cd DB_File-1.808
 export DB_FILE_LIB=$HOME/local/db-4.2.52/lib
 export DB_FILE_INCLUDE=$HOME/local/db-4.2.52/include
 perl Makefile.PL INSTALLDIRS=site \
                  LIB=$HOME/local/lib/perl \
                  INSTALLMAN1DIR=/tmp/man/man1 \
                  INSTALLMAN3DIR=/tmp/man/man3
 make OTHERLDFLAGS="-Wl,-rpath -Wl,$HOME/local/db-4.2.52/lib"
 make test
 make install

libdb を実行時に検索させるのに LD_LIBRARY_PATH 環境変数とか指定したくなかったので、-rpath を指定してしまった。 Makefile中の OTHERLDFLAGS 変数がリンク時に空だったので、ここで設定。

しかし libdb-4.2 でかいな。 Perl からの呼び出し一発目は結構時間がかかる。

[ permalink ]

DBD::Oracle 1.16 を Debian GNU/Linux s... (2005-05-19)
[ Perl ] Memcached を使ってみる (2004-01-12)
WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
SCons は GNU Autotools のかわりになるか (2005-04-20)
[ Perl ] DB_File - DB_BTREE のロック (2004-02-16)

[ 2月8日全て ]

2004年2月16日 (月)

■ [ Perl ] DB_File - DB_BTREE のロック

Tie::DB_Lock - read only の時はデータベースをコピーし、マルチバージョニング。遅そう。
Tie::DB_LockFile - 手元の Debian BOX、FreeBSD BOX では make test 通らず。
DB_File::Lock - Lock ファイルを作るシンプルなもの
MLDBM::Sync - seq() とかサポートしてなさそう。
BerkeleyDB - lock 関連のドキュメントが少なくよくわからない。

ということで、DB_File::Lock が本命か。

Search::InvertedIndex では、key/value の value に next key と prev key を持たせていて(正確にはindex番号)、hash の中に自前でリンクリストを作ってしまっている。これって充分なスピードが出ているのだろうか?

もしそうなら DB_BTREE をやめて、MLDBM::Sync を DB_HASH で使うという手もあるのだが。

[ permalink ]

Berkeley DB 4.2.52 + DB_File 1.808 をホ... (2004-02-08)
Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
[ WiKicker ] Storable 永続化データの互換性 (2005-06-06)
PAR (2004-07-19)
今日のさえずり - 京都の小学校のコンピュータ室にいったら、Squeak が (2008-03-06)

[ 2月16日全て ]

2004年6月11日 (金)

■ Unison + Zebedee

記事「Unison で展示会機器のセットアップ」に、

wtnabe 2004-06-10 15:51:09 rsync もまともな認証とは呼べないような気がしますが。。。同じことをするなら tcpwrapper を使うって形になるんでしょうけど、Zebedee などで認証を掛けるともっと融通が利いてなおかつセキュアなんじゃないでしょうか。

という貴重なコメントをいただく。

Zebedee 最近使ってなかったな。ホスティングサーバ(FreeBSD)がSSH接続を提供してくれていなかった時は、Linux BOX からZebedee 経由で telnet したり、mirror したりしていた。

ちなみに今回の用途では、通信路の暗号化はあまり重視していない(社内ネットワークで、対象ファイルはもともと皆が閲覧できるものだし、端末の前にも座れるから)。

@ Unison Soket メソッドでのサーバ側の問題

認証なし
接続ホストによるアクセスコントロール不可
同期対象となるローカルファイルの制限不可。

というのが問題。

c:ドライブ全体(だけでなく全てのドライブ)をパスワード無しで「読み書き可能なWindowsファイル共有」しているような感じであり、気持ち悪い。

@ rsync サーバの認証

パスワード認証。平文では流れない。パスワードファイルは自体は平文で管理。
接続ホストによるアクセスコントロール可。
同期対象となるローカルファイル/ディレクトリは指定される。

平文でパスワードが流れることはないし、Unison でもこれぐらいの認証ができれば今回の用途では充分という感じ。

@ Unison + Zebedee

Windows 同士だと結局一方は Unison を Socket メソッドで起動しなければならない。そのポートへは認証有のZebedeeトンネルで接続するとして、外部からは直接アクセスできないようにしなければならないので面倒。

Zebedee 自体はナイスなプログラムではあるのだが、Unison と組み合わせには使えないかな。普段使いには Unison + SSH だし。

@ Windows 版

本家に Windows 版もあるのか。インストーラの形になっているがインストールされる zebedee.exe は単体でも動く。 Unison との連携は別にしても、入れておいて損はないのでこれもUSBメモリにいれておこう。

[ permalink ]

TrueCrypt で USB メモリに Windows と Linux ... (2006-12-14)
普通の人向けに svnserve を立ち上げるか (2005-07-26)
OpenSSH for Windows (2004-08-05)
自宅の無線 LAN を復旧 & IEEE 802.11g 化 (2004-11-26)
ノート PC を持たずに会社に行きたい (2006-12-21)

[ 6月11日全て ]

2004年6月25日 (金)

■ 納品作業

CD-Rで用意したデータを配置するのに、mount しようとしたがうまくいかない。 …FreeBSD か。よく知らぬ。

とりあえず自分の Linux BOX から scp で転送しておく。

しかし約束の時間にいったのにオフィスの片隅で立ったまま30分近く待たされるなど、大手のやる事は理解に苦しむ(もちろん多くの大手はそうではないと思うが)。

[ permalink ]

xyzzyを読み取り専用メディアから起動する (2004-07-28)
今日のさえずり - 納品されたプログラムが全く動かなかった時の気持ち (2009-02-25)
11:00 再び小田原へ (2002-04-24)
LinuxWorld Conference & Expo (2006-08-16)
今日のさえずり - ホームレスグーチョコランタン (2008-10-27)

[ 6月25日全て ]

2005年5月4日 (水)

■ FreeBSD 上の Unison をアップグレード

すこし前に sid の Unison が 2.10.2 になったのにともなって、FreeBSD なホスティングサーバ上の Unison (2.9.1) と同期できなくなってしまった。

ということでビルドしなおし。まずは Ocaml から

 wget http://caml.inria.fr/pub/distrib/ocaml-3.08/ocaml-3.08.3.tar.gz
 tar zxvf ocaml-3.08.3.tar.gz
 cd ocaml-3.08.3
 ./configure -prefix /tmp/naney
 make world
 make opt
 make install

でその Ocaml を使って Unison をビルド。

 tar zxvf unison-2.10.2.tar.gz
 cd unison-2.10.2
 PATH=$PATH:/tmp/naney/bin
 gmake UISTYLE=text
 ./unison -version
 cp -p unison $HOME/local/bin

前回のビルドメモ

[ permalink ]

Debian GNU/Linux sid 環境を新 HDD へ (2006-07-29)
[ WiKicker ] Storable 永続化データの互換性 (2005-06-06)
[ WiKicker ] SpeedyCGI (2003-10-17)
今日のさえずり - JugemKey ID がいつもので取れない (2008-04-25)
Crypto++ 4 -> 5 (2003-11-20)

[ 5月4日全て ]

2005年6月6日 (月)

■ [ WiKicker ] Storable 永続化データの互換性

fkimura 氏から WiKicker の障害レポートをいただいた。 Perl v5.8.6 へ移行した環境で WiKicker 0.26 を試してみたところエラーになってしまうとのこと。

 "Error
 action: do_read: Byte order is not compatible at blib/lib/Storable.pm
 (autosplit into blib/lib/auto/Storable/thaw.al) line 366,
 at /usr/local/lib/perl5/site_perl/5.8.6/WiKicker/DB/File.pm line 161
 at /usr/local/lib/perl5/site_perl/5.8.6/WiKicker/CGI/AbstractController.pm line 93"

(FreeBSD 4.11-RELEASE-p9)

Storable がエラーを吐いている。 Storable データ形式に互換性のない環境 (Perl and/or Storable) 変化があったようだ。

例えば Storable のマニュアルによれば 64bit integer をサポートするように構築された Perl v5.6.0 や v5.6.1 で Storable 2.02 以前を使って書き出したデータを他の環境で読み出すと 'Byte order is not compatible' エラーが出るとある。

確認したところ前のバージョンは Perl v5.6.2 だそうなので、もしかしたら上記の非互換性にあたってしまったのかもしれない (FreeBSD の Perl って 64bit integer サポートでビルドされるようになっている?)。

@ WiKicker での対応方法

WiKicker で使用している Perl のアップグレードで上記問題にあたった場合、一番簡単な方法は Storable で書き出しているページ情報ファイルを一旦全部消してしまうという方法。

WiKicker のデータベースディレクトリ (wikicker.database.directory プロパティで指定しているディレクトリ)の下の、info/basic/* を全て消してしまう(一応バックアップとしてコピーした方が良い)。

この場合、各ページの「最終更新時刻、最終更新者名、要約文」が消えてしまうが、これらの消えてしまった情報は次にページを更新した時に最新の情報で上書きされる。

WikiPage そのものおよび古いリビジョンは影響がなく全て残っているので、通常の運用ではまあ許容できる範囲の対処方法か。

情報ファイルを消したくない場合は、コンバートする必要があるけれど古い Storable データを読み出せる環境で export して、新しい形式で書き直す必要があるので作業する人にとってもちょっと面倒かもしれない。いや、新しい Storable ならば $Storable::interwork_56_64bit あたりを使えば両方をきりかえて読めそうであるので、新しい環境だけあればいいのかな。

[ permalink ]

[ WiKicker ] キャッシュまわりにバグ (2004-06-05)
[ WiKicker ] SpeedyCGI 対応するも…… (2003-11-09)
SQLite とか DbUnit とか (2005-05-23)
[ Perl ] Memcached を使ってみる (2004-01-12)
[ WiKicker ] SpeedyCGI (2003-10-17)

[ 6月6日全て ]

2006年3月2日 (木)

■ FreeBSD と Apache::Htpasswd

WiKicker の認証ドライバの1つとして、まずは Apache の htpasswd パスワードファイル(AuthUserFile ディレクティブ用パスワードファイル)形式のものを作成することにする。これなら htpasswd で作成することができるので、最悪最初の段階では WiKicker に登録・削除機能を入れないで済む。

Perl からこのパスワードファイルを扱うモジュールとしては Apache::Htpasswd や、Authen::Htpasswd がある。 CPAN にある CGI-Application-Plugin-Authentication は前者を、Catalyst-Plugin-Authentication-Store-Htpasswd では後者を使用している。

機能的にはほぼ同じか。 Authen::Htpasswd の方がユーザ名に対応するオブジェクトを取得するメソッドがあり便利といえば便利だが、まあなくても困らないだろう。

ということで今回は、依存モジュールの少ない Apache::Htpasswd を選択した。 Perl 5.005_03 にはない warnings プラグマが使われているが、Htpasswd.pm の

 use warnings;

1行を削除すれば問題無し。

FreeBSD 4.4-RELEASE #3 + Perl 5.005_03 + Apache-Htpasswd 1.7 だと、crypt 関連のテストケースが失敗する(not ok 17)のがちょっと気になるところ。 MD5 ベースのパスワードの読み書きは問題ないので、この環境ではこちらを使うことにしよう。

[ permalink ]