nDiki : SSI

HTML ページ中に含まれている SSI ディレクティブを処理して動的にコンテンツを生成する Web サーバの機能。

アクセスログ www.naney.org Apache CGI プログラム 統計 analog HTTP Perl インストール Ant m4 XML UTF-8 友人 メーリングリスト コンピュータ日誌 フレームワーク Galeon インタフェース WWWOFFLE CGI.pm Java Perl 5.005_03 AWStats cookie Perl CGI プログラムの高速化 環境変数 Automake Makefile.PL Web

■ 本日誌ページ用 m4 マクロを作成

本日誌を始めて、13日目。やっと本日誌ページ用 m4 マクロを作成した。

私の Web ページ (http://www.j.dendai.ac.jp/~naney/以下) はm4 を利用して作成している。 m4 はマクロプロセッサである。 主に何に利用しているかというと、ヘッダやフッタなどの定型的な部分の生成などである。 ヘッダやフッタなどをマクロ化し、各ページでパラメータを指定して展開させることで、それぞれにあったものを生成する。 利点としては、例えばヘッダの形式を変えたい場合にマクロを書き換えることで、全ページを変更することができることなどがある。 SSI による include では各ページ固有の情報などのパラメータ部分がうまく扱えない。 ちなみに m4 ページの処理は、Autoconf、Automake を利用して、./configure; make; make install; で一発で済むようにしている。

前置きがながくなった。もちろんこのページのヘッダやフッタなどもマクロ展開で行っていたのだが、ナビゲーションの [Prev Day]、 [Next Day] などは毎日手でリンクを張っていた(実際には前日のものをコピーして書き換え)。 これは面倒だし、間違えもおきやすいので、この部分を処理するマクロを本日作成した。 まだあまりチェックしていないので、もしかしたらうまくリンクがつながらないかもしれない。

次はキーワードインデックス部分と、記事別ナビゲーション(似ている内容の記事ごとの、Prev、Next のリンク) の生成を自動化したいが、これは m4 だけではかなり辛いか(できるとは思うが)。

• 過去の今ごろ (2004-01-31)
• SCons は GNU Autotools のかわりになるか (2005-04-20)
• 日記みました (1999-01-22)
• はいぱー日記システムで日記を開始 (2001-05-11)
• 私的10大ニュース2004 [ photo ] (2004-12-31)

■ 本サイトの Referer 統計復活

以前のサーバでは Apache で combined 形式のアクセスログをとっていて、Referer (リンク元)の統計をとっていたんだけれども、今のサーバでは Referer log が提供されていない (common 形式の提供)。

なもんで、しばらく Referer のない淋しい統計生活だったのであった。 で、今日 SSI でめでたく復活。 とりあえずちょちょっと作って実験中。 ログの出力を Apache の combined 形式と同じ形式にしたので、analog がそのまま使える(統計スクリプトの手間も省けるというもんだ)。 もっとも、combined に必要なフィールドの全ての情報が SSI では取得できない(ような)のでそこら辺は適当(適切)に埋めておいてある。

ついでに cookie による統計も実験してみようかなと思ったがサーバでは mod_usertrack が disable だった。 自前で cookie を焼くとなると、全ページを隠れCGI処理しなきゃならないので面倒だ(昔別のサーバ上でやってたけど)。 IMG でお茶を濁す方法もあるけど、なんなので cookie は見送り。

• AWStats 6.0 (2004-05-21)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• [ WiKicker ] 「最近のアクセスログ」処理思案 (2004-01-17)
• PHP 3 なら動く…… (2000-12-08)
• Tor で hidden service (2005-02-13)

■ [ www.naney.org ] 12:30 98019KB

気がついたら、ずいぶん埋まってた。 容量 100MBだから、整理しなくては。

@ SSI によるアクセスログ

26MBも食ってた。 きちんと rotate するようにしなければ、あかんな。

• AWStats 6.0 (2004-05-21)
• Perl 5.005_03 + Template Toolkit 2.14 (2004-11-10)
• 本サイトの Referer 統計復活 (2000-11-05)
• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• [ www.naney.org ] CGI プログラムによるサーバ過負荷 (2003-12-16)

■ [ Java ] 22:30 Cocoon2 はどうかな?

最近、本サイトの生成フレームワークを一新すべく模索中(現在は XML + 自作 Perl スクリプト)。 今の最有力候補は XML + Ant + Xalan。 他にいろいろ見ていたら、Cocoon 2 はどうかなと。 XML から XSLT 他を用いて HTML とか WML とかを生成する server application なんだけど、ローカルで立ちあげて Wget とかでローカルに静的なファイルとして落とせば、それをサーバに置けるんじゃないかなぁ。 すぐ思いつく問題は、

• 「make 的(必要なファイルのみの)更新」(毎回すべて更新されるとサーバへのアップロードで困る)、
• 「SSI がちょい面倒?」(Coccoon 2 では処理しないでそのまま出力させる)、

「コンテントネゴシエーションまわり」(en, と ja を別々のファイル名できちんととりだせるか)

等々。ドキュメントだけ静的にアーカイブしたものとかあるから、静的なファイルに落とせるんだろうなとは思いつつ。 とりあえず、インストール。 まず先に Tomcat

 cd /usr/local
 tar zxvf jakarta-tomcat-4.0.1.tar.gz

次 Cocoon 2

 cd /usr/local
 tar zxvf cocoon-2.0-bin.tar.gz
 cp /usr/local/cocoon-2.0/cocoon.war /usr/local/jakarta-tomcat-4.0.1/webapps/

Tomcat がデフォルトで 8080 ポートをつかうのだが WWWOFFLE が既に使っている。 Tomcat の方をずらすより、WWWOFFLE の変更の方が勝手がわかるのでそちらをずらす。 で

 /usr/local/jakarta-tomcat-4.0.1/bin/startup.sh

で起動。http://localhost:8080/cocoon/ に Galeon でアクセス。 一発目は非常に遅い。他のページも一度目は閲覧は遅いがキャッシュが効くので次からはそれほどでもない。

とりあえず、ドキュメントを読んでいろいろ調査。

• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• 21:00 Xalan-Java + Bean Scripting Fra... (2001-11-27)
• Module::Build でソースパッケージング (2005-08-24)
• 私的10大ニュース2004 [ comp ] (2004-12-31)
• SCons は GNU Autotools のかわりになるか (2005-04-20)

■ 大学院時代の友人から TEL

久しぶりに、TSUCHIYA君からTEL。 PHP + SSI について。PHP最後に使ったのってもう数年前だな。残念ながらお役に立てず。

メーリングリストで立ち消えになったOFF会のことが話題になった。 やっぱり、年内に1回ぐらいやっておきたいところ。

• www.naney.org に「友人・知人に紹介メール」ページを新設 (2000-12-27)
• ハーゲンダッツ リッチミルク (2002-04-17)
• なつみかん研究開発再開!? (2005-02-09)
• GnuPG の布教失敗 (2005-02-02)
• 散歩 (2003-10-04)

■ SpeedyCGI と環境変数

アクセスログ用 SSI が使用しているモジュールで REQUEST_URI、 HTTP_REFERER、 HTTP_USER_AGENT 環境変数がうまく取れていなない事があるのを発見。

ログをみると取れている時と、取れていない時がある。 何だろう。 でよくよく調べてみたら、SSI では問題なくて同じモジュールを Wiki で使っている時に失敗している模様。

よくわからないが、SpeedyCGI 関連の問題かもと思い main スクリプト上での呼び出し位置を修正したら直った。 呼び出し順に依存するのかなぁ。

あっ、そういえばモジュールのバグ混入(同環境変数を取得後のエスケープ処理で誤って空にしてしまうバグ)とその修正を今し方したのだが、SpeedyCGI がそのバグのある時点のモジュールをロードして動き続けていただけかも。 で、main スクリプトを修正したら SpeedyCGI がそれを検知して Wiki を re-execute したため今度は修正後のモジュールがロードされたため正しい挙動になったと(main スクリプトの修正内容は関係なく、touch された事自体が問題を解決した)。

多分。

• Tor で hidden service (2005-02-13)
• [ WiKicker ] SpeedyCGI 対応するも…… (2003-11-09)
• 本サイトの Referer 統計復活 (2000-11-05)
• WiKicker 0.27 リリース (2005-10-05)
• [ WiKicker ] 複数のキーワード集合による、AutomaticLink (2004-02-07)

■ AWStats 6.0

www.naney.org のアクセスログをローカルにもってきて統計解析をするのに、今回は analog ではなく AWStats を使うことに。

以前 www.naney.org に入れてみた時より、随分使いやすくなった感じ。

@ セットアップ

Debian パッケージを入れた後、awstats.naney.org というバーチャルドメインをローカルのApacheに用意(/var/www/awstats.naney.org)。

 Alias /icon/ "/usr/share/awstats/icon/"

も設定に追加しておく。

ファイルレイアウト:

 /var/www/awstats.naney.org/
  |
  +-- .htaccess
  |
  +-- awstats.conf  <-- 作成
  |
  +-- awstats.pl    <-- コピーしてきて一部修正
  |
  +-- cache         <-- DNSキャッシュ用 (まだ未使用)
  |
  +-- data          <-- データを保存
  |
  +-- plugins       <-- プラグイン
       |
       +-- wikicker.pm <-- /wiki/(.*).html を $1 で表示するプラグイン(自作)

awstats.pl はパッケージのものをコピー。DecodeEncodedString の中で Jcode.pm を使って文字列を UTF-8 に変換するように修正。

ローカル用なのであまり気にせず DocumentRoot の下にもりっとファイルを置いておく。

awstats.conf はこんな感じ。

 LogFile="/path/to/downloaded-log/access.log"
 LogType=W
 LogFormat=1
 LogSeparator=" "
 DNSLookup=2
 DirData="./data"
 SiteDomain="www.naney.org"
 HostAliases="localhost"
 DNSStaticCacheFile="cache/dnscache.txt"
 DNSLastUpdateCacheFile="cache/dnscachelastupdate.txt"
 URLWithQuery=1
 URLReferrerWithQuery=1
 LevelForWormsDetection=2
 ShowWormsStats=1
 LoadPlugin="wikicker"
 ValidHTTPCodes="200 304 -"

ValidHTTPCodes の '-' というのは、本来不要。自前のSSIで似非 Combined Log を生成する際に '-' を出力する事があるので追加。

日本語もきちんと出るしいい感じ。 指定した月ではなく、指定した日のログを見れるといいのだが設定すればできるようにならないかな。

analog と違ってプラグインが使えるのが良い。 Perlスクリプトだから、その気になれば簡単に awstats.pl 自体を変更する事もできるし。

今回は ShowInfoURL 用プラグインを書いて、/wiki 以下のURLの際は unescape して PageName を表示するようにしてみた。

その他いろいろ遊べそう。

• Web 解析サービス Google Analytics を申し込む (2006-10-26)
• WiKicker における PageName 最長文字数 (2006-06-10)
• 本サイトの Referer 統計復活 (2000-11-05)
• 最後がピリオド(.)で終わるファイル名をつけられない (2005-04-19)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)

■ Perl 5.005_03 + Template Toolkit 2.14

www.naney.org の静的(+SSI)ページを、Template Toolkit で動的処理するように改良しようかなと思い立つ。 Apache だと、

 Action tt2 /cgi-bin/t2h
 AddHandler tt2 .html

で .html へのリクエストを全てCGI プログラムに渡す(でそのスクリプトがテンプレート処理をして返す)ようにできる(はず)。

で久しぶりに Template Toolkit をサーバにインストール。 … Makefile.PL が通らない。ちょっと修正して通るようにしても今度は make test が通らない。最新の Template Toolkit だと 5.005_03 じゃ駄目か。ドキュメントには 5.005 で OK と書いてあるんだけどな。 前のバージョンは動いたのに。

ということでいきなり頓挫。 あきらめ。

• 最新の Module::Install は Perl 5.005_03 ステ? (2006-04-29)
• [ Debian ] smbmount (2001-12-25)
• Windows 上での Apache 2.0.53 では PATH_INF... (2005-04-10)
• [ WiKicker ] SpeedyCGI 対応するも…… (2003-11-09)
• [ WiKicker ] SunOS 5.6 にインストール (2003-04-23)