nDiki : WikiEngine

■ Wikiの文法の標準化

今まで触れなかったが、やはり文法拡張する際は気になる存在。

各方面で出ている賛否どちらの意見もうなずける点が多く、自分の思いつく点もだいたいどこかで語られている感じ。

私が最初に Wiki の存在を知ったのは、やまだ君からだった。 当然「記法(文法)は?」というのがまず気になった点だったが、その時すでに「Wikiの文法はWikiEngine毎に異なる」という事だった。

WiKicker という新しい WikiEngine を作る際には、もちろん各 Wiki の文法を調べたのだが、それはもう様々で。 「見出し」記号など単純に流派的なものと、ブロックやプラグインなど設計思想に依存するものがあって、特に後者はどれかを統一して選択するのは難しいと感じた。

WiKicker では(もともと利用していた) YukiWiki2 に emacs-wiki の [[A][B]] を加え、その他の文法要素と表記は、

• 見やすさ
• メジャー度
• WiKicker のベースの文法と衝突しない
• 行指向を採用(行を越えた、開始・終了を利用者が明記しないで済むように)
• 構文解析しやすい (実装の容易性は、高速化・独自ツール作成時に重要)

あたりをポイントに決めた。

@ 将来標準(ができたとして)に準拠する?

多分しないな。 面倒だし。

■ [ WiKicker ] WiKicker へ脚注機能追加

WiKicker スタイルで日記を記述するにあたり欠けている機能として「脚注」がある。 Wiki としては必須でないので WiKicker には導入していないのだが、日記としては無いと困る。 脚注が使えると文を書く時に正直手を抜ける。 また hns 上の旧記事をコンバートする時にも無いといろいろ面倒だし。

ということで実装。

@ インラインブロック

さてどうしたものか。 WiKicker の WRI (BracketName 等を含む識別子)としての実装なら、parser の変更もなく新しいWRI scheme の追加と対応するクラスを書くだけですむ。 しかし WRI は終端記号なので、そうすると脚注の中でWRIを使えなくなる。 それは困る。

ということで、やはり非終端記号が必要。 悩んだあげく、

 {{scheme: ... }}

という「インラインブロック非終端記号」を導入。 {{..}} というのは確かいくつかの WikiEngine でプラグイン呼び出しで使っている記法だったような。

• 一般的な文章中には現れず、
• かといって文章中に混ぜてもそれほど違和感なく(wiki ではこれが重要)
• これ以上文法を追加したくないので、今後機能追加の際に利用できるように scheme 指定できる

といった点から、このようにしてみた。 2番目の点で合格点の出せる記法かどうかは微妙だが、まぁ許せる範囲かな。

{{ }} は、1行中に現れる必要有り。 「...」は scheme specific part だが、今のところ scheme によらず、InlineParser で解析されて部分木になるため、WRI とか ... とかも書ける。 InlineParser では正規表現を使っていて括弧の数は数えないので、今のところ {{ }} の中に {{ }} は書けないが、まぁ問題ないでしょう。

@ 脚注記法

で脚注は、

 {{fn: ...}}

となる。 普通。

@ 実装

• InlineParser の拡張
• InlineBlockNode クラスの追加
• 各 Visitor に visit_InlineBlockNode を追加。
• HtmlFragmentVisitor に fn: の処理を追加。

いざ実装してみると、ちょこっとのコードで実現。 脚注番号の降り方とか、今後改良する点はあるけど、大枠は完成。

■ 国際化識別子IRIのRFC

IRIがRFC3987になった。

WiKicker を含めた WikiEngine など(非ASCII)キーワードからURIを生成するタイプのソフトウェア開発において今後要チェック。

■ Windows 上での Apache 2.0.53 では PATH_INFO が シフト JIS に

WiKicker の Windows 上での動作確認の続き。 WiKicker のPPM パッケージを作成して ActivePerl 5.8.6.811 上にインストール。 依存するモジュールで、ActivePerl に入っていないものは以下の通り。

• Algorithm::Diff
• Jcode
• Log::Log4perl
• Time::Zone (TimeDate)

既に手元で PPM パッケージ化済みなので、これもインストールしておく。

後は RCS をパスの通っているディレクトリに入れてタイムゾーンを設定。

 TZ=JST-9

で CGI プログラムとして実行。 お、表示できた。 書き込みはと。

エラー。

予想していたけれど、sendmail に依存していたところ。 sendmail が見つからない場合はメールの送信をスキップするように修正。

これでうまく動くかなと思ったら、日本語名のページを作るとうまく表示できない問題を発見。

@ PATH_INFO がシフト JIS で渡される

WiKicker では UTF-8 文字列をURIエスケープして WikiPage のURLを生成している。 このURIにアクセスされると WiKicker は、PATH_INFO から WikiName を取り出す。 この文字列がシフト JIS になってしまっている。

Windows がファイル名に使用する charset にあわせて、Apache が変換してしまっているようだ。 調べてみると他の WikiEngine でも同様の問題にあっているという記事が見つかった。

将来の 2.0 系でパッチが取り込まれて修正されるとか、そうでないとか。

現状どうするかなぁ。 WiKicker 側でシフト JIS から UTF-8 に戻すというのもできない事はないけれど、あまりやりたくはないな。 いったんシフト JIS を介しているという時点で、シフト JIS に無い文字の扱いに関する問題をかかえてしまっているし(Apache が)。

対策案:

• Apache 1.x 系を使う (まだ未確認だが、こちらだと勝手に変換されないらしい)
• WiKicker に PATH_INFO を使わないオプションをつける(URI Query Component は勝手に変換されない)
• WiKicker 側でシフト JIS から UTF-8 に変換する

■ 「s」文字をキー入力できない WikiEngine

昨日早速社内の Wiki を WiKicker 0.30 に上げておいたのだが、同僚からバグレポート。

「s」を入力できません。s を押すとプレビュー画面になっちゃいます。

あ。

Internet Explorer の JavaScript コードにバグあって、Ctrl+S でプレビュー画面に遷移するようにイベント処理していたつもりが、s キー一発でそう動いてしまっているらしい。

あわてて修正。

はやく WiKicker の修正リリースを出さねば。

■ WiKicker における PageName 最長文字数

WiKicker では PageName を エンコードした文字列を URI に埋め込んだり、サーバで保存する際のファイル名にしたりしている。 このため、PageName の最長文字数はそれらの最長文字数に依存しているはずである。

今まで確認を後回しにしていたのだが、新しい機能の追加の際に確認しておく必要があるので調査してみた。

@ WiKicker の実装

WiKicker の実装がらみとして最長を決める要素としては

• PageName の UTF-8 表現を URI エスケープしてページ URI に含めている。→ URI、HTTP、HTML、Web サーバ、Web ブラウザの実装による最長の制約
• PageName を base64 にエンコードしてファイル名にしている。→ ファイルシステムのファイル名、パス名の最長の制約

がある。

@ 各仕様等による制約

• HTTP では URI の長さには制限なし (RFC2616 3.2.1)
• Web サーバは Request-URI が長いと 414 Request-URI Too Long を返す (RFC2616 10.4.15)。Apache は LimitRequestLine ディレクティブにより、URI を含むリクエスト行のサイズを制限することができる(配布時には 8190)。
• Internet Explorer が扱える URL の長さは 2083文字。
• ext2 はファイル名は 255文字まで(増やすこともできる)。
• 手元の Linux 2.6.15 で試したところ、パス名は 4095文字まで。

@ WiKicker で問題が出ない PageName 最長文字数

上記の中ではファイル名による制約が一番大きい。

WiKicker 内部でファイル名として base64 (の亜種) でエンコードしたものを使っているので、元の文字列はは最長 189バイトまでなければならない。base64 だと3バイトで4文字になるため、189バイトで 252文字となる。

WiKicker ではここでさらにファイル名に ',v'、'-lock' をつける事があるので、実際には元の文字列は最長 186 バイトまでとなる。

PageName が 186 バイトまでだとすると、URL エスケープしたとして558バイト。 WikiEngine のスクリプトの URL や他のパラメータとあわせても、これぐらいなら大丈夫のはずである。

ということで WiKicker では Linux 上だと通常 PageName は 186 バイトが最長と言ってよさそうだ。 日本語の文字はだいたい UTF-8 で3バイトになるので、62 文字までということになる。

そのうち、WiKicker に制約チェックを入れることにしよう。 そのうち。

■ 無制限 HTML タグ付けブロックを使って nDiki に Google Maps を貼る

Google Maps が ID を取得しないでも簡単に自分のサイトに貼れるようになった。 Google Maps で表示される HTML コードをページに埋め込めば、好きな場所の地図を貼ることができる。 これは嬉しい。

早速 nDiki でも貼りたい。

しかし WiKicker という WikiEngine をベースとした DiKicker を使っている nDiki では、現在のところ直接 HTML コードを使えるようにしていないのである。

「HTML タグ付けを許すのは嫌」というスタンスできたのだが、他のサービスを貼るという魅力にはやはり勝てないな。 HTML 直書きを許すのは大局的にはデータ活用性などで好ましくない部分もあるが、各種サービスを活用できないで利用価値が下がるのは本末転倒なので、わかった上で使うということで。

ということで nDiki で HTML タグ付けブロック機能を有効に設定。

ちなみに現行では HTML::Scrubber ベースで、使えるタグ・属性に制限をつけるフィルタしか用意してなかった。これだと Google Maps のコードがそのまま貼れない。 ということで「DiKicker」および「書く人が限定されているような Wiki」での利用を想定した無制限にスルーするフィルタモジュールを新規追加。

これで Google Maps を貼れるようにした。

では早速。

■ 今日のさえずり - バスクリンに「マジッ」をたすとバスマジックリン

• 10:32 親戚から 050 で電話がかかってきた。
• 12:54 PC 触っているときりがない。
• 14:29 毎日曜日は基本ノー PC デーにしようかな。今日はもう結構使ったけれど。[mb]
• 16:04 年賀状投函。ポストがもう年賀状モード解除されてる。[mb]
• 16:55 今日のサウンドロップ クレヨンしんちゃん「いや～それほどでもぉ」[mb]
• 18:09 バスクリンに「マジッ」をたすとバスマジックリンになることに気づいた。[mb]
• 18:22 Amazon.co.jp 使ったギフトが初めてウチにきた。[mb]
• 18:34 まりもの水交換した。[mb]
• 23:59 Google proxy 経由でiモードから拙作 WikiEngine に書き込めた。[mb]

■ ケータイ用にプライベート Wiki を設置

パケ・ホーダイを契約してから、MovaTwitter・RTM・モバイル Gmail などで携帯電話を活用するようになった。そんななか、決定打がないのが、ノートアプリケーション。電車の中などの隙間時間に、この nDiki の 下書きなどはケータイでできるようにしたい。

Google ドキュメントが使えればいいが、前年ながらまだiモードでは使えない。 メールベースでやる手もあるが、メモには良いものの再編集を繰り返したいようなものに難がある。

ということで自前でプライベート Wiki を立てそこに書き込んでみることにした。

@ iモードから WiKicker

使う WikiEngine はいつも通り自作の WiKicker。

書き込んだテキスト内のキーワードを nDiki へ自動リンクさせることができるので、パーソナルナレッジベースとして自分にとっては一番便利。書式も同じなので、Wiki に書いた下書きを、そのまま nDiki で使える。

肝心のケータイからの書き込みだが Ajax 等凝った技術を使っていないおかげで、問題なく FOMA 端末(D703i)からiモードで読み書きできた。WiKicker は UTF-8 でページを出力しているが、網側か端末側の処理かは知らないが今のところ問題なし。

なお認証は簡単に Basic 認証で済ますことにした。 安全とは言えないがそれほど重要なデータを置くわけではないしいいかな。 cookie は必要ないし WikiEngine に手を入れなくてもよいので、すぐできるのはコレ。

ユーザ名とパスワード付きのトップページ URL を端末でブックマークしておけば1発でアクセスできる。

@ Google Mobile Proxy 経由で使う

これでケータイ(と PC)から使えるプライベート Wiki を設置できたわけだが、なにぶんもともとケータイをサポートしている WikiEngine ではないため、長いページの分割機能などはないのがちょっと不安。PageName で生成される URL が長くなった時の振る舞いもちょっと不安。

そこで Google Mobile Proxy (http://www.google.co.jp/gwt/n) 経由で Wiki を使うことにした。 ページを携帯端末向けに変換してくれる proxy で、Basic 認証もできるしフォーム の POST もできる。

Google Mobile Proxy 経由で見たページ内のリンク先も全て自動的に proxy 経由になるので、 PC 向け Web ページの URL を書いておけばそのまま携帯電話で見ることができる。

安全のためか、比較的短い一定時間立つと認証の再確認画面が表示されてしまうが、ユーザ名とパスワードを入力すれば、セッションは継続される。 テキスト編集に時間がかかってしまうと POST する時にひっかかってしまい認証の再入力がちょっと面倒だが、再認証が通れば POST リクエスト自体は有効で書き込みがロストすることはないようだ。

しばらくはこれで読み書きしてみよう。

■ Web 日誌 / Web 日記を書き始めてから10年

当初「コンピュータ日誌」として日付ベースの記事を書くようになって(記事)から満10年。

当初は m4 ベースで HTML テンプレート処理をしていた。 その後記事を XML 形式にし、Perl スクリプトで HTML ページ生成する方式に変更。 2001年5月には Naney's Diary としてハイパー日記システムを使い始めた(記事)。 2004年2月に名前を nDiki と改め、自作 WikiEngine をベースとした日記システム DiKicker で記事を書くようになった(記事)。

文章はあいかわらず上手くなってはいないけれど、書き続けることでいろいろ得ることも多かったと思う。

• 記事化を念頭に、仕事・生活の中でアンテナを張りより物事を考えて生活することが習慣になった。
• 自分にとって有用なパーソナルナレッジベースが築けた。
• 各種 Web 技術をトライする実験場となった。
• 多少人の役にたった。
• 多少収入になった。

みんなも書くといいよ。

■ 今日のさえずり: あの牛乳の量ヤバい。腹にヤバい。

@ 2010年10月16日

• 08:49 YAPC::Asia Tokyo 2010 2日目に向けて出発。 #yapcasia
• 09:06 昨晩 REGZA をいじっていたせいか、予約していた番組を録画できていなかったことが今朝発覚して、一時酷い雰囲気に。
• 09:15 今日も早めの到着。#yapcasia (@ YAPC::Asia 2010) http://4sq.com/9zBYAp

• 09:20 70周年記念講堂。 http://movapic.com/...
• 09:25 今日も GaiaX 水いただきました。 #yapcasia
• 09:40 ベストトーク投票権って各日毎じゃなくて片方の日に2票使ってもいいみたい。 #yapcasia
• 09:50 もうすぐ10:00 だけど70周年記念講堂スカスカ。みんなお寝坊さん。土曜日だから機能より人多いと思ってたんだけどな。別の会場はどう? #yapcasia
• 09:56 電車遅延につき70周年記念講堂10分遅れ開始になりました。 #yapcasia
• 10:00 「@__gfx__ 氏ベストトーク賞狙い」のための作戦でもあります。 #yapcasia
• 10:09 twicca アップデート。カラーラベルが増えた。嬉しいけど配色でまた悩むな。 #Android
• 10:11 藤吾郎氏 @__gfx__ の講演スタート。 #yapcasia
• 10:15 テンプレートエンジンいっぱいあるなあ。TT2 しか使ったことない。 #yapcasia
• 10:18 TT2 確かに遅い。WikiEngine を書いた際に遅すぎて捨てたことがある。 #yapcasia
• 10:22 「Text::ClearSilver から影響を受けた。」 #yapcasia
• 10:35 YAPC 発表者は sucks って語が好き。 #yapcasia
• 10:40 Xslate は VM 持ってる。 #yapcasia
• 10:43 継承可能な手書き parser か。yacc 系使ってないのね。 #yapcasia
• 10:45 computer science の香りがして楽しい。 #yapcasia
• 10:56 Xslate の発表良かった。次絶対、Xslate 使う。 #yapcasia
• 11:00 Yappo 氏 @Yappo の講演スタート。 #yapcasia
• 11:05 「CLI でテストしたい。」 #yapcasia
• 11:22 ライブでテストケース書き中。 #yapcasia
• 11:26 しかし、しばらく C++ 行ってる間に Perl の Web 関連が変わってきてるな。この秋冬シーズンは Perl で製品書きたい。いや書いてしまおう。
• 11:46 12:00 までにパン食う。 #yapcasia
• 12:03 Jesse Vincent 氏 @obra の講演スタート。 #yapcasia
• 12:06 みんな流れる tweet に見とれて話聞いてない? #yapcasia
• 12:10 Perl 4 は? #yapcasia
• 12:16 カボチャきた。 #yapcasia
• 12:21 メンテナンスリリースなのに新機能。あるある。 #yapcasia
• 12:23 もうスライド 140ページ。 #yapcasia
• 12:27 「もしも上司だったら」 #yapcasia
• 12:36 3カ月毎のメンテナンスリリースはバグフィックスのみ。見習うべきか否か。
• 12:50 百年記念館 フェライト記念会議室へ移動中。 #yapcasia
• 12:59 佐藤敏紀氏 @overlast の講演スタート。 #yapcasia
• 13:02 「自然言語処理やっている人は最初10分寝てていいです。」 #yapcasia
• 13:15 「しばらく運用してログをみる」 #yapcasia
• 13:20 自然言語処理の入門でした。20分だとあっさりこれぐらい。 #yapcasia
• 13:23 cho45 氏 @cho45 の講演スタート。 #yapcasia
• 13:29 tail -f 出た。 #yapcasia
• 13:32 「どうや。」 #yapcasia
• 13:43 再び70周年記念講堂へ移動。 #yapcasia
• 13:59 やっぱり次の枠は休憩にしよう。 #yapcasia
• 14:01 マクドナルドテイクアウト組がちらほらいるな。
• 14:09 アイスラテとフルーツケーキ 540円。 (@ エクセルシオール カフェ 大岡山駅前店 w/ 2 others) http://4sq.com/8ZB7ch
• 14:12 アイスカフェラテM作ってるのみて震えた。あの牛乳の量ヤバい。腹にヤバい。
• 14:18 百年記念館 フェライト記念会議室の方大人気だったのか。1つ前のセッションで座れてたのでそのままいればよかったな。 #yapcasia
• 14:57 @as_tone 東京工業大学大岡山キャンパスです。YAPC は hacker の集まりなので楽しいですよ。
• 15:00 xaicron 氏 @xaicron の講演スタート。 #yapcasia
• 15:00 データベーステストのノウハウについて。 #yapcasia
• 15:02 また MySQL ですねえ。 #yapcasia
• 15:06 Test::mysqld の PostgreSQL 版ないのかな。 #yapcasia
• 15:25 Dan Kogai 氏 @dankogai の講演スタート。 #yapcasia
• 15:25 RT @Craftworks: http://search.cpan.org/.../postgresql.pm RT @Naney Test::mysqld の PostgreSQL 版ないのかな。 # ...
• 15:46 20分のセッションはあっという間。 #yapcasia
• 15:50 次百年記念館 フェライト記念会議室。 #yapcasia
• 15:56 次 NoSQL ネタかな。某製品開発で MongoDB 採用見送りになったんだけれど興味津々。 #yapcasia
• 15:57 次のセッション、 8割が YAPC 初参加であることが判明。 #yapcasia
• 16:01 「NoSQL な話はあまりありません。」 #yapcasia
• 16:02 Yusuke Wada 氏 @yusukebe 講演スタート。 #yapcasia
• 16:03 Twib。 #yapcasia
• 16:08 「速く」「非同期」 #yapcasia
• 16:19 「特化した機能は API 化」 #yapcasia
• 16:23 sugyan 氏 @sugyan の講演スタート。 #yapcasia
• 16:37 複数の認証を1ユーザに関連付け。ユーザ側では好みのわかれるところだけれど、嫌ならユーザがリンクさせなければいい話かな。 #yapcasia
• 16:39 フレームワーク・エンジンを積極的に乗り換えていけるのは組織としてすごいな。 #yapcasia
• 16:40 Catalyst ってもう古いの? #yapcasia
• 16:51 70周年記念講堂。 #yapcasia
• 16:53 @yamakiyo お、東工大に今いるの?
• 17:01 LT スタート。 #yapcasia
• 17:50 HNS かぁ。懐かしい。 #yapcasia
• 17:56 Miyagawa 氏の講演スタート。 #yapcasia
• 18:07 「許可を得ずにやったもん勝ち」 #yapcasia
• 18:25 Perl は people のグルーっていいね。 #yapcasia
• 18:27 RT @shinsuke_ogawa: YAPC最後のトーク。Miyagawaさんは違うレベルでものを見てるなあ。
• 18:33 これから SQL 文書くんかい。 #yapcasia
• 19:03 終了。素晴らしいカンファレンスでした! #yapcasia
• 19:25 ホイ、帰宅。
• 23:27 Evernote 2.0 for Android Beta またバージョン上がってる。