nDiki : YAML

シリアライゼーションフォーマット。

Perl Java Eclipse Perl モジュール Perl v5.6 Ant WiKicker ANTLR UTF-8 構造化テキスト UTF8 フラグ 文法 書き方 拡張子 マニュアル 正規表現 ポイント ミーティング LaTeX C# Python Perl 5.005_03 BOM Module::Build ExtUtils::MakeMaker Perl で XML XML-RPC Wiki JavaScript Json.NET

■ [ Perl ] YAML

人間があとでチェックする必要がでてきそうなデータを serialize するのに、YAMLをチョイスしてみる。

とりあえず Perl モジュールで、LoadFile / DumpFile してみる。

• 野良パッケージと依存 Perl モジュールのインストールセット を CPA... (2006-02-12)
• CPAN のPerl モジュールを RPM パッケージ化する (2003-04-22)
• 定型書式で内容を記述していくのに便利な形式は? (2005-11-21)
• PAR::Repository でビルド済み Perl モジュールをネット... (2006-12-12)
• YAML.pm 0.35 のバグ (2004-11-18)

■ YAML Perl モジュール

データファイルをYAMLで扱おうと思い、YAML Perl モジュール (0.35)でちょこちょこと実験。

@ 日本語がことごとく quote される。

ある UTF-8 で書かれたファイルを読み込んで YAMLで Dump したら、日本語の部分がことごとく quote される。 これはいただけない。

 my $ESCAPE_CHAR = '[\\x00-\\x08\\x0b-\\x0d\\x0e-\\x1f]';

で判別している。手抜きではないか。 さてどうしたものか。

と考えていたら、よく考えたら Perl v5.8.x だとバイト単位ではなく文字単位で正規表現マッチングさせられるんだったことを思い出した。 手抜きだなんて思って失礼しました。

データファイルを読んで utf8::decode してから YAML で Dump するようにしたらクオートされなくなった。Good.

Perl v5.6 系だとどうすればいいんだろ。 YAML.pm を直接書き換えて

 use utf8;

を追加すれば期待通りにはなるのだが、ちょっと嫌だな。

@ sequence をインラインで

短い sequence は

 - a
 - b
 - c

ではなく

 [a, b, c]

の形式で出して欲しい。YAML.pm のチェックしたところ

 my $y = YAML->new;
 $y->InlineSeries(5);
 print $y->dump($data);

のようにインラインにしてよい上限の個数を指定すればよいことを知る。

[ UTF8 フラグ ]

• [WiKicker] WiKicker の文字化け対応 (2004-02-03)
• [ WiKicker ] hell mode - HTMLタグ付けブロックの導入 (2005-09-13)
• YAML Perl モジュール と Perl v5.6 (2004-05-20)
• Template Toolkit で UTF-8 なファイルを INCLU... (2004-10-29)
• Skype for Linux 1.0.0.1 (2005-02-02)

■ YAML Perl モジュール と Perl v5.6

やっぱり YAML.pm に

 use utf8;

を追加するしかないかな。

しかし YAML Perl モジュール(0.35)のドキュメントを良く読んでみると

 BUGS & DEFICIENCIES
        ...
        Unicode
            Unicode is not yet supported. ...

と書いてあるではないか。 やはり手抜きであった。

• YAML Perl モジュール (2004-05-19)
• 定型書式で内容を記述していくのに便利な形式は? (2005-11-21)
• YAML.pm 0.35 のバグ (2004-11-18)
• [ WiKicker ] WiKicker 0.20 で文字化け (2004-02-03)
• [WiKicker] WiKicker の文字化け対応 (2004-02-03)

■ YAML と Java

Java 用の良さそげな YAML ライブラリが見あたらない。 実装する余裕もなさそうなので、YAML 採用は見送りかなぁ。

YAML を使うなら Ruby か。

• YAMLのJava実装を書く (2004-09-03)
• ANTLR (2004-09-09)
• 趣味のYAML (2004-09-02)
• JAlbum で Webフォトアルバム (2004-11-14)
• 私的10大ニュース2004 [ comp ] (2004-12-31)

■ 趣味のYAML

YAMLのJava実装にいいのがないので、プロジェクトでは使わないように変更するという報告をミーティングでした。

YAMLを使うというのは趣味とかでしょ?

いやまあ完全には否定しませんが。 一応いろいろ検討した結果、表現に適していると判断したから選択したんだけどね。

• YAMLのJava実装を書く (2004-09-03)
• 久しぶりに build.xml を書く (2005-11-14)
• YAML と Java (2004-08-30)
• ANTLR (2004-09-09)
• JAlbum で Webフォトアルバム (2004-11-14)

■ YAMLのJava実装を書く

プライベートで書く事にした。 Eclipse 3.0 も入れたし、即実装開始。 えーと、まずはBOMの処理か。

しかし今だに Java のパッケージングの慣習がわからない。 make dist にあたるものは無いのか? まだ Ant ではスタンダードなスタイルは確立されていないの?

• ANTLR (2004-09-09)
• Eclipse 2.0.2 (2002-11-15)
• 久しぶりに build.xml を書く (2005-11-14)
• Module::Build でソースパッケージング (2005-08-24)
• YAML と Java (2004-08-30)

■ ANTLR

やっぱり手でYAMLのパーサを作成するのが面倒なので(FIRSTとかFOLLOWとか入力バッファ処理とか)、やっぱりジェネレータを使う事を検討。 Java だと ANTLR あたりか。

YAMLだと文脈に応じて、インデント用空白列トークンの長さをかえて認識しなければならないのでそれがうまくできるかどうかがポイント。

まずはインストール(Eclipse 用のプラグインも入れておく)。 ちょっとずつマニュアルも読み始める。

• YAMLのJava実装を書く (2004-09-03)
• 自宅の無線 LAN を復旧 & IEEE 802.11g 化 (2004-11-26)
• PEG-TJ25 インストールメモ (2004-04-06)
• Eclipse 3.0M8 (2004-04-19)
• サブプロジェクトが使える GTD ツール ThinkingRock 2.0.1 (2008-06-23)

■ YAML.pm 0.35 のバグ

Perl 用 YAMLライブラリ YAML.pm 0.35 が不完全である事は知られているが、どうやらバグを踏んだらしい。 書き出したYAMLファイルが自身で読み込めない。

しょうがないので YAML.pm をロードしてから 0.35 なら問題サブルーチンを再定義して対応する予定。

• 第12回 社内 Perl 勉強会 (2006-07-31)
• 自分が個人で開発したフリーソフトウェアを自社製品に組み込むとき (2005-05-16)
• 定型書式で内容を記述していくのに便利な形式は? (2005-11-21)
• [ Perl ] PDL 2.4.1 から eigens が固有ベクトルを... (2004-03-05)
• [ WiKicker ] 無記名時のバグ修正 (2003-09-20)

■ 定型書式で内容を記述していくのに便利な形式は?

今要求仕様書を LaTeX で書いている。 要求と仕様の組をまとめて longtable で記述しているのだが、 LaTeX らしい繁雑さがあってちょっと効率が悪い。 マクロを定義すればある程度書きやすくなると思うが、それでもそこそこまでな気がする。

文書の中にレコードの並びが書けて、レコードの並びの中に文章が書きやすいそんなフォーマットはないものかなぁ。

• LaTeX + マクロ
  • 整形は綺麗。
  • 記述が繁雑になりがち。\マクロ名とか {} とか。
• DocBook
  • 仕様デカスギ
  • 以前使ってみたことがあるが、手で書くのにはしんどい。
• XML
  • 構造的な情報の表現には良いのだが、手で書くのはしんどい。開きタグも閉じタグも。
  • 普通の章節や、マークアップのルールを考えなければならない(定義するか借りてくるか)。
  • LaTeX等へのコンバータを書く必要あり。
• YAML
  • レコードの並びだけだったら良いが、文書の他の要素を一緒に書くのには適さない。
  • ある程度の構造やボリュームがあると、思ったほど手書きしやすくない。
  • YAML Perl モジュールで痛い目にあっている。

Wiki に慣れきっている自分にとっては Wiki 文法のような感じで記述できて、一部に定型レコードの並びが書けて、そこの整形ルールだけ定義してあげれば LaTeX に変換できるとかそういった感じがのものが欲しい。 定型レコードの部分は RFC822 のヘッダみたいな感じで良くで、値の部分に長めの文章を複数行で書けるものがいい。

構造化テキスト用フォーマット、あるいはWiki フォーマットをアレンジするのがいいかもしれないな。 このあたりのフォーマットは、ソーステキストのままでも充分読み易いことを意識して定義されているので書くのは楽。

• reStructuredText
  • いいらしい。
  • HTML、LaTeX、XML へのコンバータがある。
  • 拡張性も考慮されているらしい。
  • でも Python。
• Markdown
  • reStructuredText よりもソーステキストが読み易いらしい。
  • Perl
  • HTMLへの変換しかない。
• WiKicker (Wiki)
  • かなり書き慣れている。
  • レコードの並びの書き方を考える必要あり。
  • 複数行にまたがる処理を書くのが面倒。
  • 自分で書いているシステムなので中身は何でも知っている。
  • マイナー。

レコード部分とは関係ないけれど reStructuredText や Markdown の「アンダーラインのあるテキストを見出しとする」っていうのはいいな。 普段メールやプレーンテキストでちょっと文書を打つときに使っているスタイルと一緒だ。

要求仕様書用に使うかどうかは別として、要チェック。

• 早速 reStructuredText から LaTeX へのコンバータを書く (2005-11-24)
• Docutils は自分にとっての Python キラーアプリかも (2005-12-01)
• reStructuredText いいんじゃない? (2005-11-22)
• 私的10大ニュース2005 [ comp ] (2005-12-31)
• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)