nDiki : コードカバレッジ

WiKicker ExtUtils::MakeMaker バグ HTML Eclipse Windows インストール CPAN Perl テストスクリプトの書き方 Perl モジュール AutoLoader ソフトウエア開発 55の真実と10のウソ djUnit Debian ソフトウェア パスカバレッジ AutoSplit デバッグ Makefile.PL JUnit

■ Perlプログラムのコードカバレッジ解析

真実32 充分テストをしたとプログラマが自信を持つソフトウェアでも、全パスの50〜60%程度しか網羅していない。 パス・カバレージ・アナライザのような自動化ツールを使うと、網羅率が85〜90%に上がる。しかし、100%のパスを網羅するのは不可能だ。

真実34 ツールを使わないと、不良除去はうまくいかない。デバッガはみんな使うが、カバレージ・アナライザは、ほとんど使わない。

ソフトウエア開発 55の真実と10のウソより。

ということで、Perl 用のカバレッジ分析ツールを探してみる。 CPAN にある Devel::Cover が良さそげ。

@ Debian BOX にインストール

 apt-get install libtest-differences-perl \
                 libpod-coverage-perl \
                 libtemplate-perl

してから Devel::Cover をインストール

 dh-make-perl --cpan Devel::Cover --build
 dpkg --install libdevel-cover-perl_0.45-1_i386.deb

@ WiKicker のコードカバレッジをチェックしてみる。

WiKicker はExtUtils::MakeMaker を使ってパッケージ化しており、テストは t/*.t を使用するようになっているので、そのまま分析をする事ができる。

 perl Makefile.PL
 make
 cover -delete
 HARNESS_PERL_SWITCHES=-MDevel::Cover make test
 cover

出力はこんな感じ

 Reading database from /path/WiKicker/source/cover_db


 ---------------------------- ------ ------ ------ ------ ------ ------ ------
 File                           stmt branch   cond    sub    pod   time  total
 ---------------------------- ------ ------ ------ ------ ------ ------ ------
 blib/lib/WiKicker.pm          100.0    n/a    n/a  100.0    n/a    0.0  100.0
 ...cker/App/Configuration.pm   44.1    0.0    n/a   62.5    n/a    0.0   41.7
 ...icker/App/MarkUpAsHtml.pm   38.1    0.0    0.0   66.7    n/a    0.0   34.8
 ...CGI/AbstractController.pm   24.8    0.0    n/a   47.4    n/a    0.0   23.6
 [snip]
 ...ageHtmlFragmentVisitor.pm  100.0    n/a    n/a  100.0    n/a    0.0  100.0
 ...icker/WikiPage/WriNode.pm   96.4   83.3    n/a   88.9    n/a    0.9   93.0
 .../tDiaryFragmentVisitor.pm   32.3    0.0    n/a   33.3    n/a    0.0   29.8
 Total                          59.2   41.3   31.4   67.5  100.0  100.0   56.7
 ---------------------------- ------ ------ ------ ------ ------ ------ ------


 Writing HTML output to /path/WiKicker/source/cover_db/coverage.html ...
 done.

cover_db/coverage.html に各モジュール毎のコードカバレッジが表示される。 また、各モジュールファイル毎のレポートもHTMLで作成され、プログラムの各行毎のカバレッジがプログラムとともに表示される。

なかなかいい感じ。さすがにパスカバレッジはサポートしていない。

コードカバレッジを上げてもバグ0にはなるとは全然言えないのは承知しているが、テスト漏れを減らすための情報として結構使えそうだ。

• Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
• 最新の Module::Install は Perl 5.005_03 ステ? (2006-04-29)
• WiKicker に JSON でのページ出力機能を追加 (2007-04-03)
• Devel::CoverとAutoLoader (2004-06-04)
• 野良パッケージと依存 Perl モジュールのインストールセット をCPAN... (2006-02-11)

■ Devel::CoverとAutoLoader

[ Perl ]

コードカバレッジをチェックするDevel::Coverであるが、AutoSplit / AutoLoader を使っていると分割されたサブルーチンが対象にならない。WiKicker では AutoLoader を多用しているので、ここがチェックされないと意味がない。

ということで Devel::Cover下でテストする時は AutoLoader を使わないようしてみる。

 perl Makefile.PL WIKICKER_NO_AUTOLOAD=1

とした時はExtUtils::MakeMaker::WriteMakefile に PM_FILTER として

 q($(PERL) -e "while (<>) {s!^\\\\s*use\\\\s+AutoLoader.*!!g; s!^__END__!!g; print} print qq(\\n1;\\n); ")

を渡すように Makefile.PL を修正。これで

 perl Makefile.PL WIKICKER_NO_AUTOLOAD=1
 make
 cover -delete
 HARNESS_PERL_SWITCHES=-MDevel::Cover make test
 cover

とすると AutoLoader を使わないバージョンでチェックができる。

• Perlプログラムのコードカバレッジ解析 (2004-06-03)
• WiKicker の Makefile.PL を Module::Inst... (2006-02-10)
• 最新の Module::Install は Perl 5.005_03 ステ? (2006-04-29)
• Module::Build でソースパッケージング (2005-08-24)
• [ DiKicker ] Term DB の改良 (2004-06-12)

■ djUnit でコードカバレッジ解析

昨日から Eclipse 3.0 に djUnit を入れて、コードカバレッジのチェックをはじめている。 JUnit のテストケースがあれば、ユニットテストと同時コードカバレッジ解析ができる。 なかなかいい感じ。

• YAMLのJava実装を書く (2004-09-03)
• Eclipse 2.0.2 (2002-11-15)
• Perlプログラムのコードカバレッジ解析 (2004-06-03)
• Devel::CoverとAutoLoader (2004-06-04)
• 過去の今ごろ (2004-05-14)