自堕落な技術者の日記

基本は喰ってるか飲んでるかですが、よく趣味でカラオケ・PKI・署名・認証・プログラミング・情報セキュリティをやっています。旅好き。テレビ好きで芸能通

プラグテスト

STF351初日会議終了

今、18:15、ミーティング一日目ようやく終わりました。実りはあったような無かったような微妙な感じですね。CAdESのテスト用のファイル名のゴタゴタがやや解決したようなので、まぁ、それはよかったかなと、、、、、

9:00からきっかり始まったので相当疲れて脳がスポンジのようです(T_T)

21時スタートでカルロスさんの知り合いの弁護士の人と一緒に会食しましょうということになってしまい、これまた大変。一日は長い、、、、、
<追記>
弁護士の方と会うのはカルロスさんだけで、大学の予算関係のことだそう。自分の英語力しょぼすぎ(T_T)STFメンバだけで21時にオープンする地元の人しか来なさそうな創作フレンチっぽいレストランに行きました。
地図だけぽっと渡されて店に現地集合だったので、心細かったんですが、何とかトラムに乗って、ZARAでお土産になりそうなもの見たりして時間を潰し店まで辿りつきました。5分前頃行ったら先にピーターが来て、他のお客さんもズラ〜〜ッと10人ぐらい店の前で待っていました。月曜だというのに結構人気の店なのかも。

アボカドと蟹のイチゴソース添え、海老とズッキーニのカレーソース・ライス添えなんか食べてなかなか美味しかったです。(良かった、英語のメニューくれて。スペイン語なんか読めるわけがないし、説明されてもよくわからない)写真撮るのは恥ずかしくてやめてしまった、、、、撮ればよかった、、、、

今日の2枚:

DSCF3058


カタルーニャ工科大の研究室棟のところでは、過去の計算機とかが展示されてるんですが、この「1」って書いてあるのが1986年のCentury Data Systems社のハードディスクです。私はロクロか揚水ポンプかと思いましたよ。「1」の数字の下の黒いのがディスクを回すためのモーターだと思います。手前の「5」が3.5インチのサムソンのフツーのハードディスクなので大きさも迫力あるでしょ。

DSCF3066



これは、名機 DEC VAX-11です。大学で触ったことがあります。これは処理速度が1 MIPSなんですが、Pentium 4で9700 MIPSぐらいあるそうです。MD5 Chosen-Prefix Collisionsで有名になったPS3は18000 MIPSぐらいあるそうです。ありゃ、でもPS3のやつは流行のグラフィックスチップを使った計算だからもっと速いのかな、、、、

OpenXAdESのXAdES-XLの検証依頼

最近、たま〜〜にいろんなところから、XAdESやCAdESの署名が送られてきて、検証してみてください、、、、と来ることがあります。ありがたい話です。

一昨日、エストニアのオープンソースのXAdES長期署名のライブラリのプロジェクトOpenXAdESをやっているSK(www.sk.ee)という会社の人から「検証してちょ」と連絡が来ました。

この人は去年のプラグテストにも参加していて、その時も署名に誤りがあって「×」をつけたんですが、直ったのでまた検証してみてくださいとの事でした。

SigAndRefsTimeStampのついたXAdES-XLなんで早速検証してみるに、タイムスタンプトークンのXAdESプロパティを読み込む際にエラーになっており、トークンの部分のBase64を取り出してみるにTimeStampTokenでなくてTimeStampResp(タイムスタンプ応答)が入ってしまっていました。

これって、前もエラー報告出したんですが直ってなくて残念、、、、

一連のXAdESのDN問題のブログ記事で書いた通り使っている証明書が問題が起きがちなもので、出てきたDNの文字列を見るとRDNの順序もおかしいし、G=とかemailAddress=とかが入っているので、一致検証も難しそうな雰囲気です。検証側の問題ですが、ここのもnonRepudiationビットだけの証明書が、、、(こちらを参照)

まぁ、オープンソースといってもピンキリですな、、、、、

メジャーではないオープンソースはトホホな実装のものが多いですな。どれだけ多くの人がコードをレビューしたかってことなんでしょうな、、、、、

ETSI全ウェブサイトの接続不能(ほぼ解決?)

ETSIのウェブサイト
http://www.etsi.org

ETSI Remote CAdES/XAdESプラグテスト用のポータルサイト

http://xades-portal.etsi.org/

が、一昨日夕方ぐらいよりちょっと信じられないような理由でフランス国内以外からは接続不能になっています。ETSI 3rd Remote XAdES/CAdES Plugtestsの申し込みやスケジュールの確認でアクセスして接続できなかった方には大変ご迷惑おかけしています。

状況が入り次第またアナウンスできるかもしれません。

#こんなんで、大丈夫かいな、、、、

<追記>
2009.01.27 00:47現在: xades-portal.etsi.org を含め接続は復旧した模様
疎通確認済
2009.01.23 19:00現在: メンバ向けの状況説明?
昨晩、大規模なサーバー停止があり
・メールは問題なし
・www.etsi.org は復旧
・docbox.etsi.org は 2009.01.21 CET夜間のデータをリストア
・portal.etsi.org 等は影響調査中との事
・xades-portal.etsi.org は別管理で水曜日からのネットワーク障害
 とは無関係そう
2009.01.23 14:00現在: ftp://docbox.etsi.orgは復旧しているように見える
2009.01.23 13:33現在: www.etsi.orgは接続可能になるも.NETのSQLエラー
2009.01.23 12:16現在: listsrv.etsi.orgはBad Request
2009.01.23 12:16現在: docbox.etsi.org, portal.etsi.org (FTP,HTTP)も接続不能

前回ETSI 2nd Remote XAdES Plugtestの報告書

2008年9月8日から18日にかけて開催された前回のETSIのXAdESプラグテストの結果が公開されました。

過去のテストイベントの説明
http://xades-portal.etsi.org/pub/pastevents.shtml
ETSI 2nd Remote XAdES Plugtestの報告書
http://xades-portal.etsi.org/pub/FinalReport-2ndRemoteXAdESPlugtest-200809.pdf

なんかレポート見ると、うちの実装とのマークが赤くなっていて相互運用性に問題があるように勘違いされそうですが、これは間違っている署名を正しく間違っていると検証できているためです。ECOMのテストと違って問題があってもどちらが悪いか白黒はっきりさせないんですよね、、、、、、

ETSI STF-351(Interoperability framework for XML Advanced Electronic Signatures (XAdES)) の役割分担についても新しくページを作ってもらいました。

ETSI STF-351 Team
http://xades-portal.etsi.org/pub/STF-351_presentation.shtml

ETSI 3rd Remote XAdES/CAdES Plugtestsのご案内

ECOMの会員向けにプラグテストの案内文を作り配信しました。
CAdESのテストケースドキュメントも書き終わりました。
2月2日・3日にバルセロナでテストの最終打合せに行く予定です。


2月下旬にETSI(欧州通信規格協会)における
XAdESとCAdESの長期署名フォーマットの
国際相互運用実験(ETSI 3rd Remote XAdES/CAdES Plugtests)が
開催されますのでご案内申し上げます。
http://www.etsi.org/plugtests/xades2/html/aboutXAdES_CAdES.htm

日本に居ながらにしてインターネットを介し参加できる
長期署名フォーマットのETSI主催のテストとして、
XAdESでは2回目、CAdESでは初めてのテストとなります。

年度末の忙しい時期ではございますが、
より多くの日本からの参加をお待ちしております。

■スケジュール

2009.02.06 オンライン参加申込〆
2009.02.06 参加者とETSIのNDA締結〆
2009.02.06 クレジットカードでの参加費支払い〆
2009.02.13? 参加者説明会(電話会議)
2009.02.16 テスト開始
2009.02.27 テスト終了
※海外送金の場合は別途ETSI事務局と相談となります。

■参加費用

500ユーロ (別途、付加価値税19.6%が必要)

■実験手順

- ルート証明書、署名ポリシ、署名対象データ、
 テストケース記述XMLファイル等を含むファイルをダウンロード
- 参加者用署名者証明書の発行
- OCSPレスポンダ、タイムスタンプサーバの疎通確認
- 生成・検証テスト
 - テストケースに基づき署名生成(CAdES/XAdES共に35署名程度)
 - 生成した署名をアップロード
 - 他参加者の署名をダウンロード
 - 他参加者の署名を検証
 - 署名検証結果をXMLファイルとしアップロード
- 失効系検証テスト
 - 失敗系署名のセット(20程度)をダウンロード
 - AdES署名検証
 - 署名検証結果をXMLファイルとしアップロード

■連絡手段

- メーリングリストリスト
- 電話会議(4程度?)+チャット

■実験結果レポート

実験結果レポートは
- 公表を許可した組織は組織名入りで
- しなかった企業は匿名で
公表されます。

前回(2008年9月)の実験結果は近々公開されます。

■日本語ヘルプデスク

今回は特に日本語ヘルプデスクのようなものは
特別設けない予定でおります。
(ご要望が多いようでしたら検討します。)

ETSI STFテレカン初め

今日は年が明けて最初のETSI STF351の電話会議になります。

2月末に行われる"ETSI 3rd Remote XAdES/CAdES Plugtests"の準備に本格的に取り掛かります。

プラグテストまでの参加者のスケジュールはこうなっています。

2009.02.06 オンライン登録〆
2009.02.06 参加者とETSIのNDA締結〆
2009.02.06 参加費のカード払い〆(海外送金の場合別途)
2009.02.16 テスト開始
2009.02.27 テスト終了

ウェブカム忘れないようにしないと、、、、、、

テストは5人で十分?

いつものように巡回しているPaulさんのブログの「5 is enough.」の記事でJakob Nielsonさんという人の論文「Why You Only Need to Test With 5 Users」に触れていました。ウェブサイトとかのユーザビリティのテストの話なんですが、読んでみて「それ、あるある、、、、」と思いました。

まとめてみると


Jakob Nielson氏のWhy You Only Need to Test With 5 Usersの要点
・テストユーザがゼロならユーザビリティの問題は見つからない
・テストを行って見つかるユーザビリティの問題は15人で飽和する
・テストユーザ数を増やすほど得るものは少なくなる。
 それ以上テストユーザを増やしても出てくるのは過去の問題の蒸し返し。
・予算も限られているので最適なのは15人雇って3つの小テストに分け
 5人ずつでテストさせる方法である


テストの種類や目的は違いますが、ETSIやECOMのCAdES/XAdESの相互運用性テストでも少し同じようなことを考えています。多すぎじゃん、、、、と、、、、

国内テストは全然まともですが、向こうのは同じような誤りや仕様に対するコメントが多くていけません。Jakobさんの論文にもありますが、最初の人のテスト結果を受けて次の人が違った角度からテストすると、、、、こんなやり方なら5人で検証すれば十分ということです。

そのためにも、前の人の検証レポートにはきちんと対応しておかなければなりません。ETSIのテストは検証結果や考察など公開しないので、いつまでたっても新しく来た人は同じような間違いしてるんじゃないかな、、、と、思っています。

リンク:
Why You Only Need to Test With 5 Users, Jakob Nielsen

ETSI XAdESテストを終えて

Plugtests Portal for Electronic Signature


9/8(月)から始まった2nd ETSI Remote XAdES Plugtest (2008.09)ですが、他の方の署名はすべて検証を終わりレポートをあげてしまい自分の分はもう終わりです。全体のテストは2日ほど延長されて火曜日に結果提出して電話会議して終わりということになりそうです。

テスト雑感



以下、テスト実施のお手伝いとテストに参加して感じたのはこんなとこです:


  • 参加企業は3月のテストの27組織から20に減りましたが、半年1回のペースでテストもそれほど大きく変わらないとあれば、それは減りますよね。まぁ、年に1回ぐらいの参加でいいかと、、、、

  • 日本からの参加は前回1社から3社となり、参加頂いた企業の方には大変感謝しております。どうもありがとうございました。

  • テストケース、テストベクター、資料、実験環境など相変わらずの準備不足ぶりで半日サーバーが落ちてたこともあり、本当に残念です。テストケースやデータについては十分レビューをしてから実験を始めるべきだとおもっていたのですが、その主張も空しいという感じでした。

  • テストの参加企業や結果が非公開になりそうな雰囲気でこれも残念。テスト結果表は企業名を匿名にして公表されますが、前回のテスト参加者の結果が、今回のテスト参加者にのみ公開されるわけのわからない公開の仕方は残念。

  • テストの参加企業や結果が非公開になりそうな雰囲気でこれも残念。

  • 参加費が10万近くもするたった1週間のテストにかかわらず、参加者メリットが少ないというか、参加者目線になっていないというか、主目的が仕様エディタのための「仕様の問題点の洗い出し」になっているのは問題です。準備も十分でなく短い実験期間中にテスト仕様・手順が変更されることもあったりします。テストに参加したからには「うちの実装はテストに参加してこれだけ対応できており相互運用性が問題ないことが確認された」みたいなことが公式にアナウンスできないと困ります。この点は主張していきたいと思っており、次回以降参加者のメリットが少しでも得られるように貢献できればと思います。

  • 検証テストについては、失効している証明書や期限切れの証明書の署名などやったのですが、失効前や有効期限期間の前後もテストしないと比較にならないわけですが、そのあたりも十分ではありませんでした。

  • 自分としてはETSIのXAdES仕様自体の問題点が少しでも直ればいいと思い、検証の判断を少し厳しめに設定して仕様の記述どおり「無効なものは無効」とバサッとやってしまいました。案の上、時刻比較、DataObjectFormat、CertifiedRole、署名ポリシの件は嵐を呼んだので、まぁ、それはそれでよかったかなと、、、、

  • 以上、ちょっと愚痴っぽいですが、個人的にはとても楽しめる実験でした。日本国内の実装では「ちょっと、ありえね〜〜〜〜」みたいな珍しい不備のある署名が数多く見られるのでよかったです。数回の実証実験を通じてこういう不備のある署名を多く扱っていると検証器に耐性ができるというか、何が原因でエラーになっているのかすぐわかる検証器に育っています。問題点の調査のしやすさはXAdES/CAdES署名検証器として世界一なんじゃないかなぁと思っています。そのおかげで、他の方のデバッグを大いにしてあげているようなもんですが、、、、、、(^^;

  • 3月の実験と比べて驚いたのは、XAdESで定義した全てのプロパティの生成を実装している企業が増えたという事です。JISプロファイルでは、使いそうにないプロパティはバッサリ切ってあるので、そのような割り切りをしていた会社さんも多かったですが、今回はウチのも含め20社中5社がフル実装、ほぼフル実装を含めると8社ぐらいありました。生成が正しいとは限らないわけですが、、、、、



XAdES誤りの例



前回・今回のテストでは、こんな不思議なXAdES署名を生成してしまうナイスな実装がありました。(自分も2つほど凡ミスをやらかしてます。)


  • TimeStampTokenではなくTimeStampResponseを入れてしまう

  • 時刻がローカルタイムになっており、国によって微妙に違う

  • OCSP要求のIssuerKeyHashが署名者公開鍵のものになっていた(←これ自分も)

  • DataObjectFormatの対象のds:ObjectでMimeType, Encodingを指定していなかった

  • 証明書シリアル番号を16進数表記で入れてしまう

  • 証明書識別名の文字列表現がRFC2253に従っていない(例, C=JP,O=HOGE等逆並び)

  • 証明書シリアル番号を16進数表記で入れてしまう

  • 時刻の順序関係がおかしい



以上、思いついたままに参加報告でした、、、、

次回のテストは2009年2月です、、、、参加者はCAdESとXAdES両方を一週間でできるんかいな、、、、、

今日からETSI XAdESプラグテスト開始

今日から一週間、ETSIのXAdESのプラグテストが始まります。16時からオリエンテーションミーティングだそうです。先週、イントロダクションミーティングをやったんですが、アジェンダは全く同じなようです、、、、、、不毛だ、、、、、

本日ETSI XAdESテスト説明電話会議

本日参加者向けにプラグテストの準備のための事前説明電話会議がありますが、残念ながら力およばず、かなりグズグズなテスト構成と内容になってしまいました。

テストデータはちゃんと作ってあげたし、テストケースの絞込みもちゃんとやったはずなんですけどね〜〜〜〜〜。いまひとつ整然とテストケースを設計しようというのが理解されません(T_T)検証テストの数も内容で選ぶというより数の上限で決めたようなところがあるので、何が大切で何が不要かのバランスを欠いているような気がします。

テストケースのドキュメントも全くの途中段階のままテストが始まってしまいそうなので、あれを読んでしまうと参加者の方は混乱されるのでは、、、と、とても心配しています。
最新記事
Categories
Archives
Twitter
記事Google検索

本ブログ内をGoogle検索
Yahoo!アクセス解析
Travel Advisor
記事検索
QRコード
QRコード
  • ライブドアブログ