NPO法人ソフトウェアテスト技術振興協会 イベント報告-JaSST Online Bergamot

はじめに

2020年10月3日13時から17時30分くらいまで JaSST Online Bergamot(以下、Bergamot) が開催された。JaSST Online としては2回目の開催ということもあり、参加者数は40名以上と前回を上回る申し込みがあった。

今回のBergmotでは、メインセッションである「探索的テスト」と、参加者から議論テーマを持ち込んで議論するOpen Space Technology(以下、OST)の構成であった。

オープニング

概要

オープニングセッションでは、参加申し込み時のアンケート結果の説明があった。参加者の傾向として、オンラインの影響もあり全国から参加申し込みがあったこと、経験が浅いエンジニアよりも比較的経験があるテストエンジニアが参加していること、30%以上の参加者が業務での探索的テスト実行を行なっていることなどの説明があった。

アンケート結果説明のあと、メインセッションやOSTに関する説明などが実行委員よりあった。

「探索的テスト」

概要

nemorine(ねもりん)氏より、「探索的テスト」について、事前に録画した探索的テスト実行中の動画とともに解説を行う形式で講演いただいた。

本セッションでは、テスト用に開発したSNS(ソーシャルネットワークキングサービス)のようなWebアプリケーションをテスト対象とし、nemorine氏が事前に「探索的テスト」の実行の様子を録画した動画を配信しながら進められた。その際、録画には、テスト実施中の画面とともに、探索的テストを実施しているときに考えていることを声に出してもらい、その様子も含められている。また、参加申し込み時に質問オプションを申請した3名の質問者が、動画配信中に質問ベルを鳴らすと動画を止めて質問と回答を行う形式で進められた。

質問者との主な質疑応答

Q.

私の場合は、まずNGケースからテストするが、正しいふるまいをすることから確認する？

A.

私の場合、ハッピーパスのテストからはじめる。このときテストというより、探索的テストの「学習」にあたるところかもしれない。

Q.

チャーターは今回作成していない？仕様書はどの程度読み込んでいる？

A.

今回は作成していない。仕様書は機能概要等を広く浅くという読み方で3分程度しか見ていない。深く読み込むと、読み込んだときに頭の中でテスト設計を行ってしまい探索的テストにならなくなってしまう。できるだけ初見の状況で、アプリケーションと対話しながら、また対話やふるまいに応じて次の確認項目を考えることでテストを実行した。

Q.

仕様書が、更新漏れ等でテスト対象のアプリケーションに合致していないこともある。その場合、開発者にヒアリング等は行うか？

A.

チャット等で確認することはある。ただ、応答に時間がかかると、テスト中の思考の流れが途切れてしまうのでテスト後にまとめて確認することが多い。

Q.

「操作ミスしたかも」という発言があった。仕様通りであってもテスト実施者が操作誤りをするということは、ユーザも操作誤りをする危険があるということなので、開発者に伝えるべきではないか？

A.

その通り。

Q.

動画を見ていたが、テストの内容や方針などの全体像が見えない。nemorine氏は全体像を想像しながらテストを進めているのか？

A.

全体像は意識している。これまでのテスト対象のふるまいからエラー処理が弱いと学習できたので、エラー処理に重きを置いて実施しているところである。

Q.

探索的テスト実行中、「あやしいふるまいがあった」と検知したが、現象が再現しない場合はどうする？

A.

今回は現象再現について深く追求していない。業務であれば、操作の記憶をたどるなど、もう少し深く再現を試みる。それでも再現しない場合には、開発者に発生日時や現象を伝え、ログなどを確認依頼する。

Q.

あやしいふるまいがわかったら、「次は再現しないかもしれない」、「その時にしか出ないバグかもしれない」、と考えすぐに開発者に伝えるべきだと考えている。

A.

その通り。

筆者感想

「探索的テスト」は、JaSST でも講演や事例発表テーマになったり、文献や書籍等がふえてきていると感じている。しかし、実際に「テスト実行中にテスト対象をどのように考えながら探索的テストを進めているか？」を説明している情報は多くないと思っている。その意味で、今回のセッションは非常に有効だと感じた。また3名の質問者の切り口も鋭いものが多く、考えさせられるものが多くあった。

本セッションを聴講された方が、よりよく「探索的テスト」を実施できるヒントを得られたと思う。

OST

概要

OSTは、テーマを当日の参加者で設定し、Discord というオンラインで議論するツールを使用し、テーマを設定した参加者以外は各自興味あるテーマに分かれて議論する場である。

当日のメインセッションの影響もあり、以下のように「探索的テスト」に関連するテーマが多く議論された。

• 「探索的テスト」と「アドホックテスト」の違い
• チャータの書き方やチャータ作成時に意識すること
• 探索的テストの実施タイミング
• 探索的テストのエビデンスの考え方
• 探索的テストの勉強法や指導法

筆者感想

探索的テストは、認知度は広まりつつあるが、探索的テストの実行にあたっては、現場で苦労している様子がテーマや議論に表れていると思った。参加者の背景は、対象ドメインやテスト対象にプロダクトやサービスによっていろいろ違いがあったが、「探索的テスト」を軸に、探索的テスト実施時に検討が必要な、上記のような共通的な課題に対して議論がされていたのが印象的であった。また、すでに現場で探索的テストを適用している参加者から知見が共有されるなど、参考にできる点も多かったと思った。

全体感想

今回のメインセッションである「探索的テスト」や、OST の盛り上がり・熱い議論が非常に印象的だった。「探索的テスト」セッションでは、質問者による「質問ベルがならない」という些細な(?)トラブルも一部あったが、終始良い雰囲気の中での議論だったと思う。また、Online のカンファレンスということで、参加者の投稿したコメントが全参加者の画面に表示され、その内容について議論される、といった双方向のコミュニケーションで議論がされていたのが印象的だった。オフラインではできない、オンライン独自の特長を生かしたオンラインカンファレンスを楽しみに次回開催を待ちたいと思う。