NPO法人ソフトウェアテスト技術振興協会 イベント報告-JaSST Online Daisy

はじめに

13:00より「バグバッシュ」をテーマにJaSST Online Daisyが開催された。
メインセッションはチームに分かれて実施する探索的テストとなっており、参加者全員が手を動かし、発言する形式となっていた。

オープニング

オープニングでは簡単な挨拶や諸注意と、今回のバグバッシュの設定、および目的が共有された。参加者は3〜4名ずつのチームに分かれ、1回あたり20分の探索的テストを役割を変えながら、4回繰り返す構成となっていた。分野や経験が偏らないようなチーム編成になっており、バグバッシュを通したノウハウ共有が目的であるとの説明があった。

本イベントは過去のJaSST Onlineと同様にDiscordというオンラインツールを用いて開催された。ボタンを1つ押すだけで自動でロールが付与されるなど、参加者の操作の負担が軽くなるような準備がされていた。

バグバッシュ

テストベースの説明

バグバッシュをはじめるにあたって、テストベース「GIHOZ」の説明が行われた。GIHOZはテスト技法を直感的な操作で利用できるクラウド型ツールで、本イベントのためベリサーブ社よりテストベースとして提供された。

GIHOZのコンセプト、簡単な操作説明、境界値分析やデシジョンテーブルテストなど6種類のテスト技法がサポートされている旨などが共有された。

アイスブレイク・チームの方針決定

全体への共有が完了すると、チームごとに自己紹介や画面共有の練習が行われた。

筆者のチームではテスト業務歴の長いメンバーがリードする形で話が進み、境界値分析の画面に絞ってテストをすることが決定した。

前半

お互いに様子を伺い合う空気はありつつも、方針通り境界値分析画面からテストが始まった。

ドライバーが画面を共有し、ドライバーを含む全員で相談をしながら入力値や次の操作を決定していった。「まずは正常系の操作をしてみよう」と決めた矢先、数値の入力画面に対して最大値やエラーとなりそうな値を入力する方向に全員の興味が向いていた。

桁数の上限や小数など、様々な入力を試しているうちに1回目のテストの終了時間となり、役割を交代することとなった。

交代後の2回目のテストでは気になっていた箇所を引き継ぐ形で小数の入力を試すことになった。ここでユーザーの意図しない挙動が見つかったことをきっかけに、「システムの挙動としてはわかるけど、使いづらい」といったユーザビリティの観点での意見交換が積極的に行われた。

その後はテストケースの生成まで操作が進み、無効なパターンのテストケースを作ろうとしているところで2回目のテストが終了した。

後半では別の機能や画面をテストするという選択肢もあったが、「無効なパターンってどうやったら登録できるんでしょう？」「次の回はそこから試してみよう」と自然と方針について話し合われ、満場一致で次のテストの方針が決定していた。

筆者感想

はじめこそ伺う空気があったものの、バグと思われる挙動を前にした途端にチームがひとつになり、一気に打ち解けることができたと感じた。2回目のテストが終わるころには初対面であることもすっかり忘れ、仲間意識のようなものが芽生えていたと思う。

1回あたりのテストの時間はあっという間に感じたが、短い時間だからこそ集中して取り組むことができたのかもしれない。話足りない気持ちを抱えつつ休憩をとったことから、前半で早くも手を動かす楽しさを実感していたのだと思う。筆者個人に限らず、チームメンバー全員が参加に前向きで、積極的に発言をしていたことも印象的だった。

後半

3回目のテストでは「乗車券の金額」に関するケース作成を想定して入力値が設定されていった。数直線に対する境界値の入力や、作成した数直線同士の比較をしながら操作が進んだ。前半で決定した通り無効を含んだケース作成が完了すると、メンバーの興味はその生成されたテストケースへ移っていった。

テストケースについての確認に入ろうとしたところでテストが終了となった。

時間終了間際に見ていた内容の続きを確認するため、4回目のテストでは前回の設定を引き継いでテストをすることになった。

引き継ぐ際には招待機能を使い、同時編集や閲覧の状態遷移についても話し合われた。引き継ぐ形をとったことで視点が「複数人での操作」へ移り、コメント機能や自動保存機能についてのテストが実施された。

その後も、気になった箇所での「わかりやすさ」について議論をしているうちに終了となり、全4回の探索的テストが終了した。

チーム内ふりかえり

全体へのアナウンスがあった後、再びチームに分かれて4回分のふりかえりと、バグを報告するための準備が行われた。

筆者のチームではテストベースに対するふりかえりと、探索的テストに対するふりかえりの2軸で意見がまとめられた。

筆者感想

ふりかえりをしていて、自分が「誰にとって」そう思うかを意識して意見を出していることに気がついた。万人にウケのいい機能はなかなか存在しないと考えているからだと思う。

初対面の人と、普段できない体験をしたことで、自分の癖のようなものを見つけることができた。テスト中はとても盛り上がった反面メモを取ることが難しかったので、ふりかえり中に気づくことができてよかったと思う。

バグ報告・全体ふりかえり

チームは全体で9チームあったため、3チームごとに分かれての共有となった。

実行委員がファシリテーターとなり、各チームのふりかえり内容やバグが報告された。

• 4班：境界値分析をメインにテスト、入力値に関するバグやUXに関する要望を起票
• 5班：クラシフィケーションツリーをメインにテスト、UXに関するバグや要望を起票
• 6班：技法、同時操作など複数の範囲をテスト、排他制御や作成したデータに関するバグを起票

筆者の参加していた4班からは、テストをしながら使いづらく感じた箇所を中心に、議論が盛り上がった旨も報告された。

チームごとにテストをした範囲やテストの進め方が異なっており、その進め方となった経緯や、進め方自体においてよかったことなどの共有がされ、「別のチームの様子も知りたい！」との意見が多く見られた。

その他ふりかえり内で共有された感想としては

• 初対面にも関わらず活発に意見が飛び交い感心した
• チーム内のベテランメンバーに技法を教わりながらテストができて勉強になった
• 3回、4回と回を重ねるごとに練度が上がっていき、学んでいく感じがした
• 楽しかった！

など、肯定的な所感が飛び交うふりかえりとなった。

クロージング

ふりかえりが完了すると、雰囲気あふれる音楽とともに表彰式が行われた。

Best Explorer賞には排他制御バグを検出した6班が選ばれ、表彰された。バグバッシュという形式を活かした検出であったとの講評があった。

参加者はマイクオフの状態であったものの、Discordのチャット欄は拍手で流れ、賑わいを見せた。

さいごに

筆者感想

各班から起票されたバグや要望には自分にない観点からのバグがあり、他チームのバグ票を見るだけでも勉強になった。

イベントの最後では次々と「楽しかった、ありがとうございました」と言いながらチームを解散できたことが印象的だった。自チーム以外のテストの内容や雰囲気はほとんど知ることができなかったが、メモを取る暇がないほど濃い時間を過ごせたことは貴重な体験となった。今回のバグバッシュがとても楽しかったので、早速持ち帰って試してみたい。

オンラインにも関わらず、その場にいるようなライブ感のあるモブ探索的テストを体験できた。ツールも普段使っているものばかりで、リモートワークにおいても低いハードルで取り入れられそうなイベント形式となっていた。次回もライブ感のある企画があることを楽しみに、開催を待ちたいと思う。