NPO法人ソフトウェアテスト技術振興協会 イベント報告

はじめに

JaSSTの趣旨は、現場に役立つことや新たな勉強のきっかけになることであると説明された。また今回の開催は技術系団体も含む14団体からの協賛を得られていることの説明も行われた。その他諸々の注意事項がアナウンスされた。

基調講演
「自動テストを活かすためのテスト分析・テスト設計の進め方」
井芹 洋輝 氏（トヨタ自動車）

セッション概要

（前半：テストにおける考え方）

井芹氏のご自身の自己紹介と大まかな概要から始まった。今回の内容は井芹氏がこれまでに実務で取り扱われた経験則的なものをまとめたものであるとの説明が入った。

まず前半の内容である分析について、何をテストすべきか正しく理解した上でテストを作ることの重要性が語られた。テスト設計には潜伏したバグを見逃さないことやリリースできるレベル、分担や協力体制、バグの予防・早期検出についての考え方が重要であると説かれた。そのためにはアプローチに工夫が必要であるとのことだった。工夫する点として、何をテストすべきか正しく理解した上でテストを作ること、バグ、プロダクトリスクに早期対策する、対策が必要なプロダクトリスクを深堀しテストでフォローすることを話された。

続いて設計について現代的な開発におけるテスト設計プロセスについて語られた。プロダクト形態がサービス化することにより、これまでにあったプロダクトのために人を一時的に集めるという考え方から、同じ開発チームが継続的にプロダクトを運用・改善するようになった点について話された。その結果チームのメンバーを鍛えるという観点や、総合力を鍛えること、現代的なソフトウェア開発の成功には品質実現に加えて、『開発のスピード、レジリエンス、開発持続性』の総合力強化が必要となった。仕様の矛盾を見つけることでテスト設計時に無駄なテストを作らないことや効率性の優れたテスト活動、アジャイル的な開発重視への変更、分析・設計・実装をそれぞれ完璧にでなく小さなストーリーで回し続けることが現代的なテストに必要な考え方であると話された。

（後半：自動テストでのテスト分析・設計）

後半は自動テストにおけるテスト分析・設計について語られた。自動テストにおいても基本的な考え方は前半と同じである。考え方としては『ゴミを自動化してもゴミのまま』という点を話された。そして開発と併走するかで変わる点やテストレベルの粒度の細かさの設定をどうするかについて話された。テストファーストプログラミング（失敗するテストを書きプロダクトコードを追加変更して成功に変える）、Cover & Modify（保護して変更する）、変えたくない振る舞いを保護してからその成功体験を維持しながらプロダクトコードを追加変更することについて話された。

筆者感想

テストの要素を分析、設計、実装に切り分けて解説されているため、どこで何を意識すべきかの理解がしやすかった。これまでのようにプロジェクトに対して人をかき集めて製品ができたら解散という形でなくプロダクトを運用・改善することを見据えたチーム作りとしての観点はなかったので興味深かった。

一般的にテストという行為は開発に比べて軽視されるきらいがあるかと思う。だが、氏のセッションを拝聴しテストがいい加減であると起こるリスクについて理解ができた。またテストの効率化のポイントを丁寧に解説して下さったおかげでどこに力を入れるべきかどう分析するのかをより理解できるようになった気がする。当然ここまでの理論は理解していても実際の業務で適切に使い分けるには経験と練度が必要になることは理解していたが、広範な理解を得られたのは得難い体験だった。

基調講演
「AIのテストへの活用：第一歩を踏み出す・その先に挑む」
石川 冬樹 氏（国立情報学研究所）

セッション概要

石川氏のご自身の自己紹介と大まかな概要が行われた。LLMと生成AIの違いについてから話が始まった。その後AIのインパクトの大きさについて語られた。近年のAIは学習に使うデータが0でも追加訓練なしでプロンプト指示で対処できることについて語られた。その中で研究者が自動化したいデータ処理や、研究に必要な新しい機能を持ったアプリケーションを必要とする時に短時間で作成することができるようになったことを話された。自分用にカスタマイズした機能を持ったアプリケーションを瞬時に作成できるので研究の効率化が見込めるようになった。

課題点としてもっともらしい嘘であるハルシネーションが発生することや問いの頻度での解釈のため問いかけを逆転すると答えられないという事例が存在する。問いの頻度で解釈しているためAにおけるBは？という問いかけは回答することができても、BにおけるAは？という答えが得られないケースがある。ただしそれらは最近改善傾向にありこの課題は解消されつつある。

推論モデルの発展として自分で区分けを行い、自分のソースコードを見直すこともできるようになった。またChatGPT5では即答・推論の自動切り替えの機能も盛り込まれている。さらに別のアプローチとして「チャット」に頼らないインターフェースも登場している。これらを総括し、とにかくやってみることの重要性を説かれた。もはやAIに関しては『AIを使わないリスク』という考えさえ登場している。

ただAIは魔法ではないので注意事項も存在する。注意点として厳密で論理的な作業などは、従来型プログラムや専用アルゴリズムにやらせた方がよいことや大きすぎる問題は苦手であること、何を求めているのか・成功失敗の判断基準の明確化が必要なことを挙げられた。だが注意事項さえも推論モデルの進化やAIを使うことによりある程度解消ができると語られた。

その先で待つ課題として個人の道具として、自己責任で賢く使う、特定のタスク・ユースケースで信頼して使えるか？という観点が重要になると話された。信頼できるテスト・評価をして、改善につなげられ、それを効率的に継続反復できるか？評価・改善のサイクルを繰り返せるのか？そういった評価基準を自分たちで用意している場合はその評価を下すのは自分たちでやるしかない。

まとめとしてAIの登場はソフトウェア工学におけるパラダイムシフトであり、まずやってみること・ある程度やるだけでもかなりの効果が見込めることを含めて話し終えられた。

筆者感想

AIによるインパクトの大きさについて改めて認識するに至った。ツールという捉え方でなく個人がより少しでも早く動くことでそのメリットを享受できる点はこれまでのありとあらゆる技術になかった大きな転換点に感じた。AIで聞くことの分解もAIでしてしまうとなると個人の資質の障壁はほとんどなくなり、より手を動かし実際に試すという姿勢が今まで以上に優先されるようになるのだろうと感じた。

この変化の激しさに圧倒される思いと同時にそこから生み出される恩恵によってより便利により高度になる社会に立ち会えるのかもしれないと感じた。このような想いを抱くに至った本日の講演に参加できたことはとても有意義な時間だった。

筆者感想（全体）

AIに関してのインパクトが特に印象的だった。どんな業務であっても利用できることに対する影響力の大きさに対して、これまで以上に真剣に学び続けなければいけないという危機感を抱いた。またテストの考え方もどんどん高速化しており、常に知識をアップデートしないとあっという間においていかれそうに感じた。

業務で適切に使いこなすには練習が必要だが、そのために時間をかけすぎてもいられない程の変化の速度だと感じた。そのため１つ１つの仕事の機会に対して、しっかりと深い理解を身につけて真剣に取り組む必要があるのではないかと考えさせられた。

ITという仕事のあり方さえ変わりかねない変化のスピードに圧倒されると共に、その変化の速さによって生み出される様々な技術の恩恵や社会実装による生活の豊かさを考えると、非常に刺激的な時代に生きているのではないかと感じた。