コード生成からAIコンテンツまでテスト自動化の地平を広げる ーmablが目指すソフトウェア品質の未来とは

2024年11月20日、mabl Japan主催のカンファレンス「mabl Experience 2024 Japan」が開催された。同イベントでは「生成AIの活用によるテスト自動化の拡大」をテーマに掲げ、mablのテクニカルデモやユーザー企業による事例講演などが行われた。

本記事では、mabl Incの共同創業者であるDan Belcher氏による基調講演の内容を中心に、生成AIがテスト自動化にもたらす変化や、mablが生成AIに対してどのようなビジョンを描いているのかについてレポートする。さらに、Belcher氏へのインタビューを通じて、mablの日本市場における展望についてもお伝えしたい。

mabl Inc, Co-founder Dan Belcher氏
撮影・提供：sakutaro氏

日本の顧客からも支持を集める
mablコミュニティの熱量

冒頭でBelcher氏は、日本のmablコミュニティの熱量を賞賛した。2020年、コロナ禍の最中、同社は初の自社カンファレンス「mabl Experience」をオンラインで開催した。その際、日本時間で深夜にも関わらず、日本のmablユーザーが熱心に英語セッションを視聴してくれたことに感銘を受けたとBelcher氏は語る。そして現在、日本にはmabl Japanが設立され、製品ローカライズや日本語によるサポート提供を行いながら、約100社の顧客を抱えるまでに成長した。その顧客には、Panasonic、DMM.comといった著名企業やplaygroundのような新進気鋭のスタートアップが含まれている。

続いてBelcher氏は、2024年にmablが達成した成果を振り返った。50以上の新機能をリリースし、mablのクラウドで3,900万件以上のテストが実施された。当初ブラウザテストのためのツールだったmablは、今では同じぐらいの規模でAPIテストのためにも利用されている。さらにAppiumの統合により、ネイティブモバイルアプリのテストを劇的に効率化した。mablの進化は機能面に留まらず、サポートとコミュニティも充実しつつある。今年は英語と日本語で300以上のヘルプ記事を公開し、mablの認定資格取得者は3,000人を超えた。サポート対応時間の平均は2.5分以内だ。

Belcher氏は「今年、私たちが学んだことがあるとすれば、mablのユーザーコミュニティが非常に重要な役割を果たしているということだ」と、その重要性を強調した。

生成AIによるイノベーションと新たな課題

2024年も、AIによるイノベーションが大きな注目を集めた。Gemini、OpenAI、Claudeなどの大規模言語モデルにおけるイノベーションは、2年前には想像もできなかった新たなアプリケーションを実現しつつある。またGitHub Copilotのようなコーディングアシスタントを活用することで開発者の生産性は15〜20%も向上し、今後もモデルの進化に伴いこの数字はさらに伸びていくだろう。しかし、ここにAI時代のテストにおける課題が存在するとBelcher氏は指摘する。開発者の生産性が増すということは、当然、生み出されるコードの量が増すということだ。同時にそれは、テストを必要とするコードの量も激増することを意味する。

AIがもたらす課題は、単純なテスト量の増加だけではない。今やAIを組み込んだアプリケーションは、チャットボットだけでなくレコメンド機能や画像・動画などのコンテンツ生成など、様々なユースケースに広がりつつある。しかし、それらのアプリケーションは、入出力する情報の形式や内容が決まっていないことに特徴がある。

例えば、旅行アプリに自分の願望を伝えると、それに合わせた最適な場所をAIが教えてくれる。あるいは、欲しい画像を文章で説明すると、画像処理アプリがその内容をくみ取って画像でレスポンスを返す。これらの入出力の形式や内容を事前に定義すること(アサーション)は不可能だ。つまり、従来のテスト自動化の手法では、これらの新しいアプリケーションのテストに限界があるということを意味するのだ。

しかしBelcher氏は、こうも続けた。「幸運なことに、これらの課題を解決するソリューションもAIが提供してくれる。mablは過去8年間、インテリジェントなテスト自動化に取り組んできたが、AIはテスト自動化にさらなるイノベーションをもたらすだろう」

AIをもって生成AIを制す
～GenAIアサーション

そこでBelcher氏が紹介したのが、mablが2024年9月にリリースした新機能「GenAIアサーション」だ。アサーションとは、テストの際に正常動作するアプリケーションに期待する内容を定義することだ。GenAIアサーションを用いることで、平易な自然言語を用いてアサーションを定義することが可能になる。例えば、ログインフォームに対して「これはエラーのないログインフォームであるべきだ」と定義すれば、テスト内容をハードコーディングすることなく、ログインフォームとして正常な挙動かどうかをテストできるのだ。

GenAIアサーションは単にテストの生産性を上げるだけではなく、様々な新しいユースケースにも活用できるとBelcher氏は言う。アプリケーションをローカライズするケースを考えてみよう。ページ上のすべての単語を検証する代わりに「このページはドイツ語であるべきだ」と指定するだけで、正しくローカライズが行われているかテストできるようになる。もちろん、ユースケースはローカライズに限らず「生成された庭の画像が美しい」や「クマの画像がかわいい」といった指定も可能だ。

つまり、GenAIアサーションを用いることで、同じ入力に対して毎回異なるコンテンツが出力される、生成AIアプリケーションをテストできるようになるということだ。

「GenAIアサーションは『AIをどうテストするのか?』という問いへの答えも提供する。入力に対するAIの出力が適切かどうかを別のAIに検証させるということだ」(Belcher氏)

テスト自動化をシンプルにして
貴重な時間を節約する

もちろん、mablのイノベーションはAIアプリケーションのテストだけではない。mablが目指すのは、テスト自動化が内包する様々な複雑性からユーザーを遠ざけ、チームがテストにかける時間を大幅に削減することだからだ。そこでmablは、テスト自動化のライフサイクル全体で生成AIを活用しようとしている。まず、mabl内でテストスクリプトを記述できるあらゆる場所にコード生成AIを導入した。その結果、新しいスクリプトの40％以上がAIプロンプトを元に作成されているという。

さらに、テストの失敗原因を生成AIで分析する機能もリリースした。これは、人間の意思決定プロセスをAIで再現することでテストのトラブルシューティングや診断を大幅に効率化できるという。そして生成AIはテストのオートヒーリング(自動修復)にも活用されている。これらのテストにおけるAI活用により、mablの顧客がテストにかける作業時間を推計で100年以上も節約できたと、Belcher氏はその成果を誇った。

またmablは、生成AIによるテストそのものの作成機能も開発中だ。過去のベストプラクティスに基づくテストを生成することで、テスト自動化を更に簡単で誰でもアクセスできるものにするという。途中、mabl Solutions Engineerの清水勇輝氏により、ログインフォームのテストを題材にして、生成AIによるテストの自動生成と失敗原因の分析デモが行われ、参加者の注目を集めていた。重要なのは、AIを利用しているとはいえ、テストの修正や追加が容易にできるなど、テストのコントロールは常に人間の手に握られているということだ。

「これがテスト自動化の未来であることは明らかだ。私たちのテスト生成アプローチは既存の資産を活用し、ベストプラクティスに従いながら、依然としてユーザーのコントロール下に置き、反復的なテスト自動化の開発をサポートする」(Belcher氏)

AI以外の機能拡張では、人気のE2Eテスト自動化フレームワーク“Playwright”とmablの統合機能が発表された。これにより、Playwrightからmablの高度な自動化機能やAI機能を利用できるようになるという。

【インタビュー】日本のユーザーが
生成AIとテスト自動化に期待すること

続いて、mabl Inc Co-founder Dan Belcher氏へのインタビューの模様をお届けする。聞き手は、Innerstudio 鍋島 理人が務める。

Q: 生成AIを活用したテスト自動化の強化について、日本国内のユーザーからはどのような反応がありましたか。

• Belcher：昨年からmablに生成AI機能を導入し始めたことで、テストやメンテナンスの作業量を大幅に削減できました。その結果、ほぼすべての日本のユーザーが、この機能の恩恵を実感しています。特に日本では多くの企業がAIや自動化による人手不足の解決に期待しており、今やAIはビジネスに不可欠な要素だと認識しています。実利的な観点から、AIがもたらすメリットを常に意識して積極的に活用しているという印象です。
  
  実際、GenAIアサーションについて、日本は世界の中でも特に早い段階でこの技術を利用している国の1つです。アプリケーションに生成AI機能を導入するためには、テストプロセスへの統合やハルシネーションへの対策など様々なハードルが存在します。GenAIアサーションは、これらの課題を解決する上で大きな威力を発揮するからです。また現在、生成AIによるテスト作成機能を開発中ですが、日本のユーザーは早期アクセスへの高い関心を示しています。

Q: 日本企業のAIへの強い期待感が伺えますね。一方で、セキュリティや品質面で生成AIには懸念を感じるユーザーも少なからず存在するのは否めません。mablはこれらの課題にどう対処していますか。

• Belcher：データのプライバシーやハルシネーションといったAIの課題に対して、我々は過去8年間のAIへの取り組みの知見を活かして様々な取り組みを進めています。我々はLLM基盤にGoogle Vertex AIを採用していますが、お客様のデータを使用することなく、モデルのトレーニングを行う仕組みを構築しています。また複数のAI技術を組み合わせることでハルシネーションを抑制し、金融・保険・製薬といった高いセキュリティが求められる大手企業にも、安心してmablのソリューションを利用していただいています。
  
  加えて、我々はAIの透明性を重視しており、AIがプロダクトの中でどのように意思決定を行っているかを可視化しています。オープンさと透明性は、AIに限らず我々が全社的に重視する価値観です。こうした取り組みがユーザーとの信頼関係をより深め、信頼性の高いツールを築く基盤となっています。

Q: ツールやプラットフォームの導入を促進する上で、顧客との信頼関係を深めることは、とても重要ですね。特に日本のユーザーとの関係を築くために、mabl Japanとしてはどのような取り組みを行っているのでしょうか。

• Belcher：mabl Japanとしては、ユーザーや導入支援企業とのパートナーシップのもとでサポート対応、認定プログラム、ドキュメント整備など、幅広い支援を提供しています。また新機能の提供時には、事前に評価を行えるようトライアルやプライベートベータといった無料でのアクセスを提供し、ユーザーの導入検討を促す仕組みも整えています。もちろんmablのユーザーコミュニティにも力を入れており、メンバー同士が学びやベストプラクティスを共有し合うためにさまざまな支援を提供しています。

Q: 最後に、mablとしての日本のユーザーへのメッセージをお聞かせください。

• Belcher：mablはAIと自動化を活用してテストの複雑なプロセスを簡素化し、お客様の負担を軽減し、利便性を高めることを目指しています。特に生成AIに関するイノベーションのスピードには驚くべきものがあります。今後12か月間でmablにどのような新機能が登場するのか、楽しみにしていてください!

mabl Experience 2024の会場の模様。参加者の熱量が伝わってきた