生成AIはソフトウェアテストをどのように変えるのか 〜mablに聞く、テスト自動化におけるLLM活用の展望と課題

2024年2月22日、E2E(End-to-End)テスト自動化ソリューションを提供するmablは、Co-Founderの1人であるDan Belcher氏の来日に合わせミートアップを開催した。日本市場に力を入れるmablは、生成AI活用に向けてどのような展望を描いているのか。本記事ではミートアップのレポートとあわせて、mablの経営陣にインタビューを行った。

テスト自動化におけるAIの役割

ミートアップでは、Dan Belcher氏が「テスト自動化におけるAI導入の機会と課題」というテーマで、大規模言語モデル(LLM)が変えるソフトウェアテストの展望について語った。

mabl Inc, Co-founder Dan Belcher氏

迅速な開発とソフトウェアの品質を両立させるには、非常に高いレベルのテストカバレッジが必要とされる。その実現に欠かせないのが自動化だ。今日では、ブラウザからAPI、モバイルアプリまで、また機能テストからパフォーマンステスト、アクセシビリティテストまで、あらゆる領域のテストで自動化が活用されている。しかし多くの開発者は、日々のビルドで数千のテストケースを実行する中で、テストの不安定性や誤ったアラートに悩まされている。そこで重要になるのがAIだ。

mablは最初期からテストへの機械学習の導入に取り組んできた。テストを作成すると、mablはテストの各ステップに対し機械学習を用いて、確率モデルに基づく正しいセレクタのセットを定義する。また機械学習は、回帰テスト実施の支援にも使用されている。このような自律的エージェントがDOMを検査し、モデルと比較する。そして正しいエレメントを発見したと確信したらテストを実行する。

テスト自動化で問題となるのは、アプリケーションに日々加えられる小さな変更がテストを壊してしまうことだ。例えばエレメントのページ上の位置、オブジェクトのパス、DOM内のエレメントID、CSSクラスなど、様々な要素が変化しうる。また特定の属性がエレメントに追加または削除される場合もある。このような変化に対応するのがmablのエキスパートシステムだ。このシステムは数百万のテスト実行を通じて調整され、エージェントが正しく判断することを支援する。

テスト自動化へのLLMの統合

多くのテストシナリオでは、このようなテストの自動修復は非常に有効だ。しかし、それでもテストに失敗するケースがある。特に問題が発生しやすいのは、アプリケーションの構造変更やエレメントの種類の変更、デザインライブラリの変更、そしてアプリケーション中の文章を変更したケースなどが挙げられる。

例えば「Start your order」と「Begin shopping」は同じ意味であるが、従来のモデルでは類似性を認識できなかった。そこで、mablが自然言語の意味を理解できるように、Google PaLM 2 APIを使用してmablにLLMを統合した。その結果、テストの自動修復は改善され、以前はサポートできなかった多くのユースケースに対応し、メンテナンスを軽減できた。このLLMによる「高度な自動修復」機能は、現在早期アクセスとして提供されているが、ここ2週間で急速に利用数が増えているという。既に100社の顧客が利用し、1000件以上のテストケースに成功している。

LLMは機械学習、エキスパートシステムに続くmablによるテスト実行の第3の柱となる。最初の2つで決定を下せない場合、LLMに問い合わせを行う。LLMを常に使用するわけではないのは、APIからのレスポンスに平均1.5秒かかるなど、時間的コストが無視できないからだ。しかし他のLLMサービスのように、スケーリングに時間がかかり、大幅に待たされるといった問題は生じていないという。

テスト自動化へのLLMの統合には、多くの課題が残っている。モデルの精度とパフォーマンスは常にトレードオフの関係にある。またLLMは常に同じレスポンスを返すわけではない。プロンプトの口調といった小さな変化が、応答の内容を大きく左右する可能性がある。そして応答の精度を高めるには、プロンプトに適切なデータセットを含めることが重要だ。さらにモデル自体が急速に変化し続けているので、評価用データセットによる「テスト」が非常に重要となる。

一方で、LLMの進化はテスト自動化に様々な可能性をもたらす。Googleの次世代LLMモデルであるGemini 1.5では、高速応答や長いトークン、マルチモーダルLLMが利用できるようになる。例えば、リアルタイムに近いユースケースへの統合や、より複雑なテストへの適用、さらにスクリーンショットなどの画像認識と組み合わせて、新しいタイプのアサーション(正常動作するアプリケーションに期待する内容)を定義することなどが考えられる。

生成AIが実現するテスト自動化の民主化

さらに、LLMをテストに統合することで、より多くの人がテストを作成しやすくなるはずだ。例えば、LLMによるアサーションの提案、陳腐化したテストセットを分析して無駄を削減すること、データテーブル(シナリオごとに用意されたテスト用データセットの集合)の自動作成などが可能になるだろう。またmablは自然言語によるテスト作成にも取り組んでいるが、不安定なテストを量産してしまう懸念もあるので、慎重に取り組んでいるという。これらの生成AIによる取り組みと、ローコードテスト作成、機械学習、エキスパートシステム、自動化を組み合わせることで、mablは信頼性が高く、より広範なテストカバレッジの実現を支援することを目指す。

日本市場におけるmablの展望

続いて、mabl Inc Co-founder Dan Belcher氏、Chief Revenue Officer Anthony Palladino氏、mabl株式会社 カントリーマネージャー 秋山 将人氏へのインタビューの模様をお届けする。聞き手は、Innerstudio 鍋島理人が務める。

左からmabl Inc, Chief Revenue Officer Anthony Palladino氏、Dan Belcher氏、mabl株式会社 カントリーマネージャー 秋山 将人氏

Q. mablにおける日本市場は、どのような位置づけにありますか

• Belcher氏：日本法人を立ち上げる以前から、たくさんの日本のユーザーがmablを利用していました。他の国と比べると、日本は特にAIによるテスト自動化への期待が大きく、グローバルでの戦略にも影響を与えました。そこでmablは2021年に日本法人を立ち上げ、日本市場への投資を加速しています。リージョナルチームの設立や、日本語ドキュメントやサポートの提供、UIの日本語化など、英語以外でのサポート体制を提供しているのは日本だけです。
  
  我々は日本市場を極めて重視しています。昨年1年間で、日本市場でのビジネスは170％成長し、ユーザー数は60％増加しました。秋山のカントリーマネージャーへの就任に続き、テクニカルサポートやセールスなど、日本チームの体制もさらに強化していく方針です。

Q. 日本におけるmablの需要が伸びているのはどのような理由からでしょうか

• 秋山氏：ITエンジニア不足が背景にあると思います。日本は品質を極めて重視する風土ですが、品質保証に割ける人員には限りがあります。そこで開発プロセスにおけるテスト自動化を強化することで、品質を保ったままアプリケーションの開発サイクルを加速し、かつ価値を生み出す創造的な業務に人員を割くことができます。

Q. 日本市場におけるターゲットとしては、どのような企業やユーザー層を想定していますか

• Anthony氏：mablのソリューションはモバイル、ブラウザ、API、UIテストなど、様々なテストが必要なすべての企業にとって利益をもたらします。しかし、日本独自の事情を踏まえると、ユーザー企業の開発業務を受託する企業との連携も重要だと私たちは考えています。これは間接的にユーザー企業の製品リリースを加速し、エンドユーザーの体験を向上させ、ブランドの強化を支援することにつながります。また、これらのパートナー企業自身もAIの恩恵を受けて、より効率的に業務を遂行できるように支援したいと考えています。
• 秋山氏：BtoB、BtoCを問わず、ビジネス価値自体を生み出すデジタルネイティブなアプリケーションを必要とする企業に、mablを活用してほしいと考えています。特に日本では金融や製造、さらに通信系のポテンシャルが大きいので、さらにリーチを広げたいと思います。

Q. 多くの企業にとってリリースの加速が課題ですが、DevOpsサイクルの改善と加速において、mablとAI技術はどのような役割を果たすのでしょうか

• Belcher氏：CI/CDパイプラインは、超高速で製品を組み立てているようなものです。スピードと品質を両立するためには、多数の自動テストを高速に実施する必要があります。しかしテストが壊れて自動化プロセスが止まれば、大きな損失を被ることになります。そこでmablのAIを活用することで、テストを自動修復し、損失を最小限に抑えることができます。
  
  mablは高速で信頼性が高く、既存のDevOpsツールとシームレスに統合できます。さらにmablは2024年に入り、生成AIによる高度な自動修復やパフォーマンステスト、モバイルネイティブアプリのテストなど、様々な新機能を立て続けにリリースしています。これらの機能を統合プラットフォームとして提供することで、日本企業におけるイノベーションの加速を支援したいと思います。