導入事例

メディアから広告、ゲームまで幅広い事業を展開している株式会社サイバーエージェント。

多くのゲーム子会社を横軸で束ね、QA・テストの統括管理される中で感じられた当社サービスの品質や活用状況についてお話を伺いました。

北村様：ゲーム・エンターテイメント事業部*（SGE）のSGE統括室という30名前後の部署に所属しており、この部署では一部子会社を除いたサイバーエージェントグループ内のゲーム子会社統括を行っています。サーバー/クライアントそれぞれのエンジニアがパフォーマンスチューニングや広告周りのツール実装などを対応していて、私はQAを担当しています。

業務内容は、QA・テスト項目のレビューをはじめ、各社リリースタイトルの不具合情報を収集し、分析したアウトプットの作成や、プロジェクトに参加してのテスト実行や計画調整など、QA・テスト全般に関わる対応を一通り行っていますね。あとは、テストベンダーさんやテストツールの選定も担当しており、自身で一度試してから子会社へフィードバックする対応も行っています。

※ゲーム・エンターテイメント（SGE）事業部
ゲーム・エンターテイメント事業部は株式会社Cygames以外の10社以上の子会社で構成されており、その子会社群を総称してSGEと呼んでいます。

北村様：サイバーエージェントにはゲーム子会社が複数ありますが、新OSの検証や新端末の検証は各社タイトルごとに実施せず、グループ全体で実施した方が効率は良いため、統括部門として我々が取りまとめ、テスト結果を子会社にフィードバックしていくことになりました。運用中のタイトルでは通常のテストも行っていますので、その中で新OSのベータ2、ベータ3のテストを並行して行うのは運用も煩雑になりますし、テスト結果が各タイトルの管理者にそれぞれフィードバックされると、全体の傾向も把握できず、時間がかかってしまいます。

しかしながら、グループ内にテストチームを持っている子会社がなく、私のリソースも限られているため、外部のベンダーさんにテストを発注することにいたしました。

北村様：サイバーエージェントに入社する前にも、色々なテスト会社やメーカーでQA担当をつとめており、ポールトゥウィンさんとの取引もあったので、サイバーエージェント入社後に、あらためて詳しい話を伺いました。まずは豊富な端末・機材をお持ちだということに、とても魅力を感じました。現在はソーシャルゲーム全盛期ですので、端末数や量が多いことは正義だと思っています。

また、端末の確保速度や、新OSのベータ版を各バージョンで保有していたりする点も、我々にとって非常にうれしく、ありがたい点ですね。新OS検証を外部ベンダーさんに委託しようと考えていましたので、他社ベンダーさんの営業にも話を伺いましたが、ニーズにフィットするのがポールトゥウィンさんでしたので、迷うことなくお願いすることになりました。

北村様：品質に関しては、インシデントレポートなど不足なく記載いただけて、さらにこちらで指示していなかった部分のスクリーンショットも納品いただけるなど、期待を上回るお仕事ぶりで助かっています。加えて、テストの際に既存のバグも一緒に報告してくださるので、非常にありがたいですね。

また、昨年はじめて深夜対応をお願いしたのですが、夜に依頼したテストの成果物が、翌朝に納品されたことは、これまで経験がなくとても新鮮で便利だと感じました。私が並走しなければいけないケースでは、出社しているタイミングでテストしていただく方が効率のよい面もありますが、テスト期間のバッファもある程度設けていますし、御社のようにお任せできると分かっている状態であれば、時間帯関係なく自走していただける体制があることはありがたいですね。

ポールトゥウィンさんとは4年ほどお取引していて、開始当時よりも依頼しているタイトル数も増えています。今後世の中のアプリ利用環境が、M1チップを搭載したMacにストアからアプリをダウンロードして利用したり、AndroidアプリやAmazonのアプリをWindowsで動かしたり、パソコンでスマートフォン向けアプリを利用するように整ってくると思います。現在お願いしているモバイル端末でのテストに加えて、パソコンでのテストニーズも増えてくるなかで、ポールトゥウィンさんはパソコンなどの機材もお持ちなので依頼しやすく非常にありがたい点ですね。

北村様：iOS版のアプリ内にGoogleの名前が入った状態のままテストを依頼してしまったときには、当社の見落としを拾っていただきました（笑）。

あとは、新OSの検証を行った際の話が印象に残っています。新OSの検証では、大体のケースで「OS開発者向けベータ3」でテストしていただき、その後、レポートを基に当社で修正する流れになるのですが、「OS開発者向けベータ3」でインストールできなかったり動作しなかったりしたアプリが、次の「OS開発者向けベータ4」では問題なく動作したケースがありました。原因が特定できず対応に苦慮すると思っていたのですが、ポールトゥウィンさんでは「OS開発者向けベータ3」の端末も残しておいてくださったので、再検証を行うことができ、良いテスト結果を得られたのは嬉しかったです。通常では、新しいベータ版がでると、検証端末がすべて新バージョンに更新されてしまい再検証できないことが多いので、このケースは非常に助かりました。

北村様：各会社で出た不具合を体系化し、テスト観点に落とし込んだドキュメントを展開するといった取り組みを行い、企画段階や仕様書において漏れがないか運用しています。テストを開発における一つのプロセスとしてみた場合、結果のナレッジ化や共有は重要になってくると考えています。

ナレッジ化にあたっては、バグ報告の中身が非常に重要になってきます。バグの有無だけでは分析に活かすことができませんので、「どういう検証を行い、どういうルートで不具合が発生したのか」「1回しか発生しなかったのか、100%発生するのか」などの情報が必要になるのですが、ポールトゥウィンさんは細かく指示しなくてもレポートに記載してくださいますし、テスト会社に求めるものとして、色々な観点がありますが、全カテゴリ合格点を出せるベンダーさんだと思っています。

北村様：すべてのベンダーさんに望むことですが、クオリティに対する答えを持って欲しいと考えています。QAとテストは別物だと考えており、テストについては各社さまもノウハウをお持ちで成熟していると感じておりますが、QAを依頼した際にクオリティに対して応えていただける会社は少ないと思います。

将来障害が発生した際、ステークホルダーへ説明として、「こういったテストを、このようなクオリティラインでチェックし、こういった結果だったため、今回の障害は防ぎようがなかった」など答えを出せるようにしていきたいと思っています。そのために「担保できるクオリティはこのラインです」といった答えを持っていただけるとありがたいですね。

ポールトゥウィンさんからは、テストツールの提案をいただいていますので、さらなる詳細の分析や、先々の予測などを明確にしていくことが次へのステップだと考えています。