テスト終了後の振り返り・分析が充実している

―「BtoC向けアプリの定期的なバージョン開発の第三者検証」

A様BtoC向けアプリの定期的なバージョン開発の第三者検証をお願いしています。

流れとしては、弊社から開発スコープを共有し、ポールトゥウィンさんにテストケース作成と検証対応をしてもらっています。基本的にやり取りはチャットで行っていて、ラフにご相談させていただいています。テストはサポートしているプラットフォームとOSのパターンが多いので、端末のご準備にもいろいろとご協力いただいています。

―「運用保守で小さなバグ修正の確認から、定期的な仕様追加の際のテストなど」

B様運用保守で小さなバグ修正の確認から、定期的な仕様追加の際のテスト時、2020年には大規模アプリリニューアルの際、タイトなスケジュールにも関わらず親身にご対応、ご協力いただきまして大変助かりました。

―「テスト終了後の振り返り・分析が充実している」

A様今まではテスト後の振り返りやノウハウの蓄積が十分にできていないという課題がありました。そこで一度検証体制を変えるという動きがあり、一緒にノウハウを蓄積しながらプロジェクトを回してくれるテストベンダーを探していました。

ポールトゥウィンさんは弊社内の別案件ですでに実績があり、そのチームからの評判とお打ち合わせ時の提案・雰囲気を見てお願いすることを決めました。テスト終了後の振り返り・分析が充実している点もありがたかったです。

―「テスト実施ご担当者さんのITリテラシーのレベルが高い」

B様テスト実施ご担当者さんのITリテラシーのレベルが高いことが一番です。実際にテスト仕様書に無い項目もテスト作業をしていく中で「こういう動作が気になり実施したところ、バグが発生しました」など、自発的に動いていただけ、品質向上に大変ご協力いただいております。

―「自分たちでは発見できていなかった細やかな不具合や改善点を提供してくれる」

A様実際にテストいただいて、自分たちでは発見できていなかった細やかな不具合や改善点を提供いただいてたいへん助かっています。非機能テストは特に項目書に起こさず、気付いたベースで報告いただいているのですが、毎回思わぬ不具合・気付きを共有いただいています。再現手順や条件も丁寧に報告いただけるのでとてもありがたいです。

―「スムーズに作業が進んだ事で、修正時間を今までより多く確保することができた」

B様今まではテスト仕様書を自社で案件担当者が作成していたのですが、案件拡大に伴い、社内リソースが足りなくなってしまいました。そこでポールトゥウィンさんにテスト仕様書の作成をお願いしたところ、案件への理解、テスト仕様書作成、FB対応など迅速かつ的確にご対応いただけ助かっております。

またテスト仕様書作成の際、事前に実際の作業担当者さんへポールトゥウィンさん内部で要点の説明を行っていただけているため、スムーズにテスト作業が進んでおります。その結果、修正時間を今までより多く確保することができました。

―「とても柔和で、責任感のある方が多い」

A様とても柔和で、責任感のある方が多いので安心できました。準正常系テストのご提案もいただいたりして、一緒にプロジェクトを進めていくうえで心強い存在です。

―「第一印象は「趣味が多そうな方」と思いました(笑)」

B様第一印象は「趣味が多そうな方」と思いました(笑)。というのも個人的な意見にはなりますが、”趣味が多い”というのは”興味を持ち、調べ、継続する”という能力が高いということだと思います。

案件担当者の私としても案件に興味を持ってもらい、調査いただき、粘り強くテストいただける事が何より希望していることですので、「この担当者さんで良かった！」と信頼させていただいております。

―「今後も継続してお願いしたい」

A様今で充分助けられているので、今後も継続してお付き合いができればと考えています。

―「これまで依頼していた要素以外の、需要が高まっている要素の検証もお願いしたい」

B様これまではアプリの動作確認、表示系、画面遷移、ユーザステータスによる動的に変更される要素の確認などが主でしたが、それ以外の通信やログの重要性が高まってきています。こちらにおいて、今後ご対応いただきたいと期待しております。

―「私たちでは気付けないような部分をピックアップしてくれる」

A様非機能テストで、毎回私たちでは気付けないような部分をピックアップしてもらっています。バージョンアップを重ねるたびに少しずつ品質が上がっていっていることと、担当さんがしっかりとノウハウを積み上げていってくださるので検証時のやり取りもスムーズになってきています。

―「テスト仕様書にも想定していないケースの不具合を発見してくれる」

B様ある案件でテスト作業を行っていただいている時に、「三本指で画面をタップしながらスクロールを行うとアプリがクラッシュする」というテスト仕様書にも無い不具合を発見いただけました。案件とは全く関係ない事例で、テスト仕様書にも想定していないケースの発見でしたので、どうしてこんな隠れた不具合が見つけられたのかと社内でも話題になりました。

所謂「いじわるテスト」の精度が高く、担当エンジニアでも想定していないバグを発見いただけております。