No.146 バグの見つからないテストに価値はあるか
・テストを設計する
テストを設計すると、漏れのないように確認するということを考える訳で、どこにバグがあっても捕まえるように見ていきたいわけです。
そうなると、どのレベルで漏れなくを考えるかが重要になります。
C0とからC1のレベルまで行くと、もう人力でやるレベルにはなりません。
よって、現時点の「全部」の定義が必要で、そのレベルで「全部」見られればベストなわけです。
・バグをどれだけ見つけたかがが、テストの価値なのか
一昔前、自動テストと手動テストのチームがそれぞれバグ検出をしていて、自動テストのほうがバグ検出が少なくて立場が悪いというような話を聞いたことがあります。
もちろんバグを見つけるに越したことはないのは正しいのですが、バグを見つけられなかったテストに価値がないような言われ方をしたのではテスターも立場がありません。
バグが見つからないテストに価値がないのなら、テストの効果を最大化するには、たくさんバグを埋め込んでくれるコーダーを投入してもらわないとなりません。
これは言葉の綾でこんなマッチポンプに意味はありません。
・結局、テストケースがすべてOKでリリースしているのでは
リリースにはすべてOKが必要なのに、どれだけバグを見つけたのか的な言い方は正しくないと思います。
ここで重要なのは、流出をしっかりと(もちろん完全とはいかないでしょうけど)止めることです。
目的をはきちがえると、ことは望みとは違う方向に転がって行ってしまうかもしれません。
目的とモチベーションの維持、そして記録及び管理、これらが全てできないマネージャだと自分で露呈している発言になっていないか、きちんと自己評価してやっていくことができないと、チームは壊れてしまいます。
最後は人の問題がどうしても大きなると思っています。