A/Bテストは、取り組んでいる企業はまだまだ少数派で、これから取り組みたいもののひとつとして捉えているところが多い印象です。そこで、第一歩から軌道に乗せるまでについて触れてみたいと思います。

A/Bテストでは、仮説が正しかったいや外れたといったテストの勝率、つまり仮説の精度を最初から意識しすぎない方が良いでしょう。もちろん、仮説の精度が高いに越したことはないのですが、まずはより仮説の幅と深さを広げることを意識すべきです。A/Bテストは仮説の検証手段です。当初は半分ぐらい、あるいはそれ以上に仮説は外れるものです。

最初から仮説の精度を高めようとすると、要素を絞り込みすぎたり仮説を厳選したりするようになります。そうすると思考の硬直化につながらないように気をつけなければなりません。

A/Bテストで意識する順序を考えてみました。

1）仮説の多様性を広げる
2）取り組みを組織に展開する
3）仮説の精度を上げる

まずは、「もしかしたらここにも改善の鍵が隠されているのでは」という「改善の種」のような仮説の多様性をどれだけ作れるか、が大事です。アイデアを広げて、まずは些細なものも意外なものも拾っておくことです。最終的にはその中からピックアップすることになりますが、このように仮説の幅と深さを広げた方が思考の柔軟性が養われます。新しいキャンペーンやWebサイトでも、状況が変化しても、対応できる力を付けられます。

まずは打席に立つこと、試合に出てボールを取りに行くこと。そしてそれをチームに展開すること。仮説の精度を上げていくのは、そこからでも良いと思います。

もちろん、準備や情報収集は必要です。

・そのテストの対象はどういったユーザーなのか
・セッション数や露出の件数は確保できるのか
・コンバージョン件数や率はいまどれぐらいで、どの程度向上を見込んでいるのか

このような項目です。セグメントを定めて意味のあるテストにする作業です。

このような準備に加え、テストの経験、ユーザー理解、Webサイトの理解を重ねて、仮説の精度は高くなっていくのだと思います。