RailsでSplit&Bundit Algorithmsを実践する

A/B test

SplitにBundit Algorithmsを導入する方法は分かったので、実際にSplit&Bundit Algorithmsを導入してみた。

内容

以下のように、あるモビルスーツの名前10個の中から、好みのモビルスーツの名前が出てきたら投票する、というものを100人のユーザを対象に行う。Bundit Algorithmsの効果を見るために、ガンダムデスサイズヘルの場合のみ投票し、それ以外では投票しないようにした。

def index
  @which_is_your_best = ab_test('which_is_your_best', 'ガンダムデスサイズヘル', 'ゴッドガンダム', 'マスターガンダム', 'ガンダムDX', 'ガンダムヴァサーゴ', 'ストライクガンダム', 'フリーダムガンダム', 'ガンダムエクシア', 'ダブルオーガンダム', 'ダブルオークアンタ')
end

def vote
  finished('which_is_your_best')
end
:
<font class="gundum"><%= @which_is_your_best %></font>
:

結果

100回もクリックするのは面倒手でテストを行い、間違ってしまっては問題なので、Seleniumで自動テストをした。ダッシュボードを見た結果は以下の通りである。

Split&Bundit Algorithms result

コンバージョン率が100%だけあって、予想以上に分配される割合がランダムから顕著に離れているのが見て取れる。

関連情報