何らかの意思決定に「ABテスト」という手法を使っている企業は多いと思います。
対象者をきちんとランダム化することやテストで検証したい項目を絞る等、留意することはあっても、結果や有意性の解釈がシンプルにできるので、例えばマーケティング領域でしばしば発生するクリエイティブテストなどにおいては重宝な手法です。
但し、「ABテスト」という手法自体は、「対象となるAとBをどのように準備するのか」や「対象者がA又はBを選択した動機は何か」のようなことを明らかにすることを含んでいないので、そのまま実施しただけでは“学習”は効きません。
もちろん、単純に「AデザインかBデザインのどちらが目的に資するのか」の結果を得たいだけであればそれで充分ですが、“学習”が効かないと、対象となる事象が発生するたびにひたすら何度も「ABテスト」を繰り返すことになってしまいかねませんし、何よりAもBも良くなくても、どちらかを選ぶしかないので…のようなことになりかねません。
デザイナーの感性や経験のみに基づいてアートのような唯一無二の制作物を作るのであれば、「デザインはデザイナー任せ」ということもなくはないかもしれませんが、クリエイティブテストをするようなビジネスデザインには目的があり、対象者(ターゲット)が想定されることがほとんどですから、その対象者の「気持ち」(対象に対する動機や意識、好ましいデザインのイメージ等)の解像度を高め、できるだけギャップのない制作物を作る必要があるのは当然ですよね。