18F手法カード翻訳：多変量テスト（Multivariate testing）

この記事は、米国連邦政府の一般調達局（GSA）のデジタルサービスチーム「18F」が公開している手法カード集「18F Methods」のうち「Multivariate testing」を、新規事業ポータルが独自に日本語へ訳したものです。18F Methodsは米国政府の著作物で、CC0 1.0（パブリックドメイン）として公開されています（ライセンス）。原文はこちら。米国連邦政府の業務を前提にした記述も含まれています。訳文では、原文の趣旨を変えないことを優先しました。

概要：ページの複数の箇所や機能にバリエーションをつけてテストし、どのバリエーションの組み合わせが最も効果があるかを確かめるものです。1つの箇所や機能だけにバリエーションをつけるA/Bテストとは異なります。

目的：ユーザーニーズに応えるうえで、さまざまな状況、チャネル、ユーザーの種類を考慮に入れるためです。行動喚起（コールトゥアクション）やコンテンツのセクション、機能のまとまりの置き方を変えてみることで、部分的な解決策の組み合わせから、全体としてより効果的な解決策をつくれます。

所要時間：作業としては2〜5日、テスト期間を通じた経過時間は1〜4週間

進め方

1. コンバージョン率やユーザーのエンゲージメントを高めるために改善が必要な、行動喚起、コンテンツのセクション、または機能を特定します。
2. コンバージョン率やエンゲージメントを下げているかもしれない問題の候補を一覧にします。何を最適化するのかを、あらかじめはっきりさせておきます（デザイン上の仮説として立てるのもよいでしょう）。
3. 一覧にした問題の解決をめざす案を、いくつかデザインします。どの案も、すべての問題に取り組むようにし、それぞれ独自のバリエーションの組み合わせを使います。そうすることで、各案を公平に比べられます。
4. Google Website OptimizerやVisual Website Optimizerなど、多変量テストに対応したウェブ解析ツールを使って、テスト環境を整えます。統計的に有意な結果が得られるだけの期間、テストを行います。
5. テスト結果を分析し、どの案が最もよいコンバージョン率やエンゲージメント率を生んだかを判断します。ほかの案も見直し、今後の調査で検討する価値のある情報がないかを確かめます。

参考資料

• Multivariate Testing in Action: Five Simple Steps to Increase Conversion Rates.（実践・多変量テスト：コンバージョン率を上げる5つの簡単なステップ）パラス・チョプラ（Paras Chopra）
• Multivariate Testing 101: A Scientific Method of Optimizing Design.（多変量テスト入門：デザインを最適化する科学的な方法）パラス・チョプラ（Paras Chopra）

政府で使うときの注意

書類削減法（PRA：Paperwork Reduction Act）上の問題はありません。誰もユーザーに質問をしないため、PRAは適用されません。一般の人から意見を集めるときのヒントは、「リクルーティング（Recruiting）」と「プライバシー（Privacy）」の手法カードも参照してください。