Guía completa de A/B testing: hablan los expertos

Aquí encontrarás todo lo que necesitas saber sobre el A/B testing, especialmente en lo que se refiere al comercio online, para empezar cuanto antes con él.

Tanto si eres un emprendedor experimentado como si acabas de empezar, es muy probable que hayas visto innumerables artículos y recursos sobre A/B testing. Incluso es posible que ya estés haciendo A/B testing en los asuntos de tus correos electrónicos o en tus publicaciones en las redes sociales. A pesar de que se ha hablado mucho sobre los A/B testing en el campo del marketing, hay mucha gente que sigue equivocándose. ¿Cuál es el resultado? Gente que toma decisiones de negocio importantes basadas en resultados inexactos de una prueba incorrecta.

El A/B testing a menudo se simplifica demasiado, especialmente en el contenido escrito para vendedores online. Aquí encontrarás todo lo que necesitas saber para empezar con los diferentes tipos de A/B testing para comercio online, explicado de la forma más sencilla posible. El A/B testing puede cambiar las reglas del juego a la hora de elegir el posicionamiento de producto adecuado, aumentar las conversiones en una página de destino y mucho más.

¿Qué es A/B testing?

El A/B testing, también conocido como split testing, es el proceso de comparar dos versiones de la misma página web, correo electrónico u otro recurso digital para determinar cuál funciona mejor en función del comportamiento del usuario. Es una herramienta útil para mejorar el rendimiento de una campaña de marketing y comprender cuál convierte mejor con respecto a tu público objetivo.

Este proceso te permite responder a preguntas empresariales importantes, a generar más ingresos a partir del tráfico que ya tienes y sienta las bases de una estrategia de marketing basada en datos.

¿Cómo funciona el A/B testing?

Cuando se utiliza A/B testing en el contexto del marketing, se muestra al 50% de los visitantes la versión A del contenido (llamémosla «control»), y al 50% de los visitantes la versión B (llamémosla «variante»).

La versión que obtenga la mayor tasa de conversión gana. Por ejemplo, supongamos que la variante (versión B) obtiene el mayor índice de conversión. Entonces la declararíamos ganadora y pasaríamos el 100% de los usuarios a esa variante.

Entonces, la variante se convierte en el nuevo control, y el siguiente paso sería diseñar una nueva variante.

Vale la pena mencionar que la tasa de conversión de un A/B testing puede dar resultados inexactos.

Por ejemplo, si en una página el precio de un artículo es de 50 euros y en la otra página es completamente gratuito, la información no va a ser realmente valiosa. Como con cualquier herramienta o estrategia que utilices para tu negocio, tienes que utilizarla de modo estratégico.

Por eso debes hacer un seguimiento del valor de una conversión hasta la venta final.

¿Qué es el A/B/n testing?

Con el A/B/n testing, puedes probar más de una variante frente al control. Así, en lugar de mostrar al 50% de los visitantes el control y al 50% la variante, puedes presentar al 25% de los visitantes el control, al 25% la primera variante, al 25% la segunda variante y al 25% la tercera variante.

Nota: Esto es diferente de las pruebas multivariantes, que también implican múltiples variantes. Cuando se realizan pruebas multivariantes, no sólo se prueban variantes diferentes, sino que se prueban múltiples elementos, como el A/B testing UX o el SEO split testing. El objetivo es averiguar qué combinación funciona mejor.

 

Para hacer tests multivariantes necesitarás una gran cantidad de tráfico en tu web, por lo que, de momento, es mejor ignorar esto.

¿Cuánto tiempo deben durar las pruebas A/B testing?

Las pruebas A/B deben durar al menos un ciclo comercial completo, e idealmente dos. No interrumpas la prueba sólo porque hayas alcanzado un nivel significativo. También es necesario alcanzar el tamaño de muestra predeterminado. Por último, no olvides realizar todas las pruebas en periodos de una semana completa.

¿Por qué dos ciclos económicos completos?

• Tiene en cuenta a los compradores que «necesitan pensárselo».
• Tiene en cuenta todas las fuentes de tráfico (Facebook, newsletter por correo electrónico, búsqueda orgánica, etc.).
• Tiene en cuenta las anomalías. Por ejemplo, la newsletter de los viernes.

Dos ciclos comerciales suelen ser tiempo suficiente para obtener información valiosa sobre el comportamiento de los usuarios del público objetivo..

Si has utilizado algún tipo de herramienta de A/B testing de páginas de destino, es probable que estés familiarizado con el pequeño icono verde «Estadísticamente significativo».

Por desgracia, para muchos, esa es la señal universal de «la prueba está cocinada, cancélala». Como verás más adelante, el hecho de que se haya alcanzado la significación estadística en una prueba A/B no significa que debas detener la prueba.

¿Y el tamaño predeterminado de la muestra? No es tan intimidante como parece. Abre una calculadora de tamaño de muestra, como ésta de Evan Miller, para consultarla en tus páginas web y ayudarte a mejorar tus tasas de conversión.

Este cálculo viene a decir que si tu tasa de conversión actual es del 5% y quieres poder detectar un efecto del 15%, necesitas una muestra de 13.533 por variación. Así que, en total, se necesitan más de 25.000 visitantes si se trata de un A/B testing estándar.

Observa lo que ocurre si quieres detectar un efecto menor:

Lo único que ha cambiado es el Efecto Mínimo Detectable (MDE por sus siglas en inglés). Ha disminuido del 15% al 8%. En este caso, se necesita una muestra de 47.127 por variación. Así que, en total, se necesitan casi 100.000 visitantes si se trata de un A/B testing estándar.

Tanto si se trata de un test A/B UX como de un split testing SEO, el tamaño de la muestra debe calcularse por adelantado, antes de iniciar la prueba. Tu prueba no puede detenerse, incluso si alcanza la significación, hasta que se alcance el tamaño de muestra predeterminado. Si lo hace, la prueba no es válida.

Esta es la razón por la que no puedes hacer caso a algunos consejos como «parar después de 100 conversiones».

También es importante realizar una prueba dividida para incrementos de una semana completa. El tráfico puede cambiar en función del día de la semana y la hora del día, por lo que es recomendable incluir todos los días de la semana.

¿Por qué hacer pruebas A/B testing?

Pongamos que gastas 100 euros en anuncios de Facebook para enviar a 10 personas a tu sitio web. El valor medio de los pedidos es de 25 euros. Ocho de esos visitantes se van sin comprar nada y los otros dos gastan 25 dólares cada uno. ¿Cuál es el resultado? Has perdido 50 dólares.

Supongamos ahora que gastas 100 euros en anuncios de Facebook para enviar a 10 personas a tu sitio web. El valor medio del pedido sigue siendo de 25 euros. Esta vez, sin embargo, sólo cinco de esos visitantes se van sin comprar nada y los otros cinco gastan 25 dólares cada uno. ¿Cuál es el resultado? Ha ganado 25 dólares.

Este es uno de los ejemplos más simples de A/B testing, por supuesto. Pero al aumentar la tasa de conversión de tu tienda online, has conseguido que el mismo tráfico sea más valioso.

Hacer pruebas A/B de fotos y texto también te ayuda a descubrir ideas, tanto si la prueba gana o pierde. Este valor es muy transferible. Por ejemplo, una idea de redacción de una prueba A/B sobre descripciones de productos podría ayudar a informar sobre la propuesta de valor, un vídeo de producto u otras descripciones de producto.

Tampoco puedes ignorar el valor inherente de centrarte en mejorar continuamente la eficacia de tu tienda online.

¿Deberías hacer pruebas A/B?

No necesariamente. Si tienes una página con poco tráfico o una aplicación web o móvil, probablemente el A/B testing no sea el mejor esfuerzo de optimización para ti. Es probable que consigas un mayor retorno de la inversión (ROI) realizando pruebas de usuario o hablando con tus clientes, por ejemplo.

A pesar de la creencia popular, la optimización de la tasa de conversión no comienza y termina con las pruebas.

Ten en cuenta las cifras de la calculadora de tamaño de muestra anterior. 47.127 visitantes por variación para detectar un efecto del 8% si la tasa de conversión de referencia es del 5%. Supongamos que quieres probar una página de producto. ¿Recibe cerca de 100.000 visitantes en dos a cuatro semanas?

¿Por qué de dos a cuatro semanas? Recuerda que queremos realizar pruebas durante al menos dos ciclos comerciales completos. Normalmente, eso equivale a entre dos y cuatro semanas. Tal vez estés pensando: «No hay problema, realizaré la prueba durante más de dos a cuatro semanas para alcanzar el tamaño de muestra necesario». Eso tampoco funcionará.

Cuanto más tiempo se ejecute una prueba, más susceptible será a las amenazas de validez externa y a la contaminación de la muestra. Por ejemplo, los visitantes podrían borrar sus cookies y acabar entrando de nuevo en la prueba A/B testing como un nuevo visitante. O alguien podría cambiar de su teléfono móvil a su ordenador y ver una variación alternativa.

Esencialmente, dejar que la prueba se ejecute durante demasiado tiempo es tan malo como no dejar que se ejecute el tiempo suficiente.

La inversión en pruebas merece la pena para las tiendas que pueden alcanzar el tamaño de muestra necesario en dos o cuatro semanas. Las tiendas que no lo consigan deberían considerar otras formas de optimización hasta que aumente su tráfico.

Julia Starostenko, Product Manager at Pinterest, agrees, explaining:

Julia Starostenko, Pinterest

«¡Experimentar es divertido! Pero es importante que te asegures de que los resultados son correctos».

«Pregúntate: ¿Es tu público lo suficientemente amplio? ¿Has recopilado suficientes datos? Para lograr una verdadera significación estadística (dentro de un plazo razonable), el tamaño de la audiencia debe ser lo suficientemente grande».

¿Qué hay que probar en las pruebas A/B testing?

No puedo decirte lo que debes probar con un A/B testing, y sé que te ayudaría mucho si te diera una lista de 99 cosas para probar ahora mismo. No hay escasez de vendedores dispuestos a hacer eso a cambio de clics.

La verdad es que las únicas pruebas que valen la pena son las pruebas basadas en tus propios datos. Yo no tengo acceso a tus datos, a tus clientes, etc., y tampoco lo tiene nadie que elabore esas enormes listas de ideas para pruebas A/B testing. Ninguno de nosotros puede decirte qué debes probar con una garantía de resultados.

Porque, de nuevo, las únicas pruebas que merecen la pena son las que se basan en tus propios datos.

En su lugar, te animo a responder a esta pregunta por ti mismo a través del análisis cualitativo y cuantitativo. Algunos ejemplos populares de A/B testing son:

• Análisis técnico. ¿Tu tienda se carga correcta y rápidamente en todos los navegadores? ¿En todos los dispositivos? Puede que tú tengas un nuevo y reluciente iPhone de última generación, pero puede que haya usuarios que todavía usen terminales de hace más de diez años, en los que tu web puede no ir tan fluida como debería y, consecuentemente, no convertirte tanto como desearías.
• Encuestas in situ. Aparecen cuando los visitantes de tu tienda navegan por ella. Por ejemplo, una encuesta in situ puede preguntar a los visitantes que llevan un rato en la misma página si hay algo que les impide realizar una compra hoy. En caso afirmativo, ¿qué es? Puedes utilizar estos datos cualitativos para mejorar el texto y la tasa de conversión.
• Entrevistas con los clientes. No hay nada mejor que ponerse al teléfono y hablar con tus clientes. ¿Por qué eligieron tu tienda en lugar de las de la competencia? ¿Qué problema intentaban resolver cuando llegaron a tu página web? Hay un millón de preguntas que puedes hacer para saber quiénes son tus clientes y por qué te compran a ti.
• Encuestas a clientes. Las encuestas a clientes son encuestas completas que se envían a personas que ya han realizado una compra (no a visitantes). Al diseñar una encuesta, debes centrarte en: definir a tus clientes, definir sus problemas, definir las dudas que tenían antes de comprar e identificar las palabras y frases que utilizan para describir tu tienda.
• Análisis. ¿Tus herramientas de análisis rastrean e informan de tus datos correctamente? Puede parecer una tontería, pero te sorprendería saber cuántas herramientas de análisis están mal configuradas. El análisis de analíticas consiste en averiguar cómo se comportan tus visitantes. Por ejemplo, puedes centrarte en el embudo. ¿Dónde están las mayores fugas del embudo de conversión? En otras palabras, ¿dónde hay más abandonos en el proceso del embudo? Ese es un buen lugar para empezar a hacer pruebas.
• Pruebas de usuario. Se trata de observar a personas reales en un experimento pagado y controlado mientras intentan realizar tareas en su sitio web. Por ejemplo, puedes pedirles que busquen un videojuego de entre 40 y 60 euros y que lo añadan al carrito. Mientras realizan estas tareas, narran sus pensamientos y acciones en voz alta.
• Repeticiones de sesión. Las repeticiones de sesión son similares a las pruebas de usuario, pero ahora se trata de personas reales con dinero real e intención real de comprar. Observarás cómo navegan por tu web los usuarios reales. ¿Qué les cuesta encontrar? ¿Dónde se sienten frustrados? ¿Dónde parecen confundidos?

También existen otros tipos de investigación, pero debes empezar por elegir la mejor metodología de A/B testing para tu caso. Si repasas algunas de ellas, tendrás una enorme lista de ideas basadas en datos que merece la pena probar. Y te garantizo que esta lista te aportará más valor que cualquier artículo de «99 cosas que probar ahora mismo».

Priorizar las ideas de A/B testing

Una lista enorme de ideas para pruebas A/B es emocionante, pero no precisamente útil para decidir qué probar. ¿Por dónde empezar? Ahí es donde entra en juego la priorización.

Hay algunos marcos de priorización comunes que puede utilizar:

• ICE. ICE son las siglas en inglés de impacto, confianza y facilidad. Cada uno de esos factores recibe una clasificación del 1 al 10. Por ejemplo, si puedes realizar la prueba tú mismo sin ayuda de un desarrollador o diseñador, podrías dar a la facilidad un ocho. En este caso, utilizas tu criterio y, si hay más de una persona realizando pruebas, las clasificaciones pueden resultar demasiado subjetivas. Es útil disponer de una serie de directrices para que todo el mundo sea objetivo.
• PIE. PIE significa potencial, importancia y facilidad. De nuevo, cada factor recibe una clasificación del 1 al 10. Por ejemplo, si la prueba llegará al 90% de su tráfico, podría dar a la importancia un ocho. El marco PIE es tan subjetivo como el ICE, por lo que las directrices también pueden ser útiles aquí.
• PXL. PXL es el marco de priorización de CXL. Es un poco diferente y más personalizable, lo que obliga a tomar decisiones más objetivas. En lugar de tres factores, encontrará preguntas de Sí/No y una pregunta de facilidad de implementación. Por ejemplo, el marco podría preguntar: «¿La prueba está diseñada para aumentar la motivación?». Si la respuesta es afirmativa, recibe un 1. Si es negativa, recibe un 0. Puedes obtener más información sobre este marco y descargar una hoja de cálculo.

Ahora ya tienes una idea de por dónde empezar, y también para categorizar tus ideas. Por ejemplo, durante una investigación sobre conversión que realicé recientemente, utilicé tres categorías: implementar, investigar y probar.

• Poner en práctica. Simplemente hazlo, y verás si, simplemente, funciona o no.
• Investigar. Requiere una reflexión adicional para definir el problema o concretar una solución.
• Probar. La idea es sólida y se basa en datos. Ponla a prueba.

Entre esta categorización y la priorización, ya está todo listo.

Curso intensivo de estadísticas de A/B testing

Antes de realizar una prueba, es importante profundizar en las estadísticas. Lo sé, las estadísticas por lo general no son las favoritas de los usuarios, pero piensa en esto como el curso obligatorio que tienes que tomar a regañadientes para graduarte.

La estadística es una parte importante del A/B testing. Afortunadamente, las herramientas de A/B testing y el software de split testing han facilitado el trabajo de los optimizadores, pero es crucial tener un conocimiento básico de lo que ocurre entre bastidores para analizar los resultados de las pruebas más adelante.

Alex Birkett, antiguo Growth Marketing Manager en HubSpot y actual cofundador de Omniscient Digital, lo explica:

Alex Birkett, Omniscient Digital

«La estadística no es un número mágico de conversiones ni una cosa binaria de “¡Éxito!” o “Fracaso”.Es un proceso que se utiliza para tomar decisiones en condiciones de incertidumbre y reducir el riesgo tratando de reducir la confusión sobre cuál será el resultado de una decisión concreta».

«Teniendo esto en cuenta, creo que lo más necesario es conocer los conceptos básicos: qué es una media, la varianza, el muestreo, la desviación estándar, la regresión a la media y qué constituye una muestra “representativa”. Además, cuando se empieza con el A/B testing, resulta útil establecer algunas barandillas específicas para mitigar en la medida de lo posible el error humano».

¿Qué es la media?

La media es el promedio. Tu objetivo es encontrar una media que sea representativa del conjunto.

Por ejemplo, supongamos que quieres averiguar el precio medio de los videojuegos. No vas a sumar el precio de todos los videojuegos del mundo y dividirlo por el número de todos los videojuegos del mundo. En lugar de eso, vas a aislar una pequeña muestra que sea representativa de todos los videojuegos del mundo.

Puede que acabes encontrando el precio medio de un par de cientos de videojuegos. Si has seleccionado una muestra representativa, el precio medio de esos doscientos videojuegos debería ser representativo de todos los videojuegos del mundo.

¿Qué es el muestreo?

Cuanto mayor sea el tamaño de la muestra, menor será la variabilidad, lo que significa que es más probable que la media sea precisa.

Así, si aumentas la muestra de 200 videojuegos a 2.000 videojuegos, tendrás menos varianza y una media más precisa.

¿Qué es la varianza?

La varianza es la variabilidad media. Esencialmente, cuanto mayor sea la variabilidad, menos precisa será la media a la hora de predecir un punto de datos individual.

Entonces, ¿cuánto se aproxima la media al precio real de cada videojuego?

¿Qué es la significación estadística?

Suponiendo que no haya diferencia entre A y B, ¿con qué frecuencia se verá el efecto sólo por casualidad?

Cuanto menor sea el nivel de significación estadística, mayor será la probabilidad de que la variación ganadora no sea ganadora en términos absolutos.

En pocas palabras, un nivel de significación bajo significa que hay una gran probabilidad de que el «ganador» no sea un verdadero ganador (esto se conoce como falso positivo).

Ten en cuenta que la mayoría de las herramientas de pruebas A/B y el software de pruebas A/B de código abierto llaman a la significación estadística sin esperar a que se alcance un tamaño de muestra predeterminado o un punto en el tiempo. Por este motivo, podrías notar que la prueba va y viene entre estadísticamente significativa y estadísticamente insignificante.

Peep Laja, fundador de CXL, quiere que más personas entiendan realmente la significación estadística de las pruebas A/B testing y por qué es importante:

«La significación estadística no equivale a la validez, no es una regla de oro. Cuando se alcanza una significación estadística del 95% o superior, eso significa muy poco antes de que se hayan cumplido otras dos condiciones más importantes:

1. El tamaño de la muestra es suficiente, lo que se averigua con calculadoras de tamaño de muestra. Es decir, han participado en el experimento suficientes personas como para que podamos llegar a alguna conclusión.
2. La prueba ha durado lo suficiente para que la muestra sea representativa (y no demasiado para evitar la contaminación de la muestra). En la mayoría de los casos, conviene realizar las pruebas en dos, tres o cuatro semanas, en función de la rapidez con que se pueda obtener la muestra necesaria».

¿Qué es la regresión a la media?

Es posible que notes fluctuaciones extremas al principio de tu A/B testing.

La regresión a la media es el fenómeno que dice que si algo es extremo en su primera medición, probablemente estará más cerca de la media en su segunda medición.

Si la única razón por la que estás haciendo una prueba es porque ha alcanzas la significación estadística, podrías estar viendo un falso positivo, y es probable que la variación ganadora vuelva a la media con el tiempo.

¿Qué es la potencia estadística?

Suponiendo que haya una diferencia entre A y B, ¿con qué frecuencia se verá el efecto?

Cuanto menor sea el nivel de potencia, mayor será la probabilidad de que un ganador pase desapercibido. Cuanto mayor sea el nivel de potencia, menor será la probabilidad de que un ganador pase desapercibido. En realidad, todo lo que necesitas saber es que el 80% de potencia estadística es estándar para la mayoría de las herramientas de A/B testing y/o cualquier servicio de split-testing.

Ton Wesseling, fundador de Online Dialogue, desearía que más gente conociera la potencia estadística:

«Mucha gente se preocupa por los falsos positivos. A nosotros nos preocupan mucho más los falsos negativos. ¿Por qué realizar experimentos en los que las probabilidades de encontrar pruebas de que el cambio positivo tiene un impacto son realmente bajas?»

¿Qué son las amenazas a la validez externa?

Hay factores externos que amenazan la validez de sus pruebas. Por ejemplo:

• Las ventas del Black Friday Cyber Monday (BFCM)
• Una mención de prensa positiva o negativa
• El lanzamiento de una gran campaña de pago
• El día de la semana
• El cambio de estación

Uno de los ejemplos más comunes de A/B testing en los que las amenazas a la validez externa afectan a los resultados es durante los eventos estacionales. Supongamos que realizas una prueba en diciembre. Los días festivos importantes significarán un aumento del tráfico en tu tienda durante ese mes. Es posible que en enero descubras que tu ganador de diciembre ya no rinde bien.

¿Por qué?

Por una amenaza de validez externa: las vacaciones.

Los datos en los que basó tu decisión de prueba eran una anomalía. Cuando las cosas se calmen en enero, puede que te sorprendas al ver que el ganador está perdiendo.

No puedes eliminar las amenazas de validez externa, pero puedes mitigarlas realizando pruebas durante semanas completas (por ejemplo, no empieces una prueba un lunes y la termines un viernes), incluyendo diferentes tipos de tráfico (por ejemplo, no pruebes exclusivamente el tráfico de pago y luego extiendas los resultados a todas las fuentes de tráfico) y siendo consciente de las amenazas potenciales.

Cómo configurar una prueba A/B

Veamos un pequeño tutorial de A/B testing. Antes de probar nada, es necesario tener una hipótesis sólida. (Genial, acabamos de terminar la clase de matemáticas y ahora pasamos a la ciencia). Por ejemplo: «Si bajo lo que cobro por el envío, las tasas de conversión aumentarán».

No te preocupes, no es complicado. Básicamente, necesitas probar una hipótesis, no una idea. Una hipótesis es medible, aspira a resolver un problema de conversión específico y se centra en las percepciones en lugar de en las victorias.

Siempre que escribo una hipótesis, utilizo una fórmula prestada del Kit de Hipótesis de Craig Sullivan:

• Dado que ves [insertar datos/retroalimentación de la investigación]
• Esperas que [cambio que estás probando] cause [impacto que anticipas] y
• Lo medirás utilizando [métrica de datos].

Fácil, ¿verdad? Todo lo que tienes que hacer es rellenar los espacios en blanco y tu idea de prueba se habrá transformado en una hipótesis.

Elegir una herramienta de A/B testing

Ahora puedes elegir una herramienta de A/B testing o un servicio de split testing. La mayoría de las veces, pensarás primero en Google Optimize, Optimizely y VWO.

Todas son opciones buenas y seguras.

• Google Optimize. Gratuito, salvo por algunas limitaciones multivariantes, que no deberían afectarte si estás empezando. Funciona bien cuando se realizan pruebas A/B testing de Google Analytics, lo cual es una ventaja.
• Optimizely. Fácil de poner en marcha pruebas menores, incluso sin conocimientos técnicos. Stats Engine facilita el análisis de los resultados de las pruebas. Normalmente, Optimizely es la opción más cara de las tres.
• VWO. VWO tiene SmartStats para facilitar el análisis. Además, tiene un gran editor WYSIWYG para principiantes. Cada plan de VWO viene con mapas de calor, encuestas in situ, análisis de formularios, etc.

También tenemos algunas herramientas de A/B testing en la Shopify App Store que pueden serte útiles.

Una vez que hayas seleccionado una herramienta de A/B testing o un software de split testing, rellena el formulario de registro y sigue las instrucciones proporcionadas. El proceso varía de una herramienta a otra. Normalmente, sin embargo, se le pedirá que instale un fragmento en su sitio y establecer metas.

Cómo analizar los resultados de las pruebas A/B testing

¿Recuerdas cuando dije que escribir una hipótesis cambia el enfoque de las ganancias a los conocimientos? Krista Seiden, Analytics Advocate y antigua Product Manager de Google, explica lo que eso significa:

 

Krista Seiden, Google

«El aspecto más olvidado del A/B testing es aprender de los fracasos. De hecho, en los programas de optimización que he dirigido, tengo la costumbre de publicar un «informe de fracasos» en el que destaco algunos de los mayores perdedores del trimestre y lo que aprendimos de ellos.

Uno de mis favoritos es el de una campaña que llevaba meses gestándose. Pudimos probar la página de aterrizaje justo antes de lanzarla, y menos mal que lo hicimos, porque fracasó estrepitosamente. Si hubiéramos lanzado la página tal cual, habríamos sufrido un golpe importante en los resultados. No sólo acabamos ahorrando a la empresa mucho dinero, sino que pudimos profundizar y hacer algunas suposiciones (que luego pusimos a prueba) sobre por qué la nueva página había funcionado tan mal, y eso nos hizo mejores vendedores y más exitosos en futuras campañas».

 

Si elaboras tu hipótesis correctamente, incluso un perdedor es un ganador, porque obtendrás información que podrás utilizar en futuras pruebas y en otras áreas de tu negocio. Así que, cuando analices los resultados de tus pruebas, tienes que centrarte en los conocimientos, no en si la prueba ha ganado o perdido. Siempre hay algo que aprender, siempre hay algo que analizar. No descartes a los perdedores.

Lo más importante a tener en cuenta aquí es la necesidad de segmentación. Una prueba puede ser globalmente perdedora, pero lo más probable es que haya funcionado bien en al menos un segmento. ¿Qué quiero decir con segmento?

• Nuevos visitantes
• Visitantes recurrentes
• Visitantes de iOS
• Visitantes de Android
• Visitantes de Chrome
• Visitantes de Safari
• Visitantes de escritorio
• Visitantes de tabletas
• Visitantes de búsqueda orgánica
• Visitantes de pago
• Visitantes de redes sociales
• Compradores registrados

Te haces una idea, ¿verdad?

Cuando miras los resultados en su herramienta de pruebas, está viendo toda la caja de caramelos. Lo que tiene que hacer es separar los caramelos para poder descubrir información más profunda y segmentada.

Lo más probable es que la hipótesis se haya demostrado correcta entre determinados segmentos. Eso también te dice algo.

El análisis es mucho más que saber si la prueba resultó ganadora o perdedora. Segmenta los datos para encontrar información oculta bajo la superficie.

Las herramientas de A/B testing no harán el análisis por ti, sino que ésta es una habilidad importante a desarrollar con el tiempo.

Cómo archivar pruebas A/B anteriores

Supongamos que mañana haces tu primera prueba. Dentro de dos años, ¿recordarás los detalles de esa prueba? Probablemente no.

Por eso es importante archivar los resultados de las pruebas A/B testing. Sin un archivo bien conservado, todos esos conocimientos que estás obteniendo se perderán. Además, no te engaño, es muy fácil probar la misma cosa dos veces si no estás haciendo un archivo.

Sin embargo, no hay una forma «correcta» de hacerlo. Puedes utilizar una herramienta como Effective Experiments o Excel. Depende de ti, sobre todo si estás empezando. Sólo asegúrate de llevar un registro de:

• La hipótesis
• Capturas de pantalla del control y la variación
• Si ganó o perdió
• La información obtenida a través del análisis

A medida que crezcas, te agradecerás haber conservado este archivo. No sólo te ayudará a ti, sino también a los nuevos empleados y a los asesores/partes interesadas.

Los procesos de A/B testing de los profesionales

Ahora que ya has visto un tutorial estándar de A/B testing, echemos un vistazo a los procesos exactos de los profesionales de empresas como Google y HubSpot.

Krista Seiden

Mi proceso paso a paso para las pruebas A/B de aplicaciones y páginas web comienza con el análisis; en mi opinión, este es el elemento central de cualquier buen programa de pruebas. En la etapa de análisis, el objetivo es examinar los datos analíticos, los datos de las encuestas o de UX, o cualquier otra fuente de información del cliente que pueda tener con el fin de entender dónde están las oportunidades de optimización.

Una vez que tengas un buen conjunto de ideas de la etapa de análisis, puedes pasar a la hipótesis de lo que podría estar yendo mal y cómo podrías potencialmente arreglar o mejorar estas áreas de optimización.

A continuación, es hora de construir y ejecutar las pruebas. Asegúrate de ejecutarlas durante un periodo de tiempo razonable (yo suelo hacerlo durante dos semanas para asegurarme de que tengo en cuenta los cambios o anomalías semanales) y, cuando tengas suficientes datos, analiza los resultados para determinar quién es el ganador.

También es importante tomarse un tiempo en esta etapa para analizar a los perdedores, ¿qué puedes aprender de estas variaciones?

Por último, y puede que sólo llegues a esta fase una vez que hayas dedicado tiempo a sentar las bases de un programa de optimización sólido, es el momento de considerar la personalización. Esto no requiere necesariamente un conjunto de herramientas sofisticadas, sino que puede surgir de los datos que tiene sobre sus usuarios.

La personalización del marketing puede ser tan sencilla como dirigir el contenido adecuado a las ubicaciones correctas o tan compleja como basarse en las acciones individuales de los usuarios. Pero no te lances de golpe a la personalización. Asegúrate de que dedicas el tiempo suficiente a conocer bien los aspectos básicos.

Alex Birkett, Omniscient Digital

A un alto nivel, intento seguir este proceso:

• Recopilar datos y asegurarme de que las implementaciones analíticas son precisas.
• Analizar los datos y encontrar ideas.
• Convertir las ideas en hipótesis.
• Priorizar en función del impacto y la facilidad, y maximizar la asignación de recursos (especialmente los técnicos).
• Ejecutar una prueba (siguiendo las mejores prácticas estadísticas en la medida de mis conocimientos y capacidad).
• Analizar los resultados y aplicarlos o no en función de los resultados.
• Iterar en función de los resultados y repetir.

En pocas palabras: investigar, probar, analizar y repetir.

Si bien este proceso puede desviarse o cambiar en función del contexto (¿estoy probando una característica crítica del producto? ¿La CTA de una entrada de blog? ¿Cuál es el perfil de riesgo y el equilibrio entre innovación y mitigación de riesgos?), es bastante aplicable a cualquier tamaño o tipo de empresa.

La cuestión es que este proceso es ágil, pero también recopila suficientes datos, tanto cualitativos como analíticos, para poder crear mejores ideas de prueba y priorizarlas mejor, de modo que puedas atraer tráfico a tu tienda online.

Ton Wesseling, Online Dialogue

La primera pregunta a la que siempre respondemos cuando queremos optimizar el recorrido de un cliente es: ¿Dónde encaja este producto o servicio en el modelo ROAR que creamos en Diálogo Online? ¿Se encuentra todavía en la fase de riesgo, en la que podríamos investigar mucho pero no podemos validar nuestras conclusiones mediante experimentos en línea de A/B testing (por debajo de 1.000 conversiones al mes), o se encuentra en la fase de optimización? ¿O incluso por encima?

• Fase de riesgo: mucha investigación, que se traducirá en cualquier cosa, desde un pivote del modelo de negocio hasta un diseño y una propuesta de valor completamente nuevos.
• Fase de optimización: grandes experimentos que optimizarán la propuesta de valor y el modelo de negocio.
• Fase de optimización: pequeños experimentos para validar las hipótesis de comportamiento del usuario, que acumularán conocimientos para cambios de diseño más amplios.
• Automatización: aún le queda poder de experimentación (visitantes), lo que significa que no se necesita todo el potencial de pruebas para validar el recorrido del usuario. Lo que queda debe utilizarse para explotar, para crecer más rápido ahora (sin centrarse en los aprendizajes a largo plazo). Esto podría automatizarse ejecutando bandits/utilizando algoritmos.
• Replanteamiento: se deja de añadir mucha investigación, a menos que se trate de un pivote hacia algo nuevo.

Así que las pruebas A/B testing en la web o la aplicación sólo son importantes en la fase de optimización de ROAR y más allá (hasta que se replantee).

Nuestro enfoque para realizar experimentos es el modelo FACT & ACT:

La investigación que realizamos se basa en nuestro Modelo 5V:

Reunimos todos estos datos para elaborar una hipótesis principal basada en la investigación, que dará lugar a subhipótesis que se priorizarán en función de los datos recopilados mediante pruebas A/B testing en ordenadores de sobremesa o móviles. Cuanto mayor sea la probabilidad de que la hipótesis sea cierta, más alta será su clasificación.

Una vez que sepamos si nuestra hipótesis es cierta o falsa, podemos empezar a combinar los aprendizajes y dar pasos más grandes rediseñando/realineando partes más grandes del recorrido del cliente. Sin embargo, en algún momento, todas las implementaciones ganadoras conducirán a un máximo local. Entonces hay que dar un paso más grande para poder alcanzar un máximo global potencial.

Y, por supuesto, los principales aprendizajes se extenderán por toda la empresa, lo que conduce a todo tipo de optimizaciones e innovaciones más amplias basadas en sus conocimientos de primera mano validados.

Julia Starostenko, Pinterest 

El propósito de un experimento es validar que realizar cambios en una página web existente tendrá un impacto positivo en el negocio.

Antes de empezar, es importante determinar si es realmente necesario realizar un experimento. Plantéate el siguiente escenario: hay un botón con una tasa de clics extremadamente baja. Sería casi imposible disminuir el rendimiento de este botón. Por lo tanto, no es necesario validar la eficacia de un cambio propuesto en el botón (es decir, realizar un experimento).

Del mismo modo, si el cambio propuesto en el botón es pequeño, probablemente no merezca la pena dedicar tiempo a preparar, ejecutar y desmantelar un experimento. En este caso, los cambios deberían aplicarse a todo el mundo y se podría supervisar el rendimiento del botón.

Si se determina que realizar un experimento sería beneficioso, el siguiente paso es definir las métricas de negocio que deberían mejorarse (por ejemplo, aumentar la tasa de conversión de un botón). A continuación, nos aseguramos de que se recopilan los datos adecuados.

Una vez hecho esto, se realiza una prueba aleatoria del público, dividiéndolo en dos grupos: a un grupo se le muestra la versión existente del botón, mientras que el otro recibe la nueva versión. Se controla la tasa de conversión de cada público y, una vez alcanzada la significación estadística, se determinan los resultados del experimento.

Peep Laja, CXL 

El A/B testing forma parte de un proceso más amplio de optimización de la conversión. En mi opinión, se trata en un 80% de la investigación y sólo en un 20% de las pruebas. La investigación de la conversión le ayudará a determinar qué probar para empezar.

Mi proceso suele ser el siguiente (un resumen simplificado):

• Llevar a cabo la investigación de conversión utilizando un marco como ResearchXL para identificar los problemas en su sitio.
• Elige un problema de alta prioridad (uno que afecte a una gran parte de los usuarios y sea un problema grave), y haz una lluvia de ideas con tantas soluciones como puedas para este problema. Aporte información a su proceso de ideación con los resultados de su investigación sobre la conversión. Determina en qué dispositivo quieres realizar la prueba (tienes que realizar el A/B testing para móviles separado del de escritorio).
• Calcula cuántas variaciones puedes probar (en función de tu nivel de tráfico/transacciones) y, a continuación, elige las dos mejores ideas de solución para probarlas contra el control.
• Crea un wireframe con los tratamientos exactos (escribe el texto, realiza los cambios de diseño, etc.) Dependiendo del alcance de los cambios, puede que también necesites incluir a un diseñador para que diseñe los nuevos elementos.
• Pide a tu desarrollador front-end que implemente los tratamientos en tu herramienta de pruebas. Configure las integraciones necesarias (Google Analytics) y establezca los objetivos adecuados.
• Realiza el QA de la prueba (las pruebas rotas son, con mucho, el mayor asesino de A/B testing) para asegurarte de que funciona con cada combinación de navegador/dispositivo.
• Lanza la prueba.
• Una vez finalizada la prueba, realiza un análisis posterior.
• En función del resultado, implementa el ganador, repite los tratamientos o prueba otra cosa.

Optimiza el A/B testing para tu empresa

Tienes el proceso, ¡tienes el poder! Así que, sal ahí fuera, consigue el mejor software de A/B testing, y empieza a probar tu tienda. Antes de que te des cuenta, esos conocimientos se traducirán en más dinero en tu banco.

Si quieres seguir aprendiendo sobre optimización, plantéate hacer un curso gratuito, como el de A/B testing de Google de Udacity. Puedes aprender más sobre pruebas A/B testing en aplicaciones web y móviles para mejorar tus habilidades de optimización.

Preguntas frecuentes sobre A/B testing

¿Qué es el A/B testing?

En el nivel más básico, A/B testing es probar dos versiones de algo para ver cuál funciona mejor. Puedes hacer A/B testing en una variedad de cosas relacionadas con tu negocio, incluyendo publicaciones en redes sociales, contenidos, correo electrónico y páginas de productos.

¿Qué ejemplos de A/B testing existen?

Un ejemplo de A/B testing sería dirigir tráfico de pago a dos páginas de producto ligeramente diferentes para ver cuál de ellas tiene la tasa de conversión más alta. Para garantizar que las pruebas A/B proporcionan información de valor, se recomienda tener un tráfico de más de 5.000 visitantes en las páginas que se estudian.

¿Por qué deberías hacer pruebas A/B testing?

La razón principal para hacer pruebas A/B testing es la de aumentar la tasa de conversión de tu tienda online. Con un testeo adecuado, conseguirás que el mismo tráfico que llega a tu tienda sea más valioso. Pero estas pruebas también te sirven para hacer una mejora continua de tu tienda online, aumentar su eficacia, optimizar sus contenidos, actualizar su diseño, etc.

¿Qué elementos de tu tienda online puedes someter a A/B testing?

Existen una gran variedad de elementos que puedes poner a prueba con A/B testing. Entre los más habituales y útiles, sobre todo si son test iniciales, podemos encontrar las siguientes opciones:

• Elementos visuales, como imágenes de productos, vídeos, botones de CTA, diseño de la web;
• Elementos de copywriting, como los títulos, subtítulos, las descripciones de los productos, los textos de los CTA, los correos de email marketing, las newsletters;
• Elementos técnicos, como los procesos de pago, los formularios, las opciones de envío o los precios;
• Elementos externos, como los testimonios de clientes, las publicaciones en distintas redes sociales o las acciones publicitarias y de influencers.