Qué mirar en un piloto de inteligencia de conversaciones antes de escalarlo

Casi todos los pilotos de este tipo terminan con un informe que dice que funcionó. El problema es que la mayoría no midió lo que había que medir, y la decisión de escalar se toma sobre la sensación del equipo que lo condujo.

Estas son las cuatro preguntas que sí deciden.

1. ¿Los vendedores lo usaron sin que se lo pidan?

Es la única métrica de adopción que importa y casi nadie la mira.

Si el uso viene de un supervisor recordándolo en cada reunión, lo que probaste es que tu supervisor insiste, no que la herramienta sirve. En una cadena de doscientas tiendas no hay supervisor que alcance.

Qué mirar: el porcentaje de vendedores que abrieron su feedback por voluntad propia en la última semana del piloto, comparado con la primera. Si baja, no escales todavía.

2. ¿Cambió alguna conducta concreta, o solo el ánimo?

"El equipo está más enfocado" no es un resultado. Es amable y no se puede auditar.

Qué mirar: elegí una conducta específica antes de arrancar (por ejemplo, el intento de cierre) y medila la primera semana y la última. Si el intento de cierre pasó del 30% al 55% de las conversaciones, tenés un resultado. Si no elegiste la conducta antes de arrancar, el piloto ya no puede probar esto y ningún análisis posterior lo arregla.

3. ¿El efecto sobrevive a la novedad?

Las primeras dos semanas de cualquier medición mejoran los números. Es el efecto Hawthorne y no tiene nada que ver con el producto: la gente se comporta distinto cuando sabe que la están mirando.

Qué mirar: un piloto de cuatro semanas no puede responder esto. Recién a partir de la sexta u octava semana se ve si la conducta quedó o si era entusiasmo inicial. Un piloto corto puede probar que la herramienta funciona; no puede probar que el cambio dura.

4. ¿Las tiendas del piloto se parecen a la cadena?

El error más común: se elige para el piloto a las tiendas con mejor gerente, porque son las que van a colaborar.

Son también las que menos margen de mejora tienen y las que menos se parecen al resto. Un piloto que funciona en tus tres mejores tiendas no dice nada sobre las cien del medio, que es donde está la plata.

Qué mirar: al menos una tienda de bajo desempeño y una de rotación alta de personal. Esas dos son las que dicen si el resultado es replicable.

Un piloto que sale bien en las mejores tiendas y con el supervisor encima no prueba que el producto funciona. Prueba que funciona en las mejores condiciones posibles, que son justo las que no vas a tener al escalar.

Lo que conviene dejar acordado antes de empezar

Tres cosas, por escrito, antes de instalar el primer dispositivo:

• La conducta que se va a medir, elegida y definida.
• El umbral de decisión. Qué número hace que se escale y qué número hace que no. Definirlo después es definirlo para justificar lo que ya se quería hacer.
• El marco legal y la señalización, revisados por el equipo legal. Es el punto que más frena implementaciones cuando se deja para el final, y el que menos cuesta si se resuelve al principio.

Un piloto bien diseñado puede darte un no, y eso también es un buen resultado: cuesta cinco tiendas en vez de doscientas.