Aprendizaje automático centrado en el ser humano

7 pasos para mantenerse enfocado en el usuario cuando diseña con ML

Por Josh Lovejoy y Jess Holbrook

El aprendizaje automático (ML) es la ciencia de ayudar a las computadoras a descubrir patrones y relaciones en los datos en lugar de ser programados manualmente. Es una herramienta poderosa para crear experiencias personalizadas y dinámicas, y ya está manejando todo, desde recomendaciones de Netflix hasta autos autónomos. Pero a medida que se crean más y más experiencias con ML, está claro que los UXers todavía tienen mucho que aprender sobre cómo hacer que los usuarios se sientan en control de la tecnología, y no al revés.

Como fue el caso con la revolución móvil, y la web anterior, ML nos hará repensar, reestructurar, desplazar y considerar nuevas posibilidades para prácticamente cada experiencia que construimos. En la comunidad de Google UX, hemos comenzado un esfuerzo llamado "aprendizaje automático centrado en el ser humano" (HCML) para ayudar a enfocar y guiar esa conversación. Al usar este lente, miramos a través de los productos para ver cómo el ML puede mantenerse basado en las necesidades humanas y al mismo tiempo resolverlo de maneras únicas solo posibles a través del ML. Nuestro equipo en Google trabaja con UXers en toda la compañía para ponerlos al día sobre los conceptos básicos de ML, comprender cómo integrar ML en el cinturón de servicios UX y garantizar que ML e AI se construyan de manera inclusiva.

Si acaba de comenzar a trabajar con ML, puede sentirse un poco abrumado por la complejidad del espacio y la amplitud de oportunidades para la innovación. Disminuya la velocidad, dese tiempo para aclimatarse y no se asuste. No necesita reinventarse para ser valioso para su equipo.

Hemos desarrollado siete puntos para ayudar a los diseñadores a navegar por el nuevo terreno del diseño de productos basados ​​en ML. Nacidos de nuestro trabajo con los equipos de UX e IA en Google (y una buena dosis de prueba y error), estos puntos lo ayudarán a poner al usuario primero, iterar rápidamente y comprender las oportunidades únicas que ML crea.

Empecemos.

1. No esperes que el aprendizaje automático descubra qué problemas resolver

El aprendizaje automático y la inteligencia artificial tienen mucha expectación en este momento. Muchas compañías y equipos de productos se lanzan directamente a estrategias de productos que comienzan con ML como una solución y omiten centrarse en un problema significativo para resolver.

Eso está bien para la exploración pura o para ver lo que puede hacer una tecnología, y a menudo inspira nuevas ideas de productos. Sin embargo, si no está alineado con una necesidad humana, simplemente va a construir un sistema muy poderoso para abordar un problema muy pequeño, o tal vez inexistente.

Entonces, nuestro primer punto es que aún necesita hacer todo el trabajo duro que siempre ha hecho para encontrar las necesidades humanas. Esta es toda la etnografía, consultas contextuales, entrevistas, encuentros, encuestas, lectura de tickets de atención al cliente, análisis de registros y acercamiento a las personas para determinar si está resolviendo un problema o abordando una necesidad no declarada que la gente tiene. El aprendizaje automático no resolverá qué problemas resolver. Todavía tenemos que definir eso. Como UXers, ya tenemos las herramientas para guiar a nuestros equipos, independientemente del paradigma tecnológico dominante.

2. Pregúntese si ML abordará el problema de una manera única

Una vez que haya identificado la necesidad o necesidades que desea abordar, deseará evaluar si ML puede resolver estas necesidades de maneras únicas. Hay muchos problemas legítimos que no requieren soluciones ML.

Un desafío en este punto del desarrollo de productos es determinar qué experiencias requieren ML, cuáles son significativamente mejoradas por ML y cuáles no se benefician de ML o incluso se degradan por ella. Muchos productos pueden sentirse "inteligentes" o "personales" sin ML. No se deje engañar pensando que eso solo es posible con ML.

Gmail busca frases que incluyen palabras como

Hemos creado un conjunto de ejercicios para ayudar a los equipos a comprender el valor de ML para sus casos de uso. Estos ejercicios lo hacen al profundizar en los detalles de los modelos mentales y las expectativas que las personas pueden aportar al interactuar con un sistema de ML, así como qué datos serían necesarios para ese sistema.

Aquí hay tres ejercicios de ejemplo que los equipos recorren y responden sobre los casos de uso que están tratando de abordar con ML:

Describa la forma en que un "experto" teórico humano podría realizar la tarea hoy.
Si su experto humano realizara esta tarea, ¿cómo respondería a ellos para que mejoren la próxima vez? Haga esto para las cuatro fases de la matriz de confusión.
Si un humano realizara esta tarea, ¿qué suposiciones querría el usuario que hiciera?

Dedicar solo unos minutos a responder cada una de estas preguntas revela las suposiciones automáticas que las personas aportarán a un producto basado en ML. Son igualmente buenos como indicaciones para una discusión del equipo del producto o como estímulos en la investigación del usuario. También tocaremos esto un poco más tarde cuando entremos en el proceso de definir etiquetas y modelos de capacitación.

Después de estos ejercicios y algunos bocetos y guiones gráficos adicionales de productos y características específicas, trazamos todas las ideas de productos del equipo en un práctico 2x2:

Trazar ideas en este 2x2. Haga que el equipo vote sobre qué ideas tendrían el mayor impacto para el usuario y cuáles serían las más mejoradas con una solución ML.

Esto nos permite separar las ideas impactantes de las menos impactantes, así como ver qué ideas dependen del LD frente a las que no se benefician o solo podrían beneficiarse ligeramente de él. Ya debería asociarse con Ingeniería en estas conversaciones, pero si no lo es, este es un buen momento para ayudarlos a evaluar las realidades de ML de estas ideas. Lo que tenga el mayor impacto para el usuario y esté habilitado de forma exclusiva por ML (en la esquina superior derecha de la matriz anterior) es en lo que primero querrá enfocarse.

3. Fingir con ejemplos personales y magos

Un gran desafío con los sistemas ML es la creación de prototipos. Si el valor total de su producto es que utiliza datos de usuario únicos para personalizar una experiencia para ella, no puede simplemente crear un prototipo muy rápido y hacer que se sienta casi auténtico. Además, si espera tener un sistema ML totalmente construido para probar el diseño, es probable que sea demasiado tarde para cambiarlo de manera significativa después de la prueba. Sin embargo, hay dos enfoques de investigación de usuarios que pueden ayudar: usar ejemplos personales de los participantes y estudios de Wizard of Oz.

Cuando realice una investigación de usuarios con maquetas iniciales, haga que los participantes traigan algunos de sus propios datos, p. fotos personales, sus propias listas de contactos, recomendaciones de música o películas que han recibido, a las sesiones. Recuerde, deberá asegurarse de informar completamente a los participantes sobre cómo se utilizarán estos datos durante las pruebas y cuándo se eliminarán. Esto incluso puede ser una especie de "tarea" divertida para los participantes antes de la sesión (a la gente le gusta hablar de sus películas favoritas después de todo).

Con estos ejemplos, puede simular respuestas correctas e incorrectas del sistema. Por ejemplo, puede simular que el sistema devuelve la recomendación de película incorrecta al usuario para ver cómo reacciona y qué suposiciones hace sobre por qué el sistema devolvió ese resultado. Esto le ayuda a evaluar el costo y los beneficios de estas posibilidades con mucha más validez que usar ejemplos ficticios o descripciones conceptuales.

El segundo enfoque que funciona bastante bien para probar productos ML aún no construidos es realizar estudios de Wizard of Oz. Con furia a la vez, los estudios de Wizard of Oz cayeron de la fama como método de investigación de usuarios en los últimos 20 años más o menos. Bueno, han vuelto.

Las interfaces de chat son una de las experiencias más fáciles de probar con un enfoque de Wizard of Oz. Simplemente tenga un compañero de equipo listo en el otro lado del chat para ingresar

Recordatorio rápido: los estudios de Wizard of Oz hacen que los participantes interactúen con lo que creen que es un sistema autónomo, pero que en realidad está siendo controlado por un humano (generalmente un compañero de equipo).

Hacer que un compañero de equipo imite las acciones de un sistema ML como las respuestas de chat, sugiriendo a las personas a las que el participante debe llamar o las sugerencias de películas pueden simular la interacción con un sistema "inteligente". Estas interacciones son esenciales para guiar el diseño porque cuando los participantes pueden comprometerse seriamente con lo que perciben como una IA, naturalmente tenderán a formar un modelo mental del sistema y ajustarán su comportamiento de acuerdo con esos modelos. Observar sus adaptaciones e interacciones de segundo orden con el sistema es de gran valor para informar su diseño.

4. Sopesar los costos de falsos positivos y falsos negativos.

Su sistema de ML cometerá errores. Es importante comprender cómo se ven estos errores y cómo pueden afectar la experiencia del usuario con el producto. En una de las preguntas del punto 2 mencionamos algo llamado matriz de confusión. Este es un concepto clave en ML y describe cómo se ve cuando un sistema de ML lo hace bien y lo hace mal.

Los cuatro estados de una matriz de confusión y lo que probablemente significan para sus usuarios.

Si bien todos los errores son iguales a un sistema ML, no todos los errores son iguales para todas las personas. Por ejemplo, si teníamos un clasificador “¿es esto un humano o un troll?”, Clasificar accidentalmente a un humano como un troll es solo un error para el sistema. No tiene la noción de insultar a un usuario o el contexto cultural que rodea las clasificaciones que está haciendo. No entiende que las personas que usan el sistema pueden sentirse mucho más ofendidas al ser etiquetadas accidentalmente como un troll en comparación con los trolls que accidentalmente son etiquetados como personas. Pero tal vez ese sea nuestro sesgo centrado en las personas. :)

En términos de aprendizaje automático, deberá realizar compensaciones conscientes entre la precisión y la recuperación del sistema. Es decir, debe decidir si es más importante incluir todas las respuestas correctas, incluso si esto significa dejar más respuestas incorrectas (optimizar para recordar) o minimizar la cantidad de respuestas incorrectas a costa de omitir algunas de las respuestas. los correctos (optimización para precisión). Por ejemplo, si busca "fotos" en Google Photos, es posible que vea resultados como este:

Estos resultados incluyen algunas escenas de niños jugando, pero no en un patio de recreo. En este caso, el retiro tiene prioridad sobre la precisión. Es más importante obtener todas las fotos del patio de recreo e incluir algunas que sean similares pero no exactamente correctas que incluir solo las fotos del patio de recreo y potencialmente excluir la foto que estaba buscando.

5. Plan de coaprendizaje y adaptación.

Los sistemas de ML más valiosos evolucionan con el tiempo junto con los modelos mentales de los usuarios. Cuando las personas interactúan con estos sistemas, están influyendo y ajustando los tipos de resultados que verán en el futuro. Esos ajustes a su vez cambiarán la forma en que los usuarios interactúan con el sistema, lo que cambiará los modelos ... y así sucesivamente, en un ciclo de retroalimentación. Esto puede dar lugar a "teorías de conspiración" donde las personas forman modelos mentales incorrectos o incompletos de un sistema y se encuentran con problemas al tratar de manipular los resultados de acuerdo con estas reglas imaginarias. Desea guiar a los usuarios con modelos mentales claros que los alienten a brindar comentarios que sean mutuamente beneficiosos para ellos y para el modelo.

Un ejemplo del ciclo virtuoso es cómo Gboard evoluciona continuamente para predecir la siguiente palabra del usuario. Cuanto más alguien use las recomendaciones del sistema, mejores serán esas recomendaciones. Imagen de https://research.googleblog.com/2017/05/the-machine-intelligence-behind-gboard.html

Si bien los sistemas ML están capacitados en conjuntos de datos existentes, se adaptarán con nuevas entradas de formas que a menudo no podemos predecir antes de que sucedan. Por lo tanto, debemos adaptar nuestra investigación de usuarios y estrategias de retroalimentación en consecuencia. Esto significa planear con anticipación en el ciclo del producto para investigación longitudinal, de alto contacto, así como de gran alcance juntos. Tendrá que planificar el tiempo suficiente para evaluar el rendimiento de los sistemas de ML a través de medidas cuantitativas de precisión y errores a medida que aumentan los usuarios y los casos de uso, así como sentarse con las personas mientras usan estos sistemas para comprender cómo evolucionan los modelos mentales con cada éxito y fracaso.

Además, como UXers, debemos pensar en cómo podemos obtener comentarios in situ de los usuarios durante todo el ciclo de vida del producto para mejorar los sistemas de ML. Diseñar patrones de interacción que faciliten la retroalimentación, así como mostrar los beneficios de esa retroalimentación rápidamente, comenzará a diferenciar los buenos sistemas de ML de los excelentes.

La aplicación Google pregunta de vez en cuando si una tarjeta en particular es útil en este momento para obtener comentarios sobre sus sugerencias.Las personas pueden dar su opinión sobre el autocompletado de búsqueda de Google, incluido por qué las predicciones pueden ser inapropiadas.

6. Enseñe su algoritmo usando las etiquetas correctas

Como UXers, nos hemos acostumbrado a los wireframes, maquetas, prototipos y líneas rojas que son nuestros productos distintivos. Bueno, curveball: cuando se trata de UX aumentada por ML, solo hay mucho que podamos especificar. Ahí es donde entran las "etiquetas".

Las etiquetas son un aspecto esencial del aprendizaje automático. Hay personas cuyo trabajo es mirar toneladas de contenido y etiquetarlo, respondiendo preguntas como "¿hay un gato en esta foto?" Y una vez que suficientes fotos han sido etiquetadas como "gato" o "no gato", tienes un conjunto de datos que puede usar para entrenar a un modelo para poder reconocer a los gatos. O, más exactamente, para poder predecir con cierto nivel de confianza si hay un gato en una foto que nunca antes se haya visto. Simple, verdad?

¿Puedes pasar esta prueba?

El desafío surge cuando te aventuras en un territorio donde el objetivo de tu modelo es predecir algo que pueda parecer subjetivo para tus usuarios, como si encontrarán un artículo interesante o una respuesta sugerida por correo electrónico significativa. Pero los modelos tardan mucho tiempo en formarse, y obtener un conjunto de datos completamente etiquetado puede ser prohibitivamente costoso, sin mencionar que equivocarse en las etiquetas puede tener un gran impacto en la viabilidad de su producto.

A continuación, le mostramos cómo proceder: comience por hacer suposiciones razonables y discuta esas suposiciones con una gran variedad de colaboradores. Estas suposiciones generalmente deben tomar la forma de "para ________ usuarios en ________ situaciones, asumimos que preferirán ________ y ​​no ________". Luego, ingrese estas suposiciones en el prototipo más hack posible lo más rápido posible para comenzar a recopilar comentarios e iteraciones.

Encuentre expertos que puedan ser los mejores maestros posibles para su aprendiz de máquina: personas con experiencia en dominios relevantes para cualquier predicción que esté tratando de hacer. Le recomendamos que contrate a un puñado de ellos o, como alternativa, que transforme a alguien en su equipo en el puesto. Llamamos a estas personas "Especialistas en contenido" en nuestro equipo.

En este punto, habrá identificado qué suposiciones se sienten "más verdaderas" que otras. Pero antes de ir a lo grande y comenzar a invertir en la recopilación y el etiquetado de datos a gran escala, querrá realizar una segunda ronda crítica de validación utilizando ejemplos que han sido seleccionados a partir de datos de usuarios reales por especialistas en contenido. Sus usuarios deberían probar un prototipo de alta fidelidad y percibir que están interactuando con una IA legítima (según el punto 3 anterior).

Con la validación en la mano, haga que sus especialistas en contenido creen una amplia cartera de ejemplos hechos a mano de lo que desea que produzca su IA. Estos ejemplos le brindan una hoja de ruta para la recopilación de datos, un conjunto sólido de etiquetas para comenzar los modelos de capacitación y un marco para diseñar protocolos de etiquetado a gran escala.

7. Extiende tu familia UX, ML es un proceso creativo

Piense en los peores "comentarios" de microgestión que haya recibido como UXer. ¿Puedes imaginarte a la persona inclinada sobre tu hombro y elegir tus movimientos? Bien, ahora tenga esa imagen en mente ... y asegúrese absolutamente de que no se encuentre así con sus ingenieros.

Hay muchas maneras posibles de abordar cualquier desafío de ML, por lo que, como UXer, ser demasiado prescriptivo demasiado rápido puede resultar en un anclaje involuntario y, por lo tanto, disminuir la creatividad de sus contrapartes de ingeniería. Confíe en ellos para que usen su intuición y aliéntelos a experimentar, incluso si dudan en probar con los usuarios antes de establecer un marco de evaluación completo.

El aprendizaje automático es un proceso de ingeniería mucho más creativo y expresivo de lo que generalmente estamos acostumbrados. El entrenamiento de un modelo puede ser lento, y las herramientas para la visualización aún no son excelentes, por lo que los ingenieros terminan necesitando usar su imaginación con frecuencia al ajustar un algoritmo (incluso hay una metodología llamada "Aprendizaje activo" donde "sintonizan" manualmente El modelo después de cada iteración). Su trabajo es ayudarlos a tomar excelentes decisiones centradas en el usuario a lo largo del camino.

Trabaje junto con Ingeniería, Producto, etc. para reconstruir la experiencia correcta.

Inspírelos con ejemplos (mazos, historias personales, videos de visión, prototipos, clips de investigaciones de usuarios, trabajos) sobre cómo podría verse y sentirse una experiencia increíble, desarrollar su fluidez en los objetivos y hallazgos de investigación de los usuarios, y presentarlos suavemente a nuestro maravilloso mundo de críticas UX, talleres y sprints de diseño para ayudar a manifestar una comprensión más profunda de los principios de su producto y los objetivos de la experiencia. Cuanto antes se sientan cómodos con la iteración, mejor será por la robustez de su tubería de ML y por su capacidad de influir eficazmente en el producto.

Conclusión

Estos son los siete puntos que enfatizamos con los equipos en Google. Esperamos que sean útiles para usted mientras piensa en sus propias preguntas sobre productos basados ​​en ML. A medida que ML comienza a impulsar más y más productos y experiencias, aumentemos nuestra responsabilidad de mantenernos centrados en el ser humano, encontrar el valor único para las personas y hacer que cada experiencia sea excelente.

Autores

Josh Lovejoy es diseñador de experiencia de usuario en el grupo de investigación e inteligencia artificial de Google. Trabaja en la intersección de Diseño de interacción, Aprendizaje automático y conciencia de sesgo inconsciente, diseño y estrategia líderes para los esfuerzos de Equidad de ML de Google.

Jess Holbrook es gerente de UX e investigadora de UX en el grupo de investigación e inteligencia artificial en Google. Él y su equipo trabajan en múltiples productos impulsados ​​por IA y aprendizaje automático que adoptan un enfoque centrado en el ser humano para estas tecnologías.

Akiko Okazaki hizo las bellas ilustraciones.