COVID-19 hizo que su conjunto de datos no tuviera valor. ¿Ahora que?

La pandemia de COVID-19 ha dejado perplejos a los científicos de datos y a los creadores de herramientas de aprendizaje automático, ya que el cambio repentino e importante en el comportamiento del consumidor ha hecho que las predicciones basadas en datos históricos sean casi inútiles. También tiene muy poco sentido tratar de entrenar nuevos modelos de predicción durante la crisis, ya que simplemente no se puede predecir el caos. Si bien estos desafíos podrían alterar nuestra percepción de lo que realmente es (y no es) la inteligencia artificial, también podrían fomentar el desarrollo de herramientas que podrían ajustarse automáticamente.

Cuando se trata de predecir la demanda o el comportamiento del consumidor, no hay nada en los datos históricos que se parezca a lo que vemos ahora. Por lo tanto, un modelo basado puramente en datos históricos intentará reproducir “lo que es normal” y es probable que dé predicciones inexactas.

Permítanme ofrecerles una analogía simple del problema que los científicos de datos y los profesionales del aprendizaje automático están experimentando ahora. Si desea predecir cuánto tiempo llevará conducir de A a B en Londres el próximo jueves a las 18:00, puede solicitar un modelo que observe los tiempos de conducción históricos y posiblemente a varias escalas. Por ejemplo, el modelo puede observar la velocidad promedio de cualquier día alrededor de las 18:00. También puede observar la velocidad promedio de un jueves frente a otros días de la semana, y al mes de abril frente a otros meses. El mismo razonamiento se puede extender a otras escalas de tiempo como un año, diez años o lo que sea relevante para la cantidad que está tratando de predecir. Esto ayudará a predecir el tiempo de conducción esperado en condiciones «normales». Sin embargo, si hay una interrupción importante ese día en particular, como un partido de fútbol o un gran concierto, su tiempo de viaje podría verse afectado significativamente. Así es como vemos la crisis actual en comparación con tiempos normales.

Quizás como era de esperar, muchas herramientas de inteligencia artificial y aprendizaje automático implementadas en varias empresas, desde el transporte hasta el comercio minorista, los servicios profesionales y similares, actualmente luchan por tratar de hacer frente a cambios masivos en el comportamiento tanto de los usuarios como del medio ambiente. Claramente, se puede intentar hacer que los algoritmos de predicción se centren en partes más pequeñas de datos. Sin embargo, también es bastante obvio que no se pueden esperar resultados «normales» y la misma calidad de predicciones que antes.

¿Qué hacer?

Sin embargo, hay buenas noticias para los científicos de datos y similares. Por lo general, las soluciones de ciencia de datos se basan en datos históricos, pero los datos actuales y «extraordinarios» deben aparecer cuando se evalúa continuamente el rendimiento de esas soluciones existentes. Si el rendimiento comienza a disminuir constantemente, eso puede ser una indicación de que las reglas han cambiado.

Esta supervisión del rendimiento es independiente de los sistemas predictivos por ahora: nos dice cómo van las cosas, pero no cambiará nada. Sin embargo, creo que ahora estamos viendo un gran impulso hacia sistemas que podrían ajustarse automáticamente a las nuevas reglas. Esto es algo que podemos llamar «comportamiento adaptativo dirigido a objetivos», que es como definimos la IA en Satalia. Si podemos hacer que un sistema sea adaptable, entonces se ajustará a sí mismo en función de los datos actuales cuando reconozca que el rendimiento está disminuyendo. Tenemos aspiraciones de hacer esto, pero todavía no lo hemos logrado. Sin embargo, a corto plazo podemos hacer lo siguiente:

  • No intente entrenar un modelo flamante del día 1 de la crisis, no tiene sentido. No se puede predecir el caos;
  • Reúna más puntos de datos e intente comprender / analizar cómo el modelo se ve afectado por la situación;
  • Si tiene datos de una crisis anterior con características similares, entrene un modelo con esos datos y pruébelo sin conexión para ver si funciona mejor;
  • Asegúrate de que tus datos de entrenamiento estén siempre actualizados. Todos los días, el nuevo día entra en los datos y el día más antiguo se apaga. Como una ventana corrediza. Luego, el modelo se ajustará gradualmente;
  • Reduzca la línea de tiempo de su conjunto de datos tanto como sea posible sin afectar sus métricas. Si tiene un conjunto de datos muy extenso, tardará demasiado en adaptarse a la nueva realidad; y
  • Gestionar las expectativas del cliente. Deje en claro que el ruido dificulta mucho la predicción. Calcular KPI durante este tiempo es casi imposible.

Claramente, construir un modelo que sea capaz de responder a eventos extremos puede incurrir en costos adicionales significativos y quizás no siempre valga la pena el esfuerzo. Sin embargo, si decide construir un modelo que sea capaz de responder a eventos extremos, entonces deben ser considerados durante el desarrollo / entrenamiento. En este caso, asegúrese de capturar el historial a corto y largo plazo de sus datos cuando entrene el modelo. Asignar diferentes pesos a la información a corto y largo plazo le permitirá adaptarse con más sensatez a los cambios extremos.

Sin embargo, a largo plazo Esta crisis nos recordó que hay eventos tan complejos que incluso los humanos todavía luchamos por comprender, y mucho menos los sistemas predictivos que hemos construido para sistematizar nuestra comprensión en tiempos normales. Incluso los humanos necesitamos adaptarnos a esta “nueva normalidad” actualizando nuestros propios parámetros internos para ayudarnos a pronosticar mejor cuánto tiempo llevará hacer la compra semanal o elegir un nuevo camino óptimo al caminar por la calle. Esta adaptabilidad es natural para nosotros los humanos y es una característica que deberíamos tratar de impartir constantemente a nuestros nuevos compañeros de trabajo de silicio. En última instancia, debemos reconocer que una solución de inteligencia artificial nunca puede verse como un producto terminado en el mundo incierto y cambiante en el que vivimos. Cómo permitimos que los sistemas de inteligencia artificial se adapten de manera tan eficiente como nosotros, en términos de la cantidad de puntos de datos, es una pregunta abierta cuya respuesta definirá en qué medida nuestra tecnología podrá ser de ayuda durante los tiempos extremadamente volátiles que podrían estar delante de nosotros.

Agradezco a mis colegas Alex Lilburn, Ted Lappas, Alistair Ferag, Sinem Polat, Jonas De Beukelaer, Roberto Anzaldua, Yohann Pitrey y Rūta Palionienė por brindándome ideas y ayudándome a preparar este artículo.

Publicado el 11 de septiembre de 2020-22: 06 UTC

Deja un comentario

Cart
Your cart is currently empty.