Sistema de análisis predictivo basado en Big Data para el mantenimiento de máquinas de venta de Metro de Madrid

Miguel Ángel Navas 6 de junio de 2023

0

0

0

0

17 min. de lectura

Miguel Ángel Navas Álvarez
Coordinador de Ingeniería de Mantenimiento de Instalaciones
Metro Madrid

1. RESUMEN Y OBJETIVO

Se plantea un caso de uso, cuyo objetivo es la obtención de un sistema con capacidad de predecir incidencias de las máquinas automáticas de venta en base a la información de operación y monitorización de los equipos, con antelación suficiente para permitir la actuación en campo, basado en el análisis de los datos de cambio de estado, alarmas y otras variables de las máquinas monitorizadas en tiempo real.

2. ANTECEDENTES

Metro de Madrid tiene instaladass en todos los vestíbulos de su red máquinas automáticas de venta de títulos de transporte, para facilitar a los clientes la adquisición de cualquier título de transporte válido en la red de Metro. Dichas máquinas permiten además realizar una serie de operaciones por parte del personal de estaciones en su cometido diario. Las máquinas permiten realizar Canjes, Devoluciones, imprimir Justificantes del Servicio, expender Autorizaciones de un 1 viaje, etc. Existen diferentes tipologías de máquinas automáticas de venta según las posibilidades de venta de títulos y opciones de pago permitidas, siendo las básicas:

• Máquinas METTA: Las máquinas automáticas tipo METTA (Máquina Expendedora de Títulos de Transporte Automática) son las más numerosas en la red de Metro de Madrid, admiten todo tipo de medios de pago (Moneda, Papel Moneda, Pago electrónico), y permiten al cliente la obtención de tarjetas de transporte (TTP) y la grabación o regrabación del título de transporte deseado. En parte de las máquinas no existe la posibilidad de obtención de tarjetas de transporte, al no contar con dispensadores de tarjetas TTP.
• Máquinas VAPE: Las máquinas automáticas tipo VAPE (Máquinas de Venta Automática mediante Pago Electrónico) tienen las mismas especificaciones que las máquinas tipo METTA, pero no admiten pago con moneda ni papel moneda, admiten únicamente pago electrónico. En parte de las máquinas VAPE no existe la posibilidad de obtención de tarjetas de transporte, al no tener instalados dispensadores de tarjetas TTP.
• Máquinas MAVE: Las máquinas automáticas tipo MAVE (Máquina Automática de Venta en Exterior) son equipos preparados para ser instalados a la intemperie que permiten al cliente la obtención de tarjetas de transporte (TTP) y la grabación o regrabación del título de transporte deseado, y admiten pago electrónico y pago en efectivo (con monedas o billetes) en precio exacto, no teniendo posibilidad de devolución de efectivo. Todas las máquinas tienen la posibilidad de obtención de tarjetas de transporte.
• Máquinas MARTTP: Las máquinas automáticas tipo MARTTP (Máquinas Automáticas de Recarga de Títulos de Transporte Público) permiten al cliente la grabación o regrabación del título de transporte y admiten solamente el Pago electrónico.

Metro de Madrid dispone de un completo sistema SCADA (Supervisory Control And Data Acquisition) que se encarga de la monitorización de los equipos de venta y peaje de la explotación de Metro de Madrid en tiempo real. A su vez proporciona diversas opciones de telemando con los equipos.

En concreto en las máquinas de venta, el SCADA de Venta y Peaje recaba la información de las operaciones realizadas por las máquinas de venta. Se registran las operaciones realizadas por los viajeros para la adquisición o gestión de títulos así como las actuaciones realizadas en la máquina por el personal como parte de la explotación de Metro. El sistema recibe de los equipos instalados en las estaciones la información de monitorización (alarmas y estados).

El sistema SCADA de Venta y Peaje constituye la principal fuente de información para el modelo de mantenimiento predictivo, al ser el sistema encargado del tratamiento de los datos de monitorización (alarmas y estados) y de datos transaccionales (Ventas, canjes, devoluciones, recargas, recaudaciones, registros contables, etc.). La información del sistema SCADA de Venta y Peaje se encuentra en una base de datos Oracle.

Además se cuenta con Remedy, que es el sistema utilizado en el COMMIT (Centro de Operaciones de Mantenimiento, Monitorización de Instalaciones y Telecomunicaciones) para la gestión del ciclo completo de las incidencias desde la tipificación y registro de la incidencia hasta su cierre. El sistema permite la identificación de problemas asociados a la aparición de varias incidencias o por incidencias que se repiten.

Se trata de la principal herramienta utilizada en el centro COMMIT, por los agentes de Help Desk que reciben las llamadas del personal de las estaciones para comunicar incidencias en las instalaciones, pero también utilizada desde los puestos de segundo nivel de COMMIT donde se pueden generar las incidencias a partir de la monitorización de los equipos de la explotación de Metro por parte de personal especializado en las diferentes instalaciones.

En el marco de estos trabajos la información de las incidencias registradas es relevante al indicar cuando una incidencia o avería se manifiesta y es percibida desde el punto de vista del usuario o el personal encargado de la operación de las instalaciones. Adicionalmente en el registro de las incidencias se informa del grado de afección del equipo, indicándose si el equipo se encuentra en funcionamiento, con funcionamiento disminuido o parado por la avería. La información de gestión de las incidencias del sistema Remedy se almacena en una base de datos Oracle.

3. EL MANTENIMIENTO PREDICTIVO

La definición de mantenimiento predictivo de la norma UNE-EN 13306 es:

Mantenimiento basado en la condición que se efectúa realizando pronóstico derivado del análisis y la evaluación de los parámetros significativos de la degradación de un ítem.

El mantenimiento predictivo son una serie de trabajos que se ejecutan para anticiparse a un potencial fallo y las técnicas que se aplican previamente con el objetivo de detectar posibles fallos y defectos de máquinas en las etapas incipientes para evitar que estos fallos se manifiesten en uno más grande durante su funcionamiento, evitando que ocasionen paros de emergencia y tiempos muertos, causando impacto operativo y financiero negativo. Su misión es conservar un nivel de servicio determinado en los equipos programando las revisiones en el momento más oportuno. Suele tener un carácter sistemático, es decir, se interviene, aunque el equipo no haya dado ningún síntoma de tener problemas.

El requisito para que se pueda aplicar una técnica predictiva es que el fallo incipiente genere señales o síntomas de su existencia (tales como alta temperatura, vibraciones, alarmas, etc.), de forma temprana y previa a la pérdida de funcionalidades de la máquina.

Esta señal o síntoma (o su combinación) es la denominada condición de monitorización que se puede controlar mediante la toma de datos sobre la máquina de forma continua o a intervalos sistemáticos de inspección. Cuando la condición de monitorización alcanza un determinado Valor P (Predictivo), existe un alto grado de probabilidad de que la máquina termine fallando en un tiempo determinado, que es cuando la condición de monitorización alcanza el Valor F (Fallo).

Es por ello, que se debe de programar una acción de mantenimiento para subsanar los problemas de la máquina una vez acontecido el Valor P y siempre antes del Valor F, es decir en el Intervalo de Tiempo P-F.

En el caso que nos ocupa, se disponen de un elevado número de señales (alarmas, parámetros de configuración, etc.) en tiempo real de cada máquina de venta y se propone construir para cada marca y modelo de máquina las condiciones de monitorización que permitan anticiparse al fallo de las mismas, teniendo en cuenta que el Intervalo P-F debe ser lo suficientemente largo para que se pueda detonar una acción de mantenimiento sobre la máquina antes de que se produzca el fallo.

4. EL CONJUNTO Y NATURALEZA DE LOS DATOS A ANALIZAR

Datos Independientes (elaboración de la condición de monitorización Valor P)

• Alarmas

Registros de información de situaciones anómalas en el funcionamiento de los equipos o sus dispositivos, o de información de situaciones que puedan requerir de acciones por parte del personal encargado de la operación de lasmáquinas. Estas alarmas son enviadas a SCADA por los equipos. A su vez hay alarmas que pueden ser generadas por el propio sistema SCADA por circunstancias concretas (pérdidas de comunicación, cambios en la configuración, problemas de integridad de información, etc.).

• Configuración

Registros con datos de configuración de los equipos y de los dispositivos con los que cuentan, incluye los modelos instalados y las versiones de aplicación que utilizan las máquinas de venta.

• Transacciones de venta

Registros con la información de las operaciones de venta de títulos de transporte realizadas por las máquinas de venta. Recopila toda la información de las ventas incluyendo el detalle contable de la operación (Título, perfil, colectivo, tipo de pago, importe pagado, importe devuelto, etc.)

• Ubicación

Datos de localización de los equipos. Indican la línea, estación y vestíbulo donde se encuentran las máquinas en la red de Metro.

Datos dependientes (elaboración de la condición de monitorización Valor F)

• Estados

Registros con información que indica el modo de trabajo en que se encuentran las máquinas y el estado de sus dispositivos.

• Avisos de incidencia

Datos de las incidencias registradas en la operación diaria de las máquinas de venta en la red de Metro. Son registradas en el centro COMMIT por los agentes de Help Desk de acuerdo a la información recibida desde las estaciones o por personal especializado de Segundo Nivel de Mantenimiento. Incluye información sobre el estado de funcionamiento del equipo con la incidencia (en funcionamiento, fuera de servicio o disminuido).

A continuación, se muestra el volumen de información del sistema SCADA de Venta y Peaje utilizado en el análisis, correspondiendo el volcado de BBDD (Base de Datos) a la información correspondiente a un periodo de 3 meses.

5. PROCEDIMIENTO DE ANÁLISIS

A continuación se describen las diferentes fases que desglosaron las actividades para la realización de los trabajos:

• Obtención de datos: Carga de los datos desde las distintas fuentes de información. Se trabajará con un conjunto de datos estático para un periodo de tiempo establecido con la información de SCADA e información de Remedy.
• Preparación de datos: Filtrado, depuración y validación de datos, para obtener un conjunto de datos de una calidad adecuada de cara a su posterior procesamiento y análisis. Tratamiento de errores, duplicados y problemas de integridad de la información.
• Procesamiento de datos: Tratamiento y homogeneización de los datos para obtener una estructura de datos con un formato y una organización que faciliten su posterior análisis.
• Análisis estadístico de los datos: En esta fase previa se efectuará un análisis estadístico de los datos. Para cada Marca/Modelo de Máquina de Venta (15 Tipos desagregados)se realiza un análisis estadístico básico:
  • Estadísticas Básicas de cada Variable (y tipo de máquina): para cada variable, tanto dependiente como independiente, se presentarán:
    • Datos estadísticos básicos respecto al t (tiempo): valor medio, mediana, tendencia, posición, dispersión, asimetría, etc.
    • Las 3 distribuciones normalizadas que mejor se ajustan a la colección de datos de cada variable, con indicación de su grado de ajuste.
    • Se comprueba la existencia o no de estacionalidad de cada colección de datos de cada variable (por días y horas).
  • Correlaciones y Análisis Multivariante para cada Variable (y tipo de máquina):para cada variable tanto dependiente como independiente se presentarán los estudios de correlación y análisis multivariante (componentes principales, factorial, discriminante, correlación canónica, etc.) con el resto de variables independientes (a priori) y dependientes.
• Ensayo y creación de modelos predictivos: En esta fase se realiza propiamente el ensayo y búsqueda de patrones de relación entre los datos. Como parte del análisis predictivo se debe realizar la selección y aplicación de las técnicas analíticas y estadísticas sobre el conjunto de datos, para a continuación construir los modelos correspondientes.

Para cada tipo desagregado se realiza un análisis descriptivo del set de datos, identificando las posibles relaciones de variables independientes o dependientes (sin descartar potenciales dependencias entre las variables independientes) al objeto de:

1. Identificar la o las condiciones de monitorización.
2. Determinar el Valor P.
3. Determinar el Valor F.
4. Determinar el Intervalo P-F.
5. Estimar el grado de confiabilidad de la condición de monitorización, es decir, la probabilidad en % de que una vez acontecido el Valor P, finalmente ocurra el Valor F.

Para el hallazgo y la calibración delos modelos predictivos se ha permitido utilizar una parte del conjunto de datos, pero obligatoriamente para la validación de los modelos se aplica sobre el resto de la muestra de datos, comprobando la validez de los resultados obtenidos en cada caso. La validez del modelo se mide en base a:

• La calidad de las predicciones (grado de confiabilidad de la condición de monitorización).
• El mayor tiempo de anticipación a la aparición de la incidencia en la máquina de venta (Intervalo P-F).

6. PRINCIPALES RESULTADOS DEL ANÁLISIS ESTADÍSTICO

Los principales hallazgos del análisis estadístico han sido los siguientes:

• Hay un número muy reducido de tipos de alarmas (19 de 470) que genera más de 80% de los registros.
• Se detectan 8 casos de correlación entre 2 o más tipos de alarmas.
• La duración promedio de una alarma consolidada es de unas 23 horas, desde que se activa hasta que se desactiva
• Solo se detecta temporalidad semanal en 2 alarmas (domingos).
• Se detecta temporalidad a primera o última hora de la jornada en 10 alarmas.
• Los tiempos medios fallos (TBF) de las alarmas tiene distribuciones tipo log-normal con valores medios bajos (2-3 horas).

7. LOS MODELOS PREDICTIVOS

Sigue un resumen de las técnicas de preprocesamiento y algoritmia usados en la experimentación, así como el razonamiento para su inclusión en el estudio.

• Pre procesamiento de datos: El preprocesamiento y la limpieza de datos son las tareas en las que un conjunto de datos es preparado para poder ser usado en el entrenamiento de modelos. Los datos sin procesar previamente al entrenamiento pueden contener ruido, valores nulos, incluso pueden existir datos sin valor predictivo y que deben ser eliminados. Resumiendo, la preparación de datos genera “datos de calidad”, los cuales pueden conducir a la identificación de “patrones de calidad” y, de esa manera, no obtener resultados engañosos sino resultados de calidad. Las técnicas utilizadas en esta fase han sido las siguientes:
  • Selección de características (features selection): La selección de características es el proceso que consiste en reducir el número de variables de entrada (variables independientes) de un modelo predictivo. Este proceso se lleva a cabo para eliminar aquellas variables que no contienen valor predictivo con el objetivo de reducir el coste computacional del entrenamiento de los modelos y de no introducir el posible ruido que puedan aportar estas variables. Cada una de las técnicas de selección de características evalúan de diferente manera las relaciones entre cada variable independiente y la variable dependiente. Las técnicas de features selection más extendidas en este tipo de problemas y, por tanto, las utilizadas para este proyecto han sido las siguientes: Univariante, Regularización L1y Evaluación de variable aleatoria.
  • Normalización de variables: La normalización de variables es el proceso por el cual los valores de las variables numéricas independientes del conjunto de datos son cambiados para usar una escala común, sin distorsionar las diferencias en los intervalos de valores ni perder información. Es decir, la normalización de variables crea valores nuevos que mantienen la distribución general y las relaciones en los datos de origen, a la vez que se conservan los valores dentro de una escala que se aplica en todas las columnas numéricas que se usan en el modelo. En algunos algoritmos concretos la normalización de variables es necesaria para que modelen los datos de manera correcta.
  • Transformación de variables categóricas: La transformación de variables categóricas es el proceso que consiste en convertir las variables tanto independientes como dependientes cuyos valores sean categorías en variables numéricas. El motivo de transformar estas variables se debe a la utilización de algoritmos cuya implementación no permite el uso de variables categóricas directamente, es decir, todas las variables (independientes y dependientes) deben ser numéricas. Además, aquellos algoritmos que son capaces de manejar variables categóricas funcionan mejor si fuesen numéricas, por lo que siempre es recomendable transformar ese tipo de variables. La técnica utilizada en este proyecto para realizar estas transformaciones es la siguiente: One Hot Encoding

• Modelos de entrenamiento: La creación de modelos consiste en elegir los tipos de técnicas de inteligencia artificial que se van a utilizar para resolver el problema. Cada uno de los algoritmos seleccionados aprenderán a obtener los resultados adecuados con los datos históricos resultantes de la fase de pre procesamiento. Además, se evaluarán los resultados de cada uno de los algoritmos utilizados para poder medir la precisión de cada uno de ellos. Para este proyecto se han comparado dos métodos de aprendizaje (machine learning y deep learning) con el fin de evaluar cuál es el óptimo para los datos disponibles:
  • Machine Learning: El Machine Learning se puede definir, en su uso más básico, como la práctica de usar algoritmos para parsear datos, aprender de ellos y, posteriormente, ser capaces de hacer una predicción o sugerencia en base a lo aprendido. En este proyecto se han utilizado diferentes algoritmos Machine Learning para comparar los resultados que cada uno de ellos consigue con los datos disponibles con el fin de, posteriormente, seleccionar el mejor. A pesar de la múltiple algoritmia existente, se han utilizado aquellos algoritmos que por su implementación están orientados a resolver problemas de regresión (predecir un valor numérico, en este caso predecir la duración de la alarma que indica avería) aplicados al mantenimiento predictivo:
    • K Nearest Neighbors Regressor (K vecinos más cercanos regresor).
    • Support Vector Machine Regressor (Máquina de soporte vectorial regresor).
    • Random Forest Regressor (Bosque aleatorio regresor).
    • Light Gradient Boosting Microsoft Regressor (Aumento eficiente del gradiente regresor, desarrollado por Microsoft).
  • Deep Learning El Deep Learning es un subconjunto dentro del Machine Learning que utiliza la idea del aprendizaje desde el ejemplo. Es decir, un ordenador va a trabajar con un modelo que pueda evaluar ejemplos y una pequeña colección de instrucciones para modificar el modelo cuando se produzcan errores. Debido a la cantidad de ejemplos que se van a manejar, va a ser posible resolver problemas ya que el modelo va a ser capaz de extraer patrones.
    La técnica utilizada para implementar dos soluciones Deep Learning ha sido un sistema de redes de neuronas artificiales. A pesar de la existencia de multitud de tipos de redes de neuronas artificiales, se han utilizado dos para este proyecto. La creación de este tipo de modelos es muy personalizada para cada tipo de red neuronal que se quiera utilizar. Debido a esto, y al alcance del proyecto, se han usado los dos tipos de redes que por su implementación están más orientadas que las demás a resolver problemas de mantenimiento predictivo. Los dos tipos de redes neuronales han sido los siguientes:
    • Deep Neural Network (Red neuronal profunda).
    • Long Short-Term Memory (Memoria a corto y largo plazo).

• Métricas utilizadas para la evaluación: Una de las fases principales en todo el proceso de análisis de datos es la evaluación de los modelos implementados. Es decir, se trata de medir la calidad de cada uno de estos modelos a través de varias métricas capaces de cuantificar el rendimiento de cada uno de ellos. La fase de evaluación se utiliza, principalmente, para comparar diferentes modelos con diferentes parametrizaciones con el fin de elegir el mejor y estimar cómo se comportará el modelo en la fase de producción. Las métricas utilizadas en este proyecto han sido las siguientes:
  • Matriz de confusión: La matriz de confusión es una medida de rendimiento para un problema de clasificación de Machine Learning. La matriz de confusión es una tabla con 4 combinaciones diferentes de valores reales y predichos.
  • Precisión: La precisión, o precisión, es un ratio que mide de todos los casos predichos como positivos cuantos han sido acertados, es decir, el número de verdadero positivos dividido entre la suma del número de verdaderos positivos y falsos positivos:
  • Sensibilidad: La sensibilidad, o recall, es un ratio que mide de todos los casos reales positivos cuantos han sido predichos de manera correcta, es decir, el número de verdaderos positivos dividido entre la suma del número de verdaderos positivos y falsos negativos.
  • Exactitud: La exactitud, o accuracy, es un ratio que mide de todos los casos cuantos han sido predichos de manera correcta, es decir, la suma del número de verdadero positivos y verdaderos negativos dividido entre el número total de casos.
  • Función de costes: Para este tipo de problemas, la función de costes representa la cantidad monetaria que le supone a una empresa utilizar un sistema de mantenimiento predictivo. Las funciones utilizadas en este caso para todos los tipos de avería de todos los tipos de máquina, se han elaborado a partir de coeficientes establecidos por el histórico de costes de trabajos de mantenimiento. Estas funciones se utilizan para comparar el coste de un posible sistema de mantenimiento predictivo frente al que supone la utilización de un sistema tradicional de mantenimiento correctivo. De esta manera se puede estimar el ahorro previsible de usar un mantenimiento de un tipo frente al otro.

8. LOS PRINCIPALES RESULTADOS PREDICTIVOS OBTENIDOS

Se presenta una tabla de resultados, y es necesario conocer el significado de las abreviaturas del encabezado de la tabla de cada columna:

Se han hallado un total de 14 alarmas/estados en las cuales se puede predecir un futuro fallo de la máquina de venta con la suficiente antelación y grado de aceptación necesarios para adoptar una estrategia de mantenimiento predictiva.

Como se puede comprobar en la tabla siguiente, existe un conjunto de alarmas cuyo comportamiento se puede estimar con más facilidad y, por tanto, se obtienen mejores resultados en la predicción bajo las condiciones establecidas en estos modelos de machine learning. Las alarmas más destacables son las 206, 778 y 968 (correspondientes a las descripciones “FALLO COMUNICACIÓN DISPLAY ROTANTE”, “FALLO FLAP MONEDERO” y “ATASCO TARJETA SIN TITULO CARGADO DISPENSADOR 2” respectivamente) para las cuales, en el mejor de los casos, se conseguiría un beneficio de 40,63%, 19,11% y 12,11%, respectivamente.

En cuanto a la métrica de sensibilidad (Recall), se obtiene un 93,8%, 63,7% y 40,4% utilizando un sistema de mantenimiento predictivo. Esta medida es especialmente interesante porque marca el porcentaje de averías que se han predicho correctamente, sobre el número de averías que la máquina ha sufrido.

9. CONCLUSIONES

• La potencial implantación de modelos de Big Data como base para una estrategia de mantenimiento predictivo, presenta grandes retos a los Responsables de Mantenimiento.
• Debe configurarse un equipo multidisciplinar de expertos, tanto en el conocimiento técnico de la instalación o vehículo, como de las herramientas de alto nivel de análisis de datos. Asimismo, hay que fijar claramente el objetivo concreto del proyecto.
• Se recomienda efectuar primero un prototipo “en frio”, es decir extraer los datos de las BBDD de los sistemas, al objeto de evaluar si económicamente resultará rentable los costosos sistemas de TI de implementar estas herramientas en producción directamente.
• Los modelos predictivos se ajustan adecuadamente solo sobre instalaciones y vehículos idénticos, y en condiciones operaciones muy homogéneas, y no se pueden extender los resultados aceptados a otros ítems.
• Es necesario disponer de un ingente volumen de datos de detalle, y los expertos recomiendan que al menos correspondan6 meses de operación, y un volumen de instalaciones o vehículos idénticos de cientos.