¿Qué es la detección de anomalías de IA?

El objetivo de la detección de anomalías es detectar errores en los datos. Pero a medida que las organizaciones recopilan cada vez más información en más y más lugares, descubrir desviaciones puede ser una tarea extremadamente difícil. Introduce la IA. Ahora, se pueden analizar rápidamente grandes conjuntos de datos para encontrar patrones que se salgan de la norma y, por lo tanto, detectar anomalías. La detección de anomalías basada en IA es útil para detectar fraudes financieros, ciertas condiciones médicas e intrusiones de red, entre muchas otras aplicaciones.

¿Qué es la detección de anomalías de IA?

La detección de anomalías de IA es un proceso en el que un modelo de inteligencia artificial revisa un conjunto de datos y marca los registros que se consideran valores atípicos respecto a una base de referencia, lo que representa un comportamiento normal y sirve como punto de referencia para la comparación. La referencia esperada para un conjunto de datos se establece durante el proceso de entrenamiento del modelo mediante una combinación de datos históricos, expectativas del sector y objetivos del proyecto.

La detección de anomalías se puede realizar con el análisis de datos tradicional, pero esa tarea se basa en reglas establecidas manualmente. El alcance estático y estrecho de esas reglas crea limitaciones que pueden superarse con la capacidad de un modelo de IA para evolucionar y adaptarse a lo largo del tiempo. La detección de anomalías de IA también se puede realizar sin datos de referencia en aquellos casos en los que el sistema procesa datos supervisados parcialmente o no supervisados.

La detección de anomalías tiene aplicaciones operativas y específicas del sector; entre los ejemplos se incluyen el análisis de transacciones con tarjetas de crédito, registros de seguridad y datos de producción. A medida que las organizaciones cambian a un panorama de TI de entornos multicloud y proyectos de IA generativa, la detección de anomalías de IA se vuelve aún más útil. Para los departamentos de TI que utilizan multicloud, por ejemplo, las complejidades nativas del entorno (varias capas y tipos de protocolos de seguridad, diferentes configuraciones y API personalizadas para la interoperabilidad) significan que un modelo de IA puede ayudar a simplificar y mejorar la detección de problemas.

Conclusiones clave

• La IA puede mejorar la velocidad, la precisión y la aplicabilidad de la detección de anomalías.
• Si bien la detección tradicional de anomalías basada en reglas requiere una actualización frecuente, la detección de anomalías basada en IA puede adaptarse automáticamente a nuevos patrones y tendencias.
• Al entrenar la IA generativa con datos sintéticos, la detección de anomalías de IA puede resaltar valores atípicos, y esos hallazgos pueden marcar el rumbo para más conjuntos de datos generados sintéticamente.
• La detección de anomalías de IA también puede facilitar la validación de conjuntos de datos sintéticos utilizados para fines de entrenamiento.

Detección de anomalías de IA en detalle

La detección de anomalías tiene sus orígenes en la estadística, particularmente con aplicaciones industriales en la fabricación a principios del siglo XX. Los criptógrafos utilizaron la detección manual de anomalías para romper los códigos observando patrones inusuales o desviaciones de la distribución estadística esperada de letras o símbolos. A medida que los datos se volvían más abundantes, la detección de anomalías por computadora se convirtió en la norma para áreas como la detección de fraudes, la gestión de inventarios y el control de calidad.

La detección de anomalías de IA cambia el proceso de un conjunto estático de reglas estadísticas a un modelo más flexible entrenado para crear una base para lo "normal". Al entrenar en datos, el modelo de IA ofrece una definición más precisa y refinada de los datos esperados, y cuanto más datos procesa, más precisa se vuelve. Esto permite un modelo que refleja mejor las muchas facetas de cada aplicación y es especialmente adecuado para usos complejos, como la supervisión de dispositivos del Internet de las cosas y otros sistemas que generan muchos datos y en los que las relaciones entre los puntos de datos no siempre resultan obvias.

La IA generativa ofrece un ejemplo de cómo la detección de anomalías de IA puede beneficiar a una variedad de proyectos y servicios. Casi todos los proyectos de IA generativa son factibles solo debido a los avances en la recopilación, el almacenamiento y el procesamiento de datos. Si bien la detección tradicional de anomalías basada en reglas se puede aplicar a estos proyectos, a menudo adolece de la precisión y los matices necesarios para procesar de forma limpia volúmenes tan grandes de datos. Por lo tanto, la detección de anomalías de IA puede ser una necesidad en la transformación y normalización de datos de entrenamiento de fuentes de datos, detectar valores atípicos, detectar sesgos en los datos e incluso ayudar a generar datos sintéticos para el entrenamiento de algoritmos.

Cómo funciona la detección de anomalías de IA

El proceso de detección de anomalías de IA es muy similar al proceso de cualquier modelo de IA: se requieren el abastecimiento, el entrenamiento y la iteración de datos. La principal diferencia está en los objetivos específicos, ya que la detección de anomalías se centra en valores atípicos. Los pasos generales para la detección de anomalías de IA son los siguientes:

1. Recopilación y preprocesamiento de datos: al igual que otros proyectos de IA, la detección de anomalías de IA comienza con la configuración de la dirección de un proyecto. En primer lugar, los objetivos generales del proyecto requieren una definición: ¿Cuál es el estado normal de los datos y cuál es el alcance de los datos que se deben considerar? A partir de ahí, los equipos deben identificar las fuentes de datos para entrenamiento y establecer un repositorio para recopilar y clasificar datos, ¿qué registros son anómalos y cuáles no? Las organizaciones pueden simplificar este proceso de creación de datos de entrenamiento mediante la creación de transformaciones automatizadas entre la fuente y el repositorio de entrenamiento.
2. Selección de un algoritmo: en lugar de limitarse a objetivos generales, los equipos pueden considerar objetivos y restricciones más precisos para seleccionar funciones, identificar atributos y elegir el mejor algoritmo para una situación particular. Para la detección de anomalías, la estadística (regresión), el agrupamiento (K-medias) y las redes neuronales proporcionan un ajuste excelente. Todos los algoritmos utilizados para la detección de anomalías de IA intentan categorizar los registros de datos. Los más exitosos a menudo usan redes neuronales que clasifican los datos de maneras complejas. Por ejemplo, las transacciones financieras pueden clasificarse como típicas para una cuenta o un valor alto. A continuación, podrían clasificarse como originarios de ubicaciones previstas o de una nueva ubicación y podrían clasificarse como gastos típicos o inusuales. Cuando dos estados anómalos se producen en una sola transacción, puede ser fraudulento. Cuando las tres condiciones existen, es probable que sea fraudulento. A través del entrenamiento, la IA puede realizar este tipo de análisis en muchas categorías y aplicar ponderaciones para ayudar a decidir cuándo se debe seguir comprobando una transacción.
3. Entrenamiento y selección de modelos: con esas piezas en su lugar, los equipos pueden comenzar a entrenar un modelo. Los pasos incluyen establecer la arquitectura, elegir un modelo básico disponible, preparar los datos de entrenamiento y ejecutar los datos de entrenamiento a través del modelo. A continuación, los equipos utilizarán otro conjunto de datos para comprobar el modelo entrenado y evaluar en qué medida es eficaz de cara a la detección de anomalías. El entrenamiento debe llevarse a cabo hasta que el modelo funcione como se desee. Dependiendo del algoritmo subyacente, el modelo puede seguir aprendiendo de los datos activos para seguir mejorando con el tiempo.
4. Detección de procesamiento en tiempo real frente a procesamiento por lotes: según la aplicación, la detección de anomalías de IA puede funcionar en tiempo real o procesar datos en grandes lotes. La detección en tiempo real puede requerir que los recursos informáticos y de procesamiento importantes estén dedicados al proceso. A cambio, la detección en tiempo real produce resultados rápidamente, pero esos resultados pueden ser menos útiles y detallados que los proporcionados desde el entorno controlado del procesamiento por lotes. Por lo tanto, la detección en tiempo real puede cambiar la detección de anomalías sutiles por rapidez.

Ventajas de la detección de anomalías de IA

La detección de anomalías de IA representa un salto significativo en comparación con la detección tradicional de anomalías basada en reglas. Los sistemas basados en IA pueden requerir una infraestructura informática más sólida, pero normalmente tendrán un rendimiento mucho mejor. Los siguientes son algunos de los beneficios más comunes de la detección de anomalías de IA:

• Precisión y exactitud mejoradas: las redes neuronales debidamente entrenadas desarrollan miles de categorías o clústeres y llegan a comprender cómo la pertenencia a esos clústeres puede indicar datos interrelacionados. El resultado es la capacidad de detectar errores de datos que nunca se encontrarían con reglas escritas por humanos. Estos modelos encuentran anomalías más sutiles y tienen el contexto adecuado para hacer juicios. Todo esto se combina para un proceso de detección más preciso.
• Escalabilidad: la IA no solo puede manejar grandes conjuntos de datos, sino que también pueden hacerlo los sistemas basados en reglas, sino que también pueden manejar conjuntos de datos más complejos. En los algoritmos actuales para conjuntos de datos muy grandes y muy complejos, se crean representaciones vectoriales para cada registro complejo. Luego, las búsquedas de similitudes se utilizan para encontrar a los vecinos más cercanos. Si los vecinos más cercanos del vector están en un grupo conocido por contener registros fraudulentos, es una apuesta segura que el registro bajo consideración también. Este enfoque puede escalar a conjuntos de datos con miles de millones de registros, cada uno con datos complejos.
• Capacidades de supervisión en tiempo real: el mismo enfoque que permite que los sistemas de detección funcionen a escala también les permitirá trabajar a ritmo. Las búsquedas de similitud se pueden realizar muy rápidamente, incluso en datos complicados.
• Mejora de la adaptabilidad a los patrones cambiantes: los algoritmos que crean clústeres de registros pueden detectar posibles nuevas anomalías mediante la búsqueda de nuevos clústeres de registros. Estos clústeres pueden representar nuevas anomalías, pero también pueden representar simplemente un cambio en lo que se está registrando. Por ejemplo, digamos que un producto que una tienda lleva se vuelve viral en las redes sociales; un nuevo clúster ocurrirá dentro de los datos. En este ejemplo, la anomalía es positiva. El análisis de cómo ocurrió podría ayudar a una tienda o a un productor a que vuelva a suceder. Si pasa el interés por el producto, es posible que el clúster no crezca. Una vez más, eso son datos que se deben ubicar.
• Falsos positivos reducidos: un cambio en lo que muestran los registros podría representar una buena cosa para la empresa, como en el ejemplo anterior. O bien, las reglas estáticas pueden categorizar esos nuevos registros de ventas virales como fraude. Es menos probable que este tipo de clasificación errónea ocurra con los sistemas basados en IA, que suelen analizar las relaciones de datos de una manera más matizada.

Técnicas clave en la detección de anomalías de IA

Si bien los modelos de detección de anomalías de IA siguen muchos de los mismos pasos y reglas generales que otros proyectos de desarrollo de IA, el proceso se apoya en métodos específicos que se adaptan bien al propósito. A continuación, se muestran las técnicas clave utilizadas en la detección de anomalías de IA:

1. Aprendizaje supervisado frente a no supervisado: los equipos deben elegir entre aprendizaje supervisado y aprendizaje no supervisado para la detección de anomalías de IA. Ambos funcionan. Sin embargo, las anomalías etiquetadas en los conjuntos de datos tienden a ser menos frecuentes y el etiquetado de los datos puede ser un proceso lento y costoso. En la mayoría de los casos, se prefiere el aprendizaje no supervisado porque es más rápido y menos costoso. Esto permitirá agrupar registros y detectar anomalías, pero se necesitará más entrenamiento o programación para determinar si las anomalías encontradas son benignas o representan alguna amenaza que se debe gestionar.
2. Métodos basados en clústeres: la agrupación en clústeres es una técnica de IA común que se utiliza a menudo para la detección de anomalías debido a la forma en que los modelos agrupan los puntos de datos en función de rasgos superpuestos y otras similitudes notables. Al agrupar puntos de datos, el proceso captura valores atípicos para identificar anomalías. Los algoritmos de agrupación en clústeres comunes incluyen K-media, Isolation Forest y modelos mixtos gaussianos. Las representaciones vectoriales de los registros se utilizan cada vez con más frecuencia para registros complejos o de alta dimensionalidad. Las bases de datos multimodales que soportan la creación y el procesamiento de vectores pueden facilitar la detección de anomalías para datos complejos.
3. Redes neuronales: las redes neuronales pueden identificar patrones complejos y analizar relaciones no lineales, lo que ayuda a descubrir valores atípicos y anomalías. Algunas arquitecturas de redes neuronales para la detección de anomalías de IA son autocodificadores, que pueden detectar anomalías durante la fase de reconstrucción, y redes generativas adversas, o GAN, que pueden utilizar el paradigma generador/discriminador para identificar valores atípicos a través del discriminador.
4. Técnicas de detección de anomalías de series temporales: para los datos registrados a lo largo del tiempo, las técnicas anteriores son útiles, pero la selección ideal depende de recursos, objetivos, puntos de datos y otros factores. Por ejemplo, los algoritmos de agrupación en clústeres pueden evaluar las transacciones con tarjeta de crédito en busca de fraudes agrupando dimensiones específicas, como la geografía, la categoría de compra y el costo. En otro ejemplo, una red neuronal podría observar las relaciones entre la precisión de la producción y los ciclos de uso en maquinaria de producción complicada. Al evaluar las relaciones entre varios monitores de la máquina, la red neuronal podría identificar que una combinación de puntos de datos apunta a la necesidad de realizar un mantenimiento anterior al habitual.

Casos de uso para la detección de anomalías de IA

La detección de anomalías de IA es útil en una amplia gama de aplicaciones e industrias. Los factores a considerar incluyen si tu caso de uso requiere datos internos o externos o ambos y si el objetivo es la detección en tiempo real.

Entre las aplicaciones más populares de detección de anomalías se incluyen las siguientes:

• Ciberseguridad: con una supervisión constante en todas las facetas de la configuración de TI de una organización, la detección de anomalías puede identificar indicadores de ataques. En el caso de una configuración multicloud, la detección de anomalías de IA proporciona una ayuda fundamental a los equipos de TI que pueden estar teniendo dificultades con una variedad de sistemas y configuraciones superpuestos. Para las configuraciones multicloud, la IA puede supervisar automáticamente los múltiples detalles de aquellas operaciones que requieran un profundo conocimiento de cada transacción individual en la nube.
• Finanzas: la detección de fraudes es uno de los casos de uso más tradicionales de la detección de anomalías. Impulsarlo con IA resulta adecuado a medida que crezcan los volúmenes de datos financieros. Con la detección de anomalías de IA, las instituciones obtienen modelos más precisos que se benefician de esos grandes conjuntos de datos. Al mismo tiempo, los delincuentes financieros están constantemente descubriendo nuevas técnicas, y la IA permite que el modelo evolucione y mejore de cara a la detección de nuevos patrones aplicando un contexto más amplio.
• Atención médica: la IA puede analizar los datos hospitalarios para ayudar a identificar anomalías que puedan indicar ineficiencias, instalaciones infrautilizadas o casos de fraude.
• Operaciones de TI: a medida que los entornos de TI corporativos ganan en complejidad y aumenta el alcance de la supervisión de red, la detección de anomalías de IA puede complementar a los expertos humanos y minimizar la "fatiga de alerta". Por ejemplo, la IA podría analizar los logs de la aplicación para identificar anomalías que puedan indicar un peor rendimiento, como tiempos de respuesta lentos o errores.
• Manufactura: los sistemas de detección de anomalías de IA para el sector de la manufactura ahora pueden evaluar de forma más profunda un número mayor de puntos de datos en su esfuerzo continuo por encontrar y ayudar a abordar posibles problemas antes de que causen costosos tiempos de inactividad, defectos o riesgos para la seguridad. Por ejemplo, las fluctuaciones anormales de temperatura en los equipos podrían indicar sobrecalentamiento, mientras que las cámaras alimentadas con datos de IA podrían detectar defectos en los productos antes de que se envíen a los clientes.
• Gestión y construcción municipales: la detección de anomalías ofrece beneficios para cualquier persona que necesite supervisar la infraestructura, especialmente cuando aprovecha drones. Para los municipios, la IA puede analizar las imágenes capturadas de puentes, carreteras y líneas eléctricas para identificar anomalías y permitir un mantenimiento proactivo. Asimismo, los drones equipados con detección de anomalías impulsada por IA pueden monitorear el progreso del proyecto en función de diversos modelos; identificar riesgos de seguridad, como escasez de equipos o mala localización de materiales; y detectar defectos estructurales en edificios en fase de construcción.

Descubre la detección de anomalías con Oracle Cloud AI Service

Los servicios de IA de Oracle Cloud Infrastructure (OCI) proporcionan un conjunto de herramientas, modelos y funciones predefinidos para integrar la IA en aplicaciones y flujos de trabajo, incluidas funciones específicas para la detección de anomalías en varias configuraciones. Oracle Cloud Infrastructure aporta aprendizaje y adaptabilidad basados en IA a la supervisión, el mantenimiento y la vigilancia para todos los sectores y casos de uso.

Las perspectivas para la detección de anomalías de IA son excepcionalmente prometedoras, gracias al creciente volumen y complejidad de los datos en todas las industrias, y atendiendo a la necesidad de identificación proactiva del fraude y otros problemas. Se prevé que se desarrollen modelos de IA más sofisticados, como el aprendizaje profundo y las técnicas sin supervisión, que se convierten en elementos centrales para la detección de anomalías, gracias a su capacidad para detectar variaciones sutiles sin acceder a extensos conjuntos de datos etiquetados. Las empresas también tratan de mejorar los análisis en tiempo real, reforzar la integración con los sistemas existentes y optimizar el despliegue de la detección de anomalías en el perímetro.

Descubre cómo funciona el servicio OCI Anomaly Detection

Preguntas frecuentes sobre la detección de anomalías de IA

¿Qué distingue la detección de anomalías de IA de los métodos tradicionales?

La detección de anomalías tradicional se basa en equipos que establecen reglas y umbrales de datos. Si bien esto puede producir resultados, presenta importantes limitaciones, como la incapacidad de adaptarse a los constantes cambios del sector y su propensión a pasar por alto las relaciones no lineales. La detección de anomalías de IA se puede adaptar mejor a los cambios de datos y utilizar más tipos de datos.

¿Cómo pueden las empresas saber si necesitan la detección de anomalías de IA?

La detección de anomalías de IA suele ser más potente, precisa y rápida que los métodos tradicionales, lo cual la convierte en una herramienta empresarial de gran utilidad para multitud de organizaciones. Sin embargo, en otras circunstancias será suficiente con los métodos tradicionales. Para determinar cuál es la mejor opción, las organizaciones deben examinar la complejidad de sus datos, la rigurosidad de sus necesidades normativas y los factores de riesgo de seguridad. Además, hay que tener en cuenta el alcance de los recursos disponibles. Por ejemplo, ¿puede la empresa apoyar la compra y el perfeccionamiento de un modelo preentrenado, y dispone de los recursos informáticos y de datos para respaldar el esfuerzo? ¿Es la nube la mejor opción? En muchos casos, ese es el camino más rentable.

¿Cuáles son los pasos básicos para empezar a utilizar la detección de anomalías de IA?

Entre las fórmulas más básicas para utilizar la detección de anomalías de IA se incluyen las siguientes:

• Determinar el objetivo, las fuentes de datos y las limitaciones
• Seleccionar el algoritmo de IA adecuado para cumplir los objetivos
• Entrenar, preparar y ajustar el modelo, ya sea previamente entrenado o desarrollado internamente
• Lanzar el modelo con datos activos y supervisar de forma continua su output
• Evaluar los resultados para comprobar si ha comenzado a descubrir tendencias inusuales