Cómo integrar datos de múltiples fuentes

Las fuentes de datos están en todas partes del mundo empresarial digital: en dispositivos del Internet de las cosas (IoT), la base de usuarios de una aplicación en un sistema ERP y dentro de las solicitudes de servicio al cliente en un software CRM. Con tantos datos en constante tráfico, ¿cómo descubren las organizaciones la información que necesitan? Herramientas como las plataformas de análisis pueden obtener insights, pero solo si los conjuntos de datos están integrados para facilitar la realización de conexiones. De lo contrario, los usuarios deben reorganizar manualmente las hojas de cálculo, dedicando tiempo y esfuerzo y exponiéndose al riesgo de perder el rumbo a causa de datos anticuados, corruptos o duplicados.

Los avances técnicos han simplificado el proceso de combinación, almacenamiento y acceso a datos por parte de usuarios profesionales. El primer paso es integrar datos de múltiples fuentes. Esto es clave para tener una organización basada en datos y abre un abanico de posibilidades, como el análisis de autoservicio y la inteligencia empresarial. Capacitar a los usuarios para crear consultas por sí solos puede generar insights asombrosos.

Sin embargo, llegar a esta etapa requiere una estrategia de integración de datos, una infraestructura capaz de soportar de forma efectiva enlaces entre múltiples fuentes y un data lake o almacén de datos.

¿Qué es la integración de datos?

La integración, la combinación y la unificación de datos empiezan con la misma fase: aunar múltiples fuentes de datos. Estas técnicas difieren en el nivel de estandarización en definiciones y nomenclatura y en qué parte del proceso se producen las transformaciones. Al decidir qué método utilizar, pregúntate cosas como, ¿El conjunto de datos extraído se aproxima a tus estándares internos o requiere mucha transformación? ¿La fuente produce regularmente duplicados u otros problemas que necesitan depuración de datos?

Al conocer la calidad de tus fuentes de datos, tu organización podrá acercarse a tus objetivos en materia de información.

Integración de datos frente a unificación frente a combinación de datos

La integración de datos, la unificación de datos y la combinación de datos son tres términos que se suelen utilizar en el argot moderno de tecnología de la información. También se confunden a menudo, ya que las diferencias entre los tres términos son sutiles. Algunos factores que son universales: tanto si las transformaciones de datos ocurren antes o después de su carga en un repositorio, este a menudo es el paso más engorroso y laborioso del proceso, por lo es aconsejable que automatices todo lo que puedas.

A continuación, incluimos las definiciones básicas y las diferencias y similitudes entre los conceptos.

• Integración de datos: La consolidación sistémica y completa de múltiples fuentes de datos mediante un proceso establecido que depura y mejora los datos, a menudo en un formato estandarizado. Cuando se completa esta depuración, los datos se cargan en un repositorio, como un data lake o un almacén de datos. Las transformaciones y la integración suelen ser gestionadas por conservadores de datos, científicos de datos u otro personal de TI.
• Combinación de datos: proceso por el cual se combinan múltiples conjuntos de datos en uno solo para su posterior análisis. Sin embargo, a diferencia de la integración de datos, los datos combinados suelen combinar datos nativos, es decir, datos que no se han transformado ni depurado, de múltiples fuentes. Por ejemplo, un equipo de RR. HH. utilizará datos combinados si aúna las métricas internas de contratación del trimestre actual con un conjunto de datos de código abierto del gobierno sobre tendencias de contratación. A diferencia de la integración de datos, este ejemplo requiere que el usuario depure y estandarice los datos después de combinarlos.
• Unificación de datos: al igual que la combinación de datos, la unificación de datos implica aunar múltiples conjuntos de datos. La mayor diferencia frente a la combinación de datos es que la unificación de datos requiere que los conjuntos de datos provengan de la misma fuente o que al menos coincidan en algunas columnas o definiciones. Para profundizar en el ejemplo anterior de RR. HH., la unificación de datos se produce cuando el profesional de RR. HH. toma métricas de contratación nacionales de origen gubernamental del trimestre actual y, a continuación, también descarga los datos trimestrales de cuatro años antes para su comparación. Estos conjuntos de datos provienen del mismo sistema y utilizan el mismo formato, pero se deben unir en función de rangos de datos específicos. Estos datos unificados se pueden combinar en un conjunto de datos de RR. HH. internos, que posteriormente deben depurarse y estandarizarse.

Diferencias clave

En la siguiente tabla se desglosan las diferencias entre integración, combinación y unificación de datos.

Conclusiones clave

• Examina las fuentes de datos en función de tus objetivos. Aunque no siempre puedes controlar la calidad de las fuentes en un mundo marcado por el big data, existen diversas medidas que puedes tomar para facilitar la integración.
• Automatiza el proceso tanto como puedas. Cuando los datos se extraen de fuentes con alta frecuencia, las herramientas y los scripts beneficiarán en gran medida los esfuerzos de integración de tu organización.
• Para decidir qué método de integración es más adecuado para tu organización, determina todas las variables implicadas: fuentes, hardware y volumen.
• Mejora continuamente tu flujo de trabajo y tus estándares. Para integrar los datos adecuadamente, es preciso mejorar de forma continua los procesos.

Explicación de la integración de datos de múltiples fuentes

Las herramientas evolucionan, las fuentes de datos se amplían y las capacidades mejoran. Esto se suma a un ritmo constante de oportunidades para mejorar los flujos de trabajo de integración de datos e introducir procesos más sólidos y eficientes.

Si bien cada organización tiene sus propias necesidades específicas, la integración de datos generalmente sigue un proceso estándar.

1. Se identifica la necesidad de combinar datos, ya sea a partir de una solicitud del usuario final o de una decisión tomada por la organización en su conjunto. Esto a menudo incluye parámetros como rangos de fechas y otros factores limitantes.
2. Se identifican fuentes pertinentes, junto con los datos específicos necesarios de esas fuentes.
3. Los datos se extraen de las fuentes en formato nativo y se combinan en un conjunto de datos.

En esta etapa, el conjunto de datos combinado puede estar disponible para que el solicitante los depure y analice manualmente. Por otro lado, los datos pueden ser normalizados por un científico de datos o un gestor de datos antes de que se proporcionen al negocio. Independientemente de cómo se llegue a este punto, los conjuntos de datos normalmente requieren procesos adicionales para garantizar una nomenclatura coherente entre las columnas, la eliminación de datos duplicados, la corrección de datos inexactos o erróneos, la corrección de registros incompletos y otras tareas.

Una vez realizadas estas tareas, los datos estarán listos para cargarse en aplicaciones de análisis, sistemas de inteligencia empresarial o incluso simplemente en Excel para que el usuario final los analice y manipule para obtener insights y visualizaciones.

Uno de los objetivos de los departamentos de TI debe ser maximizar la eficiencia de este proceso. Esto requiere planificación para crear transformaciones automatizadas que minimicen el trabajo manual. Sin embargo, la forma en que las organizaciones llegan aquí depende de muchas variables: de dónde provienen las fuentes de datos, si se examinan esas fuentes, qué campos se priorizan, si existen reglas de datos establecidas y qué tipos de flujos de trabajo existen.

La automatización de la mayor parte posible del proceso de depuración de datos puede ser la parte más importante cuando se utilizan múltiples fuentes de datos, ya que habilita un entorno de autoservicio que proporciona los datos a los usuarios más rápido.

La importancia de integrar datos de múltiples fuentes de datos

Si parece que supone un gran esfuerzo construir un proceso de integración de datos, es porque es así. Desde la verificación de fuentes hasta la elaboración y el ajuste de los flujos de depuración de datos, se debe cuidar y planificar un proceso de integración fluido. Sin embargo, el valor se percibe rápidamente.

En los negocios, el tiempo siempre se ha equiparado al dinero. Sin embargo, en la era del big data, donde la información en tiempo real proviene de proveedores y clientes de todo el mundo, la importancia de esa sencilla fórmula se ha incrementado exponencialmente. Las circunstancias cambian rápidamente, y los altibajos de los negocios a menudo pueden resultar impredecibles. Cuando los datos se encuentran en silos, las líneas de negocio que buscan analizar información nueva o explorar oportunidades de innovación a menudo pueden sentir que se están varios pasos por detrás. En realidad, se percibe así porque en efecto lo están. Cuando las unidades de negocio deben confiar en otros equipos para extracciones de datos e informes de análisis, las cosas se ralentizan.

Al final, la información es valiosa solo cuando fluye.

La integración de datos de múltiples fuentes elimina muchos de los obstáculos manuales. A su vez, abre la puerta a una gama más amplia de fuentes de datos para descubrir información oculta y tomar decisiones verdaderamente basadas en datos. Esto aumenta tanto las capacidades como la eficiencia de los empleados, lo que a su vez impulsa la innovación y las oportunidades en beneficio de la organización. En última instancia, la integración de múltiples fuentes de datos permite a las organizaciones encontrar nuevas ideas y soluciones, adaptarse rápidamente y mantenerse por delante de la competencia.

Ventajas y desafíos de la integración de datos

La integración de datos exitosa mantiene a las organizaciones por delante de la competencia, tanto en el presente como de cara al futuro, a medida que se amplíen las posibilidades que brindan los datos. Sin embargo, para llegar hasta ese punto es necesaria una combinación de configuración técnica y comprensión desde una perspectiva organizativa. Al abordar estos desafíos, las organizaciones pueden cambiar la forma en que se toman las decisiones en operaciones, ventas, finanzas, fabricación y casi todos los demás departamentos.

Estas son algunas ventajas y obstáculos que se deben superar para lograr una integración de datos satisfactoria.

Ventajas

• Datos unificados. Al reunir los datos en un único repositorio, el proceso general de adquisición de datos se simplifica y acelera. En lugar de que diferentes grupos trabajen con fuentes de datos dispares, una única vista unificada propicia una mejor alineación a nivel de organización, al tiempo que reduce los recursos involucrados en la adquisición y el procesamiento de datos.
• Colaboración mejorada. Debido a cómo se almacenan tradicionalmente los datos, varios grupos pueden estar trabajando con versiones obsoletas o ligeramente diferentes de un conjunto de datos. El uso de diferentes definiciones o nomenclaturas puede generar confusión o conclusiones erróneas. La unificación de datos permite que todos los grupos trabajan con la misma información.
• Operaciones agilizadas. Cuando el intercambio de datos se produce solo con solicitudes y preparación manuales, el trabajo se ralentiza. Los equipos de operaciones se beneficiarán de la optimización de procesos, la centralización de datos y la reducción de los procedimientos manuales.
• Ahorro de tiempo. Además de simplificar las operaciones, la consolidación de múltiples fuentes elimina el paso práctico de la transferencia manual de datos de un grupo a otro. Se pueden producir retrasos cuando grupos adyacentes, como ventas y marketing, tienen necesidades de datos superpuestas o cuando los participantes en pasos posteriores del flujo de trabajo necesitan solicitar conjuntos de datos.
• Reducción de los errores manuales. Eliminar los pasos manuales de los procesos aumenta la eficiencia, pero también reduce el riesgo global. La reducción de los procedimientos manuales implica reducción de la potencialidad de errores, como enviar un conjunto de datos incorrecto o la ausencia de registros al copiar/pegar.
• Análisis predictivo mejorado. Cuantas más fuentes de datos estén disponibles para las plataformas de análisis, mejor. La consolidación de la fuente de datos amplía las posibilidades de análisis, potenciando la creatividad y la innovación. Esto crea dos beneficios, uno inmediato por el cual se incrementa el número de usuarios que tomen el control del análisis empresarial, y otro a largo plazo que permite crear una cultura basada en datos.

de la industria

• Compatibilidad de datos. Los datos procedentes de diferentes fuentes seguramente utilizarán definiciones y nomenclaturas diferentes. El proceso de depuración se conoce como transformación de datos y, dependiendo del estado de las fuentes originales, puede ser complejo y difícil de administrar a menos que se implementen procesos sistémicos.
• Silos de datos. Los grupos, incluidos los de ventas, marketing, finanzas y RR. HH., realizan el seguimiento de los datos de acuerdo con sus propias necesidades internas. Cuando los datos están aislados así, los grupos deben realizar solicitudes manuales de acceso, e incluso cuando los reciben, la nomenclatura y las definiciones pueden variar, lo que dificulta aún más la compatibilidad.
• Calidad de datos. Contar con datos de alta calidad allana el terreno para crear una cultura de insights precisos y basados en datos. Para lograrlo, las organizaciones necesitan establecer estándares y procesos para garantizar la calidad de los datos. La precisión, la integridad y las cadencias de actualización (si se utilizan actualizaciones periódicas) deben formar parte del debate. Mejorar la toma de decisiones entre departamentos requiere una combinación de infraestructura de TI, flujos de trabajo grupales y aceptación individual para cumplir con los estándares.
• Sistemas heredados. Los datos son generados por una amplia gama de sistemas, incluidas las herramientas heredadas. La integración de estas fuentes en un repositorio consolidado requiere evaluar el estado de la salida de datos del sistema heredado y, posteriormente, averiguar cómo hacerlo compatible. No omitas este paso. Estos sistemas antiguos suelen contener valiosas piezas de información específicas de la organización.
• Datos no optimizados. La optimización de datos se refiere al proceso de maximizar la eficiencia y la rentabilidad de las operaciones de análisis tanto como sea posible. Los datos no optimizados provienen nativamente de fuentes y deberán propagarse con valores y registros adecuados antes de utilizarlos. Una herramienta OLAP (de proceso analítico en línea) puede automatizar este proceso.

Lista de comprobación previa a la integración

Para que la integración de datos tenga éxito, se requieren bases en una serie de áreas, incluido el soporte técnico, los objetivos empresariales y la cultura corporativa. A continuación, incluimos los tres elementos clave que se deben comprobar antes de iniciar una iniciativa de integración de datos.

1. Obtener la aceptación de las partes interesadas

Para tener éxito, una estrategia de integración de datos requiere tecnología que la respalde, equipos que gestionen los datos de origen y la ingesta de datos, usuarios profesionales que descarguen y utilicen datos consolidados de forma eficaz, y un liderazgo ejecutivo que apruebe presupuestos para esta tarea. Todas y cada una de estas partes interesadas resultan fundamentales. Sin la aceptación de toda la organización, las estrategias no llegarán a buen fin o, en ocasiones, sencillamente fracasarán.

2. Alineación de proyectos con objetivos de negocio

Las organizaciones deben determinar la razón de ser de sus proyectos de integración de datos. ¿Se trata de acelerar los procesos, mejorar el análisis de datos, obtener más insights basados en datos, mejorar la precisión de los datos o una combinación de estos? ¿Es específico de un único departamento o se trata de una iniciativa más amplia?

Mediante la determinación de metas y parámetros específicos, las organizaciones pueden desarrollar un enfoque más concreto y eficaz para lograr sus objetivos en materia de datos.

3. Analiza tus procesos de datos actuales

Antes de iniciar un proyecto de integración de datos, es importante que entiendas los sistemas y los datos actuales con los que estás trabajando. En el mejor de los casos, los datos se pueden exportar fácilmente, y existe consenso y coordinación entre departamentos en cuanto a los formatos y los estándares. ¿Qué sucede si los objetivos, los procesos o los formatos de datos nativos varían significativamente entre departamentos? Aquí es donde entra en juego el patrocinio ejecutivo.

Cinco pasos para integrar datos de múltiples fuentes

El trabajo de integración de datos de múltiples fuentes implica varios pasos. A lo largo del proceso, sin embargo, es importante tener en cuenta la calidad y la integridad de los datos, junto con las regulaciones pertinentes de privacidad y seguridad de la información. Además, una vez integrados los datos, asegúrate de contar con un control y mantenimiento periódicos para garantizar la calidad y la integridad de los datos a lo largo del tiempo.

2. Identificar las fuentes de datos que se van a integrar

Las fuentes de datos se presentan en muchos formatos diferentes y residen en múltiples ubicaciones. Cada organización contará con una combinación única de fuentes de datos, como los siguientes:

• Bases de datos relacionales: los procesos de integración de datos se pueden conectar directamente a bases de datos relacionales, que tienen configuraciones tabulares estándar de fila/columna.
• Archivos planos: la mayoría de las bases de datos exportan conjuntos de datos en archivos planos, que dan formato a tablas bidimensionales que proporcionan contexto independiente sin ninguna referencia necesaria a otras tablas. Los formatos de exportación más populares incluyen CSV y delimitados y, por lo general, son fáciles de transformar de acuerdo con las necesidades.
• XML y JSON: XML y JSON son estándares comunes para la transmisión moderna de datos, especialmente para aplicaciones web y basadas en web. En términos técnicos, JSON es un formato de datos, mientras que XML es un lenguaje. Estas diferencias aportan sus propias consideraciones específicas, como la forma en que se estructura el XML mientras que JSON analiza los datos más rápido. A los efectos de la integración de datos, es fundamental que sepas que resulta probable que te encuentres ambos si estás tomando datos de sitios web o aplicaciones basadas en web.
• API: las interfaces de programación de aplicaciones (API) conectan diferentes sistemas y recuperan datos de múltiples fuentes. Las API permiten la integración de datos en tiempo real y se pueden personalizar para cumplir con los requisitos de integración especializados.
• Fuentes de datos en la nube: algunos conjuntos de datos se encuentran y actualizan en la nube. Estos tipos de métricas a menudo provienen de fuentes gubernamentales, académicas o científicas, donde los datos están disponibles para que los investigadores puedan examinarlos más adelante.
• Dispositivos del Internet de las cosas (IoT): los dispositivos del IoT recopilan información constantemente, a veces miles de puntos de datos al día. Los aparatos médicos que transmiten continuamente datos de pacientes, los electrodomésticos inteligentes y los equipos del Internet industrial de las cosas (IioT) que controlan fábricas y ciudades inteligentes serían ejemplos de dispositivos del IoT. Los datos provenientes de dispositivos del IoT se cargan a menudo en la nube para que los utilicen otros sistemas.

Independientemente del formato y otras variables, lo más importante es identificar y seleccionar fuentes de datos que contribuyan a los objetivos de negocio y, a continuación, buscar la manera óptima de integrarlos.

3. Preparar los datos para la integración

Una vez identificadas las fuentes de datos, es el momento de examinar el formato y la definición de tus conjuntos de datos. Dos pasos resultan fundamentales para la preparación.

• Depuración de datos: los conjuntos de datos pueden contener registros incompletos o duplicados, secciones dañadas u otros problemas. La depuración de datos es un proceso por el cual se limpia el conjunto de datos para obtener un juego completo de registros utilizables.
• Estandarización: si bien la depuración de datos elimina los registros problemáticos, no aborda el problema de la estandarización. Al integrar datos, el proceso es más fluido y los resultados son mejores cuando se definen y aplican reglas estandarizadas, como el formato de fecha, la taxonomía y los campos de metadatos. Antes de continuar con la integración, asegúrate de que los registros cumplen los estándares tanto como sea posible. Esto minimizará el trabajo posterior al tiempo que aumenta la puntualidad y la precisión.
• Técnicas de transformación: puedes utilizar una serie de técnicas y prácticas para la transformación de datos. Estos incluyen nivelación de datos, reducción algorítmica del ruido en un conjunto de datos; normalización de datos, escalado de datos dentro de un rango viable; generalización de datos, establecimiento de una jerarquía entre campos; y manipulación de datos, identificación de patrones para crear formatos viables.

La fórmula óptima depende del estado de los conjuntos de datos individuales y de tus objetivos organizativos. Pero una verdad universal es que la depuración y la estandarización funcionan mejor cuando los procesos están automatizados. Mediante el uso de herramientas para facilitar la preparación de datos, todo el proceso puede ser automático. Ahora, el personal de TI puede centrarse en los eventos identificados en lugar de utilizar esfuerzos manuales para abordar cada conjunto de datos a medida que se incorpora. Las herramientas con poco código y sin código pueden impulsar una transformación simplificada, mientras que los scripts y la codificación personalizados pueden aportar más flexibilidad al proceso.

4. Seleccionar un método de integración de datos

Tu método de integración desempeñará un papel importante en la definición de tu estructura de TI general de datos. Por este motivo, es fundamental alinear los recursos y los objetivos de negocio con el método elegido, incluso si deseas crear un sistema con integración continua o actualizaciones periódicas definidas a intervalos. A continuación se muestran algunos de los métodos de integración de datos más comunes:

• Manual: la integración manual de datos no significa que alguien deba hacer clic físicamente en cada campo de datos. Sin embargo, sí requiere que alguien escriba código para administrar cada paso del proceso. Si bien es engorroso y requiere mucho tiempo, hay algunas situaciones en las que la integración manual es la opción más viable debido a la calidad de las fuentes o las realidades de los recursos de la organización.
• Extracción, transformación y carga (ETL): los procesos de ETL gestionan la transformación antes de cargar datos en un repositorio. La técnica ETL es más eficaz cuando se aplican estándares de transformación sistémicos y permite el procesamiento antes de ingerir conjuntos de datos en un data lake o almacén de datos.
• Extracción, carga y transformación (ELT): los procesos de ELT manejan la transformación de datos después de cargarlos en un repositorio. Por este motivo, los conjuntos de datos que utilizan ELT suelen presentarse en sus formatos nativos y no estandarizados. La técnica ELT se utiliza cuando la transformación sistémica no está disponible, por ejemplo, cuando un usuario encuentra una nueva fuente.
• Captura de datos de cambio (CDC): el CDC es un proceso que reduce el uso de recursos y mantiene actualizados los conjuntos de datos. Los CDC ingieren cambios en un registro y realizan actualizaciones casi en tiempo real en lugar de actualizar todo el conjunto de datos a intervalos periódicos. Debido a que las actualizaciones se producen individualmente y en series pequeñas y rápidas, los CDC no afectan al tiempo de actividad de la base de datos ni provocan picos de uso de recursos.
• Replicación de datos: la replicación de datos mantiene una versión original de los datos en su fuente y crea una copia (réplica) que los diversos grupos podrán utilizar. Esta copia puede ser solo una pequeña parte del registro, como columnas select o algún otro subconjunto utilizado para la manipulación. La replicación puede bloquear recursos en el caso de que sea necesario mantener demasiadas versiones a largo plazo.
• Virtualización de datos: con la virtualización, todos los conjuntos de datos permanecen en sus bases de datos originales. La transformación y manipulación se producen en una capa virtual utilizando la federación para apuntar a registros individuales sin extraerlos realmente a un nuevo archivo.
• Integración de datos de streaming (SDI): la SDI funciona como una versión en tiempo real del procesamiento de ELT. Los flujos de datos se envían desde las fuentes y se transforman en tiempo real antes de enviarse a un repositorio. Esta opción presenta dos grandes beneficios. En primer lugar, al actualizar continuamente los registros, los conjuntos de datos siempre se mantienen al día. En segundo lugar, esto elimina la necesidad de actualizar los conjuntos de datos a escala, lo que estabiliza el uso de recursos. Sin embargo, el SDI también dificulta que la infraestructura respalde funcionalmente el proceso y califique los datos a medida que se incorporan.

5. Implementar el plan de integración

La implementación incluso de un plan de integración de datos bien desarrollado puede ser un proceso complicado y engorroso, pero con un enfoque metódico, la inversión será rentable a largo plazo mientras preparas a tu empresa para un futuro escalable.

El proceso comienza identificando los elementos de datos y las fuentes y, posteriormente, determina las relaciones entre ellos. ¿Qué elementos se superponen sin generar errores? ¿Dónde son diferentes las columnas y las definiciones? ¿Y qué hay que hacer para alinearlos?

Llegados a este punto, crearás un modelo para la transformación de datos. Puedes utilizar scripts personalizados, herramientas predefinidas del sector o una combinación de ambos, según tus necesidades y los recursos de que dispongas. El objetivo consiste en transformar y fusionar los datos en un formato común y resolver cualquier conflicto entre las fuentes de información, preferiblemente de forma sistémica para que el proceso sea replicable y limitar la carga de trabajo que deben asumir los consumidores de datos.

Durante este proceso, los conservadores e ingenieros de datos cuentan con un amplio abanico de herramientas y tecnologías de integración. Estas incluyen herramientas ETL que funcionan en tres etapas principales.

• Extraer datos de fuentes de información, como aplicaciones para smartphones, bases de datos, aplicaciones web y aplicaciones de software.
• Transformar datos de las fuentes de información para cumplir los estándares internos en materia de definiciones, nomenclatura y taxonomía.
• Cargar datos transformados en un almacén de datos, un data lake u otro repositorio accesible mediante herramientas como inteligencia empresarial o análisis de autoservicio.

Existen múltiples herramientas ETL disponibles para los diversos formatos y plataformas. Además de las aplicaciones de software ETL tradicionales, las herramientas de ETL en la nube permiten un acceso flexible porque pueden conectar de forma más sencilla fuentes y repositorios dispares. En el caso de que tengas la experiencia de TI adecuada, las herramientas de ETL de código abierto pueden proporcionar funciones sólidas por un costo inicial reducido. Sin embargo, es posible que no tengan el mismo nivel de desarrollo de características, seguridad o garantía de calidad que los productos comerciales, y eso podrá requerir una mayor inversión de recursos en el futuro. También hay herramientas ETL personalizadas disponibles, aunque a menudo requieren una fuerte inversión inicial.

¿Cómo sabes qué herramienta de ETL es adecuada para tu organización? Entre los factores que se deben tener en cuenta se incluyen los tipos de conectores admitidos, el nivel de personalización disponible, los requisitos de rendimiento y recursos, y los costos completos, incluidos los conocimientos especializados y la infraestructura de apoyo. Sin embargo, lo primordial sería evaluar si las herramientas de ETL ofrecen capacidades de automatización. Esto se debe a que la automatización es una parte fundamental de las transformaciones sistémicas de datos que, en última instancia, conducen a la analítica de datos de autoservicio.

5. Garantizar la calidad de los datos

La calidad de un conjunto de datos depende de su integridad, precisión, pertinencia temporal y cumplimiento de las normas. Difícilmente se puede pasar por alto la importancia de la calidad de los datos integrados. Los conjuntos de datos de alta calidad son más fáciles de preparar para la integración. Si bien este factor resulta importante desde la perspectiva del uso de recursos, la calidad de los datos también afecta significativamente a la producción. Por ejemplo, si una organización utiliza cuatro dígitos significativos en sus cálculos, pero una fuente externa proporciona datos con solo dos, no cumplirán el nivel de calidad esperado. Si se utilizan, el análisis resultante puede contener insights erróneos.

Por lo tanto, la alta calidad es absolutamente fundamental en los datos integrados para minimizar los esfuerzos de transformación/depuración y garantizar la precisión de la salida.

Cómo medir y mantener la calidad de los datos: varios métodos resultan útiles para garantizar que los datos presenten una calidad alta.

• Perfilado de datos: es un análisis de alto nivel de los datos de origen que se utiliza de cara a examinar la calidad, la integridad, la precisión y otros elementos para crear resúmenes.
• Estandarización de datos: proceso de creación de estándares para formato, definiciones, nomenclatura y otros elementos para garantizar que los datos sean totalmente compatibles con otros conjuntos de datos de una organización. Si estos no llegan a cumplir los estándares, tendrán que transformarse hasta que lo hagan.
• Depuración de datos: depuración de un conjunto de datos para corregir y eliminar entradas duplicadas, vacías, inexactas o corruptas para que los conjuntos de datos estén listos para su procesamiento.
• Coincidencia de datos: implica el cotejo de registros de diferentes conjuntos de datos para verificar que reflejan el mismo asunto y, al mismo tiempo, identificar duplicados de cara a su posterior eliminación.
• Validación de datos: verificación de la precisión y la calidad de los datos comprobando que se ajustan a determinadas reglas mediante una serie de revisiones y parámetros.
• Gobernanza de datos: proceso de supervisión de datos para garantizar que el almacenamiento, la seguridad, la adquisición y otras tareas cumplan los estándares y principios establecidos por la organización, así como cualquier regulación aplicable.
• Supervisión continua: uso de varias herramientas para comprobar continuamente el estado de los conjuntos de datos en función de los estándares internos y los criterios de gobernanza.

Integración sencilla de datos de múltiples fuentes con Oracle Analytics

Una vez que los datos se consolidan en un repositorio, su organización estará lista para el siguiente paso: el autoservicio de analíticas. Oracle Analytics ofrece autoservicio de analíticas completo en una interfaz de usuario intuitiva diseñada para todos, desde usuarios profesionales hasta científicos de datos. Disponible en la nube, en entornos locales o como una fórmula híbrida, Oracle Analytics utiliza el aprendizaje automático y la inteligencia artificial para descubrir insights ocultos y generar visualizaciones instantáneas. Prueba Oracle Analytics Cloud de forma gratuita ahora con Oracle Cloud Free Tier.

La principal ventaja de integrar datos de múltiples fuentes, como datos demográficos de los clientes, cifras de ventas y tendencias del mercado, es que los empleados obtienen una comprensión más completa de cualquier desafío u oportunidad de negocio. Si se hace bien, descubrirás insights y patrones de enorme valor que es posible que hayan pasado inadvertidos al analizar cada fuente de datos de forma aislada. El resultado potencial: decisiones mejor fundamentadas, estrategias más eficaces, mejor control de calidad de los datos, mayor eficiencia operativa y una ventaja competitiva en el panorama empresarial actual basado en datos.

Preguntas frecuentes sobre la integración de datos de múltiples fuentes

¿Qué factores debo tener en cuenta al seleccionar las fuentes de datos para la integración?

Los dos factores más importantes que intervienen en la planificación de la integración de datos son: primero, conocer qué recursos tienes y tendrás a tu disposición, y segundo, saber tus objetivos empresariales. A partir de ahí, puedes identificar fuentes de datos que impulsarán tu estrategia y determinar si es realista acceder a ellas.

¿Cuáles serían ejemplos de mejores prácticas para integrar datos de múltiples fuentes?

Si bien muchas estrategias para la integración de datos se basan en necesidades organizativas individuales, estas son algunas de las mejores prácticas de amplio alcance que se aplican de forma generalizada:

• Entiende cómo el estado de tus fuentes afecta a la calidad de los datos
• Planifica teniendo en cuenta tus objetivos empresariales
• Conoce los recursos de que dispones y tu presupuesto de TI
• Prioriza qué departamentos pueden beneficiarse más de la integración de datos
• Considera la expansión y la escalabilidad a largo plazo

¿Cuáles serían ejemplos de casos de uso de integración de datos procedentes de múltiples fuentes?

A continuación, detallamos dos casos de uso reales de integración de datos procedentes de múltiples fuentes. En primer lugar, considera una aplicación para smartphones que transmita constantemente datos de uso a una nube. Estos se referencian de forma cruzada con dos conjuntos de datos relacionados, una campaña de marketing por correo electrónico e información de ventas. Una vista unificada puede descubrir insights más profundos sobre la relación existente entre el uso, el marketing y las compras. En segundo lugar, considera equipo médico del IoT que transmita registros a la cuenta de un paciente. Esta información se facilita inmediatamente a un médico, que también tiene acceso a los registros del paciente para controlar cualquier mejora o realizar los cambios pertinentes.

¿Por qué necesitamos integrar múltiples fuentes de datos?

A medida que el volumen y la variedad de fuentes de datos aumentan con el tiempo, la consolidación de conjuntos de datos ha evolucionado de ser "aconsejable" a convertirse en una necesidad básica de la empresa. En la actualidad, es raro que alguna operación no se beneficie de la integración de datos. El truco, sin embargo, reside en ejecutar una estrategia que sea apropiada para la organización.

¿En qué consiste la combinación de datos de múltiples fuentes?

Si el proceso de combinar fuentes de datos se produce con pasos de preparación de datos sistémicos, se denomina integración de datos. Si las fuentes de datos se combinan sin esta transformación/depuración, que requiere esos pasos, se conoce como unificación de datos o combinación de datos.