La Arquitectura de Datos: clave del éxito en iniciativas de Big data

Según el Trends in Data Management report 2020 de Dataversity, solo el 40.91% de las organizaciones encuestadas tienen una Arquitectura de Datos bien definida. Si se considera que dicha disciplina es considerada un pilar de la transformación digital y de las prácticas de Analítica avanzada, la cifra no es un buen augurio, y menos si se compara con la siguiente estadística de la misma fuente: el 61.4% de las organizaciones encuestadas dicen tener una iniciativa de Big Data o planear iniciarla en el corto plazo.

La Arquitectura de Datos es una función fundamental de la Gestión de Datos que permite conectar la Estrategia de Negocio con la ejecución tecnológica. Una Arquitectura de Datos exitosa toma en cuenta todas las necesidades del negocio, los Datos existentes y los requisitos de sistemas. Ayuda a crear un flujo de Datos a través de éstos que permita la eficiente ejecución de los procesos de negocio, y el proceso de Big Data y Ciencia de Datos no es la excepción.

La importancia de la Arquitectura de Datos y el Big Data

Para entender la importancia de la Arquitectura de Datos en el Big Data hay que saber qué implica esta última función: grandes volúmenes de Datos de todo tipo, provenientes de distintas fuentes que, de manera iterativa, enriquecen el proceso y no pueden ser analizados mediante herramientas informáticas convencionales.

Mientras que el objetivo de Big Data consiste en habilitar un ecosistema de Datos con el potencial suficiente para soportar las actividades de Ciencia de Datos, el de la Arquitectura de Datos es definir el origen, los tipos de Datos y los flujos necesarios para el desarrollo de dicho ecosistema.

La Arquitectura de Datos diseñada para alcanzar el objetivo debe ser lo suficientemente sencilla como para que los interesados puedan comprenderla y, al mismo tiempo, lo suficientemente robusta y estable para mantener el proceso y satisfacer las necesidades de negocio. En este sentido, la Arquitectura de Datos no se debe concebir como un diseño o método universal, sino como un conjunto de técnicas, metodologías y artefactos que ayuden a desplegar y producir ecosistemas de información.

Arquitectura típica de 3 capas

Una arquitectura típica de Big Data consta de las siguientes tres capas:

• • Capa de análisis y visualización: su objetivo es la visualización de los Datos para su exploración y análisis mediante técnicas estadísticas, algoritmos de análisis predictivo, aprendizaje automático, etc
  • Capa de Gestión de Datos: su objetivo es la integración, el Gobierno y la Seguridad de los Datos
  • Capa de almacenamiento y procesamiento: su objetivo es el almacenamiento de los Datos obtenidos y su procesamiento eficaz y eficiente, acorde con las necesidades de negocio

En cuanto al procesamiento, las Arquitecturas de Big Data típicas son la Arquitectura Lambda y la Arquitectura Kappa. En la primera, el procesamiento es batch y streaming, mientras que en la segunda se elimina la capa batch, dejando sólo la de procesamiento streaming.

Chris Seferlis, especialista en Datos en Microsoft, explica en este video algunas diferencias clave entre este dos tipos de arquitecturas. 

Una Arquitectura de Datos Unificada

En palabras de Stephen Brobst, Chief Tecnology Officer de Terada, dentro de cinco años ya no utilizaremos el término Big Data. En el futuro, lo que hoy llamamos Big Data incluirá Datos estructurados y no estructurados en un solo ecosistema de Analítica, por lo que ya no podremos pensar más en Big Data como algo separado. No importa si se trata de Datos pequeños, grandes, cuadrados, circulares o triangulares, lo que se buscará será integrar esa información y ponerla a disposición de los tomadores de decisiones. La base girará en torno al conjunto de herramientas que emergerán, necesarias para manejar la integración a través de múltiples tipos de Datos, sistemas de archivos y tecnologías. En este sentido, nos referiremos a la capacidad de la Arquitectura Unificada de Datos que permite aunar el acceso a la información de distintos tipos en un solo entorno o ecosistema Analítico.

Una Arquitectura de Datos Unificada moderna incluye infraestructura, herramientas y tecnologías que crean, administran y respaldan la recopilación de Datos, el procesamiento, las cargas de trabajo analíticas y de aprendizaje automático. El responsable de la Arquitectura de Big Data debe pensar en la ingesta, el almacenamiento y el procesamiento, pero no solo eso: debe pensar en cómo cada uno de estos componentes se integra en su Modelo de Datos Empresarial. También debe pensar en cómo hacer que esa infraestructura sea escalable, eficiente, gobernada y segura.

La implementación de una Arquitectura de Datos bien planificada puede llevar tiempo y dinero, pero es la única manera de garantizar que las iniciativas de Analítica Avanzada y Transformación Digital sean exitosas y permitan a las organizaciones adaptarse a los constantes cambios de la era de la economía digital.

Escrito por Christian Vázquez, Head of Financial Operations en albo

Primera Edición del Reporte Gestión de Datos en América Latina

Tenemos el placer de compartirles que ya está disponible la primera edición del Estudio Situación de la Gestión de Datos y su vinculación con la Estrategia de Datos en América Latina, que se hizo de la mano junto con la UPAEP (Universidad Popular Autónoma del Estado de Puebla).

Agradecemos profundamente a quienes hicieron este estudio una realidad con sus respuestas a nuestra encuesta. 

Los sectores más presentes en las respuestas fueron el Financiero (25.40%), Gobierno (16.67%) y Tecnologías de la Información (11.90%), seguidos por Educación, Consultoría, Seguros, Telecomunicaciones, Retail, Energía y Agroindustrial.  

Contamos con la participación fundamentalmente de Gerentes de áreas enfocadas en Datos (30.95%), seguidos por Gerentes de TI (12.79%) y de áreas de Negocio (11.11%). Un 9.52% de quienes respondieron ocupan un nivel C en su organización.   

Accede a las estadísticas completas

Si deseas descargar el reporte completo y ver los resultados de la Gestión de Datos en América Latina, que incluye acceso a la plataforma interactiva para consultar los resultados, puedes hacerlo a través de nuestro formulario.

Una vez que hayas terminado de llenar el formulario, revisa tu correo.

[contact-form-7]

El Valor Monetario de los Datos

Cuando Clive Humby publicó la frase “los Datos son el nuevo petróleo”, no pudo prever que estaría en boca de todos en los siguientes años. Sin duda, los Datos son valiosos; pero determinar y, sobre todo, maximizar su valor no es una tarea trivial. A continuación, se presentan algunas ideas sobre la fuente del valor monetario de los Datos.

Peter Drucker y el valor de los datos

Peter Drucker, padre de la Ciencia de la Administración, resultó ser un gran visionario cuando en su libro de 1969, “La era de la discontinuidad”, dedicó una sección completa a la sociedad del conocimiento en la que afirmaba que, para finales del siglo, los Datos y el conocimiento representarían el 50% del PIB en Estados Unidos. Drucker definió el valor de la información en términos de su relevancia y su propósito, lo que significa que el valor monetario de los Datos depende fundamentalmente del contexto y de la percepción de quien la usa. 

Años más tarde, en el año de 2009, DAMA Internacional (Data Management Association) publicó su Data Management Body of Knowledge (DMBoK) y reconoce como un Principio fundamental de la Gestión de Datos el reconocer los Datos como un activo valioso de las organizaciones. 

Pero ¿en dónde radica el valor de los Datos? Su valor radica en el potencial económico que tienen y que ha de ser explotado mediante su uso eficaz, mismo que debe ser guiado por una estrategia de negocio que le dote de sentido. Es decir, los Datos deben contestar a las preguntas que se hace una organización sobre cómo ser más eficiente, cómo ser más rentable y cómo generar ventajas competitivas que les permitan superar a su competencia. 

Los activos de información y su adecuada gestión

Un paso previo para la explotación del potencial y monetización de los Datos consiste en configurarlos en lo que se conoce como activos de información. Estos peculiares activos se definen como cualquier colección de Datos en cualquier forma o medio dispuestos en un contexto significativo para los fines de los usuarios. Concebir este tipo de activos dentro de una organización implica su adecuada gestión, tal como se gestionan los recursos financieros, humanos o materiales; los activos de información deben ser gestionados para no sólo evitar su desperdicio, sino para utilizarlos eficientemente para crear valor económico. 

El primer paso es identificar los activos de información. Doug Laney, gurú de la Gestión de Datos y autor de Infonomics, hace el ejercicio de clasificar lo que sí es y lo que no es un activo de información. 

¿Qué son considerados activos de información?

• Todos los activos intangibles que son insumos para el proceso de producción
• Todos los Datos, registros y documentos, contenido y conocimiento
• Todos los medios: papel, contenido digital, videos, audios
• Todos los formatos: hojas de cálculo, correo electrónico, dibujos

¿Qué no son considerados activos de información?

• Salidas del proceso: presencia de marca, relaciones con clientes, el crédito mercantil
• Activos tangibles: dinero, personas, propiedades e infraestructura
• Hardware y software de computadora

La monetización de los datos

Lo primero que se viene a la mente cuando se dice “convierte tus Datos en dinero” es venderlos, que es un método directo de monetización que genera un flujo de efectivo real. Pero, si se piensa de una manera más amplia, venderlos es en sí limitar el potencial económico de los activos de información. Existen también los métodos indirectos de monetización que implican el uso de Datos para reducir costos, mejorar la productividad, reducir riesgos, desarrollar nuevos productos o mercados, y construir y consolidar ventajas competitivas en el mercado. Sin embargo, la mayoría de los casos de éxito de monetización de información se encuentran en programas serios de Analítica, en los que se genera conocimiento a partir de los Datos dentro de la empresa. Las modernas disciplinas de Big Data y Ciencia de Datos intentan analizar grandes bases de Datos y descubrir patrones de comportamiento que promuevan la innovación y los acerque a la inagotable mina de oro que promete el conocimiento del negocio y su entorno económico. 

Lo que no debes olvidar

No cabe duda que, en la era de la transformación digital, los Datos son el activo más valioso con el que cuentan las organizaciones hoy en día. Entender su valor económico y poder monetizar los Datos son una estrategia de negocio, no sólo novedosa, sino imprescindible. 

Escrito por Christian Vazquez, Head of Financial Operations en albo

El Icebrg de la Gestión de Datos

Cuando se trata de temas relacionados con los Datos, la mayoría de las organizaciones centran sus esfuerzos en la punta del iceberg de la Gestión de Datos; lo que llamamos las funciones sexy de la Gestión de Datos. El problema que se presenta es que, bajo la punta de este iceberg, existen funciones fundamentales de planeación y diseño que deberían ser ejecutadas previamente por la organización.  

Consecuencias sobre el mal uso de las funciones de la Gestión de Datos 

Si bien no es mandatorio iniciar con las funciones que están bajo el iceberg, lo que puede experimentar la organización al arrancar por la punta es: 

1. Procesos menos eficientes. Implementar alguna de las funciones de la punta del iceberg llevará más tiempo del necesario.
2. Entrega de valor menor al esperado. Esto sucede con la Ciencia de Datos: se invierte demasiado tiempo (alrededor del 80%) integrando y limpiando los Datos a utilizar, sin lograr ver la magia de su trabajo reflejada en nuestra organización por no dedicar el tiempo necesario a otras áreas de la Estrategia.
3. Mayores costos de implementación. Llega un vendedor de soluciones de Business Intelligence, y hace una demo maravillosa sobre cómo analizar las ventas con los Datos que tienes en un archivo Excel. Vende su producto y te quedas con el problema de alimentar el producto con tus ventas desde tus sistemas transaccionales. Te vendió un castillo de naipes y te quedas con el problema de construir un castillo de verdad.
4. Toma de decisiones riesgosa. Representa más riesgo ya que puedes estar tomando decisiones con información incorrecta o errónea. En una junta de toma de decisiones, más vale un Dato malo que dos Datos buenos.

Otro punto a tener en cuenta en este iceberg de la Gestión de Datos es que, para las funciones de la punta, generalmente puedes salir al mercado y comprarlas. Sin embargo, las funciones que están bajo la superficie necesariamente deben ser creadas por la propia organización. No se puede comprar el Modelo de Datos que refleje el 100% de la realidad del negocio, ni un software de Gobierno de Datos que refleje la operación y características únicas de cada organización. Las herramientas son un gran soporte, pero primero hay que desarrollar esa función dentro de la organización y después adquirir el software que apoye al proceso.

UPAEP & SEGDA: Gestión de Datos en América Latina

SEGDA y UPAEP han unido fuerzas para realizar un estudio que brinde un panorama de la Gestión de Datos en América Latina y su vinculación con la Estrategia de Datos.

Mucho se ha escuchado sobre el vertiginoso aumento del volumen de datos durante los últimos años y el creciente interés en las organizaciones por funciones como el Gobierno de Datos y la Gestión de Calidad de Datos, que resultan los temas más populares cuando se habla de Gestión de Datos, pero muy poco se sabe estadísticamente sobre la adopción de estas disciplinas en América Latina.  

Los estudios que podemos encontrar publicados en Internet están mayormente enfocados a organizaciones europeas y en algunos casos de Norteamérica. Es por ello que hemos unido fuerzas con la Universidad Popular Autónoma del Estado de Puebla para hacer un estudio que se centre la recopilación de estos datos para América Latina.

Problemática dentro de las organizaciones

Las organizaciones han experimentado cambios significativos, la mayoría de los cuales han sido impulsados por la tecnología. El resultado de estos cambios ha sido un exceso de información.

Los datos confiables y bien gestionados son la base del éxito de las organizaciones en el siglo XXI, sin importar el sector al que pertenezca la organización. Todos quieren sentir que pueden confiar en los datos y que los pueden usar para sus proyectos; que son de alta calidad y que así se mantendrán cada vez que los quieran utilizar. Si hay un problema, poder hablar con alguien al interior de la organización que sea responsable de resolverlo. 

Desafortunadamente, a pesar de reconocer que los datos pueden ayudar a las empresas a innovar y cumplir sus objetivos estratégicos, la mayoría de las empresas: 

• No conocen qué datos tienen
• Confunden datos con sistemas informáticos, lo que hace que no los gestionen como es debido
• No tienen una claridad de cómo los datos contribuyen o podrían contribuir a mejorar su negocio
• Desestiman los esfuerzos necesarios para gestionar de una manera adecuada los datos

A mayor Gestión de Datos, mayor eficiencia organizacional 

De acuerdo con DAMA International, la Gestión de Datos consiste en desarrollar, ejecutar y supervisar planes, políticas, programas y prácticas que entregan, controlan, protegen e incrementan el valor de los datos y activos de información a lo largo de su ciclo de vida, garantizando que los datos son utilizados y aprovechados correctamente.

¿Qué es la Gestión de Datos?

What is data management

Video realizado por Denise Harders. 

Iniciativas para la Gestión de Datos

DMBoK

En 2010 se publicó la primera edición del DMBoK (Data Management Body of Knowledge) por parte de DAMA International (Data Management Association). Con el paso del tiempo, este marco de referencia empezó a convertirse en un estándar utilizado por un buen número de los profesionales en Gestión de Datos. En 2017 se publicó la segunda edición del DMBoK, la cual divide a la Gestión de Datos en las siguientes áreas de conocimiento: 

Modelo de Madurez

Los modelos de madurez contienen los elementos esenciales que permiten generar procesos efectivos dentro de una o más disciplinas. En esencia, se concentra en mejorar los procesos que una organización debe seguir para alcanzar la excelencia en la gestión del objeto o disciplina sobre la cual trabajan. Este proceso o conjunto de procesos contienen elementos esenciales para alcanzar procesos efectivos y describen un camino de mejoramiento evolutivo. 

¿Por qué SEGDA y la UPAEP deciden llevar a cabo este proyecto?

A pesar de la existencia de diversos marcos de referencia relacionados con la Gestión de Datos, y de la creciente concientización en las empresas sobre la adopción de una práctica formal para el manejo y cuidado de sus datos (generalmente expresada como una práctica de Gobierno de Datos), pareciera que no se ha llegado a un nivel de madurez tal que se pueda verdaderamente obtener el valor esperado del tan nombrado “activo estratégico”. Las referencias que existen sobre estudios exploratorios en esta materia suelen estar enfocados en el mercado europeo y anglosajón, dejando al margen la realidad que se vive respecto a la Gestión de Datos en América Latina. Cada vez es más común escuchar sobre empresas que externan su frustración al invertir en plataformas tecnológicas que se erigen como la panacea para el manejo y explotación de los datos, sin obtener el beneficio esperado, o el escepticismo sobre prácticas de Gobierno de Datos poco efectivas. 

Propósito del estudio

Actualmente, existe un área de oportunidad para poder realizar un estudio que brinde un panorama de la Gestión de Datos y su vinculación con la Estrategia de Datos en organizaciones de América Latina, que se pueda realizar con una periodicidad anual o bianual para convertirlo en el estudio de referencia de América Latina. Es por ello, que SEGDA y la Universidad Popular Autónoma del Estado de Puebla hemos unido fuerzas para llevar a cabo este proyecto.

Objetivos del estudio

• Analizar los marcos de referencia existentes en Gestión de datos y los  estudios relacionados con Estrategias de Datos
• Diseñar el instrumento a aplicar en las empresas
• Analizar y presentar resultados, para definir el estado actual de la Gestión de Datos en América Latina

Empresas participantes en América Latina

Como lo hemos dicho anteriormente, lo que se busca con este estudio es brindar un panorama de la Gestión de Datos en América Latina y su vinculación con la Estrategia de Datos en organizaciones de la zona. Es por ello que aquellas organizaciones que participen en responder la encuesta para este estudio recibirán vía correo electrónico, con previa autorización de su parte, el reporte generado por la Universidad y serán pioneras para contribuir al enriquecimiento del conocimiento de nuestra Región en materia de Gestión de Datos. 

Agradecemos a todos los participantes el tiempo que nos brindaron, lo cual nos permite dar un paso más en el desarrollo de este estudio. Próximamente estaremos compartiendo los resultados obtenidos.