debate-3

#DEBATEANBAN: DATA QUALITY, QUÉ ES Y CÓMO IMPLEMENTARLO

En una nueva edición de los debates de ANBAN, celebrada el 9 de noviembre, un grupo de socias y socios expertos en datos, se reunieron para discutir acerca de los desafíos que las empresas encaran a la hora de lograr que sus productos de datos tengan la máxima calidad. Muchas e interesantes ideas fueron compartidas durante las casi dos horas que duró el encuentro, desde gobernanza y cultura del dato, hasta herramientas para el cálculo de la calidad del dato.

En los próximos párrafos podrás encontrar un resumen, con algunos de los aspectos más interesantes debatidos durante el encuentro. En esta ocasión, el moderador fue Gustavo Martin Morcuende, Data Platform Lead Engineer en Adevinta Spain. 

Comenzó el debate Miguel Esteve, Responsable Business Intelligence en Hinojosa Packaging Group. Miguel planteó cuestiones acerca de quiénes son los responsables de la calidad del dato, y qué sucede cuando los propietarios de los datos no quieren hacerse responsables de dicha calidad.

Marta Regina Cano Jiménez, Business Intelligence Director en Grupo Caja de Ingenieros, expuso la necesidad de definir una gobernanza a través de la cual se defina quién es el propietario de los datos. Sin este primer paso, es difícil que los analistas de datos puedan generar fácilmente modelos. Para Marta, es importante que toda la empresa esté alineada en la estrategia data driven, desde el director hasta el último empleado. Marta comentó: “no hay herramienta mágica para lograr una buena calidad de datos, los productores de los datos deben generar la información correcta”.

Ravi Rojas, Big Data Engineer en Integra International Services, planteó la cuestión acerca de qué hacer cuando los datos a procesar no son correctos. Desde el punto de vista del gobierno del dato, ¿qué habría que hacer con los datos malformados? Expuso como solución, el almacenar los datos erróneos en una zona de staging o cuarentena donde posteriormente los propietarios de los datos puedan acceder para corregirlos. Además indicó la necesidad de crear KPIs que sirvan para medir si la calidad de los datos mejora con el tiempo. Entre otras herramientas, Ravi recomendó Pandas, Polars y PySpark.

Manuel S. Lemos Foncubierta, Full Stack Engineer en BeDisruptive, expuso la necesidad de inculcar la cultura del dato allá donde sea necesario dentro de la empresa. Es necesario ir directamente a hablar con los productores de los datos, y hacerles entender los costes asociados debidos a no generar unos datos con buena calidad. No tiene sentido tener un grupo de ingenieros encargados de limpiar los datos, deben ser los propietarios de los datos los que se encarguen de ello. También compartió un caso de uso real, donde los costes de limpiar los datos eran mucho mayores que los de generar los datos correctamente. Un poco de data literacy y cultura del dato por parte de los productores de los datos puede suponer un gran cambio.

Sofía González Arias, Data Engineer en NTT Data y Event Management Director y Asturias Lead en ANBAN, compartió otro caso real, donde debido a la baja calidad de los datos almacenados, se tuvieron que implementar algoritmos para poder corregir estos datos antes de procesarlos. En este caso, se vieron obligados a invertir gran cantidad de tiempo en corregir la información generada por los propietarios del dato. Tiempo que no pudo ser empleado en generar modelos y crear productos de datos de valor. Como herramientas a utilizar propuso PySpark y el lenguaje SQL.

Laura Marqués, Head of Corporate Data & Analytics en Adevinta Spain, identificó la necesidad de especificar las dimensiones que permitan medir los KPIs relacionados con la calidad del dato. Introdujo algunas de estas dimensiones: precisión, consistencia, integridad, unicidad y completud. Laura también nos dió algunas sugerencias sobre cómo lograr convencer a los productores de los datos acerca de la importancia de generar datos con buena calidad, en concreto indicó la importancia de calcular la cantidad de dinero perdido si no se toman las medidas oportunas. En palabras de Laura: “hay que trasladar los problemas generados a dinero”.  También indicó la necesidad de contar con las herramientas adecuadas para poder calcular esas dimensiones.

Cerró el debate Gustavo Martín Morcuende, recomendando como herramientas estándar Great Expectations, Soda Core y DBT. Además añadió la siguiente reflexión. Las empresas quieren sacar el máximo partido de sus datos pero para ello deben resolver previamente dos problemas. Un primer problema cultural: todos los datos producidos, tanto en el mundo operación como en el analítico, tienen que tener un propietario claro. Además los datos deben ser generados con una buena calidad. Por falta de cultura del dato, las empresas delegan toda la responsabilidad al mundo analítico. Un segundo problema tecnológico: en el mundo analítico, en muchas ocasiones se requiere un upskilling técnico que permita hacer uso de herramientas más cercanas al mundo del desarrollo software (como por ejemplo el uso de Python) que al mundo del Business Intelligence tradicional (puro SQL)

¿Eres un apasionado del dato y quieres participar en este tipo de debates? Aquí te contamos cómo hacerte socio:


debates_anban_1

#DebateANBAN: desafíos y alternativas al uso de Excel como herramienta para Data Analysts y Data Scientists

En ANBAN tratamos de fomentar el compartir conocimiento y aprendizajes entre soci@s. Es por ello que hemos iniciado en este nuevo curso un nuevo formato de debates donde los miembros de la comunidad de ANBAN, pueden compartir en un espacio seguro y abierto todo aquello relacionado con este mundo que nos apasiona: el mundo del Big Data.

En esta primera sesión, celebrada el 14 de Septiembre, un grupo de compañeras y compañeros pudimos debatir acerca de un tema de gran relevancia como es el uso de Excel como herramienta para Data Analysts y Data Scientist. Durante la sesión, los diferentes participantes explicaron las alternativas que emplean al tradicional Excel, con las cuales pueden generar productos de datos de una forma efectiva, dando valor a sus clientes en sus respectivas empresas.

El debate estuvo moderado por uno de nuestros socios, Gustavo Martin Morcuende, Data Platform Lead Engineer en Adevinta Spain.

A continuación, los principales takeaways del debate:

Marta Regina Cano Jiménez, Business Intelligence Director en Grupo Caja de Ingenieros:

  • Con el lenguaje de programación R podemos hacer prácticamente cualquier cosa que nos propongamos de forma muy sencilla. Desde extracciones de bases de datos como pueden ser PostgreSQL, hasta presentaciones y gráficos mediante R Shiny

Juan Enrique Martínez Navarro, Ingeniero en Eurocontrol:

  •  Mediante una herramienta muy sencilla pero muy potente como KNIME industrializó el proceso de extracción de datos de fuentes como Alfresco y su procesado para generar resultados en PostgreSQL

Jaime Martínez Verdú, Analista de Datos en ClimateTrade:

  •  Nos presentó el proceso de transformación que llevó a cabo en uno de sus proyectos donde pasaron de usar Access a PostgreSQL
  • Nos introdujo en el mundo del data quality al contarnos cómo implementó validaciones de datos de entrada en Access
  • Actualmente implementa soluciones en AWS y ya no usa Excel si no Metabase con PostgreSQL
  • Con Metabase ha logrado grandes mejoras y ahora puede implementar alertas de forma sencilla para avisar cuando hay algún problema con los datos o los procesos

Rodrigo Tanco Serrano, Global Media Data Analyst en Havas Media Group:

  •  Explicó cómo usando R puede consumir datos procedentes de archivos, hacer las pertinentes transformaciones y con R Shiny generar insights de valor para sus clientes
  • Marta y Rodrigo estuvieron de acuerdo en que R es un lenguaje muy potente y acelera en gran medida a los Data Analysts y Data Scientists a hacer bien su trabajo.

Juan José Fuentes Gomis, Senior Data Engineer en Europcar Mobility Group:

  •  Nos explicó cómo usar Apache Airflow como herramienta de scheduling
  • También nos hizo una breve introducción sobre cómo usa Apache Beam en sus pipelines y cómo almacena los resultados en un Data Lake implementado en AWS S3 y en BigQuery
  •  Aprendimos que podemos usar QlikSense para generar dashboards con insights de gran utilidad.

Gustavo Martín Morcuende, Data Platform Lead Engineer en Adevinta Spain:

  • Explicó a alto nivel las diferentes piezas que componen la Data Platform que él y su equipo han construido en Adevinta Spain
  • Entre otras piezas encontramos fuentes de datos con eventos en Kafka y bases de datos, almacenamiento en un Lakehouse en AWS S3 y un Data Warehouse en AWS Redshift, herramientas de scheduling como Apache Airflow y diferentes clusters implementados en Databricks entre otros muchos componentes

¿Eres un apasionado del dato y quieres participar en este tipo de debates? Clicando el botón verde te contamos cómo hacerte socio.


roadtodatapost

Road to Data – Nuevo Socio Empresa

A qué se dedica tu empresa? (cuando y quien la fundó, donde estáis, sectores donde trabajáis…)

Road to Data es una consultora de business intelligence fundada en 2018 por Julián Rioja bajo la premisa de ofrecer soluciones predictivas a problemas que afectan al desarrollo de negocio de sus clientes, partiendo siempre desde la creatividad y la consultoría del ecosistema del dato.

Nuestra misión como compañía es acompañar a nuestros clientes en el proceso de gestión integral del dato, transformándolo desde su estadio inicial hacia un producto o servicio final visual, práctico y analítico, que permita tomar decisiones informadas a partir de su puesta en valor.

Nuestra visión: ayudar a nuestros clientes a explorar el dato del que disponen, identificar problemas y ofrecer soluciones encaminadas a alcanzar sus objetivos de negocio.

Dentro del área del BIG DATA y Analytics, ¿qué estáis haciendo en este momento?

Estamos dotando a nuestros clientes de modelos de explotación de dato eficaces y ofreciéndoles la incorporación en sus cadenas operativas de elementos seleccionados y específicos para optimizaciones y automatizaciones en general, encontrando retornos de valor a corto plazo.

Además, estamos ayudando en procesos de rediseño e implementación sobre entornos cloud de data warehouses corporativos hasta el momento on premise aprovechando las funcionalidades integradas y muy potentes de las soluciones cloud.

¿Cómo véis el presente y futuro de nuestro sector?

El futuro está muy abierto y habrá muchos niveles de aprovechamiento de las inmensas posibilidades tecnológicas, según sector, tipo de organización y punto de partida. Seguramente entramos en la pendiente descendiente o de relativo desencanto general antes de estabilizar las inversiones y proyectos referentes a la explotación del dato.

¿Por qué habéis elegido uniros como empresa colaboradora a ANBAN?

Es fundamental crear un ecosistema rico en el que, más que la visión de clientes, proveedores y otros agentes (académicos, institucionales etc…), prevalezca un interés común de crecimiento y confianza en los métodos y tecnologías de gestión y explotación del dato y su consolidación en una cultura profesional. Para ello, las asociaciones de este tipo cumplen una función fundamental, sobre todo en etapas incipientes de una nueva tecnología o visión de la gestión de la información.

Road to Data x Anban

¿Quieres contactar con Road to Data? Clica aquí para ver sus datos de contacto.


deltadigitalg

Delta Digital – Nuevo Socio Empresa

A qué se dedica tu empresa? (cuando y quien la fundó, donde estáis, sectores donde trabajáis…)

Deltadigital surge en el año 2017 con la intención de complementar los servicios de ingeniería y automatización que ya aportaba Iturcemi Ingeniería, con otros relacionados con la digitalización de procesos y el manejo del dato, la industria 4.0 y todos los temas relacionados con I+D+i dentro del mundo de la industria

Pertenecemos al grupo Iturcemi y estamos ubicados en el Parque Empresarial del Principado de Asturias, en Avilés (Asturias).

Los sectores en los que trabajamos son el metalúrgico, papel, food&pharma, plásticos, energía, en general todos aquellos sectores industriales en los que surge la necesidad de explotar el dato o aplicar tecnologías innovadoras

Dentro del área del BIG DATA y Analytics, ¿qué estáis haciendo en este momento?

Ahora mismo estamos cerrando un proyecto en una importante multinacional con una importante planta en Asturias, donde hemos hecho dos plataformas de dato, on premise y en la nube, e integrado sistemas de visión, trazabilidad, y modelado de datos para realizar una serie de casos de uso que sirvan como punto de partida para una ampliación a otras plantas dentro de la misma factoria.

También estamos desarrollando plataforma de datos y modelado de mantenimiento predictivo en las plantas de una multinacional árabe de plásticos ubicada en España.

Este año lanzamos la implantación de plataforma de datos y modelado de activos en una compañía nacional de bebidas y en una papelera francesa

¿Cómo véis el presente y futuro de nuestro sector?

Vemos un crecimiento inevitable en la aplicación de las tecnologías basadas en la explotación del dato en el mundo de la industria. Los beneficios son evidentes en cuanto se lanzan los aplicativos, y la satisfacción del usuario al obtener visibilidad de nuevas informaciones es enorme.

¿Por qué habéis elegido uniros como empresa colaboradora a ANBAN?

Dentro del espíritu innovador de deltadigital, está presente el apoyo a las iniciativas en las que nos sentimos cómodos, tanto por los temas que abordan, como por el interés que tenemos en aumentar nuestro conocimiento en esos temas. ANBAN cumple con lo que buscamos, al facilitar la relación con otras empresas con las que compartimos intereses, y con las que podemos encontrar puntos de colaboración para futuros proyectos.

Delta Digital x Anban

¿Quieres contactar con Delta Digital? Clica aquí para ver sus datos de contacto.


merkle image

Merkle – Nuevo Socio Empresa

¿A qué se dedica tu empresa?

Fundada en el año 2005 por Sergio Maldonado, su antiguo nombre fue Divisadero, empresa de servicios de consultoría en estrategia e inteligencia digital que empezó a formar parte del Grupo Merkle en 2017, convirtiéndose en compañía líder en experiencia de clientes, datos y tecnología.

Tenemos unos 360 empleados distribuidos en nuestras oficinas de Madrid, Barcelona y Gijón, certificados en más de 15 soluciones tecnológicas.

A su vez Merkle es parte de Dentsu International, que cuenta con más de 45 mil personas en casi 150 países que atienden a más de 11 mil clientes.

Manuel Blanco es Country Leader de Merkle para España.

Utilizamos los datos y la tecnología para ayudar a las marcas a generar una ventaja competitiva a través de experiencias de cliente únicas y estrategias de People-Based Marketing.

Para ello contamos con todas las capacidades necesarias y acuerdos de partenariado con los principales fabricantes del mercado a nivel global.

Trabajamos con grandes anunciantes, compañías IBEX 35 y organizaciones Fortune 500 a escala nacional e internacional; destacando nuestra presencia en el sector banca y seguros. Más que una consultora, somos un partner estratégico para nuestros clientes, y hemos sido un factor de aceleración en su transformación digital.

Dentro del área del Big Data y Analytics, ¿qué estáis haciendo en este momento?

Dado que damos a nuestros clientes un servicio 360º en el que participan numerosas capacidades y perfiles profesionales, es difícil de resumir el volumen de proyectos en los que estamos trabajando.

¿Cómo véis el presente y futuro de nuestro sector?

Lleno de retos a cual más apasionante y en los que esperamos jugar un importante papel.

¿Por qué habéis elegido uniros como empresa colaboradora a ANBAN?

Porque consideramos que es muy positivo participar en este tipo de iniciativas que buscan sinergias entre profesionales y empresas del mismo sector, y porque estamos muy comprometidos con la difusión de la cultura analítica, objetivo para el cual hemos creado en 2021 la Cátedra Merkle de Ciencia de Datos y Marketing, que es la entidad a través de la cual participamos.

Merkle x Anban

¿Quieres contactar con Merkle? Clica aquí para ver sus datos de contacto.


Image-1

Ebroker – Nuevo Socio Empresa

¿A qué se dedica Ebroker?

Ebroker nace en Pravia (Asturias) fruto de la inquietud y visión de un pequeño grupo de corredores de seguros que, a finales de los años 90, promovieron la iniciativa de proveerse de un software de gestión cuya concepción, desarrollo y evolución respondiese exclusivamente a las necesidades e intereses estratégicos del corredor de seguros.

Dentro del área del Big Data y Analytics, ¿qué estáis haciendo en este momento?

Desde Ebroker llevamos a cabo una iniciativa pionera e innovadora en el mercado asegurador español basada en técnicas de Big Data, cuyo objetivo es obtener y agrupar los resultados de distintos trabajos de analítica de datos, procedentes de distintas fuentes y relacionados con la actividad del canal de corredores de seguros, para ponerlos a disposición y en beneficio de la comunidad profesional.

Bajo esta iniciativa, ebroker desarrolla varios estudios trimestrales sobre la variación de precios (“Asegurómetro”) en el canal de corredores de los distintos ramos aseguradores y sobre la variación porcentual de primas netas (IEV – Índice de Evolución de Ventas) de nueva producción en el canal corredores que permiten calibrar con cierta precisión el estado en el que se encuentra el sector.

Además, contamos con acuerdos de colaboración con distintas compañías aseguradoras que confían en nuestros análisis para desarrollar sus modelos de negocio en base a la inteligencia artificial.

¿Cómo véis el presente y futuro de nuestro sector?

Nadie pone en duda el potencial del análisis del dato como actividad creadora de valor y gestión competitiva para la empresa. El análisis de los datos ayuda a descubrir esa parte oculta, algunas veces oscura, de la realidad de las empresas que les impide tomar buenas decisiones y gobernar adecuadamente su día a día.

El futuro de la industria del seguro pasa necesariamente por la gestión del dato, e inexorablemente el futuro del corredor de seguros comparte ese destino.

¿Por qué habéis elegido uniros como empresa colaboradora a ANBAN?

Creemos que ANBAN es un buen entorno para cooperar, aprender y avanzar en nuestro objetivo de reforzar nuestra estrategia de análisis y aprovechamiento del dato en el sector asegurador español.

Ebroker x Anban

¿Quieres contactar con Ebroker? Clica aquí para ver sus datos de contacto.


saturdays-blog

Saturdays.AI 4a Edición – Machine Learning

Vuelven los sábados de inteligencia artificial a Alicante promovidos por la Asociación Nacional de Big Data y Analytics, SaturdaysAI y la Universidad de Alicante.

Esta cuarta edición de AI Saturdays Alicante nace con el mismo objetivo que la primera, queremos seguir llevando la inteligencia artificial a todos los rincones. Para conseguirlo, contamos con el inestimable apoyo de Universidad de Alicante, Instituto Universitario de Investigación Informática como co -organizadores, y AlicanTEC, Colegio de Economistas, Asociación de Periodistas de la Provincia de Alicante, Fempa, Parque Científico de Alicante entre otros.

Dado el éxito de la primera edición, en la que mucha gente no logró entrar por la limitación de plazas, ha sido casi obligatorio repetir año tras año. Así que comenzaremos el día 25 de Febrero de 2023, y las 12 sesiones se llevarán a cabo en la Universidad de Alicante los sábados de 10:00 a 14:00 horas.

Como sabéis, AI Saturdays forma parte de un movimiento a nivel internacional que se desarrolla en distintas ciudades del mundo, y que ANBAN ha promovido en Alicante y en Valencia durante los últimos 4 años. El 2023 comienza fuerte con esta cuarta edición alicantina, sin ánimo de lucro y con contenidos renovados en la parte de aprendizaje no supervisado así como una introducción a redes neuronales. 

A nivel de profesorado contaremos con las mismas colaboraciones de la pasada edición y algunos expertos más en el campo de la IA que se han unido. La culminación de dicha formación será, como siempre, el DEMODAY, donde se presentarán los proyectos reales de inteligencia artificial con impacto social en los que estaremos trabajando durante la formación. 

Si te quieres apuntar, tenemos un 30% de descuento para socios ANBAN escribiendo a info@asociacionbigdata.com

También tenemos 3 becas disponibles, 100% financiadas por ANBAN, para personas que cumplan ciertos requisitos. De este modo, todos aquellos que quieran disfrutar de una de ellas deberán enviar un email con una carta de motivación que contenga lo siguiente:

  • Por qué quiere participar en Saturdays AI Alicante
  • Por qué cree que merece o necesita esta beca
  • Cualquier otro dato que tenga relación con las becas y que pueda ser de nuestro interés

Email al que solicitar beca: aisaturdays@asociacionbigdata.com ; info@asociacionbigdata.com   

Hackaton iaNBAN

Este sábado 15 de octubre, la Asociación Nacional de Big Data y Analytics y la Conselleria de Innovación, Universidades, Ciencia y Sociedad Digital con el patrocinio de Jeff y Exponentia y la colaboración de Startup Valencia celebra el hackaton iaNBAN en Valencia.

¿Qué es un hackaton?
Un hackaton es un encuentro en el que se trabaja en grupo para dar una respuesta o solución con IA a un problema concreto que se plantea al inicio. Durante iaNBAN, los participantes contarán, con sus respectivos descansos, desde las 09:00 hasta las 20:00h aproximadamente para desarrollar una solución real. Al finalizar, un jurado valorará el trabajo desarrollado por los diferentes grupos y escogerá la opción
más correcta (sus componentes recibirán un premio como reconocimiento).

Durante el evento, contaremos con grandes ponentes del sector que impartirán formación y ayudarán a los participantes. En el hackathon habrá premios, regalos y muchas sorpresas. Además, Esta iniciativa fomentará también el networking, sobre todo durante las pausas del desayuno y la comida.

Asimismo, las diferentes charlas serán retransmitidas en streaming en la página de youtube de la asociación. Estos son los horarios:

Asamblea Ordinaria de ANBAN

El pasado miércoles 29 de junio, como cada año, celebramos vía online la asamblea ordinaria de ANBAN. En este encuentro, en el que participan tanto los socios individuales de la asociación como la directiva, se presentó una memoria / dossier en el que se recogen todas las actividades e iniciativas que ANBAN ha sacado adelante este último año. Así como las colaboraciones y los proyectos formativos. Entre otros:

  • Saturdays Alicante, Valencia y Castellón.
  • 2º Congreso ANBAN: El dato en Latinoamérica
  • Hablemos del Dato
  • Cursos de Formación del Profesorado (CEFIRE)
  • Cuatro talleres de iniciación sobre analítica del negocio para empresas – FEMPA y ANBAN

Asimismo, los asistentes pudieron conocer la situación actual de la Asociación en cuanto a cantidad de socios (tanto empresa como

Individuales) se refiere. El tesorero de ANBAN, por su parte, presentó el estado económico de la asociación que quedó aprobado por la asamblea.

A partir de un proceso de voto regulado se procedió también a la renovación de cargos en la directiva. De este modo, los nuevos miembros que forman la junta directiva son: 

– Juanjo Milla, Presidente

– Manuel Lemos, Vicepresidente

– Natalia Gavaldá, Secretaria 

– Alejandro Belchí, Tesorero

– Antonio Sánchez, 1er Vocal

Por último, durante la reunión, se explicó que, a partir de septiembre, se van a formar grupos de trabajo en la Asociación para afrontar proyectos concretos. Desde la directiva se animó a los socios individuales a participar en cualquiera de los proyectos e iniciativas de ANBAN.

LA ASOCIACIÓN NACIONAL DE BIG DATA Y ANALYTICS CELEBRA LA REUNIÓN ANUAL CON SUS SOCIOS EMPRESA EL PRÓXIMO MARTES 24 DE MAYO

El próximo martes 24 de mayo, ANBAN llevará a cabo la reunión anual con sus Socios Empresa con el fin de debatir sobre temas de interés en nuestras áreas, así como necesidades presentes o futuras. Dicho acontecimiento se celebrará en horario de tarde (de 16:00 a 18:00h de manera online) y se tratarán diferentes contenidos como las dificultades a la hora de buscar y captar talento; las sinergias entre los socios y las expectativas de la asociación y la comunidad que formamos, entre otros.

Esta reunión, que juntará a un total de 14 empresas, también permitirá el networking entre entidades y profesionales del sector. Por ello, será una gran oportunidad para compartir experiencias y analizar la situación actual en la que nos encontramos.