Análisis Exploratorio de Datos: clave en la gestión de negocios

EDA es la sigla en inglés para Exploratory Data Analysis y consiste en una de las primeras tareas que tiene que desempeñar el Científico de Datos. Es cuando revisamos por primera vez los datos que nos llegan, por ejemplo, un archivo CSV que nos entregan y deberemos intentar comprender “¿de qué se trata?”, vislumbrar posibles patrones y reconociendo distribuciones estadísticas que puedan ser útiles en el futuro.

¡OJO!, lo ideal es que tengamos un objetivo que nos hayan “adjuntado” con los datos, que indique lo que se quiere conseguir a partir de esos datos. Por ejemplo, nos pasan un excel y nos dicen “Queremos predecir ventas a 30 días”, ó “Clasificar casos malignos/benignos de una enfermedad”, “Queremos identificar audiencias que van a realizar re-compra de un producto”, “queremos hacer pronóstico de fidelización de clientes/abandonos”, “Quiero detectar casos de fraude en mi sistema en tiempo real”.

 EDA deconstruido

Al llegar un archivo, lo primero que deberíamos hacer es intentar responder:

• ¿Cuántos registros hay?

• ¿Son demasiado pocos?

• ¿Son muchos y no tenemos Capacidad (CPU+RAM) suficiente para procesarlo?

• ¿Están todas las filas completas o tenemos campos con valores nulos?

• En caso que haya demasiados nulos: ¿Queda el resto de información inútil?

• ¿Que datos son discretos y cuáles continuos?

• Muchas veces sirve obtener el tipo de datos: texto, int, double, float

• Si es un problema de tipo supervisado:

• ¿Cuál es la columna de “salida”? ¿binaria, multiclase?

• ¿Esta balanceado el conjunto salido?

• ¿Cuáles parecen ser features importantes? ¿Cuáles podemos descartar?

• ¿Siguen alguna distribución?

• ¿Hay correlación entre features (características)?

• En problemas de NLP (Natural Lenguaje Program) es frecuente que existan categorías repetidas o mal tipiadas, o con mayúsculas/minúsculas, singular y plural, por ejemplo “Abogado” y “Abogadas”, “avogado” pertenecerían todos a un mismo conjunto.

• ¿Estamos ante un problema dependiente del tiempo? Es decir, un TimeSeries.

• Si fuera un problema de Visión Artificial: ¿Tenemos suficientes muestras de cada clase y variedad, para poder hacer generalizar un modelo de Machine Learning?

• ¿Cuáles son los Outliers? (unos pocos datos aislados que difieren drásticamente del resto y “contaminan” ó desvían las distribuciones)

• Podemos eliminarlos? ¿es importante conservarlos?

• son errores de carga o son reales?

• ¿Tenemos posible sesgo de datos? (por ejemplo, perjudicar a clases minoritarias por no incluirlas y que el modelo de ML discrimine)

 Puede ocurrir que tengamos set de datos incompletos y debamos pedir a nuestro cliente/proveedor o interesado que nos brinde mayor información de los campos, que aporte más conocimiento o que corrija campos.

También puede que nos pasen múltiples fuentes de datos, por ejemplo, un csv, un excel y el acceso a una base de datos. Entonces tendremos que hacer un paso previo de unificación de datos.

¿Qué sacamos del EDA?

El EDA será entonces una primera aproximación a los datos, Atención, si estamos más o menos bien preparados y suponiendo una muestra de datos “suficiente”, puede que en “unas horas” tengamos ya varias conclusiones como, por ejemplo:

• Esto que quiere hacer el cliente con estos datos es una locura imposible! (esto ocurre la mayoría de las veces)

• No tenemos datos suficientes o son de muy mala calidad, pedir más al cliente.

• Un modelo de tipo Árbol es lo más recomendado usar

• (¡reemplazar Árbol, por el tipo de modelo que hayamos descubierto como mejor opción!)

• No hace falta usar Machine Learning para resolver lo que pide el cliente. (¡Esto es muy importante!)

• Es todo tan aleatorio que no habrá manera de detectar patrones

• Hay datos suficientes y de buena calidad como para seguir a la próxima etapa.

A estas alturas podemos saber si nos están pidiendo algo viable ó si necesitamos más datos para comenzar.

Repito por si no quedó claro: el EDA debe tomar horas, ó puede que un día, pero la idea es poder sacar algunas conclusiones rápidas para contestar al cliente si podemos seguir o no con su propuesta.

Luego del EDA, suponiendo que seguimos adelante podemos tomarnos más tiempo y analizar en mayor detalle los datos y avanzar a nuevas etapas para aplicar modelos de Machine Learning.

 Técnicas para EDA

¿Qué herramientas tenemos hoy en día? La verdad es que como cada conjunto de datos suele ser único, el EDA se hace bastante “a mano”, pero podemos seguir diversos pasos ordenados para intentar acercarnos a ese objetivo que nos pasa el cliente en pocas horas.

A nivel programación y como venimos utilizando Python, encontramos a la conocida librería Pandas, que nos ayudará a manipular datos, leer y transformarlos.

Finalmente podemos decir que nuestra Intuición -basada en Experiencia previa, no en corazonadas- y nuestro conocimiento de casos similares también nos pueden aportar pistas para saber si estamos ante datos de buena calidad. Por ejemplo, si alguien quiere hacer reconocimiento de imágenes de tornillos y tiene 25 imágenes y con muy mala resolución podremos decir que no tenemos muestras suficientes -dado nuestro conocimiento previo de este campo.

 Autor: Ignacio Manuel Fernandez - Business Analyst Prisma Medios de Pago