Uno de los principales puntos de fricci¨®n para data scientists, en su flujo de trabajo, es ubicar los datos que necesitan, darles sentido y evaluar si es confiable usarlos. Esto sigue siendo un desaf¨ªo debido a la falta de metadatos sobre las fuentes de datos disponibles y la falta de funcionalidad adecuada y necesaria para buscar y localizar datos. Alentamos a los equipos que est¨¢n proporcionando conjuntos de datos anal¨ªticos o construyendo plataformas de datos para que el descubrimiento de datos sea una funci¨®n de primera clase en sus entornos; para proporcionar la capacidad de localizar f¨¢cilmente los datos disponibles, detectar su calidad, comprender su estructura, linaje y tener acceso a ellos. Tradicionalmente, esta funci¨®n ha sido proporcionada por soluciones de catalogaci¨®n de datos inflados. En los ¨²ltimos a?os, hemos visto el crecimiento de proyectos de c¨®digo abierto que est¨¢n mejorando las experiencias de las/os desarrolladoras/es, tanto para proveedores de datos como para consumidores de datos, para hacer una cosa realmente bien: hacer que los datos sean reconocibles. de Lyft, y de LinkedIn est¨¢n entre estas herramientas. Lo que nos gusta ver es un cambio en el comportamiento de los proveedores para compartir intencionalmente los metadatos que ayudan a la capacidad de descubrimiento en favor de las herramientas de descubrimiento que infieren informaci¨®n de metadatos parcial de silos de bases en datos de aplicaciones.
