Um dos principais pontos de atrito para cientistas de dados e analistas em seu fluxo de trabalho ¨¦ localizar os dados de que precisam, entend¨º-los e avaliar se s?o confi¨¢veis para uso. Isso permanece um desafio devido aos metadados faltantes sobre as fontes de dados dispon¨ªveis e falta de funcionalidade adequada para pesquisar e localizar os dados. Encorajamos times que est?o fornecendo conjuntos de dados anal¨ªticos ou construindo plataformas de dados a tornar a detec??o de dados uma fun??o de primeira classe de seus ambientes, para fornecer a habilidade de localizar facilmente dados dispon¨ªveis, detectar sua qualidade, entender sua estrutura e linhagem e ter acesso a eles. Tradicionalmente, essa fun??o tem sido fornecida por solu??es de cataloga??o de dados inchadas. Nos ¨²ltimos anos, temos visto o crescimento de projetos de c¨®digo aberto que est?o melhorando a experi¨ºncia de desenvolvimento tanto para fornecedores quanto para consumidores de dados para fazer uma coisa muito bem: tornar os dados detect¨¢veis. O , da Lyft, e o , do Linkedin, est?o entre essas ferramentas. O que gostar¨ªamos de ver ¨¦ uma mudan?a no comportamento dos fornecedores para compartilharem intencionalmente os metadados que ajudam na descoberta em favor de ferramentas de detec??o que inferem informa??es de metadados parciais de silos de bases de dados de aplica??es.
