A ¨¦ uma abordagem organizacional e t¨¦cnica descentralizada de compartilhamento, acesso e gerenciamento de dados para an¨¢lise e ML. Seu objetivo ¨¦ criar uma abordagem ²õ´Ç³¦¾±´Ç³Ù¨¦³¦²Ô¾±³¦²¹ que expanda a obten??o de valor dos dados ¨¤ medida que a complexidade da organiza??o cresce e ¨¤ medida que os casos de uso de dados se multiplicam e as fontes de dados se diversificam. Essencialmente, a abordagem cria um modelo de compartilhamento de dados °ù±ð²õ±è´Ç²Ô²õ¨¢±¹±ð±ô que acompanha o crescimento organizacional e mudan?a cont¨ªnua. Em nossa experi¨ºncia, o interesse na aplica??o de malha de dados cresceu imensamente, inspirando muitas organiza??es a adot¨¢-la e muitas fornecedoras de tecnologia a repensar suas ofertas existentes para incluir uma implanta??o de malha. Apesar do interesse e da experi¨ºncia crescente em malha de dados, suas implementa??es enfrentam alto custo de integra??o. Al¨¦m disso, sua ado??o permanece limitada a determinadas partes de grandes organiza??es, e fornecedoras de tecnologia est?o desviando a aten??o das organiza??es em rela??o aos aspectos sociais inegoci¨¢veis da malha de dados ¨C descentraliza??o de dados e um modelo operacional de governan?a federada.
Essas ideias s?o exploradas no livro , que orienta profissionais de arquitetura, lideran?as t¨¦cnicas e respons¨¢veis pela tomada de decis?es em suas jornadas de transi??o da arquitetura tradicional de big data para a malha de dados. O material fornece uma introdu??o completa aos princ¨ªpios da malha de dados e suas constituintes e aborda como projetar uma arquitetura de malha de dados, como orientar e executar uma estrat¨¦gia de malha de dados e como navegar pelo design organizacional em um modelo de propriedade de dados descentralizado. O objetivo do livro ¨¦ criar um novo framework para conversas mais profundas e levar a malha de dados ao pr¨®ximo est¨¢gio de maturidade.
Cada vez mais, observamos uma incompatibilidade entre o que as organiza??es orientadas por dados desejam alcan?ar e o que as atuais arquiteturas de dados e estruturas organizacionais permitem. As organiza??es desejam incorporar tomada de decis?o baseada em dados, aprendizado de m¨¢quina e an¨¢lise de dados em muitos aspectos de seus produtos e servi?os e opera??es internas, essencialmente, buscando aumentar cada aspecto de seu cen¨¢rio operacional com intelig¨ºncia orientada por dados. No entanto, ainda temos um longo caminho a percorrer antes de incorporar dados anal¨ªticos, incluindo defini??es de acesso e gerenciamento, nos dom¨ªnios e opera??es de neg¨®cios. Hoje, todos os aspectos do gerenciamento de dados anal¨ªticos s?o mantidos fora dos dom¨ªnios operacionais de neg¨®cio, com a equipe de dados e os mon¨®litos de gerenciamento de dados: data lakes e data warehouses. Data mesh (ou ) ¨¦ uma abordagem ²õ´Ç³¦¾±´Ç³Ù¨¦³¦²Ô¾±³¦²¹ descentralizada para remover a dicotomia entre dados anal¨ªticos e opera??o de neg¨®cio. Seu objetivo ¨¦ incorporar o compartilhamento e o uso de dados anal¨ªticos em cada dom¨ªnio operacional do neg¨®cio e fechar a lacuna entre os planos operacional e anal¨ªtico. ? baseada em quatro princ¨ªpios: propriedade de dados por dom¨ªnio, dados como produto, plataforma de dados self-service e governan?a computacional federada.
Nossos times t¨ºm implementado a , criando novas abstra??es arquiteturais, como quantum de produto de dados para encapsular c¨®digo, dados e pol¨ªtica como uma unidade aut?noma de compartilhamento de dados anal¨ªticos incorporado em dom¨ªnios operacionais. Nossos times tamb¨¦m vem criando recursos de plataforma de dados self-service para gerenciar o ciclo de vida dos quanta de produtos de dados de maneira declarativa, conforme descrito no livro . Apesar de nossos avan?os t¨¦cnicos, ainda estamos enfrentando atritos com o uso de tecnologias existentes em uma topologia de malha de dados, sem mencionar a resist¨ºncia dos dom¨ªnios de neg¨®cio em abra?ar o compartilhamento e o uso de dados como uma responsabilidade de primeira classe em algumas organiza??es.
A marca uma mudan?a bem-vinda de paradigma arquitetural e organizacional na forma como gerenciamos grandes dados anal¨ªticos. O paradigma ¨¦ baseado em quatro princ¨ªpios: (1) descentraliza??o orientada a dom¨ªnio da propriedade e da arquitetura de dados; (2) dados orientados a dom¨ªnio e servidos como produto; (3) infraestrutura de dados de autoatendimento como uma plataforma para habilitar times aut?nomos de dados orientados a dom¨ªnio; (4) governan?a federada para habilitar ecossistemas e interoperabilidade. Embora os princ¨ªpios sejam intuitivos e tentem abordar muitos dos desafios conhecidos do gerenciamento centralizado de dados anal¨ªticos anterior, eles transcendem as tecnologias de dados anal¨ªticos dispon¨ªveis. Depois de construir a malha de dados para uma variedade de clientes em cima de ferramentas existentes, aprendemos duas coisas: (a) faltam ferramentas de c¨®digo aberto ou comerciais para a acelera??o da implementa??o da malha de dados (por exemplo, uma ferramenta para implementa??o de um modelo de acesso universal para dados poliglotas baseados em tempo, o que atualmente criamos de forma personalizada para clientes) e (b) apesar da indisponibilidade de ferramentas, ¨¦ poss¨ªvel usar tecnologias existentes como blocos de constru??o b¨¢sicos.
Naturalmente, a adapta??o da tecnologia ¨¦ um componente importante da implementa??o de uma estrat¨¦gia de dados com base na malha de dados em sua organiza??o. O sucesso, no entanto, exige uma reestrutura??o organizacional para separar o time de plataforma de dados, a cria??o da fun??o de product owner de dados para cada dom¨ªnio e a introdu??o das estruturas de incentivo necess¨¢rias para que os dom¨ªnios tenham propriedade e compartilhem seus dados anal¨ªticos como produtos.
A ¨¦ um paradigma arquitetural e organizacional que desafia a antiga suposi??o de que devemos centralizar grandes volumes de dados anal¨ªticos para us¨¢-los, manter todos os dados em um s¨® lugar ou gerenci¨¢-los por meio de um time de dados centralizado para entregar valor. A no??o de malha de dados afirma que, para que o big data incentive a inova??o, sua propriedade deve ser compartilhada entre as partes propriet¨¢rias dos dados do dom¨ªnio respons¨¢veis pelo fornecimento de dados como produtos (com o suporte de uma plataforma de dados de autoatendimento para abstrair a complexidade t¨¦cnica envolvida no fornecimento de produtos de dados). Tamb¨¦m deve-se adotar uma nova forma de governan?a compartilhada por meio da automa??o, para permitir a interoperabilidade de produtos de dados orientados ao dom¨ªnio. A descentraliza??o, juntamente com a interoperabilidade e o foco na experi¨ºncia de quem consome os dados, s?o essenciais para a democratiza??o da inova??o no uso de dados.
A ¨¦ um paradigma arquitet?nico que destrava dados anal¨ªticos em escala, rapidamente desbloqueando o acesso a um n¨²mero cada vez maior de conjuntos de dados de dom¨ªnio distribu¨ªdo, para uma prolifera??o de cen¨¢rios de uso, tais como aprendizado de m¨¢quina, analytics ou aplica??es com uso intensivo de dados em toda a organiza??o. A malha de dados aborda os modos que comumente falham no tradicional e centralizado ou na arquitetura de plataforma de dados, com uma mudan?a do paradigma centralizado de um lago ou seu predecessor, o armaz¨¦m de dados. A malha de dados muda para um paradigma baseado na arquitetura moderna distribu¨ªda: considerar dom¨ªnios como a principal preocupa??o, usando mentalidade de plataformas para criar uma infraestrutura de dados de autosservi?o, tratando dados como um produto e implementando a padroniza??o padr?o para permitir um ecossistema de produtos de dados distribu¨ªdos interoper¨¢veis.
