No dia 13/12/17 eu participei de um evento on-line muito bacana, o DevWeek 2017 que foi organizado pela comunidade Canal .Net.
Se você quiser ver as apresentações elas estão disponíveis no canal do evento. A minha apresentação foi a primeira e o título era "Você conhece DataOps?" (A apresentação que eu usei está disponível aqui no blog).
Durante a apresentação o Wellington Hayner me perguntou se eu tinha uma sugestão sobre quais as informações indispensáveis para documentar os metadados. E assim surgiu a ideia de fazer este mini post (eu disse que vou elaborar um material sobre esse assunto, mas como odeio esperar, não ou sacanear o Wellington e fazê-lo esperar até eu concluir um estudo sobre este item, que eu adoro!).
Documentação de Metadados? Eu preciso disso?
E eu te respondo com algumas outras perguntas:
- Como você administra e gerencia aquilo que não conhece?
- Como você determina as regras de acesso para um atributo que você não sabe a origem, e desconhece as regras do seu preenchimento?
- Como você vai adquirir qualquer vantagem competitiva utilizando dados que você nem conhece?
- Como você pode afirmar que seus dados possuem qualidade?
Sim amigos, sem documentar corretamente os metadados não podemos afirmar que os dados possuem qualidade.
Em 1999 Larry English definiu qualidade de dados como a união de três aspectos indispensáveis: apresentação, valor e definição.
Apresentação
Os dados devem ser compreensíveis para aqueles que fazem uso dele. Por exemplo, devem estar no idioma correto.
Valor
Os valores dos dados devem estar corretos, ou seja, eles devem estar aptos para o uso. Mas como avaliar?
Qualidade de dados é um conceito multidimensional, o que implica na avaliação utilizando as dimensões de qualidade, ou seja, o valor do dado está correto se os valores obedecem às regras de qualidade relacionadas a acurácia, completude, precisão, atualidade e etc…
Definição
Para os desenvolvedores, tenho a impressão, de que esta é a pior parte, porque definir os metadados implica em trocar o tempo de codificação pelo tempo de documentação. Código entrega valor e documentação aparentemente não. Mas sem a definição correta dos metadados não existe governança de dados!
A documentação dos metadados
Um aspecto importante é o ferramental necessário para documentar metadados. Não é necessário adquirir ferramentas extremamente caras, talvez você consiga estruturar toda a informação necessária em um banco de dados, em uma planilha… Enfim documente e disponibilize! E não se preocupe tanto com a ferramenta.
Suponho que você possui um modelo de dados e sobre ele você precisa documentar:
- O nome e e-mail do responsável pelos dados modelados;
- Sistemas que fornecem e consomem os dados modelados;
No caso das Tabelas documente:
- Nome lógico;
- Nome físico;
- Definição;
- Período para expurgo;
- Tipo de carga (arquivo, script de carga, tela);
- Tipo de conteúdo da tabela (dados transacionais, auxiliares, log, históricos, fato, dimensão);
No caso dos atributos documente:
- Nome lógico do atributo;
- Nome físico;
- Definição;
- Tipo lógico e físico;
- Restrições;
- Origem;
- Criticidade para o processo de negócio (alta, média, baixa);
- Transformações realizadas;
- Nível de segurança requerido.
- Classificação (dado sem manipulação, dado transformado, dado validado, dado refinado)
Conclusão
A minha ideia aqui não é esgotar o assunto em torno da gestão de metadados, nem dizer que “trago verdades absolutas”. Esta é uma sugestão, baseada na minha experiência, sobre as informações importantes para documentar os metadados.
Entendam que documentação dos metadados não é uma tarefa que existe só para dar emprego para o AD, é uma das tarefas (existem outras pessoal!) que impedem que os dados arruínem a sua empresa.
Adoro este assunto, e quem estiver com alguma dúvida, e quiser conversar sobre é só me procurar no Twitter, ou no facebook, ou comentando este post, ou no formulário de contato. Não se preocupe… Eu sempre respondo (mesmo que seja para avisar que estou pesquisando).
Observação: O assunto continuará em posts futuros! Aguardem...