Armazenamento dos dados e responsabilidade

O terceiro texto da série traz algumas dicas para escolher o tipo de armazenamento dos dados e a responsabilidade por eles.

O Armazenamento dos Dados

“Existe uma série de opções para armazenar os dados, desde super baratos, como arquivos de texto e planilhas Excel, até as soluções de banco de dados de prateleira, ultra caras, baseadas em nuvem. Não existe uma solução única que atenda todas as empresas. Quando pensamos sobre como armazenar os dados, a companhia deve considerar o seguinte:

• O quão fácil é para as pessoas que gerenciam o banco de dados entendê-lo e utilizá-lo? Eu preciso de um expert em SQL Server? Também preciso de administrador de banco de dados?
• O banco de dados me ajudará com funcionalidades para aplicar relacionamentos, permitir o uso de validação através de códigos, regras e listas de referência?
• O banco de dados me permite armazenar logs de transações?
• Qual é a segurança que o banco de dados provê?
• O quão fácil é, inadvertidamente, alterar o dado quando pessoas estão usando o banco, ou através de conexões de um pacote de GIS, ou de Mineração, que permita atualizações/edições?
• O quão fácil é para os arquivos se corromperem?
• É fácil para os auditores acharem os dados e saber que eles estão em uma versão boa e atual?
• A estrutura de tabela flat vai me permitir fazer o que eu preciso, remover edições (atualizações) e apagar os erros, ou preciso de um banco de dados totalmente normalizado?
• Existe um sistema de backup do banco de dados ou precisamos de um terceiro aplicativo para fazer isto?
• Existe uma maneira de congelar o dado ou a versão?
• As pessoas de fora olharão para nosso sistema e pensarão “que bagunça” ou que nossa companhia tem uma organizada solução de dados?
• O sistema facilita nossos geólogos acessarem seus dados e usá-los como necessitam?

É preciso confiar no armazenamento de dados

Inacreditável quantas vezes eu escutei da gerência “oh, nós não acreditamos em nosso banco de dados ou em nosso dado e culpamos o ‘banco de dados’”. Existe uma crença que mudando o banco de dados, irá mudar a situação. Em quase todos os casos que eu ouvi isto, o banco de dados não era o problema. Na verdade, em um site, eles queriam construir 2 bancos de dados customizados e 3 bancos de dados específicos de mineração antes de reverter para um novo sistema customizado, e todas as vezes era o banco de dados o ‘problema’. Minha opinião profissional é que era um problema cultural de gerenciamento e que se filtrou para a equipe, e o fato de que nenhuma pessoa, em um período de 5 anos, já havia se apropriado ou cuidado dos dados.

Qualquer um dos bancos de dados que eles pagaram teria sido suficiente para suas necessidades. A gerência teve a ideia correta para o armazenamento dos dados, mas negligenciou ao colocar ninguém na posição de proprietário dos dados. Foi um caso sério de “nosso banco de dados resolverá todos os nossos problemas.” Os bancos de dados não resolvem problemas de dados. As pessoas resolvem, e eles usam bancos de dados como ferramenta para esse objetivo. Como qualquer ferramenta, nem todas são iguais e algumas delas são mais eficazes do que outras.

Propriedade de dados

Ao longo dos anos, descobri que fazer com que as pessoas sintam que têm propriedade sobre os dados ou responsabilidade por eles. Elas mudam suas atitudes para se certificarem de que os dados estão corretos e com que precisão eles entram no banco. Técnicos que dão carga nos dados até geólogos sêniores responsáveis por um projeto ou pessoa competente ou qualificada que, em última instância, assumem a responsabilidade pelos dados. Por vezes, em relatórios de consultores, vejo: “dados fornecidos como estão, não nos responsabilizamos pelos dados”, ou algo assim.

Para mim, é uma total falta de responsabilidade. Se alguém estiver assinando como CP ou QP, eles precisam se dedicar a conhecer os dados e a qualidade dos dados, pois isso informa a classificação. É um dos meus pesadelos. Porém, algumas vezes, existem razões para isso, que a empresa contrata o consultor apenas para fazer a estimativa de recursos, neste caso, alguém da empresa precisa assumir a propriedade conjunta da assinatura de CP/QP, mas, em última análise, uma pessoa precisa suportar a muito menos do que assina, que inclui a responsabilidade pelos dados. Eles precisam se sentir confortáveis com os dados, e que são adequados para o que se propõem, bem como válidos e verificados.

Importância da conexão indivíduo x dados

Um sistema de assinatura física ou digital (ou ambas) faz com que toda a cadeia de processos e todos os envolvidos sejam comprometidos a garantir que sua parte seja feita corretamente e bem. Todos nós hesitamos quando nos pedem para assinar algum documento, pois têm consequências tangíveis e intangíveis quando colocamos nosso nome em algo. Isto significa dizer que, um usuário que se contentasse simplesmente em digitar um número em um campo qualquer ou selecionar uma opção de de uma lista suspensa, agora estaria mais cauteloso e prestando atenção no que está fazendo. Espera-se ainda que o usuário verifique o que foi feito antes de finalizar o processo.

Um sistema de assinaturas também mostra o QP/CP existentes e um processo local, e que existe um cuidado com o trabalho. Não é um substituto para o CP ou QP fazer algumas verificações e validações para se satisfazerem, mas é um começo no caminho da integridade dos dados.

Outra coisa a considerar é que, às vezes, as pessoas não se sentem donas dos dados, não os respeitam e não os usam. No passado, vi os bancos de dados se moverem do projeto para o corporativo. Há razões para a migração dos dados para um banco de dados corporativo e isto é bom, mas a equipe usuária muitas vezes fica se sentindo desconectada dos dados e param de sentir que os dados são seus. Eu já vi geólogos pararem de analisarem seus dados em um SIG ou outros sistemas de mineração, pois sentiam que “oh, alguém na sede vai fazer isso agora”.

Proximidade com os dados

Deve haver uma maneira de manter as pessoas do site conectadas aos dados e sentir que ainda possuem a propriedade deles, não somente os geólogos do corporativo ou DBAs. O geólogo do corporativo e DBAs são um serviço de suporte para o geólogo de campo, e essa percepção precisa ser mantida. Boa comunicação, bem como papéis claros sobre quem é responsável pelo o que é importante. O armazenamento corporativo também precisa garantir que os geólogos do site, que são responsáveis pelos dados, tenham sua propriedade e possam exercer essa propriedade.

Não há nada mais cansativo que ouvir “oh, esse erro, eu sei que existe, está lá há 3 meses, nós apenas continuamos alterando nas nossas exportações, é demais para obter os dados alterados. Precisamos preencher isso e aquilo para o DBA do corporativo e, então, pode ser alterado em alguns meses, quando cair esta demanda. – Não vale o meu tempo, é mais fácil continuar alterando depois de exportar os dados”.”

Referências

Scott McManus é geólogo de recursos na Skandus Pty Ltd, e nos autorizou a transcrição do texto.

Fernanda Nishiyama é geóloga especialista em banco de dados geocientíficos e consultora na GEOM3.

Acesse aqui para ler o texto original (em inglês), na íntegra.