5 custos ocultos ao trabalhar com dados alternativos

Fontes de dados alternativas estão agora incorporadas nos processos de negócios das empresas em vários setores. De acordo com uma pesquisa de 2022 do escritório de advocacia Lowenstein Sandler, 92% das organizações de investimento, de fundos de hedge e private equity a capital de risco, estão usando dados alternativos de forma moderada ou significativa para informar a tomada de decisões. Os entrevistados também esperam que o uso de dados alternativos aumente até 2022. Normalmente, esses dados vêm da exaustão de outros processos de negócios, como atividade de mídia social, imagens de satélite, dados de rastreamento de localização, transações de cartão de crédito e raspagem da web.

Embora os dados alternativos possam ser usados em uma organização, desde marketing e vendas até funções de finanças e estratégia, os departamentos de TI geralmente são responsáveis pelo gerenciamento e propriedade de dados de terceiros. Em 2019, a Forrester Research descobriu que 56% das aquisições de dados alternativos foram gerenciadas por CIOs e CDOs que trabalham na TI.

O fornecimento, armazenamento e gerenciamento de dados alternativos cria novos desafios para os gerentes de TI e pode acarretar custos significativos e desnecessários. Aqui estão 5 desses desafios e como mitigar seu impacto.

Custos de seleção de fornecedores

De acordo com a pesquisa de Lowenstein, os custos de seleção de fornecedores são a preocupação mais importante que os usuários de dados alternativos têm, com 61% dizendo que é uma grande preocupação para eles. Os custos são incorridos por meio do processo demorado de verificar os provedores de dados alternativos e, em seguida, garantir que os dados fornecidos sejam de qualidade suficiente. Isso é particularmente importante quando os dados são um elemento central de qualquer processo de negócios e não são facilmente substituíveis. Nessas situações, é vital que os compradores tenham confiança de que o fornecedor continuará a oferecer esses dados no futuro próximo.

Uma maneira de mitigar esses riscos é procurar consórcios do setor para identificar fontes de dados confiáveis. É provável que outras empresas que operam no mesmo setor tenham necessidades semelhantes e possam compartilhar ideias e melhores práticas.

Encontrar pessoal devidamente qualificado

De acordo com uma pesquisa da Quanthub, havia uma escassez de 250.000 cientistas de dados em 2020. No final de abril de 2022, o site de lista de empregos Indeed.com estava listando 2.700 vagas de cientistas de dados somente no Reino Unido. Essa escassez de profissionais devidamente qualificados está forçando os salários para cima e dificultando a retenção de funcionários. E os cientistas de dados não são a única equipe necessária para integrar dados alternativos em um negócio. A Forrester Research recomenda que as empresas empreguem os serviços de “caçadores de dados” cujo papel é rastrear dados alternativos viáveis e validar essas fontes quanto à precisão e integridade. O provedor de resseguros europeu Munich Re emprega uma equipe de 20 caçadores de dados para esse propósito.

As soluções potenciais para essa escassez de habilidades incluem o treinamento da equipe existente, cujo conhecimento do negócio e de suas necessidades lhes dá uma vantagem sobre as novas contratações. Forjar vínculos com faculdades e universidades que oferecem cursos de ciência de dados e explorar possibilidades de colocação de estudantes e programas de treinamento de pós-graduação é outra maneira de construir um pipeline de habilidades.

Como determinar a propriedade dos dados

A natureza dos dados alternativos e suas origens em fontes não tradicionais podem tornar a validação da propriedade dos dados mais difícil do que com dados fornecidos por fornecedores estabelecidos e confiáveis. Isso é especialmente verdadeiro quando várias fontes de dados foram combinadas antes da compra e onde desvendar suas origens pode ser complexo. Podem surgir dificuldades em torno de licenciamento, leis de propriedade intelectual e regulamentos de proteção de dados.

Os problemas podem ser mitigados por meio da seleção de fornecedores confiáveis que ofereçam aos clientes um grau de transparência em seus métodos de fornecimento de dados. Obviamente, usar dados internos sempre que possível é outra maneira de reduzir o risco.

Atualizar modelos para processar dados alternativos

Manter modelos de dados para garantir consistência e lidar com erros à medida que eles ocorrem é um custo significativo que muitas empresas subestimam. A Idera calcula que a manutenção geralmente responde por 50-80% dos orçamentos de desenvolvimento. Adicionar novas fontes de dados aos modelos também pode adicionar custos significativos a orçamentos apertados.

A modelagem de dados cuidadosa no início e a incorporação de um grau de flexibilidade nos designs de modelo podem facilitar esse processo.

Ferramentas apropriadas para armazenar dados alternativos

Um quarto dos entrevistados da pesquisa da Lowenstein citou a falta de ferramentas e técnicas para armazenar dados alternativos como uma preocupação séria. Parte do problema está na falta de consistência entre diferentes fontes em termos de frequência de atualizações, APIs e formatos de dados. Limpar os dados para garantir que os modelos funcionem sem problemas e produzam resultados consistentes e confiáveis pode ser um custo significativo. As opções cada vez maiores de armazenamento, de sistemas locais a soluções em nuvem e híbridas, e a garantia de que funcionam com eficiência para os requisitos de ingestão de modelos de dados adicionam outra camada de complexidade e custo à equação.

À medida que os dados continuam a fornecer uma fonte de vantagem competitiva para empresas capazes de alavancar seu potencial comercial, os dados alternativos crescerão em importância. É importante entender que, embora muitas fontes de dados alternativos possam custar pouco ou nada para acessar, pode haver outros custos, às vezes substanciais, envolvidos em torná-los adequados à finalidade e integrá-los aos fluxos de trabalho estabelecidos.