4 fundamentos da análise de dados para a Transformação Digital

Muitas organizações estruturam equipes de Ciência de Dados apartadas das áreas de negócio, e até mesmo da TI. Essas equipes concentram-se na coleta, limpeza e consulta de dados não estruturados, mas raramente tocam dados de sistemas de processamento de transações e processos de negócios corporativos. Mas, em breve, esses cientistas e analistas mantidos em laboratórios de análise de dados poderão se tornar coisa do passado, graças à Transformação Digital.

As empresas estão digitalizando virtualmente tudo – de renderizações digitais de documentos e fotos em papel a vídeos, arquivos CAD, feeds de mídia social e gravações de voz –  criando vastos repositórios de dados inexplorados e não estruturados.

À medida que as organizações investem na conversão e no armazenamento de todos esses dados em formatos digitais, também esperam pelo retorno de todo esse investimento. Minimamente, querem analisar esses dados em busca de informações e insights que possam ajudar seus negócios.

Digamos que você esteja olhando para os padrões de compra do principal cliente. Hoje você pode dar uma olhada nos registros do sistema CRM sobre quantas vezes seus vendedores o contataram e quais foram os resultados. Seu departamento de marketing pode querer comparar quando esse cliente fez compras com o tempo das campanhas de produto que a empresa promoveu nas mídias sociais. Se houver uma interrupção no padrão de compra do cliente, seus departamentos de vendas e atendimento ao cliente também podem querer fazer a análise de sentimentos da última chamada do cliente sobre a garantia do produto ou problema de serviço.

O pensamento dos CIOs e dos líderes de TI é claro: dados não estruturados de fontes como gravações de voz recém-digitalizadas e conteúdo de mídia social devem ser usados ​​em conjunto com dados transacionais de sistemas como CRM, se você quiser ter uma visão completa da situação de um determinado cliente e  agir.

Mas com a Transformação Digital a todo vapor, agora há novas pressões de mercado para realizar essas integrações mais rapidamente e com maior precisão.

A seguir estão os 4 requisitos mínimos que permitirão a visão completa do cliente exigida pela Transformação Digital.

1 – Integração de sistemas e trocas de dados
A integração de sistemas e os custos, tempo e complexidade associados continuam a desafiar as empresas. Esse processo tornou-se mais complexo com a digitalização e a adoção de arquiteturas de TI híbridas que agora exigem que a TI integre diferentes plataformas de nuvem a seus sistemas internos. Dados não estruturados da Web e de outras fontes, como sistemas CAD, não estão em um formato de registro fixo, o que aumenta a complexidade, porque agora existem muitos outros tipos e fontes de dados que devem ser anexados ao mix. Além disso, nem todos os dados digitais recebidos são fáceis de acessar ou integrar. Os provedores de equipamentos de IoT, por exemplo, podem empregar protocolos de comunicação exclusivos e proprietários que dificultam a troca de fluxos de dados e arquivos.

As empresas nunca conseguirão usar os dados da digitalização se esperarem que a TI realize manualmente a integração de dados. Embora exista um local para fazer algumas integrações de sistemas “à mão”, também existem ferramentas no mercado que podem funcionar com muitas interfaces de sistema diferentes e até mesmo interagir com os protocolos de comunicação incomuns encontrados na IoT.

A próxima etapa é encontrar uma ferramenta que atenda às necessidades específicas da empresa. ”Precisávamos de um sistema de fluxo de trabalho interno que pudesse funcionar com sistemas de back-end da TI”, disse o diretor de planejamento de TI de um fabricante de equipamentos médicos. “A primeira ferramenta que utilizamos fez parte da integração, mas ainda precisávamos processar XML. Decidimos pesquisar mais ferramentas e descobrimos uma que não só suporta mapeamento de arquivos XML, mas também e-mail e saída HTML. A ferramenta também tinha uma interface de usuário que nos permitia usá-la em uma ampla variedade de aplicativos. O software nos permitiu integrar nosso fluxo de trabalho de fabricação com nossa equipe de garantia de qualidade e desempenho.”

2 – Repositórios de dados centralizados
Para obter uma imagem completa do cliente, o conteúdo digital não estruturado e o sistema de dados de registro devem ser reunidos em um data warehouse ou em um repositório de dados maior que sirva aos sistemas de análise.

Por exemplo, quando um atacadista queria entender e atender melhor seus clientes, certificando-se de que dados de diversos sistemas, incluindo um sistema CRM baseado em nuvem, um sistema ERP e serviços da Web passando dados não estruturados, pudessem trabalhar juntos e contribuir com dados, a integração de todos em um data warehouse foi a chave.

“Para manter todos os sistemas atualizados, precisamos minimizar o impacto em outros sistemas devido a mudanças funcionais por sistemas fracamente acoplados. Por isso, decidimos eliminar a estrutura de sistemas peer-to-peer e integrar dados e sistemas em uma estrutura centralizada usando uma EAI/ETL”, disse o gerente sênior do Information Strategy Office da fabricante.

Há dois tópicos para os gerentes de TI nessa abordagem. A primeira é buscar a automação orientada por software para extrair, transformar e transferir dados não estruturados acumulados da digitalização. A segunda é revisitar a arquitetura de TI e os fluxos de trabalho para determinar a maneira mais eficiente de transportar dados de diferentes locais de armazenamento antes que eles encontrem seu local de descanso final em um data warehouse ou repositório central de dados que os usuários acessem para análise.

3 – Qualidade dos dados
A má qualidade dos dados custa muito às empresas. Katie Horvath, CEO da Naveego, fez referência a uma recente pesquisa da IBM com empresas da lista Fortune 1000. A pesquisa concluiu que foram necessários US$ 10 por registro para corrigir dados. Já o uso do dado chegar a custar até US$ 100 por registro caso sejam tomadas decisões erradas,  baseadas em dados ruins. “As organizações não entendem o quão grande é o problema de saúde dos dados”, disse Horvath.

Muitas organizações ingerem grandes volumes de dados sem limpá-los. E a proliferação de novos tipos de dados não estruturados adiciona combustível ao fogo. Esse dilema pode ser evitado pelo desenvolvimento de um plano e uma metodologia que garantam a qualidade dos dados.

A retenção de dados deve ser abordada ou revisitada, não apenas para dados transacionais, mas também para os volumes de dados não estruturados provenientes da Internet, da IoT e de outras fontes de dados. Quais dados permanecem e quais devem ser descartados ou movidos para um arquivo morto porque nunca ou raramente serão acessados? A resposta a essa pergunta deve ser abordado nas políticas de informações corporativas.

“A limpeza de dados é um foco importante para muitas empresas”, disse Horvath. “Na indústria de petróleo e gás, vemos empresas limpando seus dados para que possam ser normalizados para uso em um banco de dados central usado para a tomada de decisões. O que eles querem é manter a qualidade dos dados e obter um único ‘registro de ouro’ de dados que possam ser usados de forma consistente em toda a organização – e eliminem o custo da tomada de decisão errônea baseada em dados ruins ”.

4 – Maior colaboração entre o pessoal de Ciências de dados e de TI
Uma pesquisa do Gartner, realizada no final de 2017, informou que “metade dos CDOs se reportava diretamente a um líder de negócios como CEO, COO, CFO, presidente,  conselho e acionistas. Até 2021, o  CDO será visto como uma função de missão crítica comparável às área de TI, operações comerciais, RH e finanças em 75% das grandes empresas ”.

Esta é uma boa notícia à medida que as empresas avançam em seus esforços de digitalização de informações.

No entanto, não é uma boa notícia se a Ciência de Dados e as funções de TI continuarem operando em silos – porque a maioria dos  dados não estruturados precisará ser usada pelos sistemas que gerenciam os dados transacionais. Por isso, as empresas correm o risco de perder seu “ROI” baseado em insights, a menos que sejam capazes de realizar análises em uma mistura de dados transacionais e não transacionais provenientes de uma diversidade de sistemas e fontes. Para que isso aconteça, a TI corporativa (encarregada de dados transacionais) e a área de Ciência de Dados devem trabalhar juntas.

Nick Elprin, CEO e co-fundador do Domino Data Lab, explicou essa necessidade de colaboração em um artigo sobre KDnuggets.

“Uma grande companhia de seguros tinha dezenas de cientistas trabalhando de forma descoordenada nos mesmos problemas de negócios – levando a investimentos perdidos e oportunidades perdidas ”, disse Elprin. “Há uma diferença entre ter uma coleção de indivíduos que criam modelos e ter uma equipe dinâmica capaz de alavancar seu conhecimento coletivo, habilidades e trabalho para construir, de forma colaborativa, modelos melhores.”

A vantagem dos CIOs e tomadores de decisões de TI é que os grupos de Ciência de Dados e de TI, juntamente com os usuários finais, precisam trabalhar juntos para obter o melhor de todos os dados.

“Ter cientistas de dados em uma equipe separada torna quase impossível que seu trabalho seja adequadamente integrado ao resto da empresa”,escreveu Rachel Thomas, fundadora da fast.ai, uma empresa de inteligência artificial. “As equipes de produtos verticais precisam saber o que é possível e como utilizar melhor a Ciência de Dados”.