Outras áreas de dados já possuem comunidades para processamento
Uma das principais tendências atuais é a operação de dados. Desde 2015, as empresas começaram a olhar para o desenvolvimento ágil para criar novos recursos de dados rapidamente. Mais tarde, quando a preparação de dados entrou no mercado, os desenvolvedores de ETL estavam recorrendo a essas ferramentas para carregar dados rapidamente com transparência.
Hoje, já se executam análises avançadas (também conhecidas como aprendizado de máquina) em tempo real, e há muita conversa sobre o desafio de mover e atualizar modelos de análise de ambientes de laboratório para configurações de produção. A tendência, segundo Michele Goetz, analista da Forrester, é esse movimento ganhar força.
Fornecedores como DataKitchen, DataRobot e Metis Machine são alguns dos serviços que oferecem recursos para suportar as necessidades de operações de dados. E há, ainda, comunidades de plataforma de dados, como a Informatica e Talend, ou as bancadas de ciência de dados, como CognitiveScale, que ajudam na engenharia e instrumentação de pipelines de dados e implementações/atualizações de modelos, sendo o objetivo um método para empurrar modelos para produção.
Além disso, existem as bancadas de trabalho e as plataformas de teste de DevOps. Mas existe um mercado para a bancada de operações de dados? Ou os engenheiros de dados são mais predominantes e equipados com as habilidades e engenhosidade para ajudar mais rapidamente a mover os modelos para a produção – usando as ferramentas, a codificação ou ambos para apenas executá-los?
