Em 1819, uma mensagem levaria 27 dias para fazer a travessia do Oceano Atlântico a bordo do navio a vapor SS Savannah. Exatamente um século depois, esse mesmo trajeto poderia ser feito em apenas três dias, embarcando no primeiro voo transatlântico direto. Mais um século passou e já estamos conectados ao mundo todo em tempo real. Estamos lidando com mais de dois bilhões de usuários de redes sociais e smartphones ao redor do mundo – e todos eles gerando valiosos dados.
No campo da ciência, um dos maiores telescópios em operação desde 2000 – o SDSS (Sloan Digital Sky Survey), gerou 150 terabytes de dados ao longo de 15 anos de operação. Todos esses dados foram pré-processados e disponibilizados para consulta da comunidade científica, contribuindo com conhecimento para mais de 5800 artigos científicos e cerca de 250 mil citações.
E vai além – um novo telescópio está sendo construído no Chile e deve ficar operacional em 2019. O LSST (Large Synoptic Survey Telescope) produzirá um total de 40 terabytes ao dia. Ou seja, em apenas quatro dias será gerada a mesma quantidade de dados de toda a vida útil do SDSS.
Diversos outros setores, como de Telecom, Saúde, Serviços Públicos e Transportes, por exemplo, também têm sofrido transformações disruptivas no modo de lidar com essa explosão de dados. Na indústria automobilística, um número significativo de carros conectados já circula nas ruas, e deve somar 150 milhões de carros ligados à Internet das Coisas até 2020.
Na aviação, um Boeing 787 Dreamliner, fabricado pela primeira vez em 2007, produz aproximadamente um terabyte de informações por voo. Algumas companhias aéreas já estão colocando sistemas de streaming de dados a bordo de modelos como o próprio 787, tornando a caixa preta, hoje imprescindível, em um acessório de necessidade questionável.
Então imagine que, quando consideramos a previsão de mais de 50 bilhões de dispositivos conectados à Internet das Coisas até 2020, estamos tratando de um volume de dados de dezenas de milhares de petabytes por dia. É algo tão massivo que, até o momento da informação ser armazenada e processada por métodos tradicionais, ela corre o risco de se tornar irrelevante diante da velocidade exigida nos negócios.
Com o propósito de solucionar essa previsão apocalíptica do mundo de Big Data, tecnologias de CEP (Complex Event Processing) foram desenvolvidas para analisar os dados em tempo real, enquanto fluem e antes de serem escritos em disco. Isso torna possível descartar aqueles sem valor para os objetivos das empresas e, sobretudo, não interferir no fluxo dessas informações.
Além disso, surgiram plataformas de código aberto para receber, distribuir e processar grandes massas de dados, utilizando servidores simples e de custo reduzido, como o Hadoop. Por ser open source, a comunidade de desenvolvedores pode evoluir a tecnologia em paralelo a diferentes fins e necessidades do mercado, com uma agilidade impressionante, além de escalar a um número enorme de tarefas simultâneas.
Apesar do avanço no desenvolvimento e adoção de ferramentas cada vez mais poderosas de CEP, as empresas precisarão compreender a necessidade de mergulhar, sem hesitação, na cultura de dados em tempo real – ou perder para um volume de dados que praticamente dobra a cada dois anos.
Com esse novo paradigma dos moldes de Big Data, no qual o volume de dados é tão surpreendente quanto as velocidades exigidas para seu processamento e análise, a realidade dos times de TI caminha entre o tempo real e o futuro. É muito impressionante o quanto já evoluímos desde a viagem histórica do SS Savannah, 200 anos atrás, mas, talvez, as mudanças que precisaremos passar para tirar grande proveito da próxima década conectada sejam ainda maiores. É preciso lidar com a realidade de dados em peso, medida e, principalmente, velocidade em um novo patamar.
*Marlos Bosso é consultor de pré-vendas do SAS Brasil.
