5-Suporte Tecnológico

Q5 - Quando da análise de grandes volumes de dados, o que esta tarefa implica em termos de suporte tecnológico e, consequentemente, em termos de custos? 

Resposta à pergunta

Big Data se tornou viável combinando grandes volumes de dados associados ao baixo custo das tecnologias de hardware, software e computação de nuvem e a necessidade das empresas gerarem novos conhecimentos sobre os dados

Para uma aplicação ser considerada de Big Data é preciso que esteja de acordo com os V’s do Big Data.

Os cinco V’s são Volume, Velocidade, Variedade, Veracidade e Valor. 

Significando que uma aplicação de Big Data deve ter um grande volume de diferentes tipos de dados, dados reais e verdadeiros processados em altíssima velocidade e que gerem valor ao negócio.

1 - Volume de Dados

As primeiras aplicações de Big Data surgiram nas grandes empresas de tecnologia do Vale do Silício como a Yahoo, LinkedIn, Google e Facebook que precisavam lidar com dados na casa dos TB (TeraBytes), PB (PetaBytes) e EB (ExaBytes).

Um Byte é igual a um caractere e a palavra “Portugal” tem 8 Bytes de tamanho.

O armazenamento em computadores e telemóveis tem sido medido em KB (KiloBytes), MB (MegaBytes) e GB (GigaBytes).

Em seguida na escala temos os TB (TeraBytes), PB (PetaBytes), EB (ExaBytes) e ZB (ZettaBytes) onde acontecem as aplicações de Big Data.

Bytes são medidos na base 2 que é o sistema binários dos computadores, mas no sistema decimal as medidas seguem o ritmo dos conhecidos mil, milhões, bilhões, trilhões, quatriliões, quintiliões de caracteres ou Bytes.

A Google gera mais de 100 PetaBytes de dados por dia sendo que 1 PetaByte equivale a 2ˆ50 na base binária ou 10ˆ15 na base decimal.

Até 2007 a humanidade gerou 300 ExaBytes de dados que equivale a 300x(2ˆ60). Hoje excedemos a casa dos 10.000 ExaBytes, e estima-se que estamos subindo para 50.000 EB ou 50 ZetaBytes igual a 50X(2ˆ70).

São medidas astronómicas no tratamento de informações.

2 - Tecnologias de Big Data

O objetivo de Big Data é obter insights para a tomada de decisões que implicam em capturar e armazenar dados, analisá-los para entender tendências, descobrir padrões, detetar anomalias e buscar uma explicação para o problema que está sendo analisado.

Para isso Big Data requer tecnologias inovadoras, processamento paralelo, computação distribuída, escalabilidade, algoritmos de aprendizagem, consultas em tempo real, sistemas de arquivos distribuídos, clusters de computadores, armazenamento em nuvem, suporte para variedade de dados, além de equipes técnicas especialistas.

Inicialmente Big Data só podia ser feito em grandes empresas que investiam em pesquisa e cujo negócio estava diretamente relacionado à manipulação de dados.

Estas empresas se tornaram “data-driven” ou orientadas para dados, estando seu negócio e o desenvolvimento de novos produtos diretamente relacionados à análise de dados em grande quantidade e geração de insights.

3 - Popularização e diminuição dos custos

Big Data está se popularizando e os custos diminuindo graças ao desenvolvimento das tecnologias de nuvem, de software como Hadoop e Machine Learning (Aprendizado de Máquina), de Hardware como as memórias SSDs para armazenamento de dados e as GPUs (unidades de processamento gráfico) que aceleraram as aplicações de Big Data.

4 - Conclusões desta pergunta

Em termos de suporte tecnológico hoje é possível que pequenas e médias empresas entrem neste segmento buscando desenvolver novas aplicações para os seus negócios.

Em termos de custo é preciso avaliar o tipo de aplicação, dimensionar os custos de computação de nuvem, investimentos gerais em software e hardware e da equipa que vai desenvolver o projeto de Big Data.

Cada projeto tem um custo em função da quantidade de recursos de hardware, software e pessoal a ser utilizado.

A tendência é que os custos continuem a diminuir à medida que as tecnologias de hardware e software se tornem mais acessíveis e as aplicações de Big Data mais comuns popularizando seu desenvolvimento.