Concrete Logo
Hamburger button

Summer School (ou Fall School?) on Big Data – Parte 1

  • Blog
  • 18 de Junho de 2014
Share

Durante dois dias bastante ensolarados deste outono, participamos do Summer School on Big Data. O evento foi patrocinado pela EMC² e sediado pelo Núcleo de Computação Eletrônica (NCE) da Universidade Federal do Rio de Janeiro (UFRJ). Foi uma ótima oportunidade para podermos entender um pouco mais sobre este assunto que tem atraído nossa atenção e de muitos mais no mundo da tecnologia.

Big Data Seen from the Clouds

A primeira palestrante foi Karin Breitman, chief scientist do Centro de Pesquisa e Desenvolvimento da EMC no Brasil, recentemente inaugurado no parque tecnológico da UFRJ.

Karin começou ilustrando algumas aplicações de Big Data em nosso dia-a-dia. Alguns exemplos foram a recomendação de produtos na Livraria Cultura e os recursos de web semântica na Globo.com (procurem por Romário!).

Um destaque foi o esclarecimento das principais diferenças entre Big Data e Business Intelligence. Ela destacou algumas limitações deste último:

  • Deve-se decidir a priori quais dados coletar;

  • Perde-se o acesso aos dados brutos devido ao processo de extração, transformação e carga;

  • Análises são feitas com informações atrasadas devido ao tempo de carga dos dados.

Também foi abordada a importância da computação em nuvem para Big Data: padronizando, virtualizando e automatizando os processos do ciclo de vida de software.

Gostamos muito da analogia utilizada para ilustrar, de maneira simplificada, o que é Hadoop, tecnologia fundamental para Big Data:

Hadoop é como se fosse o contrário de virtualização. Na virtualização, temos um nó contendo vários nós virtuais. Já no Hadoop, vários nós distribuídos são enxergados como se fossem um único nó!

Por fim, Karin alarmou sobre a falta de data scientists no mercado. Ela esclareceu que estes profissionais não devem ser “escovadores de bits”, é fundamental que eles sejam integrados ao business. Segundo ela, startups que utilizam Big Data devem juntar times que dominem as seguintes áreas:

  • Inteligência artificial e aprendizado de máquina

  • Infraestrutura e banco de dados distribuídos e massivamente paralelos

  • Business da corporação

  • Visualização de dados

Tem muito mais lá nos slides da palestra, recomendamos dar uma conferida!

Big Data: Desafios e Oportunidades

Esta palestra de Elaine Tavares, professora da Coppead, começou com diferentes definições de Big Data. Aprendemos um atalho bem prático para absorvermos suas principais dimensões – os 3 V’s:

  • Volume

  • Velocidade

  • Variedade

Outras definições, como a do Gartner Group, podem ser conferidas no comecinho dos slides da palestra.

Elaine ressaltou a grande mudança de cultura nas corporações que mais se beneficiam com Big Data:

  • Fluxo de dados vs estoque de dados;

  • Data scientists e desenvolvedores de produtos/serviços vs analistas de dados;

  • Dados transparentes;

  • Gestores precisam estar aptos a delegar (distribuição de poder);

  • TI migra para o core business;

Por fim, Elaine falou sobre os fatores necessários para vencer obstáculos na adoção de Big Data: apoio do alto executivo, motivação da equipe e comunicação entre times. E terminou com a frase “Big Data hoje é o que era a Web em 1993. Sabemos que será algo grande, mas não sabemos como…”.

Logo depois, na abertura para perguntas do público, perguntei para Elaine sobre “Como começar pequeno com Big Data?”, visando uma abordagem Lean para projetos nesta área. A pesquisadora respondeu que pode-se primeiro fazer um projeto piloto, de alcance departamental, mas que já esteja preparado para expandir. Quanto aos recursos envolvidos, a dica é priorizar – cada escolha é uma renúncia. Segundo ela, o grande problema de investimentos em TI é que, geralmente, não se pode vender software que não se quer mais, tal como fazemos com objetos de consumo.

Outra pergunta interessante foi sobre “Como fazer produtos com Big Data?”. A palestrante ressaltou que soluções customizadas têm mais chances sucesso do que vender soluções de Big Data como um grande “pacotão”.

Big Data, Small Reviews

Deixaremos para a próxima semana nossos comentários sobre o segundo dia de evento, que contou com uma palestra mais técnica sobre Massive Data Storages; uma sobre Big Data no setor de óleo e gás; e a palestra “Big Data: Challenges and Opportunities” que fechou o evento com chave de ouro!

Se você tiver alguma pergunta ou também esteve lá e quer compartilhar o que gostou do evento, não hesite em comentar! Até semana que vem! 🙂