Apesar de sua popularidade nos últimos anos, implementar Big Data ainda é uma tarefa que tem deixado muitas empresas perdidas. Contudo, esse processo poderá ser mais simples se direcionado da maneira correta.
Pensando nisso, preparamos um post com os principais passos a serem seguidos e os erros a serem evitados para você aproveitar o máximo desse recurso.
Como implementar Big Data na minha empresa?
Falar de Big Data é pensar no desenvolvimento de uma cultura orientada à análise de dados, portanto, antes de tudo, é necessário dar início a esse movimento cultural dentro da empresa. Muitas empresas vão atrás das melhores ferramentas ligadas a Big Data, acreditando em melhorias apenas por esse caminho. Está completamente errado!
Os colaboradores, gestores ou não, precisam entender a importância de uma cultura de Big Data e como ela será útil para a empresa. Por isso, não cometa esse erro. Crie, junto à área de Recursos Humanos, uma maneira de introduzir esse novo pensamento.
Apresente a mudança aos colaboradores, mas esclareça, também, o papel deles nesse processo. Treine, eduque e compartilhe com cada participante o porquê de implementar essa nossa maneira de agir e mostre os benefícios que são esperados.
Por onde eu começo?
Se é para mudar uma cultura, então precisamos de um grande plano. Planejamento é tudo nesse momento. É preciso estabelecer, com clareza, os objetivos da empresa e como alcançá-los.
Não pense que falar de Big Data é comprar um belo software e tudo se resolverá em alguns meses. É preciso saber aonde a empresa quer chegar, só assim todo esse movimento servirá para alguma coisa. Pense nele como o veículo, não o caminho.
Os processos e técnicas por trás do nome Big Data visam compreender os problemas do negócio, em sua causa, e a partir de insights apresentam possibilidades para administrá-los. Mas, para esse processo ser realmente útil, deve haver o engajamento de todos. Comece pela cultura!
É melhor investir em profissionais ou em ferramentas?
Outro grande erro é adquirir a melhor ferramenta e só então ir atrás de um bom profissional para operá-la. Faça o oposto. Monte uma equipe, preferencialmente multidisciplinar, para atuar diretamente nas questões de Big Data. Esses profissionais devem estar presentes desde o princípio da mudança cultural.
Essa equipe vai orientá-lo quanto aos melhores equipamentos para coletar, armazenar e analisar os dados disponíveis no universo de sua empresa, levando em consideração o planejamento.
Uma boa ideia é, em vez de realizar um grande número de contratações, terceirizar a implementação. Assim você tem acesso a profissionais altamente especializados por uma fração do custo e pode poupar para investir em outras áreas do negócio.
Em quais informações devo ficar de olho?
Com a cultura sendo desenvolvida, uma boa equipe, planos e objetivos em pauta, é hora de identificar os indicadores-chave e determinar a periodicidade de acompanhamento desses indicadores. Além disso, os processos para trabalhar com Big Data devem ser muito bem estabelecidos.
Só com retorno será possível determinar se os objetivos estão sendo alcançados, se o caminho está correto e o que é preciso mudar. Sendo assim, tenha em seus planos os indicadores necessários para o seu negócio ir mais longe com Big Data.
Mas, atenção: é comum confundir Business Intelligence com Big Data. Embora o segundo esteja intimamente ligado ao primeiro, não significam a mesma coisa.
Como fazer a aplicação?
Fazer a aplicação de Big Data exigirá que a sua empresa leve em consideração algumas questões. Implementar Big Data é uma ação estratégica em si mesma e deve ser direcionada a resultados.
Ela costuma ser mais transformativa que inovativa, mas isso não significa que não seja necessário levar em consideração alguns pré-requisitos.
Para implementar Big Data com sucesso, por exemplo, uma organização precisa ter frameworks de administração de dados sólidos e um orçamento para adquirir novas fontes de dados. Além disso, a definição de uma política de privacidade é essencial, já que Big Data pode revelar dados muito pessoais sobre os sujeitos analisados.
Exatamente por isso, investir também em uma nova infraestrutura de segurança pode ser necessário. Fazer a aplicação vai exigir que você esteja atento a todas essas questões.
Como criar uma estratégia de Big Data?
O grande desafio de criar uma estratégia de Big Data é escolher quando e como essas tecnologias poderão funcionar a favor do seu negócio. Simplesmente adotar a solução sem um plano de ação pode significar gastos que falham em trazer retorno.
Por isso, é importante ter uma estratégia de implementação de Big Data. Construí-la, porém, não é fácil.
Um plano estratégico de Big Data vai considerar ambos: a adoção da nova tecnologia e como ela se alinha com a governança corporativa.
Portanto, o primeiro passo é criar um padrão de práticas corporativas que possam ser compartilhadas por todos os membros da sua equipe. Em seguida, deve-se definir exatamente quais são as necessidades destes usuários e como a sua rotina de trabalho poderia ser impactada positivamente por Big Data.
Com estas informações em mãos, resta a tarefa de preparar o ambiente de implementação e estabelecer regras para o uso de dados e sua administração. Feito isso, é preciso investir em treinamento para as suas equipes, a fim de que elas consigam fazer o uso mais eficaz das tecnologias de que dispõem.
Quais tecnologias são possíveis sem custo adicional?
Há uma série de ferramentas de Big Data que podem ser utilizadas sem custo nenhum para a sua empresa. Elas podem ajudá-lo a economizar bastante com licenças de uso e acelerar a implementação dessa tecnologia.
Algumas delas são:
- Apache Hadoop;
- R;
- Cascading;
- Scribe;
- mongoDB.
Por se tratarem de soluções OpenSource, elas podem fazer parte da rotina da sua empresa sem significar um custo adicional. E, por isso mesmo, tornam mais fácil implementar Big Data.
Como escolher uma ferramenta de Big Data?
Escolher a ferramenta certa de Big Data é uma parte muito importante do processo de sua implementação. Mas, para fazer isso, você precisa ter um entendimento concreto das necessidades transacionais e analíticas do seu sistema em particular.
Isso porque os grandes dados continuam crescendo com o passar do tempo, mas não necessariamente significa a mesma coisa para todas as empresas. Algumas delas precisam apenas de uma solução simples, enquanto outras têm a necessidade de explorar essa alternativa integralmente. São os seus objetivos que vão guiar a escolha de uma ferramenta de Big Data. Quando falamos em necessidades transacionais é exatamente isto que queremos dizer.
Do que o seu negócio precisa para operar? Com esta informação será muito mais simples entender o tempo de latência e de resposta que um sistema precisa oferecer e, por conseguinte, escolher uma alternativa específica.
Você quer, todavia, que o seu sistema de Big Data seja confiável e esteja sempre disponível para uso. Portanto, leve estes aspectos em consideração ao analisar as ferramentas do mercado.
Outra coisa importante a se considerar é o tipo de análise que a sua empresa fará dos dados que tem em mãos. É muito provável que sua necessidade primária seja visualizar dados do passado para conseguir fazer uma previsão do futuro. Então, o seu software de Big Data precisa entregar essas funções com eficiência e agilidade.
A maioria das ferramentas de Big Data do mercado foi proposta tendo ambos os aspectos em mente. Mas, algumas delas são mais complexas que as outras e, consequentemente, mais onerosas. Leve também isso em consideração ao fazer a sua escolha.
Agora que você já sabe o básico sobre como implementar Big Data, que tal falar com um especialista? Entre em contato com a Know Solutions!
Materia muito interessante
Obrigada pelo artigo 🙂 Acho que eu tenho uma equipe que pode obter cada sucesso 🙂 Mas sem kanbantool.com, nao conseguimos arranjar e controlar todas tarefas. Ferramentas digitais podem ajudar bastante – tal como manager ou teamledaer, mas mais suave 🙂 Eu planejo o dia do trabalho com kanban e todas tarefas sao cumpridas. Eu sei que nao cada um gosta trabalhar assim, mas comigo funciona 🙂
Parabéns por trazer a CRISP-DM de volta ao tablado. O “produtocentrismo” que assola o mercardo de BI pressiona os players a comprar o último brinquedo, a seguir a última moda, quando quase tudo que tem algum uso prático já existe há décadas – como o CRISP-DM
Seria legal um artigo um artigo comparando-o com SEMMA. Pode ser muito interessante para quem entrou na área há menos de 20 anos.
Gostaria de entender se a utilização da Big data nas empresas gera algum tipo de desvantagem nas pessoas que lá trabalham ?
Sobre o comentário do João Kechichian, concordo em relação às empresas não terem claro o que querem, e concordo com o Leandro sobre a abordagem de “Qual o seu problema” para dar as sugestões.
Mas vale ressaltar que as empresas não conseguem identificar o que querem por não terem claro um Planejamento Estratégico e objetivos bem descritos. Isso facilita muito perceber quais indicadores serão necessários acompanhar para atingir os resultados esperados.
Bom dia,
Há muita diferença das versões do livro The Data Warehouse Toolkit?
Vejo que ele esta na 3 edição.
Posso comprar apenas a 3 ou devo comprar todas?
Oi Marcos!
Há algumas atualizações com conceitos mais atuais. Não precisa comprar todas as edições não, apenas a 3a já cobre tudo que precisa.
Sim e não. A maior diferença é entre a primeira edição e as restantes. Da segunda edição em diante, quando a Margy Ross assumiu o livro, é tudo mais ou menos o mesmo.
A primeira edição, que por acaso chegou a ser publicada em português, é a melhor, na minha opinião. Ela é mais concreta, menor e mais focada. Se conseguir achá-la, compre. Vale ouro.
eu precisava para compor você uma pouco de note ajudar diga obrigado again com o extraordinário conselhos você compartilhado nesta página . Foi certamente maravilhosamente generoso com você dando abertamente tudo o que muitas pessoas {poderiam ter | poderiam possivelmente ter | poderiam ter | teriam | distribuído para um ebook para gerar alguma massa para eles mesmos , especialmente considerando que you poderia ter tried it se você nunca desejado . Those estratégias também agido como outras pessoas tenha semelhante desire como my own entender bom negócio mais relacionado este assunto . Eu tenho certeza há alguns mais agradáveis ocasiões ahead para pessoas que ver seu site
[…] de BI — Business Intelligence ou, traduzindo, Inteligência Empresarial — é justamente o diferencial que uma empresa precisa para tratar dados gerados por vários meios. Veja alguns contextos que podem servir de […]
[…] para aumentar seu lucro ou diminuir seus custos operacionais. Esse é o conceito básico de Business Intelligence utilizado como diferencial […]
Olá Leandro.
Acredito que o potencial da área de Business Intelligence dentro das empresas pode ser maior do que se imagina hoje.
Trabalho com consultoria de B.I. para agencias e empresas, e enfrentamos diariamente dois grandes problemas.
1- Padronização dos dados: Como utilizamos muitas fontes de dados, todo o processo, desde o que a implementação, até a parte operacional, precisa ser muito bem estruturada. Sem o padrão das informações perde-se muito tempo com “correção”, sendo que “tempo” não é o que temos para identificar um padrão, pois no dia seguinte ele pode mudar se não o tratarmos.
2- Pessoas que não sabem o que querem: Corporações não sabem o que querem, logo querem tudo. O problema é que sabemos que não tudo não é necessário, se consegue identificar padrões e otimizações com metade do volume. Sendo assim o processo de otimização passa a ser inteligente para ser operacional.
O futuro da área esta encaminhando para segmentações e clusterizações dinâmicas para analise de Big Data, mas se o processo de todos envolvidos precisa ser muito bem desenhado e a área de B.I. precisa ter este knowhow também.
Obrigado e muito bom seus artigos.
Oi João, obrigado pelo seu comentário! Concordo com você!
Realmente, a padronização dos dados é o ponto mais sensível mesmo. Aqui estimamos em torno de 60% a 70% do tempo em um projeto de BI apenas para esta parte.
Sobre as pessoas não saberem o que querem, aqui vemos como uma certa vantagem. Muitas vezes não é nem exatamente não saber o que querem, mas não saberem o que é possível fazer. Com isso, parte do nosso trabalho aqui é exatamente entender do que o cliente sofre aí então sugerir algumas coisas. Tentamos não ir para uma abordagem de “o que você quer” mas sim de “quais são seus problemas”.
Isso me deu até a ideia de criar um post focado nisso, vou deixar anotado para o futuro!
Existe uma técnica chamada Árvore de Realidade Presente, da Teoria das Restrições, que lida justamente com essa barafunda de problemas e entendimentos. Eu experimentei a mesma frustração que você, João, e decidi resolver esse problema. A imagem https://geekbi.files.wordpress.com/2020/10/bi_toc-crt-x.png é um resumo do que eu tenho até agora.
Adoraria uma contribuição. “O cliente não sabe o que quer” já está lá. “Dados são sujos” e “Dados são bagunçados” me parecem boas adições.
O que você acha? E você, Leandro?