Integrando o Big Data aos Processos de Negócios e Sistemas Corporativos. Solution White Paper

Transcrição

1 Integrando o Big Data aos Processos de Negócios e Sistemas Corporativos Solution White Paper

2 Índice 3 A LIDERANÇA DA BMC 4 COMPREENSÃO DO BIG DATA EM UM CONTEXTO CORPORATIVO 4 UMA ABORDAGEM CORPORATIVA PARA PROJETOS DE BIG DATA 6 CONCLUSÃO

3 LIDERANÇA DA BMC Considerações sobre o Big Data Implemente o Big Data com eficiência em sua empresa Como obter valor com o Big Data sem ter que precisar começar do zero Com o crescimento do Big Data, muitas empresas pensam em usar os dados de várias maneiras para impulsionar o diferencial comercial, como por exemplo, a redução de riscos de fraude no setor financeiro até o fornecimento mais rápido de novos produtos farmacêuticos ao mercado com um nível de eficiência muito maior. Os varejistas podem monitorar os padrões de compra e preferências do cliente com mais precisão para guiar as estratégias de produtos e marketing. As agências de publicidade e mídia podem oferecer recomendações mais precisas e criar promoções especializadas. Ou seja, empresas de diversos segmentos podem identificar novas oportunidades de lucro e eficiência operacional. Neste contexto, o Big Data exige uma nova maneira de pensar em tecnologia que seja focada em resultados comprovados. Para permitir a criação de uma organização focada em dados, os departamentos de TI precisam implementar tecnologias de Big Data no ambiente corporativo. Na medida em que as empresas se esforçam para acompanhar a tecnologia e as boas práticas do Big Data, o Hadoop surgiu como uma tecnologia de eixo central, fornecendo uma estrutura para armazenar e processar grandes volumes de dados envolvidos no Big Data. O Hadoop se transformou rapidamente em um mercado gigantesco, refletindo em uma mudança na maneira como as empresas usam os dados. Porém, conforme o suporte para o Big Data tem evoluído e crescido, ficou claro que o Hadoop não é o único fator relevante. Embora vital, o Hadoop interage e depende de outros componentes corporativos. Os departamentos de TI não podem pensar no Hadoop como uma ilha ou silo, como faziam muitos provedores de soluções. Desde os primeiros estágios de iniciativas de Big Data, é fundamental entender a atuação do Hadoop, e quais serviços comerciais eles suportam - mesmo que ainda não tenham sido completamente operacionalizados. Para gerenciar e potencializar o Big Data de maneira eficiente, os departamentos de TI precisam de soluções que suportem a criação de processos comerciais e que abranjam tecnologias, plataformas e aplicações adicionais. Este documento traz uma abordagem holística sobre o Big Data onde as soluções de gestão empresarial tradicionais são estendidas para ajudar a automatizar, acelerar e integrar o Hadoop neste ambiente. PRINCIPAIS BENEFÍCIOS PARA UMA ABORDAGEM CORPORATIVA Reduza o tempo e esforço para fornecer soluções de Big Data através do Workload Automation corporativo. Maximize a produtividade do desenvolvedor de aplicações e do administrador do sistema com o fornecimento de auto-serviço ao criar ambientes de desenvolvimento, teste e produção. Potencialize sua infraestrutura existente com o uso em Cloud e Virtualização. Alcance altos níveis de conformidade e administração com a descoberta de aplicações, garantindo um inventário atualizado de seus ativos de Big Data. 3

4 COMPREENDO O PAPEL DO BIG DATA EM UM CONTEXTO CORPORATIVO É importante garantir que suas iniciativas de Big Data tenham necessidades e propósitos comerciais claros - que sejam iniciativas suportadas por tecnologias e não apenas iniciativas tecnológicas. Para otimizar os recusros já existentes e evitar desperdícios, comece identificando os principais desafios comerciais em sua empresa e avalie se o Big Data pode ajudar a resolvê-los. O segredo para uma iniciativa de sucesso, é pensar nos serviços que o Big Data pode fornecer. Um conceito fundamental para a atual TI corporativa, é garantir que os processos estabelecidos funcionem com foco em proporcionar que seus clientes alcancem metas específicas. Podemos exemplificar este cenário através de inteirações com o cliente que podem variar desde transações bancárias online e e-commerce até o monitoramento de vôos e embarques. Outros exemplos incluem o reabastecimento automático de inventário, gerenciamento de frotas, emissão automática de cupons e muitas outras tarefas. Observamos ainda que os processos comerciais também ajudam as organizações a reduzir os riscos, identificando fraudes ou atividades fora de conformidade, especialmente no mercado de serviços financeiros. Uma iniciativa de Big Data deve incluir um entendimento claro da relação entre cada um destes serviços e os elementos de TI que fornecem este suporte. Isso o ajuda a entender como otimizar o desempenho de serviços essenciais de acordo com sua função em vários processos comerciais, além de como entender o impacto de desafios específicos ou falhas no ambiente de TI para que as resoluções sejam priorizadas. Na medida que seu ambiente tecnológico continua a evoluir, é possível prever com mais precisão como as mudanças e o novos desempenhos irão impactar o negócio e seus clientes. Embora essa idéia seja fundamental para qualquer implementação de serviços comerciais, a natureza dos projetos de Big Data a torna especialmente importante, uma vez que eles envolvem uma estrutura de aplicação mais complexa. Isso resulta, em parte, na maneira como os dispositivos móveis e aplicativos estão mudando a forma como as pessoas usam dados e serviços. Ao invés de contar com uma aplicação para todos os propósitos ou por um portal cheio de menus, os usuários buscam uma experiência personalizada que atenda a suas necessidades específicas. O mercado respondeu apresentando um grande número de microaplicativos de foco limitado, derrubando as relações individuais tradicionais entre conjuntos de usuários, aplicativos e bancos de dados. A TI deve agora manter uma estrutura que suporte vários aplicativos com conjuntos sobrepostos de dados, onde qualquer aplicativo pode ser suscetível a picos de usos voltados a eventos, tais como o suporte à grandes volumes de tráfego em sites de e-commerce durante as festas de fim de ano ou por exemplo durante uma alta demanda de status de vôos em aplicativos de reserva durante uma grande tempestade. Para garantir níveis consistentes de serviço ao otimizar a utilização e controlar custos, a TI deve ir além de estruturas isoladas tradicionais e implementar uma nuvem de dados flexível e de grande escala que inclua não apenas o Big Data, mas também, sistemas transacionais e sistemas relacionais de gestão de banco de dados (RDBMS). A forma complexa pelas quais os processos de negócios são fornecidos, torna essencial a gestão das soluçōes de Big Data em uma perspectiva otimizada, abrangente e com foco em resultados. Os departamentos de TI, precisam gerenciar os componentes e serviços de acordo com os serviços comerciais suportados, focando em objetivos e benefícios, além de priorizar os recursos e atividades de acordo com as necessidades do negócio. Dessa maneira, a TI pode garantir um serviço ideal para clientes internos e externos, suporte mais eficiente para o atingimento de metas comerciais e maior eficiência na alocação de recursos. UMA ABORDAGEM CORPORATIVA PARA PROJETOS DE BIG DATA A percepção do Big Data como uma área de evolução rápida com impacto potencialmente transformador pode fazer com que os departamentos de TI abordem isso como um projeto "especialíssimo" no qual as pessoas desprezam as tecnologias estabelecidas e começem da estaca zero. Isso não é nem sustentável, nem eficaz. O Big Data é uma nova maneira de pensar em dados corporativos e em como isto pode agregar e alavancar negócios para as empresas - não uma substituição total dos sistemas e processos. Ele deve se encaixar em seu ambiente de TI existente e atender a todos os requisitos comuns de padronização, conformidade, eficiência e gerenciamento. Cada iniciativa de Big Data deve abranger três pilares fundamentais: Aquisição de dados Existem dados que podem ser explorados ou analisados para que os objetivos comerciais sejam atingidos de forma mais rápida? Eles são internos ou externos? Existem setores/departamentos em sua empresa que podem ser potencializados? Operações Como você armazenará os dados em questão, e como irá acessá-los para suportar os serviços comerciais que dependem deles? Atualização dos dados Como você irá incorporar os novos dados ou mudar suas fontes com o tempo necessário afim de garantir que suas análises permaneçam relevantes às necessidades comerciais? 4

5 Sua abordagem para aquisição e atualização de dados dependerá de prioridades comerciais específicas. Você deve ter uma estratégia para atualizar suas análises afim de que elas acompanhem a evolução dos negócios, assim como o comportamento do cliente, ambiente de dados e outros fatores. Caso contrário, a relevância desta iniciativa diminuirá com o tempo. O desafio operacional imposto pelas iniciativas de Big Data é muitas vezes difícil de ser resolvido pelas empresas. As operações de Big Data giram em torno de dois componentes principais. Primeiramente, você precisa poder armazenar os dados de maneira confiável e segura através do HDFS (Hadoop Distributed File System). Assim que seus dados forem distribuídos, será necessário retirá-los novamente. O modelo Hadoop MapReduce, fornece uma maneira de determinar quais dados são necessários para modelagem, potencializando CPUs e IO no conjunto do HDFS. Embora as tecnologias por trás do Big Data sejam novas, seus processos operacionais e metodologias são similares a muitas tendências tecnológicas que já existiam anteriormente, desta forma, não é necessário que o departamento de TI apresente métodos completamente novos para gerenciá-las. Muitas vezes, as organizações esquecem a necessidade de integrar as operações do Big Data não somente ao ambiente de TI existente, mas também, em sua abordagem estabelecida para gestão do workload. As soluções do Hadoop envolvem tarefas como visualização de dados, ETL, análise repetitiva e dashboards, muitas vezes com base em dados extraídos de várias lojas e sistemas da empresa, que devem ser carregados, processados e extraídos de maneira eficiente para a alimentação dos serviços comerciais fornecidos pelo Big Data. Portanto, a operação desses serviços giram em torno de um grande número de workloads separados, porém interdependentes - um cenário complexo com amplos conjuntos de processamentos, uma grande quantidade de fluxos de dados além de análises que muitas vezes, exigem pré requisitos para sincronização. Felizmente, esses são desafios bem conhecidos com os quais muitos profissionais têm lidado desde o início da era tecnológica. Desta forma, não é necessário que reinventemos o que já existe ou até mesmo, que voltemos a treinar nossos profissionais. Os métodos de gestão existentes e soluções já disponíveis também podem ser aplicados às aplicações do Big Data e ao Hadoop. Atualmente, muitas empresas costumam gerenciar um processamento de grande escala através de lotes e grupos de workloads similares que são programados para serem executados ao mesmo tempo em um mainframe. O processamento de lotes agora é usado para gerenciar 70% de todos os processamentos comerciais - e terá também um papel fundamental no processamento do Hadoop. Porém, para começar, as empresas têm que garantir que suas capacidades de processamento de lotes estejam preparadas para este desafio. Nas estruturas de TI mais complexas na era Cloud e Móvel, uma programação de trabalho eficiente requer a orquestração de processos de lotes independentes e em tempo real ao longo de múltiplas plataformas de TI distintas. Isso influenciou o surgimento de uma nova geração de soluções de automação de workloads através de uma abordagem mais unificada e holística na empresa, garantindo níveis consistentes de serviço, melhorando a integração comercial e reduzindo custos e riscos. Essa abordagem corporativa é essencial para o processamento de lotes no contexto do Hadoop, uma vez que o Big Data interage com cenário de TI. A automação de workloads corporativos o ajudará a interagir com todos os desafios, para que você possa criar fluxos de trabalho em um nível corporativo que incluam o Hadoop, além de incorporá-lo os serviços de Big Data em seus fluxos de trabalho existentes. Isso simplifica as operações de Big Data possibilitando que você saiba quando deve executar um workload específico, quando ele terminará além de lidar com outros desafios. COMO OBTER A MÁXIMA VANTAGEM COMPETITIVA EM SUA INICIATIVA DE BIG DATA Acelere a criação de novas aplicações comerciais de Big Data. Reduza o tempo fornecendo infraestrutura para o suporte de projetos de Big Data. Garanta que seus projetos de Big Data estejam em conformidade com a governança corporativa e atendam a todos os requisitos regulatórios. Permita que o seu departamento de TI integre facilmente os serviços de Big Data em seu atual contexto corporativo. 5

6 CONCLUSÃO O consenso é claro: as tecnologias de Big Data podem impactar fortemente os negócios, ajudando as empresas a atenderem os clientes e alcançarem suas metas de maneira mais eficiente para impulsionar o crescimento e a vantagem competitiva. Desta forma, as organizaçōes de TI encaram uma pressão intensa para derivar os benefícios comerciais de iniciativas de Big Data. Embora possa ser tentador empregar esforços e recursos em projetos implementados fora do ambiente estabelecido, uma abordagem empresarial - baseada em métodos e processos estabelecidos - é bem mais eficiente. Embora o Big Data represente uma nova abordagem para extrair valor de dados, isto não significa uma mudança fundamental na estrutura, tecnologia ou melhores práticas. As soluções maduras de gerenciamento de TI, como automação de workload corporativo, podem acelerar a entrega do projeto de Big Data e criar ambientes sustentáveis e operacionais que tenham maior probabilidade de agregar valor comercial contínuo. INFORMAÇÕES ADICIONAIS Para mais informações sobre essa abordagem e como implementá-la, acesse: bmc.com/hadoop. BMC BMC delivers delivers software solutions that help IT IT transform digital enterprises for for the the ultimate competitive business business advantage. From advantage. mainframe We to cloud have worked to mobile, with we thousands pair high-speed of leading digital companies innovation to with create robust and IT deliver industrializationallowing powerful IT management our customers to provide services. amazing From user mainframe experiences to with cloud optimized to mobile, IT we performance, pair high-speed cost, compliance, digital innovation and productivity. with robust We IT industrialization believe : Technology allowing our is the customers heart of to every provide business amazing user experiences IT drives business with optimized to the IT digital performance, age cost, compliance, and productivity. We believe that technology is the heart of every business, and that IT drives business to the digital age. BMC Bring IT to Life. BMC Bring IT to Life BMC, BMC Software, and the BMC Software logo are the exclusive properties of BMC Software, Inc., are registered with the U.S. Patent and Trademark Office, and may be registered or pending registration in other countries. Linux is the registered trademark of Linus Torvalds. UNIX is the registered trademark of The Open Group in the US and other countries. All other BMC trademarks, service marks, and logos may be registered or pending registration in the U.S. or in other countries. All other trademarks or registered trademarks are the property of their respective owners. 2007, 2008, 2009, 2014 Copyright BMC Software, Inc. All rights reserved. *449241*