BigMemory GO. _big memory go

Transcrição

1 _big memory go BigMemory GO Uma combinação entre In-Memory e Big Data. Atacando os desafios da Big Data através de uma solução In-Memory. O artigo irá apresentar a utilização do BigMemory GO para melhoria de performance de aplicações que utilizam grandes volumes de dados. Será mostrado com uma solução para caching In-Memory pode ser aplicada para o desenvolvimento de aplicações que explorem os desafios da Big Data. BigMemory GO é uma plataforma para armazenamento de dados In-Memory. Ele implementa O uma estrutura de caching que permite armazenar grandes volumes de dados na memória RAM. Todo o armazenamento é realizado na área de memória off-heap o que possibilita uma considerável redução das pausas por garbage collection. O software é totalmente baseado em tecnologia Java e todos os seus recursos podem ser livremente utilizados em até 32 GB de caching (através de licença de uso gratuita). Estes recursos vão desde estratégias de despejo de memória, persistência em disco, suporte a transações JTA, locking de objetos e segurança via protocolo SSL. Ele também permite integração com várias bibliotecas de desenvolvimento de software, por exemplo, o Hibernate, Spring, Eh- e Maven o que possibilita um rápido aprendizado e fácil manutenção. É importante citar que o DBMS Figura 1. Utilizando Caching em aplicações Web. BigMemory GO pertence a mesma plataforma, chamada de Terracotta, onde também estão presentes outros frameworks conhecidos pela comunidade de desenvolvimento Java, tais como o Eh, Quartz Scheduler e Web Session. De modo geral o BigMemory GO é um software destinado à melhoria de performance de aplicações Java e para permitir o desenvolvimento de aplicações que explorem os conceitos de Big Data. O destaque deve-se a grande quantidade de dados que ele consegue armazenar, limitado somente o quanto se tem disponível de memória RAM. Para permitir grandes quantidades de caching em memória o software armazena os dados na área de memória Off-Heap vista evitar os efeitos negativos das pausas por garbage collection. Esta característica possibilita o seu uso em cenários, por exemplo, de caching de registros de banco de dados, otimizações de consultas e análise de dados. A utilização de caching para melhoria de performance de aplicações web não é uma novidade. De maneira geral considera-se uma boa prática guardar em memória as frações de dados mais utilizadas pelos aplicativos para reduzir o acesso ao banco de dados e consequentemente ganhar em performance, podemos exemplificar a utilização do framework Eh em conjunto com o Hibernate para manter em caching as tabelas estáticas de um banco de dados. A figura 1 ilustra esta prática a qual sempre esteve limitada a quantidade de dados a se manter em 31 \

2 Helton Emanuel Reis Santana é formado em Ciência da Computação pela Universidade Federal da Bahia (UFBa) e mestrando em Sistemas e Computação pela Universidade Salvador (UNIFACS). Trabalha há 12 anos com a plataforma Java e possui certificações nas áreas de SOA e BPM. memória vista a não comprometer o funcionamento da aplicação. Com o BigMemory GO estas limitações são contornadas e agora é possível armazenar em memória também o resultado de consultas à web services ou até grandes arquivos. Tudo isto por meio de uma fácil estrutura de dados do tipo HashMap e manipulada por meio de operações de put() e get(). Tecnologia In-Memory para melhoria de Performance de Sistemas Melhoria de performance de sistemas é um assunto que mantem a atenção sejam dos técnicos ou dos gestores. Todos desejam que seus sistemas respondam as solicitações dos usuários no menor tempo possível e utilizando ao máximo os recursos computacionais disponíveis. Baseado nesta constante busca por melhores desempenhos a tecnologia In- -Memory é uma das opções disponíveis com maior custo benefício associados. Com a computação In-Memory os aplicativos são desenvolvidos para executar complexas querys em grandes bases de informações ou executar transações complexas muito mais rápido do que utilizando arquiteturas de sistemas convencionais. Tudo isto é alcançado armazenando os dados das aplicações em memória, ou seja, na memória RAM, ao invés dos discos eletromagnéticos. Todos estes benefícios são alcançados sem comprometer a consistência, disponibilidade ou integridade das informações. A tecnologia In-Memory abre várias oportunidades de inovação em vários setores ainda pouco explorados, por exemplo, em análises em tempo real, redução de custos com bancos de dados, jogos on- -line, logística e no setor financeiro. Por exemplo, a tecnologia pode ser utilizada para permitir a análise e cruzamento de transações bancárias com o objetivo de detectar fraudes em um tempo muito menor do que em cenários onde esta é realizada somente em banco de dados. Desta forma é possível desenvolver aplicativos que detectem tentativas de fraudes durante uma transação financeira, permitindo assim uma ação proativa com a finalidade de evitar prejuízos financeiros às partes envolvidas. O Dilema do Armazenamento Off-Heap: Os servidores utilizados para executar Instâncias de aplicativos JEE por meio de máquinas virtuais geralmente têm a disposição uma quantidade maior de memória RAM do que a utilizada para suportar estes aplicativos web. É comum utilizar parâmetros de configuração, por exemplo -Xms e Xmx, para ajustar a quantidade de memória Heap que será disponibilizada para o aplicativo, esta não poderá ser muito pequena para não comportar a quantidade de objetos instanciados e nem grande para não elevar a frequência e duração da rotina de garbage collection. Desta forma a quantidade de memória disponível aos programas Java sempre foi restrita e utiliza-se como prática guardar em memória somente o necessário e manter no banco de dados todo o restante da informação. Uma alternativa para solucionar este dilema é utilizar a área de memória Off-Heap para armazenar as informações. Esta área não esta sujeita às pausas por garbage collection e deste modo agora será possível utilizar grandes volumes de informação na memória RAM ganhando em velocidade no acesso uma vez que a informação estará disponível na mesma região que os aplicativos. Também se evita I/O aos discos rígidos ou competição com transações ao banco de dados. A figura 2 exemplifica este cenário dando destaque também a outra prática comum que é a execução de várias instãncias da JVM para permitir atender a um número maior de requisições dos usuários e manter um nível aceitável as pausas por gabarge collection. Utilização de Solução In-Memory para os desafios do Big Data Estima-se que o total de informação produzida pelos diferentes meios digitais de comunicação deve crescer desde os atuais 1.8 zettabytes para 7.9 zettabytes até o ano de Esta grande variedade de informação é produzida pelas mais variadas origens, desde os computadores pessoais, celulares, tablets, GPS até nos eletrodomésticos inteligentes, como as geladeiras, micro-ondas e TVs. Este conjunto de equipamentos que agora produz informações não mais somente em formato de texto e estruturado mais também em uma combinação de textos, imagens, vídeos e áudio. Assim o crescimento no volume e variedade de produção de informações despertou interesse do mercado de tecnologia que essencialmente deseja extrair valor de tais cenários o que deu origem ao termo Big Data. Deste modo uma solução Big Data pode ser entendida como o emprego de novas tecnologias que permitam extrair valor em cenários típi- / 32

3 Without BIGMEMORY With BIGMEMORY a Este pacote também disponibiliza uma variedade de programa e arquivos de configuração de exemplo. 2GB 2GB Unused Memory Scale Up Figura 3. Realizando download do BigMemory GO. 1TB Commodity Server Commodity Server Figura 2. Utilização de Memória Off-Heap pelo BigMemory GO. 1TB cos de elevado volume e a variedade de informações e limitados a uma velocidade aceitável. Esta tecnologia pode ser aplicada, por exemplo, no cruzamento das preferências de compras de consumidores disponíveis em redes sociais e até na indicação de melhores formas de arrecadar fundos para uma campanha eleitoral, como fez a equipe do presidente americano reeleito Barack Obama. Para atender a estes e outros cenários de soluções de Big Data uma variada gama de softwares tem ganhado evidência. Estes variam desde a tecnologia empregada, a capacidade e o custo. Neste panorama, a computação In-Memory tem grande aderência para atender os desafios da Big Data. Por exemplo, para prover grandes volumes de informação, o BigMemory GO permite o acesso ultra rápido até 4 TB de dados por JVM. Ele também permite uma fácil manipulação de objetos Java dos mais vários tipos, devido sua estrutura de dados em HashMaps. Realizando Download, Instalação e Configuração Para realizar a instalação e configuração do Big- Memory GO o único pré-requisito necessário é dispor da JDK 1.6 instalada. A lista completa de versões e a plataforma suportada podem ser encontradas no site do software. A seguinte sequência de passos deve ser seguida antes da primeira utilização do software. O BigMemory GO é distribuído como um pacote tar.gz. Após realizar o download (figura 3) basta descompactar o arquivo utilizando seu programa favorito. No momento em que este artigo foi escrito a última versão disponível era Após realizar o download, basta descompactar o BigMemory GO e adicionar os seguintes arquivos no classpath da sua aplicação. Eles são encontrados no diretório chamado de lib. bigmemory jar ehcache-ee jar slf4j-api jar slf4j-jdk jar Antes de iniciar o uso do BigMemory GO salve o arquivo de licença, chamado de terracota- -licence.key, no classpath de sua aplicação. Este arquivo lhe foi enviado gratuitamente após preencher o formulário de registro para o download. Você também poderá adicionar o caminho para este arquivo via parâmetro de inicialização (Listagem 1). Listagem 1. Caminho para o Arquivo de Licença. -Dcom.tc.productkey.path=/path/to/terracotta-license. key BigMemory GO utiliza o Eh como interface de configuração. Desta forma para configurar o BigMemory crie um arquivo de configuração (Listagem 2) onde você deve especificar a quantidade de memória off-heap que deseja utilizar via propriedade maxbyteslocaloffheap. Evite configurar mais memória do que disponível para evitar que aconteça swapping e a performance do seu programa seja comprometida. Listagem 2. Criando Arquivo de Configuração (ehcache.xml). <ehcache xmlns:xsi= XMLSchema-instance xsi:nonamespaceschemalocation= name= config > 33 \

4 <cache name= BigMemory maxbyteslocalheap= 512M maxbyteslocaloffheap= 32G statistics= true /> </ehcache> Por fim, utilize o parâmetro XX:MaxDirect MemorySize para alocar a memória de acesso direto suficiente para o armazenamento off-heap. O valor deve ser o mesmo configurado no arquivo ehcache.xml, neste exemplo estamos utilizando o valor de 32G. Integração com Repositórios Maven Dependendo da versão que você estiver utilizando as dependências de bibliotecas podem ser diferentes. Deste modo você precisará manter uma compatibilidade entre as bibliotecas de seu projeto. Uma alternativa para solucionar esta questão é utilizar o repositório Maven para realizar o download das dependências do BigMemory GO. Para isto, adicione o trecho da Listagem 3 em seu arquivo pom.xml. Listagem 3. Configurando repositórios Maven no Bigmemory GO. Criando código para acessar o BigMemory GO Após os passos de instalação e configuração, o BigMemory GO está pronto para ser utilizado. Você precisará utilizar sua IDE preferida, por exemplo, o Elipse para criar o seu primeiro projeto. Para isto copie os jars do BigMemory GO, listados no passo anterior, para o diretório lib do seu projeto. Em seguida crie uma classe Java e cole o código exibido na Listagem 5 para criar uma instância do BigMemory. Listagem 5. Criando um Manager. Manager manager = Manager.newInstance( getclass().getresource( /xml/ehcache.xml )); try { bigmemory = manager.get( BigMemory ); // adicione o seu código aqui. } finally { if (manager!= null) manager.shutdown(); } Agora que temos uma instância do BigMemory GO disponível podemos criar, atualizar ou remover objetos no. A Listagem 6 exemplifica estes passos, observe que se tratam de simples operações de put(), get(), update() e remove(). Além destas outras facilidades estão disponíveis na API como a carga em lote, eventos e transações. Você pode consultar o Javadoc para encontrar estas e outras possibilidades de programação com o BigMemory GO. Listagem 6. Criando um código para adicionar, recuperar, atualizar e remover objetos no (CRUD). <repository> <id>terracotta-releases</id> <url> reflector/releases</url> <releases><enabled>true</enabled></releases> <snapshots><enabled>false</enabled></snapshots> </repository> Você também precisará adicionar a dependência para o ehcache-core em seu projeto. Para isto basta copiar também a Listagem 4 para seu arquivo pom.xml. Listagem 4. Adicionando repositório do ehcache- -core. <dependency> <groupid>net.sf.ehcache</groupid> <artifactid>ehcache-core</artifactid> <version>${ehcacheversion}</version> </dependency> //adiciona um objeto no PessoaValueObject carloseduardo = new PessoaValueObject( Carlos Eduardo, 35, Sexo.Masculino, Av Paulista, São Paulo, SP ); bigmemory.put(new Element( key-1, carloseduardo)) //recupera o objeto anteriormente adicionado no cache. Element elemento = bigmemory.get( key-1 ); //atualiza o objeto anteriormente adicionado no cache. PessoaValueObject patriciavieira = new PessoaValueObject( Patricia Vieira, 23, PessoaValueObject.Sexo.Feminino, Av Brasilt, Rio de Janeiro, RJ ); bigmemory.put(new Element( key-1, patriciavieira)); Element atualizado = bigmemory.get( key-1 ); //remove o objeto do bigmemory.remove( key-1 ); Element removido = bigmemory.get( key-1 ); Utilizando BigMemory como de segundo nível no Hibernate O BigMemory GO se integra com facilidade ao Hibernate. Gavin King, um dos mantenedores do Hibernate, é também commiter do projeto Ehcache. A Listagem 7 mostra como configurar o BigMemory GO / 34

5 como cache de segundo nível para consultas do Hibernate. Listagem 7. Utilizando o BigMemory GO em conjunto com o Hibernate(hibernate.cfg.xml). <property name= hibernate.cache.use_second_level_cache > true </property> <property name= hibernate.cache.region.factory_class > net.sf.ehcache.hibernate.ehregionfactory </property> Além de configurar o BigMemory GO como provedor de cache de segundo nível para o Hibernate você também precisará habilitar o cache para as entidades controladas pelo Hibernate. Por exemplo, na Listagem 8 para habilitar o cache para o objeto Country foi adicionado a instrução <cache usage= read-write />. Esta configuração permitirá que o objeto seja lido e atualizado no cache do BigMemory GO. Listagem 8. Configurando o para uma entidade do Hibernate. <hibernate-mapping> <class name= com.somecompany.someproject.domain.country table= ut_countries dynamic-update= false dynamic-insert= false > <cache usage= read-write />... </class> </hibernate-mapping> O BigMemory MAX Além do BigMemory GO, o qual é disponibilizado para a comunidade na forma de licença de uso gratuita, a Software AG (a empresa fabricante) também disponibiliza a versão BigMemory MAX. Esta é uma versão comercial que de modo geral consiste em um caching em memória distribuído, também chamado de In-Memory DataGrid. Nesta modalidade os dados são distribuídos em vários, nós permitindo assim uma maior capacidade de armazenamento e tolerância a falhas. Outros recursos de destaque são a possibilidade de realizar a persistência em disco, replicação multi datacenters, suporte a JTA, segurança via SSL, eventos e triggers. Considerações finais O BigMemory GO é um sistema de armazenamento de informações In-Memory que utiliza o HashMap como estrutura de dados básica e a área de memória off-heap para manter grandes volumes de dados em memória, até 4 TB por JVM, sem os efeitos negativos da rotina de garbage collection. Pode-se utilizar o software tanto em aplicações standalone Java JSE ou em aplicações web Java Enterprise Edition. Para iniciar o uso da plataforma é necessário somente adicionar as bibliotecas no classpaph da aplicação, realizar os passos de configuração de modo programático ou por meio do arquivo ehcache.xml e por fim utilizar a sua API para, por exemplo, realizar operações de put() ou get(). O BigMemory GO é a primeira versão para armazenamento In-Memory da plataforma Terracotta. Além deste se destacar a versão BigMemory MAX, conhecida como um In-Memory DataGrid, o Eh, o Quartz Scheduler e o Web Sessions. Eles se integram com uma variedade de frameworks de desenvolvimento de software com destaque ao Spring, Hibernate e Maven o que reduz significantivemente a sua curva de aprendizado. Neste artigo os conceitos de In-Memory foram fortemente relacionados com sua aplicabilidade aos cenários de grande volume e variedade de informações. O objetivo foi de apresentar uma alternativa fácil, rápida e de baixo custo para o desenvolvimento de sistemas Java que enderecem os desafios de soluções Big Data. Outras aplicabilidades também poderão ser exploradas para solucionar problemas comuns no cotidiano dos sistemas Java. > > > > > > integrations/hibernate > > > > > /referências > > how-obama-used-big-data-to-rally-voters-part-1/ > > vmoptions-jsp html 35 \