zli08 - Server Consolidation for Oracle with Linux on System z: A Costumer Experience

zli08 - Server Consolidation for Oracle with Linux on System z: A Costumer Experience Fernando Gieseler System z FTSS and RDS for Oracle on System z for LA fgi@br.ibm.com 051-9988-8177

Agenda Soluções Oracle certificadas para Linux em IBM System z Pontos chave para o sucesso de uma PoC Exemplos de Soluções Oracle em IBM System zenterprise Referências de Clientes Alguns clientes Brasileiros com Oracle em Produção em LoZ Projeto UNISUL Projeto em Novo cliente em MG Projeto BANRISUL 2

Agenda Soluções Oracle certificadas para Linux em IBM System z Pontos chave para o sucesso do Oracle em z Exemplos de Soluções Oracle em IBM System zenterprise Referências de Clientes Alguns clientes Brasileiros com Oracle em Produção em LoZ Projeto UNISUL Projeto em Novo cliente em MG Projeto BANRISUL 3

11g Release 2 11.2.0.3.3 Q312 11g Release 2 Version 11.2.0.3.2 Q212 11g Release 2 Version 11.2.0.3 Q411 WebLogic Server, SOA, WebCenter 11gR1 PS4 Q211 10gR2 10.2.0.4 PSU 5 Q310 Enterprise Manager Agent Release 12c Version 12.1.0.1 Q212 10gR2 10.2.0.5 PSU 5 Q411 10gR2 10.2.0.4 PSU 8 Q211 EBS 12.1.2 10gR2 Q310 10gR2 10.2.0.4 PSU 6 Q410 WebLogic Server 12c Release 1 Version 12.1.1x Q212 PeopleSoft Campus Solutions V9 PT 8.52 On 11g Release 2 Q411 EBS 12.1.1 10gR2 RH 4,5 & SLES 9,10 Q309 EBS 12.1x 11g Release 2 Version 11.2.0.2 Q211 Oracle AS 10gR2 10.1.2.3 PS Q309 Hyperion EPM Version 11.1.2.2 10g, 11gR2 EBS 12.1.3 RUP 10gR2 Q410 Split Tier Q212 11g Release 2 11.2.0.2.5 Q112 Siebel CRM 8.0 and 8.1 on 11g Release 2 Q211 10gR2 10.2.0.5 + SLES 11 Support Q111 10gR2 10.2.0.4 PSU 1 Q309 11g Release 2 11.2.0.3.1 Q112 10gR2 10.2.0.5 PSU 3 Q211 Oracle Tuxedo 11g R1 Q111 WebLogic Server 10.3.1 Q309 EBS 12.1x 11g Release 2 Version 11.2.0.3 Q112 11g Release 2 PSU 2 Q211 EBS V12 Split Tier 10gR2 Q308 10gR2 10.2.0.4 PSU 7 Q111 WebLogic Server, SOA, WebCenter 11gR1 PS5 Q112 10gR2 10.2.0.5 PSU 4 Q311 Oracle AS 10g R3 10.1.3.5 PS Q409 10gR2 10.2.0.4 PSU 2 Q409 Siebel CRM V 8.1 10gR2 Q308 WebLogic Server 11gR1 PS3 Q111 PeopleSoft V9 PT 8.51 On 11g Release 2 Q311 10gR2 10.2.0.4 RH5 Q408 11g Release 2 PSU 3 Q311 10gR2 10.2.0.4 PSU 3 Q110 Enterprise Manager Agent 10.2.0.4 Q408 11g Release 2 Version 11.2.0.2 PSU 4 Q411 SOA and WebCenter 11gR1 PS3 Q111 WebLogic Server 10.3.2 Q110 WebLogic Server Version 10.3.3 WebLogic Q210 Portal 10.3.2 Q110 Oracle AS 10g 10.1.3.4 PS Q109 EBS 12.1.x 10gR2 10.2.0.5 Q111 PeopleSoft PeopleTools 8.50 10gR2 Oracle Data Vault 10.2.0.3 Q208 RH5 & SLES 10 Q309 11g Release 2 Version 11.2.0.2 Q111 10gR2 10.2.0.4 PSU 4 Q210 Enterprise Manager Agent 10.2.0.5 Q309 PeopleSoft V9 PT 8.49 10gR2 Q208 4

Pontos chave para o sucesso do Oracle em z Tunning de I/O Adição de caminhos múltiplos para Storage e Rede Multipath (FCP) HyperPAV/DynPAV/xxxPAV (ECKD) MDC (Minidisk Cache para ECKD) LACP (Rede) HiperSocket (Rede Interconnect) Uso de Striping (Storage) Uso de solução de Storage Enterprise (High End) Tunning de SQL s (remoção de hint s) Utilização de versão suportada (S.O. e Midleware) 6

Arquitetura de um Storage Enterprise (High End) 5100,5200, 5300,5400, 5500,5600, 5700,5800 CHIPD s Os cartões FICON Express suportam os protocolos FICON ou FCP O Storage é dividido entre dois Cluster s O cache é organizado pelo cluster Pares de Device Adapters (DA) Cada um suporta dois loop s Os discos são organizados em Ranks Cada Rank (8 discos físicos) implementa um RAID array (com discos lógicos) 7

Benefícios do Striping Se você não usa Striping, todas as operações de I/O para um LV são concentradas em um PV Se você usa Striping, toas as operações de I/O para um LV são balanceadas entre os múltiplos PV s. Isto pode remover um gargalo de I/O e melhorar a performance Use EXT3 LVM (file system) ou Oracle ASM para o armazenamento Aplicação Aplicação 4 5 Volume Lógico 5 Volume Lógico 4 1 2 3 Este disco pode ter gargalos 1 2 3 Sem Striping Striping com 2 PV s As operações de I/O são balanceadas 8

Exemplo de Solução Oracle rodando em IBM System zenterprise System z Host Select IBM Blades Optimizers IBM DB2 V10 z/os z/tpf z/vse Oracle E-Business Suite Linux on System z z/vm 11g R2 and Fusion Middleware Linux on System z Linux on System x 2 Blade Virtualization Certified Oracle Applications AIX on POWER7 Blade Virtualization DataPower IBM Smart Analytics Optimizer Future Offering Future Offering System z PR/SM z HW Resources z196 / z114 Blade HW Resources zbx Ambiente de solução Oracle em um único System zenterprise Rodando Oracle database e Oracle E-Business Suite com alta disponibilidade e confiabilidade com zenterprise 196 (z196) ou zenterprise z114 (z114) Rode adicionalmente aplicações Oracle em AIX na zenterprise BladeCenter (zbx) Total benefício da zenterprise, o primeiro Sistema Híbrido, e gerencie toda a sua Solução de servidores Oracle com o zenterprise Unified Resource Manager 10

Exemplo de uma solução Oracle RAC em uma configuração de Cluster Metropolitano LPAR n LPAR n LPAR w zvm 6.1 RHEL 5.6 LPAR z zvm 6.1 RHEL 5.6 Oracle RAC 11g Oracle RAC 11g 11

Alguns clientes Brasileiros com Oracle em Produção em LoZ

Projeto UNISUL UNISUL é a Universidade do Sul do Estado de Santa Catarina, ela possui aproximadamente 40.000 estudantes matriculados nos seus cursos de graduação e pósgraduação, destes aproximadamente 25.000 são alunos do sistema elearning; Iniciamos o projeto em 2010 com uma Prova de Conceito envolvendo a infra-estrutura de Servidores de Aplicação e Banco de Dados do cliente; Nesta PoC, consolidamos a infra-estrutura do cliente em um IBM System z, aumentando a escalabilidade do ambiente e reduzindo os custos de licenciamento de software; Arquitetura PoC Arquitetura Produção z196 LPAR 1 zvm 6.1 RHEL 5.6 Oracle RAC 10g HS LPAR 2 zvm 6.1 RHEL 5.6 APP SRV LPAR 3 zvm 6.1 RHEL 5.6 LAB 8x FCP 8Gbps 8x fiber 4Gbps XIV 8x FCP 8Gbps 8x fiber 4Gbps OSA LACP 4X 1000BaseT Clients Internet 15

Projeto UNISUL Hoje, a UNISUL roda 100% do seu ambiente eleaning (aplicação Java e base de dados Oracle) em servidor zenterprise z196 com Linux, possui ainda outras bases de dados Oracle rodando na z196 que atendem à outros sistemas da universidade; Como parte do programa de Iniciativa Acadêmica da IBM, a UNISUL ainda possui um ambiente de Laboratórios (aproximadamente 30 máquinas virtuais) para estudantes dos cursos de graduação; Hoje, a UNISUL possui mais de 70 servidores virtuais Linux rodando em sua z196, e os novos projetos já nascem voltados à arquitetura IBM System z Servidores HTTP Cluster WebSphere Portal/WCM DMGR Arquitetura Websphere Portal Server Edge1 DB2 HADR Edge2 MSAD WebSpehere/Portal Search 16

Projeto em novo cliente em Minas Gerais Projeto com cerca de 4 meses de duração Hoje, com 68 servidores virtuais rodando, em produção, na infraestrutura z/vm, destes 90% são servidores Oracle Database zbx com 94 servidores virtuais, na maioria servidores de aplicação acessando os servidores de banco de dados no z/vm Cliente Oracle com contrato ULA (Unlimited License Agreement) Redução no número de instâncias Oracle na arquitetura System z Dispensou a utilização de Oracle RAC (Real Application Cluster) em função de dois fatores: Disponibilidade do HW Escalabilidade do HW Taxa de consolidação de 20:1 18

Arquitetura atual do Cliente em MG System z Hardware Management Console (HMC) with Unified Resource Manager Oracle DB Server s Linux on System z z/vm zenterprise z196 Oracle DB Server s Linux on System z z/vm System z PR/SM System z HW Resources Support Element Oracle DB Server s Linux on System z z/vm Select IBM Blades Oracle APP Server s Linux on System x or Windows Blade Virtualization Oracle APP Server s AIX on POWER7 Blade Virtualization Blade HW Resources zbx DataPower XI50z Optimizers DataPower XI50z Future Offering Future Offering Private data network (IEDN) Rede do Cliente Unified Resource Manager Private Management Network INMN Private Management Network (information only) Private High Speed Data Network IEDN Rede do Cliente 19

Projeto Banrisul: Oracle no Mainframe Fábio Becker Especialista em Mainframe no Banrisul becker@banrisul.com.br 55-51-3215.1365

Perfil do palestrante 32 anos de Mainframe; Do cartão perfurado ao SSD, (Banrisul, FG, SERPRO, Banco Real, Datamec); 23 anos no Banrisul na área de TI; Pioneiro na instalação (1999) do Linux no mainframe. 22

Banrisul Perfil Estabelecido em 1928; Um banco múltiplo controlado pelo Governo do Estado do Rio Grande do Sul, que conta com mais de 10.000 colaboradores; Está entre os mais rentáveis dentre os maiores bancos brasileiros em total de ativos, considerando o retorno sobre patrimônio líquido, segundo dados do Banco Central. 23

Banrisul Abrangência 24

Banrisul Patrimônio Líquido 25

Banrisul Banricompras Em 1998, o Banrisul criou o Banricompras - serviço de pagamentos mediante o cartão da conta corrente -, que pode ser utilizado como cartão de crédito; Assim, o Banricompras integra os clientes pessoas físicas e jurídicas, cultivando a fidelização mútua (cliente/lojista/banrisul). 26

Banrisul Banricompras 27

Banrisul: Linux no Mainframe O Banrisul foi pioneiro na instalação de Linux no Mainframe em 1999, em hardware IBM 9672 e Fujitsu Gs575; Em abril de 2000, ocorreu, no Banrisul, o primeiro workshop IBM de Linux no mainframe da América Latina; O Banrisul apresentou o zlinux no 1º FISL (Fórum Internacional de Software Livre); A relação custo/benefício era desfavorável. 28

Banrisul: Início do Projeto Oracle Em 2002, devido a limitações da plataforma HP e INTEL em atender as necessidades dos bancos de dados Oracle para os sistemas de crédito, iniciamos os testes com Oracle no zlinux; Entre 2002 e 2008, ocorreram várias oportunidades de migração do Oracle para zlinux, mas a plataforma não tinha amadurecido o suficiente para justificar os investimentos; A matriz de compatibilidade hardware/software não estava em níveis aceitáveis para os padrões do Banrisul; A distribuição de correções para Oracle e RedHat em mainframe não acompanhava a distribuição de correções para outras plataformas. 29

Banrisul: O principal desafio - I/O Alcançar performance superior ao da plataforma Intel sem utilizar o paralelismo do ambiente z; A única saída era melhorar a performance de I/O; Após diversas tentativas os discos 3390/1 com LVM foi a configuração que forneceu performance superior ao da plataforma Intel; 3390/1 = 1112 CYL = 923 MB (ECKD) = 781MB (FBA) = 726MB (LVM). 30

Banrisul: O principal desafio - I/O Uma grande surpresa! Configurar o SITE II como preferencial para leitura; Como as controladoras de discos são compartilhadas com o zos, foi necessário escolher o lado oposto ao lado que o zos grava e lê os discos. 31

Banrisul: Servidores Oracle em produção Em 2009, com a evolução da plataforma z, o projeto ganhou fôlego suficiente para viabilizar a migração para o zlinux; Em junho de 2009, um estudo de capacidade para consolidar todos servidores Oracle (PA-RISC e INTEL) indicou 12 IFLs de z10 EC com 78% de utilização; Em janeiro 2010, ocorreu upgrade de z9 para z10; Em abril de 2010, entra em produção o primeiro RAC Oracle (10gR2), com dois bancos de dados pequenos como projeto piloto (sem LVM); Em setembro de 2011, novo estudo de capacidade apontou 6 IFLs z196, com 74% de utilização. 32

Banrisul: Projeto Oracle Em setembro de 2011, o banco de dados Oracle mais crítico (Crédito), foi migrado para zlinux; Em janeiro de 2012, ocorreu upgrade de z10 para z196; Em janeiro de 2012, utilizando-se por volta de 4 IFLs de z196, atingimos 50% de conclusão do projeto; Em agosto de 2012, utilizando-se por volta de 8 IFLs de z196, atingimos 75% de conclusão deste projeto; A meta para dezembro é 100% dos bancos de dados Oracle em zlinux. 33

Infraestrutura Oracle 34

Banco de dados Oracle 35

Banco de dados Oracle 36

ExtratoTotal 37

Muito obrigado! Perguntas? Fábio Becker Especialista em Mainframe no Banrisul becker@banrisul.com.br 55-51-3215.1365