Muito obrigado aos patrocinadores por terem feito este evento acontecer!!!

Transcrição

1 1

2 Prezado amigo! O SQL Saturday é um evento gratuito e os nossos patrocinadores são responsáveis por garantir toda a infra-estrutura para que o evento aconteça. Não deixe de conferir as promoções e serviços oferecidos por eles. Para isto, basta aceitar o contato via em seu profile no site do PASS. Muito obrigado aos patrocinadores por terem feito este evento acontecer!!! 2

3 Em outubro irá acontecer o PASS Summit, em Seatlle. É um dos maiores eventos de SQL Server do mundo. Os códigos acima te dão direito a um desconto de US$ 150. Basta informar um deles no site de registro. 3

4 Bom, vamos entender o que iremos tratar nesta apresentação! Uma breve historinha: O Objetivo Há muito tempo, no início de minha carreria, haviam me relatado que a CPU estava alta em um determinado servidor SQL. Usei algumas DMVs para tentar identificar quais queries estavam rodando no momento e a informação que eu tinha era que uma determinada query estava rodando há um determinado tempo e gastando alguns milissegundos de CPU. Ao reportar isso para meu superior, ele me questionou quantos % esse valor representava do uso de CPU da máquina. Então daí nasceu uma jornada que desencadeou em vários estudos e esta apresentação. Após esta história, eu desenvolvi uma curiosidade imensa por CPU e suas métricas e nunca consegui encontrar informações precisas ou detalhadas 4

5 sobre os cálculos necessário para se obter o percentual de uso de CPU. Diante disso, montei esta apresentação para auxiliar a entender as informações sobre o uso de CPU, tanto no Windows, quanto no SQL Server. Boa parte dos conceitos que serão apresentados aqui poderão ser reaproveitados em diversos outros momentos, não só em SQL Server. 4

6 Bom, antes de continuarmos vamos fazer uma pequena demonstração. Primeiro, configure o SQL Server para usar somente a CPU0 da máquina. Utilize o script em demos\cpu_x_sql\01.limitarcpu.sql para configurar o SQL Server para usar somente a CPU0. Certifique-se que a CPU0 esteja livre e usando pouco processamento (Atenção se você tem apenas 1 CPU disponível, este teste poderá fazer seu PC travar e ficar completamente sem resposta. Faça isto por sua conta e risco). Suba uma instância SQL e crie a procedure sp_spendcpu que se encontra em demos\cpu_x_sql\sp_spendcpu.sql O objetivo desta demonstração é observar e comparar os valores de CPU em diversas fontes de monitoração. Execute o script que está em demos\cpu_x_sql\workload01.sql Siga as instruções no script. Execute o script que está em demos\cpu_x_sql\workload02.sql Siga as instruções no script. 5

7 Verificou como há uma série de fontes e valores diferentes mostrando a mesma informação: O Gasto de CPU. Como interpretá-los? Como determinar se uma query está ocasionando o alto consume de CPU? Esta apresentação irá responder estas perguntas! 5

8 Agora que você já sabe um pouco mais do que será apresentado, vamos a nossa agenda: Esta apresentação está organizada nos seguintes momentos: 1. Definições 2. O cálculo do uso de CPU 3. Impacto da concorrência e repetições 4. Tempo de Resposta vs Tempo de CPU Cada tópico fornece o entendimento necessário para compreensão do tópico seguinte. 6

9 Está bem, primeiro vamos definir a CPU a que me refiro nesta apresentação. Esta definição é importante pois dependendo da definição que temos de CPU, as formas de interpretar seu uso podem mudar pois existem uma série de variáveis que afetam esta interpretação. Tudo começa com o processador em si. Geralmente é referenciado como o socket. O processador pode conter vários cores, que chamamos de core físico. Cada core é uma unidade de processamento, isto é, é uma unidade que consegue executar instruções. E por fim, ainda temos tecnologias que otimizam o uso do core, aparentando ter dois cores para cada core físico. Esses são os cores lógicos. Uma tecnologia que faz isso é o hyper-thread. No contexto desta apresentação CPU é a mesma coisa que core lógico. Se uma máquina tem 1 processador com 1 core físico, sem a tecnologia hyper-thread, então a quantidade de CPUs será 1. Se uma máquina tem 1 processador com 1 core físico, com a tecnologia hyperthread, então a quantidade de CPUs será 2. 7

10 Tudo que estamos nos referindo aqui considera a quantidade de cores apresentada para o sistema operacional, e não a quantidade real da máquina. Isso vai facilitar o entendimento deste assunto. No futuro, você voltará neste assunto e verá que essas definições são importantes principalmente para questões de performance. Há ainda mais componentes que integram um processador, como os caches, controladores, etc. Porém, para o contexto desta apresentação, somente estes apresentados são importantes. 7

11 Bom, afinal, o que é o uso da CPU? Definições interessantes: lculating-cpu-utilization/ 6/interpreting-cpu-utilization-for-performance-analysis.aspx Existem muitas definições legais e que retratam bem o que é realmente. Eu escolhi estas três porquês são umas das mais claras que já li. Há um ponto em comum nestas três definições: O gasto de CPU é um tempo que a CPU passa executando instruções, considerando um intervalo. O próximo slide ilustra melhor. 8

12 O gasto de CPU é o tempo que foi gasto executando instruções durante um intervalo de tempo. Bom, vamos ilustrar isso melhor. Considere um intervalo de 1 segundo, ou, 1000 milissegundos. Este é o nosso intervalo de monitoramento. Agora imagine que neste intervalo, executem duas instruções, cada uma levando 250 milissegundos. A conta é bem simples: 250 ms ms = 500 ms Isto é, neste 1000 milissegundos que monitoramos, 500 milissegundos foram gastos executando algo. 500/1000 = 0,5 ou 50%! Perceba que o segredo é o intervalo de tempo que você escolhe... 9

13 O cálculo de uso de CPU é feito desta maneira.. 9

14 Podemos calcular o tempo de uso por thread ou processo. A lógica é a mesma: Calcular o tempo que a thread gasta em um intervalo de tempo. Como um processo é composto por várias threads, basta somar os tempos de todas as threads que compõe o processo e o resultado é o gasto do processo, no intervalo monitorado. Considere o intervalo de 1 segundo. Imagine que neste intervalo, uma thread (vamos chamar de #1 ) execute três vezes e gaste 100ms, 300ms, 50ms, respectivamente. Imagine que neste mesmo segundo, a thread #3 execute e gaste 70ms. Para calcular o uso de CPU neste segundo por thread, a conta é simples: Thread #1: 100ms + 300ms + 50ms = 450ms (Isto é, a thread fez a CPU passar 450ms executando instruções, neste intervalo de 1 segundo). 450ms/1000ms = 0,45 = 45% Neste intervalo, a thread gastou 45%. Thread #3: 70ms/1000ms = 7% Para calcular o gasto por processo, basta somar os tempos de suas threads. 10

15 Considerando que as threads #1 e #3 pertencam ao processo 1, então temos: 450ms + 70ms = 520ms ou 45% + 7% = 52% O gasto de uma CPU inteira segue o mesmo princípio. Como veremos adiante. 10

16 O Windows calcula o uso de CPU baseado em uma thread chamada IDLE THREAD, que roda no processo System Idle Process (Processo 0). Existe uma Idle Thread para cada CPU. Esta thread executa sempre que o processador não está fazendo nada, ou seja, ele executa somente quando nenhuma outra thread está usando aquele processador. Para calcular o percentual de uso de uma CPU, o Windows calcula o tempo que a idle thread passa executando durante o intervalo de tempo. Por exemplo, se a Idle Thread usou 30%, significa que os outros 70% foram gastos com outras threads. Isso permite nos concluir que 70% do intervalo foi usado por threads de outros processos, isto é, por threads que estavam efetivamente fazendo algum trabalho. Lembrando que a Idle Thread só executa quando não há nenhuma outra thread para ser executada. Quando há várias CPUs, irá existir uma idle thread para cada CPU. Por falar em ambiente com várias CPUs., podemos ter valores acima de 100% nestes ambientes, reportados por algumas ferramentas. Vejamos este caso no próximo slide. 11

17 Algumas métricas poderão passar 100%. Em máquinas multi-cores, o mesmo processo pode ter várias threads executando em CPUs diferentes. Uma thread nunca irá apresentar mais de 100%, pois ela pode está executando somente em uma CPU por vez. Para ilustrar, considere o intervalo de 1 segundo e uma máquina com duas CPUs. Imagine que o Processo 1 possua duas threads e as duas iniciem sua execução no início do intervalo de 1 segundo. Imagine que as threads gastem, cada uma, 1 segundo de execução de instruções, fazendo com que cada thread use 100% de CPU no intervalo monitorado. Pela regra apresentada no slide anterior, temos que o uso de CPU do Processo 1, no intervalo neste intervalo é: 100% (#1) + 100% (#3) = 200%! Isso pode confundir muita gente mas é um valor correto. Quando se trata de CPU, a 12

18 medida de tempo se torna uma métrica para o consumo de CPU. Saber que um processo está usando 200% de CPU é um forte indicativo de paralelismo e pode guiar alguma análise. Podemos perceber o mesmo comportamento no SQL Server. As DMVs geralmente reportam duas informações: uso de CPU e tempo total de execução. Quando o uso de CPU é maior que o tempo total de execução, significa que houve paralelismo. Mas nem sempre isso vai acontecer. Por exemplo, se a thread #1 gastar 50% e thread #3 gastar 20%, então a soma será 70%. É um valor abaixo dos 100%, porém houve paralelismo. Uma query que roda em paralelo pode gastar mais recursos de CPU para executar em tempo menor. Nem todas as ferramentas reportam valores acima de 100%. Por exemplo, o gerenciador de tarefas não exibe nenhum valor acima de 100%, mas o perfmon exibe, quando se usa o contador de CPU para um processo. Vamos ver no próximo slide porque isto ocorre. 12

19 A maioria das ferramentas irão contabilizar o uso total de CPU da máquina como uma média. Soma-se o uso de todas as CPUs e divide-se pelo número de CPU. 13

20 Reportar o uso de CPU é verificar constantemente o mesmo intervalo! No Task manager, ou no process explorer, perfmon, etc., os que as ferramentas fazem é sempre repetiro intervalo, atualizando o consumo de CPU e reportar o valor mais atualizado. Isto é, ao final de cada intervalo, começa outro, e ao final do próximo, começa mais uma, e por assim vai... A cada ciclo desse, nos vemos o último valor coletado. Em um gráfico, podemos observar e comparar pontos onde a CPU esteve bastante usada, ou mesmo identificar se houve uma utilização fora do normal, comparando com outros pontos ou um baseline. Isso permite ter uma visão rápida da atividade de uma thread, processo ou CPU. 14

21 Nesta demonstração vamos observar alguns contadores de performance em diversas ferramentas, incluindo nas DMVs do SQL Server. Explorando ferramentas Há diversas ferramentas que nos apresentam informações importantes sobre o consumo de CPU. A mais famosa delas, é o Task Manager, ou, Gerenciador de Tarefas. Gerenciador de Tarefas Com o gerenciador de tarefas você pode acompanhar a utilização de CPU por core e por processo. A ferramenta exibe uma média de uso de CPU, aba Desempenho, para a máquina inteira, e nos permite verificar por CPU ou por nó NUMA (média). Também, na guia Processos podemos acompanhar a utilização por processo, onde é apresentando uma média de uso baseado em todos 15

22 os processadores da máquina. Por padrão o intervalo de coleta é 1 segundo. Você pode alterar este valor usando a opção Atualizar Velocidade ou Update Speed. Segundo este artigo a velocidade Alta equivale a um intervalo de 500ms. Você pode usar F5 para atualizar manualmente. Process Explorer Process explorer é uma evolução do Gerenciador de Tarefas, criado pela SysInternals, esta última que foi comprada pela Microsoft. Você pode baixar o process explorer em Recomendo que passe a utilizar o process Explorer no seu dia-a-dia pela quantidade de informações que ele apresenta. Primeiro, o process explorer fornece todas as informações que o Task Manager fornece. O destaque vale para as informações de CPU que ele permite exibir por threads de um processo. Para isso, clique com o botão direito no processo desejado, escolha a opção propriedades e vá para aba threads. Além disso, você pode acompanhar o número de ciclos gastos entre um monitoramento e outro. Perfmon O perfmon (perfmon /sys) contém vários contadores de performance úteis para verificar o uso de CPU. A categoria Processor contém diversos contadores relacionados a CPU e permitem visualizar um média, ou uma única CPU da máquina. Existem contadores por processo e threads, categorias Processo ou Process e Threads, respectivamente. Os contadores de CPU por processo irão reportar valores acima de 100%, pois eles irão apenas somar o tempo de suas threads. Não é uma média. Observando a Idle Thread A idle thread é uma thread especial que, dentre suas várias outras funções, é usada pelo Windows para contabilizar o uso de uma CPU. 15

23 Existe uma idle thread para cada CPU na máquina. Estas threads são partes do processo System Idle Process Podemos observar as Idle Threads usando o processo explorer da mesma maneira que visualizamos as threads de um outro processo. Extra: Se você tem alguma experiência com debugging e símbolos, você pode baixar os símbolos do processo ntoskrnl.exe, configurar o symbol path no process explorer e observar a camada da função KiIdleLoop, por cada thread. Manipulando o intervalo de coleta Como dito nesta apresentação, o gasto de CPU é baseado em um intervalo de coleta. Na maioria das ferramentas podemos alterar este valor. O valor padrão é 1 segundo. Este tempo é uma boa referência pois a velocidade dos processadores também é medida em 1 segundo (hertzs). Se uma query gasta 1 segundo de CPU em um processador de 2GHz, significa que aquela query usou 2 bilhões de ciclos. Para esta demonstração vamos observar os efeitos do intervalo de coleta. Execute a query \demos\observandousocpu\002.gastacpu.sql segundo. Esta query usa uma procedure que tenta gastar 500ms de CPU a cada No process explorer ou task manager, observer o consumo de CPU do SQL Server com um intervalo padrão de 1 segundo. Altere o intervalo de coleta para 500ms. Veja como os picos em 100% são mais frequentes. Isto é esperado, uma vez que o intervalo de coleta é 500ms, veremos o pico. Abra uma ferramenta diferente da que você abriu antes, e verifique o uso de cpu em um intervalo de 1segundo. Veja como são diferentes. Fonte de Informações no SQL Server threads. O SQL Server fornece várias maneiras de coletar o uso de CPU de suas Acompanhe as instruções do arquivo 15

24 \demos\observandousocpu\003.sqlcpuinfo.sql para mais detalhes 200% de uso de CPU Abra o arquivo Demos\ObservandoUsoCPU\004.CPUAcima100.sql e siga as instruções. Mantenha preparado o permon, que está no mesmo diretório. O template abre o pefmon com o contador de CPU do processo do SQL Server e as CPU3 e CPU2. 15

25 Bom, agora que você já sabe um pouco mais sobre o que é o gasto de CPU, vamos começar a trabalhar esta informação. Para todos os efeitos, sempre considere o intervalo padrão, que é 1 segundo. Uma simples query muita vezes pode ser suficiente para consumir todos os recursos do servidor. Porém, saber como o 100% é calculado pode te ajudar a prever certas situações, além de planejar a capacidade. Claro que se houver mais de 1 CPU disponível, essas execuções serão distribuídas entre as mesmas. Mesmo assim, você pode planejar o quanto esta query poderá onerar seu servidor. Imagine uma query que rode em 200 ms. Em um intervalo de 1 segundo, isto representa 20% de uma CPU. Isto significa, que em 1 segundo, você consegue atender 5 execuções simultâneas desta query. (5 x 200ms = 1000ms = 1s). Se você tiver duas CPUs, você conseguirá, em 1 segundo, atender 10 execuções simultâneas no mesmo segundo. (5 em cada CPU). 16

26 Outra foram de aumentar a capacidade seria otimizar a query. Se você otimizasse esta query para 100ms, então em 1 segundo, apenas 1 CPU atenderia 10 execuções, e assim por diante. Adicionar uma CPU mais rápida ou otimizar a query para que use menos intruções são as únicas maneiras de diminuir o consumo de CPU. A mesma lógica se aplica para UDFs e expressões: Se você tem uma função/expressão cujo uma execução com qualquer parâmetro seja 10ms, por exemplo, aplicar esta função em uma query que retorne 100 linhas irá consumir 100% de uma CPU sozinha. 16

27 Um fator que pode estar confuso é a diferença entre o uso de CPU e o tempo total de resposta de uma thread. Uma thread não passa o tempo todo executando código e, na verdade, a maioria das threads passam a maior parte do tempo esperando por algum recurso. O que mantém a CPU geralmente em níveis bem baixos de uso. No caso do SQL Server, esse tempo pode ser percebido facilmente devido ao tempo que queries esperam por locks, latchs, disco, etc. O tempo de resposta de uma thread, é o tempo total que a thread gastou para entregar a resposta do seu trabalho. Isto é, é a soma das esperas com a soma do processamento. Por exemplo, uma thread pode gastar 4 segundos para entregar um resultado, e destes 4 segundos pode usar apenas 1 segundo de CPU. Este 1 segundo de CPU pode não ser gasto necesseriamente de uma só vez. A thread pode ter gasto os primeiros 600 ms de CPU, esperado por 3s, gasto os últimos 400ms processando, totalizando 1s de CPU e 4s de resposta. Isso explica o porque no SQL Server observamos altos valores de CPU sendo 17

28 reportados pelas DMVs, e poucos uso de CPU reportado no Windows. Acontece, que as queries passam a maior parte do tempo aguardando por recursos, ao invés de realizando algum processamento. Quando processam, o tempo gasto processando é somado ao tempo total de CPU da sessão. Isto é, o gasto de CPU reportado é um valor acumulado durante toda a vida da sessão, assim como no exemplo da thread. O tempo total de CPU também é diferente do uso de CPU. O tempo total de CPU é o tempo gasto em toda a vida da thread. O uso de CPU é baseado em um intervalo, e cada vez que o intervalo fecha, o valor é contabilizado baseado neste intervalo somente. Tempo de CPU: SOMENTE CPU! Pode incluir tempo de acesso a memória/caches Outros tempos: Resposta de disco, rede Espera de CPU Wait functions! Tempo de resposta = Tempo de CPU + Outros! 17

29 Bom, nesta demonstração vamos observer como podemos usar os valores de CPU para estimar o workload suportado, em termos de utilização de CPU. Também, você irá aprender a manipular as informações apresentadas para determinar de forma mais precisa quais as queries que estão causando alta utilização de CPU. Quantidade de execuções Você vai ver que é fácil estimar o quanto de CPU do SQL Server sua aplicação vai precisar. Nós vamos usar o powershell para similar alguns Workloads. Não se preocupe que irei te orientar passo-a-passo. Primeiro, crie um banco de testes. O script de criação do banco está em Demos\!Utils\SQLSat424.db.sql. O script irá excluir, se já existir, e criar um banco de dados chamado SQLSat24. Você alterar o nome se prefirir (lembre-se de altera em todos os lugares que iremos usar). 18

30 Primeiro, analise o tempo de execução de algumas queries, quando executadas sozinhas. Acompanhe as instruções em Demos\SQLAnaliseCPU\001.QuerySimpleTempo.sql. Depois volte aqui. Bom, agora abra o Perfmon (já tem um template pronto em Demos\SQLAnaliseCPU\Perfmon_SQLServerProcess.PerfmonCfg ). Vamos monitorar o Contador de CPU do processo do SQL Server. Certifique-se que o SQL Server está configurado para rodar em uma CPU somente. Abra o powershell: digite powershell.exe no Metro do Windows, ou no Menu Iniciar, como Administrador. Execute o commando Set-ExecutionPolicy Unrestricted (Isso vai permitir que qualquer script powershell possa ser executado em sua máquina). Se não estiver de acordo, você poderá pular este passo e ignorer esta parte da demo. Utilize o commando cd (igual no shell Padrão do Windows) para mudar o contexto do diretório para a raiz desta apresentação (onde está a pasta Demos ). Legal, agora você já consegue executar os scripts. O Objetivo desta demo é similar a execução simultânea da mesma query. Execute o seguinte commando no powershell..\demos\sqlanalisecpu\002.query01-concorrente.ps1 4 e fique de olho no perfmon. Perceba que a execução da mesma query em 3 sessões simultâneas causou um uso de CPU um pouco maior. Divida o 1 Segundo (1000 ms) pelo número de que você identificou na query anterior. Esse é o valor a partir do qual o SQL Server via começar a usar próximo de 100%. Você pode usar a versão da query..\demos\sqlanalisecpu\003.spspendcpu-concorrente.ps1 que tenta gastar 500ms de CPU. Com cerca de 2 a 3 threads você já percebe valores próximos a 100%. Você também pode notar um efeito bem interessante quando usa funções. Por exemplo, é muito comum vermos o uso da função REPLACE para remover ou substituir uma string em outra bem maior. Essa é uma operação que requer muito o uso de CPU e quanto mais texto, mais CPU a função irá consumer. A situação interessante ocorre quando você usa a função em várias linhas contendo grandes quantidades de texto. Se uma execução gasta, por exemplo, 100ms, então, a execução para 18

31 10 linhas poderá fazer com a query gaste 1000ms de CPU, somente para a execução desta função. No interval padrão de 1 Segundo, isso facilmente colocaria a query em 100% de CPU, e se for uma query bastante usada, então ela pode facilmente onerar os recursos de CPU da produção. Siga as instruções no arquivo Demos\SQLAnaliseCPU\004.Funcoes.sql e observe este efeito em ação. CPU Total vs Delta Bom, creio que este seja um dos exercícios mais importantes que você poderá fazer. Agora que sabemos o que é o gasto de CPU, precisamos de ferramentas mais precisas e eficazes na hora em que for necessário identificar as queries que estão mais consumindo CPU e esgotando os recursos. Bom, vamos rodar dois scripts. Os dois vão executar o mesmo código. A diferença é que o primeiro vai rodar continuamente no mesmo batch, tentando gastar 10% de CPU a cada 1 Segundo. O outro, vai gastar 60% de CPU, executando em batchs diferentes. Configure o SQL Server para usar todos os processadores disponíveis Demos\!Util\AffintyMask0.sql Abra o powershell, conforme demo anterior. Execute o arquivo Demos\SQLAnaliseCPU\008.CPU60-Separado.ps1 Abra o management studio, e execute o script do arquivo Demos\SQLAnaliseCPU\008.CPU10-Mesmo.ps1 Acompanhae as instruções do arquivo Demos\SQLAnaliseCPU\009.Analise.sql 18

32 A porcentagem de CPU é calculada com base em um intervalo de tempo, que geralmente é 1 segundo! O Windows contabiliza o uso do processamento total baseado na quantidade de CPUs. Adicionar mais CPUs nem sempre significa melhora no desempenho 19

33 20

34 21

35 22