HOW TO Quais as dúvidas e problemas freqüentes do Aker Web Content Analyzer e Squid

Transcrição

1 Introdução HOW TO Página: 1 de 9 Mostraremos os erros mais comuns na instalação e na configuração do Aker integrado com o Squid. Solução Aker Web Content Analyzer A configuração incorreta da permissão de arquivos que serão manuseados pelo squid, como o diretório onde ficarão os logs e o cache do squid é um erro bastante comum. No exemplo de configuração abaixo, os diretórios /var/log/squid e /var/cache/squid têm que ter obrigatoriamente permissão de leitura e escrita para o usuário do squid: cache_effective_user e cache_effective_group é squid. O valor destes parâmetros não deve ser alterado, a menos que o administrador tenha absoluta certeza do que está fazendo, pois pode causar uma série de outros transtornos e falhas de segurança no cache. A configuração do squid é a parte mais trabalhosa na instalação do Aker, se ela não for criada de forma correta pode comprometer todo o trabalho com o produto. Seguem alguns exemplos e parâmetros que ajudam a melhorar o desempenho do cache e, consequentemente, do Aker. squid.conf - melhor criar um squid.conf do zero, o squid fica mais enxuto, e a interação com o Aker fica mais visível, os squid.conf que acompanham o squid têm uma série de comentários e informações desnecessárias, que apenas dificultam a localização da configuração que se deseja alterar. Exemplo de squid.conf # parâmetros básicos do servidor visible_hostname filtro de conteúdo cache_effective_user squid cache_effective_group squid # parâmetros para autenticação modo basic auth_param basic program /usr/local/squid-urld/squid_auth /etc/passwd auth_param basic children 5 auth_param basic realm Digite seu Login # ACLS acl manager proto cache_object acl all src / acl redeinterna src / acl localhost src / # numero máximo de conexões tcp/ip por usuário

2 acl conexões maxconn 10 Página: 2 de 9 # máximo de usuários por máquina acl apenas1ip max_user_ip -s 1 # autenticação requerida acl autenticado proxy_auth REQUIRED # portas permitidas acl SSL_ports port 443 acl Safe_ports port 80 acl Safe_ports port 21 # http # ftp acl Safe_ports port 443 # https acl Safe_ports port # unregistered ports acl CONNECT method CONNECT # protocolos permitidos acl https proto https acl http proto http acl ftp proto ftp ####################################################### # # acesso ao CacheMgr.cgi apenas a rede de suporte # acl suporte src /24 acl manager proto cache_object http_access allow all manager http_access allow autenticado ###################################################### Aqui se definem quantos processo do irão rodar simultaneamente na máquina.

3 # Aker - Analisador de URL Página: 3 de 9 redirect_program /usr/local/squid-urld/squid-urld redirect_children 50 ##################################################### # Apenas parâmetros do servidor: # always_direct allow CONNECT SSL_ports # always_direct allow HTTPS # acl accel_port myport 80 # acl accel_hosts dst # http_access allow accel_hosts accel_port # Parâmetros para tamanho do cache cache_mem 8 MB cache_dir ufs /var/cache/squid cache_swap_high 95 cache_swap_low 90 # log de acesso fixa o local para gravação do log cache_access_log /var/log/squid/access.log logfile_rotate 0 buffered_logs off # despreza o log de armazenamento cache_store_log none # tempo para timeout login/ip # authenticate_ttl 60 seconds # authenticate_ip_ttl 60 seconds # E, finalmente, rejeita qualquer outro acesso ao cache. http_access deny all Correto dimensionamento do squid

4 HOW TO Página: 4 de 9 Normalmente quando é instalado o Aker, a instalação do squid também é feita no cliente. Sugestão: dimensionar corretamente a combinação hw/sw onde o squid irá rodar, pois uma configuração errada compromete todo o trabalho. O squid usa muito I/O. Então, o que interessa na máquina é ter bastante memória e discos rápidos. O processamento que o squid usa é baixo, sendo que não é necessário ter uma capacidade muito alta de processamento. No entanto, o julgamento da situação no local sempre é mais adequada. Uma forma de calcular a quantia de RAM necessária para qualquer cache é 10MB RAM para cada 1GB de espaço de cache em disco. Sugestão: distribuir um pouco mais quando usado um squid compilado para usar threads. Também é preciso incluir na conta o que seu sistema usa para outras coisas. Seguem, abaixo, as tags do squid.conf que mais influenciam no desempenho da aplicação: cache_mem Este parâmetro dimensiona o quanto de memória o squid irá utilizar para objetos quentes, que são os objetos mais consultados no cachê. O valor padrão de 8mb é um valor seguro para a maioria dos sistemas, sendo que normalmente são usados valores entre 32 e 50mb para máquinas com memória >= que 512 de ram. É importante ressaltar que esse parâmetro não limita o tamanho do(s) processo(s) do squid. Os ganhos de performance aumentando esse valor não são muito altos, mas perceptíveis em proxys com tráfego alto. cache_dir Este é o diretório onde ficarão os arquivos que o squid guarda em cache. Primeiro, é melhor usar aproximadamente 60% ou menos de cada diretório de cache. Se usar mais que isso você começará a perceber uma perda leve de desempenho. Lembre-se que tamanho de cache não é tão importante quanto velocidade de cache. Você também necessitará definir o número de diretórios e subdiretórios. A fórmula para decidir que é isto: x=tamanho do diretório de cache em kb(ex.: 6GB=~6,000,000kb) y=tamanho aproximado dos objetos (p/ efeito de cálculo 13kb é um bom valor) z=número de diretório de primeiro nível. (((x / y) / 256) / z) * 2 = Nº de diretórios Como exemplo, foi usado 6GB de um hd para cache: 6,000,000 / 13 = / 256 = / 256 = 7 * 2 = 14 Assim, meu cache_dir ficaria dessa forma: cache_dir Estes são os dois valores mais importantes, os outros valores são apenas ajustes menores e também para não desperdiçar espaço em disco com alguns logs que para a administração não interessam. O cache_store_log é dos logs que o squid gera o que mais usa espaço em disco e que para o administrador não traz nenhuma informação útil, assim podemos desabilitá-lo com: cache_store_log none Também, a seguinte linha pode ser incluída para melhorar a performance: half_closed_clients off maximum_object_size 1024 KB selinux habilitado/não configurado - incluir info de flavio-aker-rj Problema: Squid não subia os processos do Aker Web Content no Boot

5 Erros: HOW TO Página: 5 de 9 [root@rtmpry01 ~]# dmesg SELinux: initialized (dev rpc_pipefs, type rpc_pipefs), uses genfs_contexts audit( :105): avc: denied { execute } for pid=2528 comm="squid" name="squid_auth" dev=sda1 ino= scontext=user_u:system_r:squid_t tcontext=system_u:object_r:usr_t tclass=file audit( :106): avc: denied { append } for pid=2508 comm="squid" name="swap.state" dev=sda5 ino= scontext=user_u:system_r:squid_t tcontext=system_u:object_r:file_t tclass=file Solução: ou adiciona as políticas abaixo ou então desabilite o SELinux Para adicionar o webcontrol nas políticas do selinux: [root@rtmpry01 ~]# audit2allow -d allow squid_t file_t:file append; allow squid_t usr_t:file execute; Para desabilitar o selinux: no arquivo vi /etc/sysconfig/selinux alterar a opção SELINUX para: SELINUX=disabled arquivo /etc/sysconfig/selinux # This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing.

6 # disabled - SELinux is fully disabled. Página: 6 de 9 SELINUX=disabled #SELINUX=enforcing #SELINUXTYPE= type of policy in use. Possible values are: # targeted - Only targeted network daemons are protected. #strict - Full SELinux protection. SELINUXTYPE=targeted Erro que aparece no log do squid quando ocorre esse erro do SELINUX Log do Squid: 2006/02/10 12:19:48 Squid Cache (Version 2.5.STABLE6): Exiting normally. 2006/02/10 12:21:13 Starting Squid Cache version 2.5.STABLE6 for i686-redhat-linux-gnu /02/10 12:21:13 Process ID /02/10 12:21:13 With 1024 file descriptors available 2006/02/10 12:21:13 DNS Socket created at , port 32768, FD /02/10 12:21:13 Adding nameserver from /etc/resolv.conf 2006/02/10 12:21:13 Adding nameserver from /etc/resolv.conf 2006/02/10 12:21:13 Adding nameserver from /etc/resolv.conf 2006/02/10 12:21:13 helperopenservers: Starting 10 `squid-urld` processes 2006/02/10 12:21:13 ipccreate: /usr/local/squid-urld/squid-urld: (13) Permission denied 2006/02/10 12:21:13 ipccreate: /usr/local/squid-urld/squid-urld: (13) Permission denied Como configurar o usuário e o grupo responsável pelo processo do squid? Problemas comuns que podem surgir caso o usuário ou a permissão estejam incorretos: O Squid não consegue carregar o processo inicial.

7 O Squid não consegue gravar nenhum arquivo de log. O Squid não consegue gerar o cache. Exemplos de erros: Página: 7 de /09/01 12:54:47 Creating Swap Directories FATAL: Failed to make swap directory /usr/local/squid/var/cache: (13) Permission denied Esta opção é a que determina qual o usuário será utilizado pelo squid quando for iniciado. É importante que as pastas e subpastas do squid estejam com as devidas permissões para o usuário squid. User UID GID Descrição Dir. Home Shell squid::1000:1000::0:0:squid User:/usr/local/squid:/sbin/nologin Exemplo de permissões nas pastas do Squid drwxr-xr-x 2 squid squid 512 Dec bin drwxr-xr-x 2 squid squid 512 Dec etc drwxr-xr-x 2 squid squid 512 Dec libexec drwxr-xr-x 3 squid squid 512 Dec man drwxr-xr-x 2 squid squid 512 Dec sbin drwxr-xr-x 4 squid squid 512 Dec share drwxr-xr-x 4 squid squid 512 Sep 1 12:00 var Problemas comuns que podem surgir caso os arquivos de logs ultrapassarem 2 Gb: O Squid consegue carregar o processo inicial porem o processo é morto pelo sinal 25 (signal term 25). O Squid não consegue gravar mais o arquivo de log. Existem várias localizações da pasta de logs do squid, que depende do padrão do sistema operacional que está sendo utilizado ou como foi configurado no arquivo de configuração squid.conf /var/log/squid

8 /var/spool/squid/logs Página: 8 de 9 /var/cache/squid/logs /usr/local/squid/var/logs Entre na pasta onde estão os logs do squid, digite o comando ls lh caso algum arquivo apresente o tamanho de 2GB apague-o ou mova-o. root@server-rj /usr/local/squid/var/logs# ls -lh total rw-r--r-- 1 squid squid -rw-r--r-- 1 squid squid -rw-r--r-- 1 root squid 2G Sep 1 13:50 access.log 4K Sep 1 13:30 cache.log 4B Sep 1 13:30 squid.pid -rw-r--r-- 1 squid squid 53K Sep 1 13:50 store.log O processo do Squid não inicia porque o HD está sem espaço suficiente. Problemas comuns que podem surgir quando o HD estiver cheio: O Squid não consegue carregar o processo inicial. O Squid não consegue gravar mais o arquivo de log. Digite o comando df h e verifique se o local onde ficam as pastas squid está com 100% de utilização, caso esteja, terá que ser feito algum procedimento para a remoção dos arquivos ou então a adição de um novo HD. root@server-rj ~# df -h Filesystem Size Used Avail Capacity Mounted on /dev/ad0s1a 3.9G 174M 3.5G 5% / /dev/ad0s1e 98M 390K 90M 0% /boot /dev/ad0s1f 14G 14G 0B 100% /usr Procedimento para recriar as pastas cache do Squid. Verifique se o processo do squid está ativo com o comando ps afx 162?? I 0:00.00 /usr/local/apache2/bin/httpd -k start

9 163?? I 0:00.00 /usr/local/apache2/bin/httpd -k start 164?? I 0:00.00 /usr/local/apache2/bin/httpd -k start 165?? I 0:00.00 /usr/local/apache2/bin/httpd -k start Página: 9 de 9 214?? S 0:00.32 /usr/local/libexec/mysqld --basedir=/usr/local -- data 218?? Ss 0:01.20 nmbd 219?? I 0:00.01 nmbd 502?? Is 0: /../sbin/squid 504?? S 0:03.60 (squid) (squid) 505?? Is 0:00.01 (unlinkd) (unlinkd) 577?? S 0:00.23 sshd: root@ttyp0 (sshd) 614?? Is 0:27.71 imapd 1. Se estiver ativo, mate-o com o comando killall squid 2. Entre na pasta onde estão os arquivos de cache. Execute rm rf * dentro da pasta do cache Existem várias localizações da pasta de cache do squid, que depende do padrão do sistema operacional que está sendo utilizado, ou como foi configurado no arquivo de configuração squid.conf /var/cache/squid /var/spool/squid/cache /etc/squid/cache /usr/local/squid/var/cache Executar o comando squid z para recriar as pastas de cache. 2006/09/01 15:14:05 Creating Swap Directories root@server-rj /usr/local/squid/var/cache#