SIPTEST System Intelligent Process Testing. Analise Ferramentas de Segurança

SIPTEST System Intelligent Process Testing. Analise Ferramentas de Segurança SIPTEST - System Intelligent Testing Link Consulting,SA Pág. 0 de 23

Índice 1 Introdução... 2 1.1 Objectivo do documento... 2 1.2 Testes de Segurança... 2 1.3 Estrutura do documento... 2 2 Ferramentas de Testes de Segurança... 3 2.1 Dinâmicas... 3 2.1.1 Conclusão... 7 2.2 Estáticas.... 8 2.2.1 Conclusão... 10 3 Ferramentas Dinâmicas (estudos)... 12 4 Referências... 17 Link Consulting,SA Pág. 1 de 23

1 Introdução 1.1 Objectivo do documento Este documento apresenta o resultado da pesquisa efectuada sobre ferramentas de segurança no âmbito do projecto SIPTEST. 1.2 Testes de Segurança Testes de Segurança são utilizados para avaliar a eficácia das medidas de segurança implementas e para identificar, validar, e aferir possíveis falhas de segurança que possam ser detectadas. Este tipo de testes deve ser apenas um componente de um conjunto global de componentes de segurança, que também incluí avaliação de riscos, requisitos de sistema, planeamento, políticas de segurança e procedimentos. Penetration testing é uma técnica geralmente utilizada para auditar a segurança de aplicações Web [2, 3, 4]. Penetration testing é uma abordagem que envolve um pessoa ou uma ferramenta para criação de dados de entrada potencialmente mal intencionados e introduzi-los na aplicação, replicando possíveis acções de um hacker. A diferença mais comum entre as estratégias de penetration testing é a quantidade de conhecimento sobre a implementação do sistema em teste. Testes blackbox não assumem qualquer conhecimento prévio da infra-estrutura do sistema. Por outro lado, testes white-box fornecem um conhecimento completo do sistema em testes, muitas vezes incluindo diagramas de rede, código fonte, etc. Os diferentes tipos de penetration testing são [5]: External Attack and Penetration Internal Attack and Penetration Physical Attack and Penetration Wireless Attack and Penetration Client-Side Attack and Penetration A dificuldade em realizar estes testes manualmente, levaram algumas empresas/equipas de investigação a desenvolver técnicas automáticas implementadas em ferramentas, tais como [6, 7, 8, 9, 10, 78, 86]. O principal objectivo da técnica penetration testing é validar uma determinada aplicação para que esta seja capaz de impedir a ocorrência de falhas ou a divulgação de dados sigilosos (no caso de ter ocorrido a falha). 1.3 Estrutura do documento O resto do documento está organizado da seguinte forma. A Secção 2 apresenta várias ferramentas para testes de segurança, subdividas em duas partes Dinâmicas e Estáticas, onde é elaborada uma comparação entre todas as ferramentas. A secção 3 apresenta os dados recolhidos do benchmark realizado às ferramentas dinâmicas e finaliza o documento. Link Consulting,SA Pág. 2 de 23

2 Ferramentas de Testes de Segurança Ferramentas automatizadas podem ser utilizadas para ajudar a encontrar uma variedade de vulnerabilidades, como possíveis acessos ou configurações de acesso erradas, passwords fracas, falta de integridade do software, ter o sistema actualizado, etc. Existem dois métodos automatizados: (1) ferramentas dinâmicas, que encontram vulnerabilidades tentando explorá-las, e (2) ferramentas estáticas, que apenas examinam o sistema e inferem sobre a existência ou não de vulnerabilidades no sistema. 2.1 Dinâmicas Tipicamente ferramentas dinâmicas para testes de segurança são também conhecidas como Web Application Security Scanner (WASS). Uma WASS [11] é um programa que comunica com uma aplicação Web através do seu front-end, para identificar potenciais vulnerabilidades ao nível da segurança na aplicação Web e deficiências na sua arquitectura. Uma WASS pode facilitar a revisão automática da aplicações Web com o propósito explícito de descobrir vulnerabilidades de segurança, e obrigar a aplicação Web a cumprir várias regras. WASS pode verificar uma variedade de vulnerabilidades, incluindo: Validação de Input/Output Memory leaks Funções vulneráveis Erros na configuração do servidor Recentemente Shay Chen, um consultor em Segurança Informática, publicou [12] os resultados de um exaustivo estudo a várias WASS. O estudo envolveu 60 ferramentas (open-source e comerciais) e foram resumidos alguns dos recursos mais críticos e capacidades de cada WASS, tais como: Características e capacidades (utilizando a framework WAVSEP v1.0.3) Benchmark de exactidão Cross-site scripting & taxa de falsos positivos SQL Injection & taxa de falsos positivos A tabela abaixo contém a lista das WASS analisadas no benchmark, informação sobre a versão utilizada, o vendedor/autor e algumas características gerais. Link Consulting,SA Pág. 3 de 23

Link Consulting,SA Pág. 4 de 23

O primeiro critério de avaliação utilizado no benchmark foi o número de funcionalidades auditadas que cada ferramenta suporta. Isto porque, uma determinada ferramenta automatizada não conseguirá detectar uma falha que não reconhece. E portanto, o número de funcionalidades presentes afectará o número de falhas que cada ferramenta conseguirá detectar. A Figura abaixo ilustra o número de funcionalidades utilizadas na auditoria. Figura 1 - Número de funcionalidades Auditadas Relativamente à qualidade de cada ferramenta, o segundo critério foi a exactidão na detecção de SQL Injection, uma das mais famosas exposições a falhas e geralmente a mais analisada pelas WASS. Uma WASS que não seja exacta o suficiente, vai ignorar muitas exposições à falha SQL Injection e classificar os pontos vulneráveis como não vulneráveis. Link Consulting,SA Pág. 5 de 23

Por isso, este teste destina-se a avaliar o quão óptima cada ferramenta é, na detecção de SQL Injection. A figura abaixo ilustra a detecção de SQL Injection por cada ferramenta, onde a barra azul representa a exactidão na detecção da vulnerabilidade, enquanto a barra vermelha representa a percentagem de falsos positivos detectados. Figura 2 - Exactidão na detecção de SQL Injection O terceiro critério utilizado no benchmark, foi a detecção de Reflected Cross Site Scripting, uma exposição comum que é, geralmente, a segunda característica mais implementada nas WASS. A figura abaixo representa os resultados obtidos no terceiro critério de avaliação das WASS. A barra azul representa a exactidão na detecção da vulnerabilidade, enquanto que a barra vermelha representa a percentagem de falsos positivos detectados pela ferramenta. Link Consulting,SA Pág. 6 de 23

Figura 3 - Exactidão na detecção de Reflected Cross Site Scripting (XSS) 2.1.1 Conclusão De acordo com o estudo [12] a ferramenta AppScan Standard Edition [6] lidera o grupo na maioria dos aspectos. O desenvolvimento da AppScan Standard iniciou-se em 1999 e actualmente é já um produto bastante desenvolvido. É capaz de analisar qualquer tipo de aplicações e pode ser costumizável para funcionar com todos os ambientes (URLs nãostandards, aplicações RESTful, JSON, JavaScript frameworks e AJAX, Adobe Flash/Flex, serviços Web SOAP, etc). Em termos de exactidão na detecção de Cross-site Scripting (XSS), a AppScan obteve a 1ª posição do ranking. No mesmo teste obteve uma taxa de 100% na detecção de todos os casos de teste XSS, e 0% de falsos positivos. Nos Link Consulting,SA Pág. 7 de 23

testes de SQL Injection, o desempenho foi também bastante satisfatório, mas não o suficiente para obter novamente o primeiro lugar do ranking. A AppScan apenas conseguiu detectar 127 problemas em 136 (taxa de sucesso de 93.38%), com 3 falsos positivos em 10 casos de teste. 2.2 Estáticas. Análise estática de código fonte, é uma metodologia para detecção de erros em software. É baseada na rápida e eficiente revisão pelo programador, onde fragmentos de código são marcados por uma analisador estático nos sítios onde os erros são passíveis de acontecer. Por outras palavras, um analisar estático detecta fragmentos no texto do programa que contenham erros, ou que sejam propícios a ter erros. Estes fragmentos são reportados ao programador para que o examine e decida se o fragmento em particular deve ser modificado. A principal vantagem do uso de analisadores estáticos é a redução do custo de eliminação de erros no programa. Segundo [68] corrigir um determinado erro na fase de testes é 10 vezes mais dispendioso que na fase de codificação do software. Contudo as limitações de analisadores estáticos também devem ser consideradas. Este tipo de ferramentas não são capazes de detectar falhas ao nível da arquitectura do software, porque são baseadas apenas no código fonte. Este tipo de ferramentas também não consegue encontrar erros na integração entre vários componentes da aplicação. E porque trabalham directamente com o código fonte, as ferramentas de análise estática podem ser utilizadas a qualquer altura do ciclo de desenvolvimento. É portanto recomendável, que se inicie o processo de análise de segurança assim que o código fonte esteja disponível, por exemplo, integrando uma ferramenta no ambiente de desenvolvimento (IDE). A tabela abaixo resume algumas das características principais de uma lista de ferramentas de análise estática [69, 70] para testes de segurança. Link Consulting,SA Pág. 8 de 23

Link Consulting,SA Pág. 9 de 23

2.2.1 Conclusão Ao contrário das ferramentas dinâmicas, Secção 2.1, em relação às ferramentas estáticas não podemos concluir nada acerca do seu desempenho. No entanto, podemos evidenciar as ferramentas Coverity Prevent [78] e Fortify Source Code Analysis Suite [86]. Estas duas ferramentas realçam-se pelo seu elevado suporte a múltiplas linguagens Link Consulting,SA Pág. 10 de 23

de programação e sistemas operativos, potencial para escalar para programas de grandes dimensões e um nível médio de conhecimentos necessários para o uso das ferramentas. Link Consulting,SA Pág. 11 de 23

3 Ferramentas Dinâmicas (estudos) Figura 4 - Funcionalidades Auditadas Link Consulting,SA Pág. 12 de 23

Figura 5 - Exactidão na detecção de SQL-Injection Link Consulting,SA Pág. 13 de 23

Figura 6 - Exactidão na detecção de Reflected Cross Site Scripting (XSS). Link Consulting,SA Pág. 14 de 23

Figura 7 - Tipo de inputs suportados pelas ferramentas Link Consulting,SA Pág. 15 de 23

Figura 8 - Cobertura de funcionalidades. Link Consulting,SA Pág. 16 de 23

4 Referências [1] I. Sommerville. Software engineering. International computer science series. Addison-Wesley, 2007. [2] T.J. Klevinsky, S. Laliberte, e A. Gupta. Hack I.T.: Security Through Penetration Testing. Addison-Wesley, 2002. [3] J. Long e E. Skoudis. Google Hacking For Penetration Testers. Syngress, 2005. [4] A.W. Bayles e C. Hurley. Penetration Tester s Open Source Toolkit. Número v. 2 em IT Pro. Syngress Publishing, 2007. [5] David Kennedy. Penetration testing - let me probe your ports..., 2008. [6] IBM Security Systems Division. Ibm rational appscan. http://www-01.ibm. com/software/awdtools/appscan/, 2012. [7] Tenable Network Security. Nessus. http://www.tenable.com/products/ nessus, 2012. [8] Anastasios Laskos. arachni. https://github.com/zapotek/arachni, 2012. [9] Romain Gaucher. Grabber. http://rgaucher.info/beta/grabber/, 2012. [10] netxeyes. Web injection scanner (wis). http://www.netxeyes.com/down.html, 2012. [11] Wikipedia. Web application security scanner. http://en.wikipedia.org/wiki/ Web_Application_Security_Scanner, 2012. [12] Shay Chen. The scanning legion: Web application scanners accuracy assessment & feature comparison commercial & open source scanners. http://sectooladdict.blogspot.pt/2011/08/ commercial-web-application-scanner.html, 2011. [13] Acunetix. Acunetix wvs (commercial edition). http://www.acunetix.com/ vulnerability-scanner/, 2012. [14] Acunetix. Acunetix wvs (free edition). http://www.acunetix.com/ cross-site-scripting/scanner.htm, 2012. [15] Federico Stange. aidsql. http://code.google.com/p/aidsql/, 2012. [16] Axel Neumann e Roger Blum. Andiparos. http://code.google.com/p/ andiparos/, 2012. [17] PortSwigger. Burp suite professional. http://portswigger.net/burp/, 2012. Link Consulting,SA Pág. 17 de 23

[18] Cenzic. Cenzic hailstorm professional. http://www.cenzic.com/products/ desktop/index.html, 2012. [19] Yu. crawlfish. http://code.google.com/p/crawlfish/, 2012. [20] Miroslav Stampar. Damn small sqli scanner (dsss). https://github.com/ stamparm/dsss, 2012. [21] Sanghun Jeon. Gamja. http://sourceforge.net/projects/gamja/, 2012. [22] David Byrne. Grendel scan. http://grendel-scan.com/, 2012. [23] Simone Margaritelli. iscan. http://www.evilsocket.net/iscan.html, 2012. [24] NoSec. Jsky (commercial edition). http://nosec.org/en/productservice/ jsky/, 2012. [25] NoSec. Jsky (free edition). http://nosec.org/en/productservice/jsky/, http://down2.nosec.org/jsky.rar, 2012. [26] Ashaman Boyd. Loverboy. http://sourceforge.net/projects/loverboy/, 2012. [27] SCRT Information Security. Mini mysqlat0r. http://www.scrt.ch/en/attack/ downloads/mini-mysqlat0r, 2012. [28] Mavituna Security. Netsparker (commercial edition). http://www. mavitunasecurity.com/netsparker/, 2012. [29] Mavituna Security. Netsparker (community edition). http://www. mavitunasecurity.com/communityedition/, 2012. [30] N-Stalker. N-stalker 2009 (free edition). http://www.nstalker.com/products/ editions/free/, 2009. [31] N-Stalker. N-stalker 2012 (free edition). http://www.nstalker.com/products/ editions/free/, 2012. [32] NT OBJECTives. Ntospider. http://www.ntobjectives.com/ security-software/ntospider-application-security-scanner, 2012. [33] Jordan Del Grande. Oedipus. http://webscripts.softpedia.com/script/ Security-Systems/Oedipus-Web-App-Vulnerability-Scanner-18443. html, 2012. [34] John Martinelli. openacunetix. http://packetstormsecurity.org/files/ 74166/openAcunetix-Web-Application-Scanner.html, 2012. [35] Chinotec Technologies. Paros proxy. http://www.parosproxy.org/, 2012. [36] Chinotec Technologies. Parospro. http://www.milescan.com/hk/index.php? Link Consulting,SA Pág. 18 de 23

option=com_content&view=article&id=98&itemid=175, 2012. [37] Marcin Kozlowski. Powerfuzzer. http://www.powerfuzzer.com/, 2012. [38] Yigit Aktan. Priamos. http://www.priamos-project.com/, 2012. [39] Carlos del Ojo Elias. Proxystrike. http://www.edge-security.com/ proxystrike.php, 2012. [40] Safe3 Network Center. safe3wvs. http://www.safe3.com.cn/en/safe3wvs. htm, 2012. [41] Syhunt. Sandcat (free edition). http://www.syhunt.com/?n=sandcat. Sandcat, 2012. [42] Syhunt. Sandcat pro. http://www.syhunt.com/?n=sandcat.sandcat, 2012. [43] Syhunt. Sandcatcs. http://www.syhunt.com/?n=sandcat.sandcat, 2012. [44] HP Application Security Center. Scrawlr. http://h30499.www3.hp. com/t5/scrawlr/bd-p/sws-198?jumpid=reg_r1002_usen, https: //h30406.www3.hp.com/campaigns/2008/wwcampaign/1-57c4k/index. php?mcc=dnxa&jumpid=in_r11374_us/en/large/tsg/w1_0908_scrawlr_ redirect/mcc_dnxa, 2012. [45] David devitry. Screamingcss. http://www.devitry.com/screamingcss.html, 2012. [46] Stefan Kals. Secubat. http://www.iseclab.org/projects/secubat/, 2012. [47] Michal Zalewski. Skipfish. http://code.google.com/p/skipfish/, 2012. [48] Metaeye Security Group. Sql injection digger (sqid). http://rubyforge.org/ projects/sqid/, 2012. [49] Open Web Application Security Project. Sqlix. https://www.owasp.org/ index.php/category:owasp_sqlix_project, 2012. [50] Bernardo Damele A. G. e Miroslav Stampar. sqlmap. http://sqlmap. sourceforge.net/, 2012. [51] Levent Kayan & Illuminatus. Uber web security scanner. http:// packetstormsecurity.org/files/82347/uber-web-security-scanner-0. 0.2.html, 2012. [52] Subgraph. Vega. http://subgraph.com/products.html, 2012. [53] Brad Cable. Vulndetector. http://bcable.net/project.php?vulndetector, 2012. [54] Andrés Riancho. W3af. http://w3af.sourceforge.net/, 2012. Link Consulting,SA Pág. 19 de 23

[55] Open Web Application Security Project. Wapiti. http://www.ict-romulus.eu/ web/wapiti, 2012. [56] Andreas Schmidt. Watobo. http://sourceforge.net/apps/mediawiki/ watobo/index.php, 2012. [57] Janus Security. Webcruiser (enterprise edition). http://sec4app.com/, 2012. [58] Janus Security. Webcruiser (free edition). http://sec4app.com/, 2012. [59] HP Application Security Center. Webinspect. https://www.fortify.com/ products/web_inspect.html, 2012. [60] Open Web Application Security Project. Webscarab. https://www.owasp.org/ index.php/category:owasp_webscarab_project, 2012. [61] GNU Citizen. Websecurify. http://www.websecurify.com/, 2012. [62] Kim Young-il. Wstool. http://sourceforge.net/projects/wstool/, 2012. [63] Taras Ivashchenko. Xcobra. http://securitytube-tools.net/index.php? title=xcobra, 2012. [64] Lord Epsylon. Xsser. http://xsser.sourceforge.net/, 2012. [65] SCRT Information Security. Xssploit. http://www.scrt.ch/en/attack/ downloads/xssploit, 2012. [66] Sven Neuhaus. Xsss. http://www.sven.de/xsss/, 2012. [67] Open Web Application Security Project. Zap. http://code.google.com/p/ zaproxy/, 2012. [68] S. McConnell. Code complete. DV-Professional. Microsoft Press, 2004. [69] National Institute of Standards e Technology (NIST). Source code security analyzers. http://samate.nist.gov/index.php/source_code_security_ Analyzers.html, 2012. [70] Booz Allen Hamilton. Software security assessment tools review. https://buildsecurityin.us-cert.gov/swa/downloads/ NAVSEA-Tools-Paper-2009-03-02.pdf, 2009. [71] Centre National de la Recherche Scientifique. Astrée. http://www.astree.ens. fr/, 2012. [72] David Wagner. Boon. http://www.cs.berkeley.edu/~daw/boon/, 2012. [73] C code analyzer (cca), 2012. [74] Inc. Integrated Computer Solutions. Centerline systems codecenter. http://www. ics.com/products/centerline/codecenter/, 2012. Link Consulting,SA Pág. 20 de 23

[75] Optimyth. checking. http://www.optimyth.com/checking, 2012. [76] CodeScan Labs. Codescan labs codescan, 2012. [77] Compuware. Compuware devpartner securitychecker. http://www.compuware. com/, 2012. [78] Coverity. Coverity prevent. http://www.coverity.com/, 2012. [79] Cppcheck. http://sourceforge.net/apps/mediawiki/cppcheck/index. php, 2012. [80] Jeff Foster & Rob Johnson. Cqual. http://sourceforge.net/projects/ cqual/, 2012. [81] French The Laboratoire Spécification et Vérification. Csur. http://www.lsv. ens-cachan.fr/software/csur/, 2012. [82] Brian Chess. Eau claire. http://www.vantuyl.com/chess/eauclaire/, 2012. [83] Bill Pugh & Andrey Loskutov. Findbugs. http://findbugs.sourceforge. net/, 2012. [84] David A. Wheeler. Flawfinder. http://www.dwheeler.com/flawfinder/, 2012. [85] Carnegie Mellon University & Air Force Institute of Technology & University of Wisconsin Milwaukee. Fluid. http://www.fluid.cs.cmu.edu:8080/fluid, 2012. [86] HP Company. Fortify source code analysis suite 5.2. https://www.fortify. com/, 2012. [87] Grammatech. Grammatech codesonar. http://www.grammatech.com/ products/codesonar/overview.html, 2012. [88] Green Hills Software. Doublecheck. http://www.ghs.com/products/ doublecheck.html, 2012. [89] Hammurapi Group. Hammurapi. http://www.hammurapi.biz/ hammurapi-biz/ef/xmenu/hammurapi-group/index.html, 2012. [90] Cigital. Its4, 2012. [91] Konstantin Knizhnik. Jlint. http://jlint.sourceforge.net/, 2012. [92] Klocwork. Klocwork k7. http://www.klocwork.com/, 2012. [93] Ben Livshits. Lapse: Web application security scanner for java. http://suif. stanford.edu/~livshits/work/lapse/, 2012. [94] Ldra software technology - tbsecure plugin, 2012. [95] Microsoft. Microsoft fxcop. http://msdn.microsoft.com/en-us/library/ Link Consulting,SA Pág. 21 de 23

bb429476(vs.80).aspx, 2012. [96] Nachiappan Nagappan e Thomas Ball. Static analysis tools as early indicators of pre-release defect density. Em Proceedings of the 27th international conference on Software engineering, ICSE 05, páginas 580 586, New York, NY, USA, 2005. ACM. [97] MSquared Technologies. Msquared technologies resource standard metrics (rsm). http://msquaredtechnologies.com/m2rsm/, 2012. [98] Ounce 4.0, 2012. [99] Parasoft. Parasoft c++test. http://www.parasoft.com/jsp/products/ cpptest.jsp?itemid=47, 2012. [100] Parasoft. Parasoft jtest. http://www.parasoft.com/jsp/products/jtest. jsp?itemid=14, 2012. [101] Parasoft. Parasoft.test. http://www.parasoft.com/jsp/products/dottest. jsp?itemid=135, 2012. [102] PMD Committers. Pmd. http://pmd.sourceforge.net/, 2012. [103] Altran Praxis. Praxis spark tool set. http://www.altran-praxis.com/spark. aspx, 2012. [104] Programming research qa, 2012. [105] HP Company. Rats (rough auditing tool for security). https://www.fortify. com/resources/tools.html, 2012. [106] JetBrains. Resharper. http://www.jetbrains.com/resharper/, 2012. [107] Smatch. http://smatch.sourceforge.net/, 2012. [108] SofCheck. Softcheck inspector, 2012. [109] David Evans. Splint. http://www.splint.org/, 2012. [110] CodeSWAT. Swat4j. http://www.codeswat.com/cswat/index.php, 2012. [111] Uno. http://spinroot.com/uno/, 2012. [112] OOO Program Verification Systems. Viva64. http://www.viva64.com/, 2012. [113] Michael V. Scovetta. Yasca (yet another source code analyzer). http://www. scovetta.com/yasca.html, 2012. Link Consulting,SA Pág. 22 de 23