Tópicos Especiais em Linguagens de Programação Shell Script Processamento de Texto

Transcrição

1 Tópicos Especiais em Linguagens de Programação Shell Script Processamento de Texto Andrei Rimsa Álvares

2 Comandos Comandos para processamento de arquivos texto Comando nano vi/vim emacs sed awk strings cat tac wc more less Propósito Editor de texto simples Editor de texto completo Editor de texto robusto e extensível Editor de fluxo complexo Processador de texto com casamento de padrões Extrair caracteres legível de arquivos binários Concatenar arquivos e mostrar seu conteúdo Concatenar arquivos em ordem reversa Contar o número de linhas, palavras e caracteres de um arquivo Mostrar a saída de um comando ou arquivo de texto uma página por vez Mostrar a saída de um comando ou arquivo de texto uma página (ou linha) por vez

3 Comandos Comandos para processamento de arquivos texto Comando head tail tee grep sort zcat diff Propósito Mostrar as primeiras partes de um arquivo Mostrar as úlfmas partes de um arquivo Mostrar a saída de um comando e escrever a saída em um arquivo Casar padrões e filtrar dados Ordenar o conteúdo de um fluxo de dados de entrada ou arquivo Ler o conteúdo de um arquivo compactado Comparar arquivos

4 nano Propósito: editor de texto simples Sintaxe: nano [options] [file] Dica: o editor de texto pico funciona de forma semelhante nano é um editor de simples encontrando na maioria dos sistemas Linux e BSD; é o editor mais recomendado para novos usuários

5 nano As funcionalidades como procurar, salvar e fechar arquivos são controladas por teclas de funções, listadas embaixo da tela; algumas funções são listadas a seguir Teclas Função Teclas Função CTRL + O Salvar CTRL + X Sair CTRL + G Ajuda ESC + X Mostrar o menu Page Up Página anterior Page Down Próxima página ESC + D QuanFdade de palavras CTRL + C Posição atual do cursor CTRL + K Cortar a linha atual ESC + 6 Copiar a linha atual CTRL + U Colar CTRL + \ Encontrar e subsftuir CTRL + W Procurar CTRL + _ Ir para a linha CTRL + A Ir para o começo da linha CTRL + E Ir para o final da linha ESC + \ Ir para a primeira linha do arquivo ESC + / Ir para a úlfma linha do arquivo

6 vi/vim Propósito: editor de texto completo Sintaxe: vi [options] [file] O editor vi (ou sua versão aprimorada vim) é um editor complexo e completo para sistemas Unix, onde normalmente é o editor padrão

7 vi/vim O editor vi e vim possuem dois modos de operação: modo de comando e modo de edição Pressionar ESC afva o modo de comando, onde teclas de comando pode ser usadas para afvar edições específicas No modo de comando, algumas teclas podem ser usadas para afvar o modo de edição Teclas Função :w Salvar :x Salvar e sair :q Sair i I a Inserir texto antes Inserir texto após Anexar texto antes Teclas A r R yy p /[TEXT] Função Anexar texto após SubsFtuir texto antes do cursor SubsFtuir texto após o cursor Copiar a linha atual Colar texto copiado Procurar por texto especificado

8 emacs Propósito: editor de texto robusto e extensível Sintaxe: emacs [options] [file] O emacs é um dos mais anfgos editores de texto ainda em uso em sistemas Unix; Suas macros programáveis e code syntax highlight o tornam uma opção popular para desenvolvedores

9 sed Propósito: editor de fluxo complexo Sintaxe: sed [options] [file] sed é um editor de fluxo complexo que usa expressões regulares para modificar o fluxo de dados; por exemplo para subsftuir Tacos por Nachos $ cat ShoppingList.txt Milk Eggs Cheese Tacos $ sed "s/tacos/nachos/" ShoppingList.txt Milk Eggs Cheese Nachos

10 awk Propósito: processador de texto com casamento de padrões Sintaxe: awk [expression] awk trata cada linha da entrada como uma série de campos, onde os campos são agrupados em um arranjo e uma variável relacionada a cada posição; por exemplo para extrair os campos um ($1) e oito ($8) da saída do comando ls $ ls -l ShoppingList.* -rw-r--r-- 1 nick nick :10 ShoppingList.old -rw-r--r-- 1 nick nick :33 ShoppingList.txt $ ls -l ShoppingList.* awk -F" " '{print $1 " " $8}' -rw-r--r-- ShoppingList.old -rw-r--r-- ShoppingList.txt

11 awk O comando awk pode ser usado para fazer processamentos em lote, como renomear múlfplos arquivos como no exemplo a seguir $ ls File1 File3 File5 File7 File9 File2 File4 File6 File8 $ ls awk '{print "mv "$1" "$1".txt"}' sh $ ls File1.txt File3.txt File5.txt File7.txt File9.txt File2.txt File4.txt File6.txt File8.txt

12 strings Propósito: extrair caracteres legíveis de arquivos binários Sintaxe: strings [options] [file] Arquivos binário contém dados que são ilegíveis por ferramentas padrões de processamento de texto, como arquivos mp3, jpeg e mpeg; o exemplo a seguir extrair informações imprimíveis do arquivo de música $ strings unknown.mp3... TAG Girl You Know It's True Milli Vanilli Girl You Know It's True Por padrão strings somente imprime textos com mais de 4 caracteres, mas pode ser alterado pela opção -n

13 cat Propósito: concatenar arquivos e mostrar seu conteúdo Sintaxe: cat [options] [files] O comando cat pode ser usada para mostrar o conteúdo de um ou mais arquivos, conforme exemplo a seguir $ cat ShoppingList.txt NachoIngredients.txt Milk Eggs Cheese Tacos 2 cloves garlic, crushed 6 green onions, sliced, white parts and tops separated 1 cup salsa 1/2 (12 ounce) package tortilla chips 1 (8 ounce) package shredded Cheddar/Monterey Jack cheese blend 1/2 large tomato, diced

14 cat Usos comuns Comando cat [file] cat [file1] [...] [filen] cat n [file] cat s [file] Propósito Mostrar o conteúdo do arquivo especificado Concatenar os arquivos especificados Mostrar saída numerada para cada linha Imprimir suprimindo linhas em branco adjacentes

15 tac Propósito: concatenar arquivos em ordem reversa Sintaxe: tac [file] O comando tac é similar ao comando cat, exceto que mostra o conteúdo em ordem reversa, como pode ser observado no exemplo a seguir $ cat ShoppingList.txt Milk Eggs Cheese Tacos $ tac ShoppingList.txt Tacos Cheese Eggs Milk Dica: tac é muito úfl para ler arquivos de log, onde as úlfmas entradas são as mais novas

16 wc Propósito: contar o número de linhas, palavras e caracteres de um arquivo Sintaxe: wc [options] [file] O comando wc (Word Count) mostra o número total de linhas, palavras e caracteres no arquivo especificado $ wc /etc/hosts /etc/hosts

17 wc Usos comuns Comando wc [file] wc -l [file] wc -w [file] wc -c [file] Propósito Mostrar o número de linhas, palavras e caracteres em um arquivo Mostrar o número de linhas em um arquivo Mostrar o número de palavras em um arquivo Mostrar o número de caracteres em um arquivo

18 more Propósito: mostrar a saída de um comando ou arquivo de texto uma página por vez Sintaxe: more [options] [file] O comando more é úfl para mostrar arquivos longos ou comandos que geram muitas linhas de saída; o exemplo a seguir mostrar a leitura de um arquivo uma página por vez $ more /var/log/syslog May 20 11:49:15 e6400 NetworkManager: SCPlugin-Ifupdown: ( )... get_connections (managed=false): return empty list. May 20 11:49:15 e6400 modem-manager: Loaded plugin Longcheer May 20 11:49:15 e6400 modem-manager: Loaded plugin Option May 20 11:49:15 e6400 modem-manager: Loaded plugin MotoC May 20 11:49:15 e6400 modem-manager: Loaded plugin Option High-Speed May 20 11:49:15 e6400 modem-manager: Loaded plugin Generic May 20 11:49:15 e6400 modem-manager: Loaded plugin Gobi May 20 11:49:15 e6400 modem-manager: Loaded plugin Nokia May 20 11:49:15 e6400 modem-manager: Loaded plugin Novatel May 20 11:49:15 e6400 modem-manager: Loaded plugin AnyData May 20 11:49:15 e6400 modem-manager: Loaded plugin Huawei May 20 11:49:15 e6400 modem-manager: Loaded plugin ZTE --More--(14%) Dica: espaço para navegar por página e q para sair

19 more Usos comuns Comando more [file] more +[num] [file] [command] more Propósito Mostrar o arquivo especificado uma página por vez Começar a leitura do arquivo a parfr da linha especificada Mostrar a saída do comando uma página por vez

20 less Propósito: mostrar a saída de um comando ou arquivo de texto uma página (ou linha) por vez Sintaxe: less [options] [file] O comando less é similar ao comando more, exceto que suporta a navegação em ambas as direções (up/down) $ less /var/log/syslog May 20 11:49:15 e6400 NetworkManager: SCPlugin-Ifupdown: ( )... get_connections (managed=false): return empty list. May 20 11:49:15 e6400 modem-manager: Loaded plugin Longcheer May 20 11:49:15 e6400 modem-manager: Loaded plugin Option May 20 11:49:15 e6400 modem-manager: Loaded plugin MotoC May 20 11:49:15 e6400 modem-manager: Loaded plugin Option High-Speed May 20 11:49:15 e6400 modem-manager: Loaded plugin Generic May 20 11:49:15 e6400 modem-manager: Loaded plugin Gobi May 20 11:49:15 e6400 modem-manager: Loaded plugin Nokia May 20 11:49:15 e6400 modem-manager: Loaded plugin Novatel May 20 11:49:15 e6400 modem-manager: Loaded plugin AnyData May 20 11:49:15 e6400 modem-manager: Loaded plugin Huawei May 20 11:49:15 e6400 modem-manager: Loaded plugin ZTE : Dica: page up/down para navegar por páginas e up/ down para navegar por linhas

21 less Usos comuns Comando less [file] less +[num] [file] [command] less Propósito Mostrar o arquivo especificado uma página por vez Começar a leitura do arquivo a parfr da linha especificada Mostrar a saída do comando uma página por vez

22 head Propósito: mostrar as primeiras partes de um arquivo Sintaxe: head [options] [file] O comando head mostras as primeiras linhas (cabeça) do arquivo especificado; a opção do exemplo a seguir é usada para mostrar apenas as duas primeiras linhas (por padrão são 10) $ head -n 2 ShoppingList.txt Milk Eggs

23 head Usos comuns Comando head [file] head n [num] [file] Propósito Mostrar as 10 primeiras linhas do arquivo Mostrar as num primeiras linhas do arquivo

24 tail Propósito: mostrar as úlfmas partes de um arquivo Sintaxe: tail [options] [file] O comando tail mostra as úlfmas linhas (cauda) do arquivo especificado; a opção -n mostra apenas as úlfmas 2 linhas (por padrão são 10) $ tail -n 2 ShoppingList.txt Cheese Tacos

25 tail Usos comuns Comando tail [file] tail n [num] [file] tail f [file] Propósito Mostrar as 10 úlfmas linhas do arquivo Mostrar as num úlfmas linhas do arquivo Seguir um arquivo enquanto ele cresce

26 tee Propósito: mostrar a saída de um comando e escrever a saída em um arquivo Sintaxe: tee [options] [file] O comando tee mostra a saída de um um comando e também salva a saída em um arquivo; por exemplo no comando a seguir que exibe a saída do comando ls -l /etc enquanto simultaneamente o salva no arquivo etc.txt $ ls -l /etc/ tee etc.txt -rw-r--r-- 1 root root :12 adduser.conf -rw-r--r-- 1 root root :53 adjtime -rw-r--r-- 1 root root :33 aliases -rw-r--r-- 1 root root :23 aliases.db...

27 tee Usos comuns Comando [command] tee [file] [command] tee a [file] Propósito Mostrar e salvar a saída de um comando para o arquivo Anexar a saída ao arquivo especificado

28 grep Propósito: casar padrões e filtrar dados Sintaxe: grep [options] [file] O comando grep no exemplo a seguir filtra o arquivo /var/log/syslog e mostra apenas as linhas que possuem (casam) com a palavra failed $ grep -i failed /var/log/syslog Apr 4 07:52:44 kernel: [ ] Fast TSC calibration failed Apr 4 07:52:44 kernel: [ ] PM: Resume from disk failed. Apr 4 07:52:44 kernel: [ ] PM: Resume from disk failed. Apr 11 12:11:28 init: Unable to connect to the system bus: Failed to connect to socket /var/run/dbus/system_bus_socket: Connection refused... A opção i faz casamento insensível a caixa (case-insensi=ve)

29 grep Usos comuns Comando grep [string] [file] grep c [string] [file] grep i [strings] [file] [command] grep [string] Propósito Mostrar linhas casadas de um arquivo Contar o número de linhas casadas em um arquivo Ignorar a caixa nos casamentos Filtrar a saída de um comando para casar com uma string

30 sort Propósito: ordenar o conteúdo de um fluxo de dados de entrada ou arquivo Sintaxe: sort [options] [file] O comando sort é usado para ordenar alfabefcamente um arquivo ou saída de um programa $ cat ShoppingList.txt Milk Eggs Cheese Tacos $ sort ShoppingList.txt Cheese Eggs Milk Tacos Dica: o comando uniq pode ser combinado com sort para remover linhas repefdas de um arquivo

31 sort Usos comuns Comando sort [file] sort r [file] sort n [file] [command] sort Propósito Ordenar e mostrar o arquivo especificado Ordenar em ordem reversa e mostrar o arquivo especificado Ordenar usando ordenação numérica Ordenar a saída do comando

32 zcat Propósito: ler o conteúdo de um arquivo compactado Sintaxe: zcat [options] [file] O comando zcat permite ler o conteúdo de um arquivo compactado sem ter que descompactá-lo manualmente previamente; por exemplo para ler o arquivo compactado ShoppingList.txt.gz (compactado com gzip) $ file ShoppingList.txt.gz ShoppingList.txt.gz: gzip compressed data, was "ShoppingList.txt", from Unix, last modified: Mon Apr 12 19:33: $ zcat ShoppingList.txt.gz Milk Eggs Cheese Tacos O que aconteceria se fosse usado o comando cat nesse arquivo?

33 diff Propósito: Comparar arquivos Sintaxe: diff [options] [file] O comando diff permite comparar dois arquivos de texto linha por linha e mostrar as diferenças entre eles; usa indicadores para marcar as diferenças < indica o texto da linha no primeiro arquivo > indica o texto da linha no segundo arquivo $ diff ShoppingList.old ShoppingList.new 4c4 < Tacos --- > Nachos Dica: usar a opção u para gerar um patch

34 diff Usos comuns Comando diff [file1] [file2] diff y [file1] [file2] diff -u [file1] [file2] Propósito Comparar dois arquivos e mostrar sua diferença Comparar dois arquivos lado a lado Gerar a diferença entre dois arquivos como um patch

35 ISSO É TUDO PESSOAL! Shell Script