Este laboratório foi criado apenas como um tutorial. Simplesmente execute o comando apresentado e observe o resultado.

Transcrição

1 Laboratório 1 HDFS Objetivos do laboratório Neste laboratório você ira praticar o conteúdo apresentados nesta lição, mais especificamente, você irá praticar os comandos apresentados na lição na linha de comando do HDFS. Instruções para o laboratório Este laboratório foi criado apenas como um tutorial. Simplesmente execute o comando apresentado e observe o resultado. Antes de você trabalhar neste laboratório, o BigInsights já deverá estar inicializado (Veja o Lab 0 Setup para obter as instruções necessária para a inicialização do BigInsights) Comandos básicos do sistema de arquivos do Hadoop Nota: 1. Para que você possa trabalhar com o HDFS você precisar usar o comando hadoop fs. Por exemplo, para listar /e/usuário/diretórios raízes você precisa digitar os seguintes comandos. > hadoop fs ls / > hadoop fs ls /user/root Se você estiver trabalhando numa instância IBM SmartCloud Enterprise (SCE), o usuário padrão com os privilégios BigInsights é idcuser ao invés de root ; entretanto, todos os comandos que usam root neste laboratório deveram ser trocados por idcuser. 1

2 2. Existem vários comandos que você pode executar no sistema de arquivo do Hadoop. Por exemplo, para criar o diretório test você pode digitar o seguinte comando: > hadoop fs mkdir test Agora, vamos ver o diretório que nós criamos: > hadoop fs ls / > hadoop fs ls /user/root Você perceberá que o diretório test foi criado no diretório /user/root. Isto acontece porque como usuário root, o caminho padrão é /user/root e, portanto se você não especificar um caminho absoluto, todos os comandos HDFS serão computados em /user/root (este será o seu diretório de trabalho padrão). 3. Saiba que você pode direcionar qualquer comando HDFS para ser usado com shell do Linux. Por exemplo, você pode facilmente usar o comando grep com o HDFS fazendo o seguinte: > hadoop fs mkdir /user/root/test2 2

3 > hadoop fs ls /user/root grep test Como você pode ver o comando só retornará as linhas que contém test e removerá da listagem as linhas Achados x itens e o diretório oozie-root. 4. Para que mover os arquivos entre um sistema de arquivos linux e HDFS você provavelmente ira usar os comandos put e get. Primeiro, mova um único arquivo para o sistema de arquivo do Hadoop. > hadoop fs put /BigDataUniversity/README README > hadoop fs ls /user/root Agora, você verá listado um novo arquivo chamado de /user/root/readme. Para ver o conteúdo deste arquivo vamos usar o comando cat como mostrado: > hadoop fs cat README Você deverá ver a saída do arquivo README (que está salvo em HDFS). Você pode também usar o comando Linux diff para ver se o arquivo que foi salvo no HDFS é o mesmo que o original que está no sistema de arquivo local. Você pode fazer isso da seguinte forma: > diff <( hadoop fs -cat README ) /BigDataUniversity/README Como o comando diff não gerou nenhuma saída sabemos que os arquivos são os mesmos (o comando diff exibe todas as linha que diferem nos arquivos). 3

4 Mais alguns commandos do sistema de arquivos do Hadoop 1. Para usar os comandos HDFS de forma recursiva, geralmente se adiciona um r ao comando HDFS (No shell do Linux isso geralmente é feito com um argumento -R ). Por exemplo, para fazer uma listagem recursiva vamos usar o comando lsr ao invés de ls apenas. Agora tente: > hadoop fs ls /user > hadoop fs lsr /user 4

5 2. Para saber o tamanho dos arquivos você deve usar os comandos du ou dus. Porém, tenha em mente que estes comandos retornam o tamanho do arquivo em bytes. Então, para saber o tamanho do arquivo README use o comando: > hadoop fs du README Para saber o tamanho de todos arquivos individualmente no diretório /user/root, use o seguinte comando: > hadoop fs du /user/root Para saber o tamanho total de todos os arquivos no diretório /user/root use o comando: > hadoop fs dus /user/root 3. Se você quiser obter mais informações sobre um dado comando, use o argumento help como mostrado: > hadoop fs help Por exemplo, para obter mais informações sobre o comando dus você deverá fazer o seguinte: > hadoop fs help dus 5

6 Fim deste laboratório