Configurando o Ubuntu 16.04 e instalando o Hadoop 2.9.0

Após feita a Instalação do Ubuntu, vamos instalar os filesets necessários para o ambiente hadoop.

$ sudo apt-get update && sudo apt-get upgrade
$ sudo apt-get install build-essential ssh lzop git rsync curl
$ sudo apt-get install python-dev python-setuptools
$ sudo apt-get install libcurl4-openssl-dev
$ sudo easy_install pip
$ sudo pip install virtualenv virtualenvwrapper python-dateutil

No meu caso ja realizei a criação do usuário hadoop durante a instalação do Ubuntu, caso não tenha criado o usuario hadoop, proceder conforme abaixo:

$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hadoop

Configuração do ssh

$ sudo su hadoop
$ ssh-keygen
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 600 ~/.ssh/authorized_keys
$ ssh -l hadoop localhost
$ exit

Instalando o Java 8

$ sudo apt-get install openjdk-8-jdk
$ sudo apt-get install openjdk-8-dbg
$ java -version
openjdk version "1.8.0_151"
OpenJDK Runtime Environment (build 1.8.0_151-8u151-b12-0ubuntu0.16.04.2-b12)
OpenJDK Zero VM (build 25.151-b12, interpreted mode)
$

Adicionar as linhas entre […] e […] ao final do arquivo. Rebootar as máquinas após alterar o arquivo.

$ sudo vi /etc/sysctl.conf
[...]
# desabilita o ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
[...]

Instalando o Hadoop 2.9.0

$ curl -O http://ftp.unicamp.br/pub/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz

Extraindo os arquivos

$ tar -xzf hadoop-2.9.0.tar.gz
$ sudo mv hadoop-2.9.0 /srv/
$ sudo chown -R hadoop:hadoop /srv/hadoop-2.9.0
$ sudo chmod g+w -R /srv/hadoop-2.9.0
$ sudo ln -s /srv/hadoop-2.9.0 /srv/hadoop

Configurando as variáveis de ambiente no arquivo ~hadoop/.bashrc. Adicionar as linhas entre […] e […] ao final do arquivo

$ sudo vi ~hadoop/.bashrc
[...]
# Define JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-powerpc
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin

# Define as variaveis de ambiente do hadoop
export HADOOP_HOME=/srv/hadoop
export HADOOP_STREAMING=$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.9.0.jar
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib/*:.

# Aliases
alias ..="cd .."
alias ...="cd ../.."
alias hfs="hadoop fs"
alias hls="hfs -ls"
[...]

Testar se configurações do ambiente estão ok

$ hadoop version
Hadoop 2.9.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 756ebc8394e473ac25feac05fa493f6d612e6c50
Compiled by arsuresh on 2017-11-13T23:15Z
Compiled with protoc 2.5.0
From source with checksum 0a76a9a32a5257331741f8d5932f183
This command was run using /srv/hadoop-2.9.0/share/hadoop/common/hadoop-common-2.9.0.jar
$

 

Douglas Ribas de Mattos
E-mail: douglasmattos0@gmail.comdouglasmattos0@gmail.com
Github: https://github.com/douglasmattos0
LinkedIn: https://www.linkedin.com/in/douglasmattos0/

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *