« 上一篇下一篇 »

菜鸟零基础实现在Linux系统下进行hadoop集群环境的云服务器搭建

     最近学习建了单机和伪分布式的集群,虽然在搭建分布式集群的时候遇到很多问题,网上查了很多技术指导类的文章,感觉都有些不一样,因为每个人遇到的问题都不一样,我们学到了不针对自己的情况结合百度上的经验分享来进行解决问题,这里我分享一下我在云服务器上安装集群环境的经历,如有错误请大家将就一下。

    搭建Hadoop集群Hadoop作为一个开发和运行处理大规模数据的软件平台,实现了在大量的廉价计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心的设计是HDFS和MapReduce,HDFS是一个高度容错性的系统,适合部署在廉价的机器上,能够提供高吞吐量的数据访问,适用于那些有着超大数据集的应用程序;MapReduce是一套可以从海量的数据中提取数据最后返回结果集的编程模型。在生产实践应用中,Hadoop非常适合应用于大数据存储和大数据的分析应用,适合服务于几千台到几万台大的服务器的集群运行,支持PB级别的存储容量。Hadoop家族还包含各种开源组件,比如Yarn,Zookeeper,Hbase,Hive,Sqoop,Impala,Spark等。使用开源组件的优势显而易见,活跃的社区会不断的迭代更新组件版本,使用的人也会很多,遇到问题会比较容易解决,同时代码开源,高水平的数据开发工程师可结合自身项目的需求对代码进行修改,以更好的为项目提供服务。

  

1.准备Linux环境
    1.0先将虚拟机的网络模式选为NAT
       
    1.1修改主机名
        vi /etc/sysconfig/network
       
        NETWORKING=yes
        HOSTNAME=itcast    ###

    1.2修改IP
        两种方式:
        第一种:通过Linux图形界面进行修改(强烈推荐)
            进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP:192.168.1.101 子网掩码:255.255.255.0 网关:192.168.1.1 -> apply
   
        第二种:修改配置文件方式(屌丝程序猿专用)
            vim /etc/sysconfig/network-scripts/ifcfg-eth0
           
            DEVICE="eth0"
            BOOTPROTO="static"               ###
            HWADDR="00:0C:29:3C:BF:E7"
            IPV6INIT="yes"
            NM_CONTROLLED="yes"
            ONBOOT="yes"
            TYPE="Ethernet"
            UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
            IPADDR="192.168.1.101"           ###
            NETMASK="255.255.255.0"          ###
            GATEWAY="192.168.1.1"            ###
           
    1.3修改主机名和IP的映射关系
        vim /etc/hosts
           
        192.168.1.101    itcast
   
    1.4关闭防火墙
        #查看防火墙状态
        service iptables status
        #关闭防火墙
        service iptables stop
        #查看防火墙开机启动状态
        chkconfig iptables --list
        #关闭防火墙开机启动
        chkconfig iptables off
    1.5 修改sudo
        su root
        vim /etc/sudoers
        给hadoop用户添加执行的权限

关闭linux服务器的图形界面:
vi /etc/inittab


   
    1.5重启Linux
        reboot


2.安装JDK
    2.1上传alt+p 后出现sftp窗口,然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz
   
    2.2解压jdk
        #创建文件夹
        mkdir /home/hadoop/app
        #解压
        tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
       
    2.3将java添加到环境变量中
        vim /etc/profile
        #在文件最后添加
        export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
        export PATH=$PATH:$JAVA_HOME/bin
   
        #刷新配置
        source /etc/profile
       
3.安装hadoop2.4.1
    先上传hadoop的安装包到服务器上去/home/hadoop/
    注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
    伪分布式需要修改5个配置文件
    3.1配置hadoop
    第一个:hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/usr/java/jdk1.7.0_65
       
    第二个:core-site.xml

        <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://weekend-1206-01:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.4.1/tmp</value>
    </property>
       
    第三个:hdfs-site.xml  
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
       
        <property>
            <name>dfs.secondary.http.address</name>
            <value>192.168.1.152:50090</value>
        </property>

   
   
       
    第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
       
    第五个:yarn-site.xml
        <!-- 指定YARN的老大(ResourceManager)的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>weekend-1206-01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        
    3.2将hadoop添加到环境变量
   
    vim /etc/proflie
        export JAVA_HOME=/usr/java/jdk1.7.0_65
        export HADOOP_HOME=/itcast/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source /etc/profile
   
    3.3格式化namenode(是对namenode进行初始化)
        hdfs namenode -format (hadoop namenode -format)
       
    3.4启动hadoop
        先启动HDFS
        sbin/start-dfs.sh
       
        再启动YARN
        sbin/start-yarn.sh
       
    3.5验证是否启动成功
        使用jps命令验证
        27408 NameNode
        28218 Jps
        27643 SecondaryNameNode
        28066 NodeManager
        27803 ResourceManager
        27512 DataNode
   
        http://192.168.1.101:50070 (HDFS管理界面)
        http://192.168.1.101:8088 (MR管理界面)
       
4.配置ssh免登陆
    #生成ssh免登陆密钥
    #进入到我的home目录
    cd ~/.ssh

    ssh-keygen -t rsa (四个回车)
    执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
    将公钥拷贝到要免密登陆的目标机器上
    ssh-copy-id localhost
    ---------------------------
    ssh免登陆:
        生成key:
        ssh-keygen
        复制从A复制到B上:
        ssh-copy-id B
        验证:
        ssh localhost/exit,ps -e|grep ssh
        ssh A  #在B中执行

5.测试集群:
1、测试namenode切换
(1)访问192.168.0.7:50070
显示 'master:9000'(active)
访问192。168.0.10:50070
显示'master2:9000'(standby)
表明当前namenode由master管理,master2作为备用
(2)在master下kill掉namenode进程
kill -9 14481
jps
14944 Jps
14780 DFSZKFailoverController
12764 FsShell
再次启动namenode进程
hadoop-daemon.sh start namenode
再执行(1)中的操作,显示如下:
显示'master:9000'(standby)
'master2:9000'(active)
如此证明:zookeeper在namenode宕机的情况下能够正常切换备用的namenode机器
2、验证hdfs文件存储系统
查看hdfs的文件结构
hadoop fs -ls -R /
创建solf文件夹
hadoop fs -mkdir /solf

 因为每个人遇到的问题都不一样,以上是我遇到过的问题,欢迎大家一起探讨,香港服务器可以找我们数据吧