Bigdata 手册配置

基本配置

  • 1:3 分布式部署 Ubuntu server

    查看Ubuntu 版本

    cat /etc/issue
    uname -a
    

    hbase and hadoop

  • hbase 0.96-2
  • hadoop 2.4.0
  • 端口 dfs 50070 yarn 8080 hase 60010 完整端口

    /etc/profile

    vi /etc/profile
    export JAVA_HOME=/usr/java
    export JRE_HOME=/usr/java/jre
    export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
    export HADOOP_HOME=/usr/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin
    export HBASE_HOME=/usr/hbase
    export PATH=$PATH:$HBASE_HOME/bin
    export HIVE_HOME=/usr/hive
    export PATH=$PATH:$HIVE_HOME/bin
    
    source /etc/profile
    

hbase 问题

regionserver 不启动

  • 看一下系统时间,这个是最大的可能性。用date命令解决

    sudo data -s 20150115 // yaer/month/day
    sudo data -s 14:00 // hours/minutes
    

hive

  • 由于要装一个关系型数据库作为元数据。选择mysql
  • 百度害人!我的server是内部的,所以只能通过下载的方式安装mysql,目前百度的离线安装mysql前一页都是错的!
  • 正确的办法
    1. mysql下载中心选择一个合适的版本
    2. 我的ubuntu是12.04,下载是deb的包mysql-server_5.6.22-1ubuntu12.04_i386.deb-bundle.tar
    3. 需要libaio的包,离线下载地址libaio
    4. 先下libaio1 然后再装个libaio-dev就行了。
    5. 我装的是mysql-commuty的版本,有server 和client两个。