linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Linux基础建设 >

CentOS 7下CDH搭建Hadoop集群

时间:2019-04-22  来源:未知  作者:admin666

一、说明 

节点(CentOS7.5) Server  || Agent CPU
node11 Server  || Agent 4G
node12 Agent 2G
node13 Agent 2G

二、系统环境搭建

1、网络配置(所有节点)

1.设置主机名和IP

2.配置/etc/hosts  IP和主机名的映射 

2、SSH免密码登录

1.产生公钥和私钥:ssh-keygen -t rsa (一直回车直即可)

2.将公钥分发给所有节点(包括本机):  ssh-copy-id -i 主机名

3.测试ssh访问:    ssh root@主机名

3、关闭防火墙

1.关闭防火墙:systemctl stop firewalld

2.防止开机自启:systemctl disable firewalld

3.查看状态:firewall-cmd --state

4、关闭SELINUX

1.编辑  vi /etc/selinux/config

2.将SELINUX设置为:SELINUX=disabled

[root@node11~]# sestatus -v

SELinux status: disabled 表示已经关闭了

5、安装JDK

1.查看安装的Java信息:

rpm -qa | grep java

2.卸载自带open jdk

rpm -e --nodeps 包名

3.创建/usr/java目录,并上传包到此目录下,然后将rpm包解压到此目录下

rpm -ivh  jdk-8u191-linux-x64.rpm

4.配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_191

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.使配置后的环境变量生效

source /etc/profile

6.查看是否安装成功

java -version

6、设置NTP

[root@node11~]#yum -y install ntp 更改master的节点

[root@node11~]## vi /etc/ntp.conf 注释掉所有server *.*.*的指向,新添加一条可连接的ntp服务器(我选的本公司的ntp测试服务器)

server 172.30.0.19 iburst 在其他节点上把ntp指向master服务器地址即可(/etc/ntp.conf下) server node11 iburst

[root@node11~]## systemctl start ntpd //启动ntp服务

[root@node11~]## systemctl status ntpd //查看ntp服务状态

7、安装配置MySql

(主节点安装即可--这里将node11作为主节点)

1.卸载mariadb

rpm -qa|grep mariadb

rpm -e --nodeps mariadb的包名

 

2.上传MySQL包到自建目录:/opt/software

3.安装MySQL

# groupadd mysql
# useradd -r -g mysql -s /sbin/nologin mysql
#cd /usr/local/
# tar zxvf /root/mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz
# ln -s mysql-5.7.21-linux-glibc2七星彩历史开奖号码.12-x86_64/ mysql
#cd mysql
# mkdir mysql-files
# chown -R mysql.mysql .
# bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
# cp -rf /etc/my.cnf /etc/my.cnf.old
# vim /etc/my.cnf
[mysqld]
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data

skip-grant-tables  

启动mysql

# bin/mysqld_safe --user=mysql &
# cp support-files/mysql.server /etc/init.d/mysql
# chmod a+x /etc/init.d/mysql
# chkconfig --add mysql
# chkconfig mysql on
# service mysql start

设置root的密码

mysql> use mysql;
mysql> update user set authentication_string=PASSWORD('123456') where User='root';
mysql> alter user root@'localhost' identified by '123456';  //修改密码

重新初始化

# killall mysqld
# rm -rf /usr/local/mysql/data/
# chown -R mysql.mysql /usr/local/mysql
# bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
# bin/mysql_ssl_rsa_setup
# service mysqld restart

授权root用户使用密码从任意主机连接到mysql服务器

GRANT ALL PRIVILEGES ON *.* TO 'ROOT'@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;

flush privileges; 

三、Cloudera Manager Server&Agent安装 

CM安装包下载地址:   https://archive.cloudera.com/cm5/cm/5/

CDH安装包下载地址:  http://archive.cloudera.com/cdh5/parcels/5.15.0/

1、安装Cloudera Manager Server&Agent

上传到/home/tools下 (三台机器都要安装)    tar xvzf cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz  -C /opt

2、配置CM Agent

1.cm的安装包的server和agent都是同一个包,启动的时候启动命令指定为server还是agent;

2.cm有一个工作目录,需要我们来创建;创建一个用户;修改agent的配置,给它指定server的位置;那个端口7182是server和agent通信的端口;

3.server_host配置为server的名字;

vi   /opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini   中 server_host(三台机器)

3、创建用户cloudera-scm(所有节点)

useradd --system --home=/opt/cm-5.15.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4、创建Parcel目录

创建parcel目录,这个目录是server和agent用来接收和发送数据的目录,server端的parcel-repo这个目录会把所有的安装文件全部下载到此目录,而agent也需要安装包,parcels就是用来存储指定的安装包的,当然需要有权限能操作这些目录;

Server节点

  mkdir -p /opt/cloudera/parcel-repo

  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点

 mkdir -p /opt/cloudera/parcels

 chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

把CDH安装包移到cloudera/parcel-repo下面,并修改其中后缀为sha1的文件为sha,如下

5、配置CM Server的数据库

cp mysql-connector-java.jar /opt/cm-5.15.0/share/cmf/lib/                 注意jar包名称要修改为mysql-connector-java.jar

复制代码
mysql -u root -p123456
use mysql;
grant all on *.* to 'root'@'%' identified by 'root' with grant option;
flush privileges;­
初始化cm数据库:   cd /opt/cm-5.15.0/share/cmf/schema/
 ./scm_prepare_database.sh mysql cm -h node11 -uroot -p123456 --scm-host node11 scm scm scm  
格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器 
复制代码

创建其他组件需要的数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

6、启动CM Manager&Agent服务

先确保启动了mysql  service mysqld start

node11:执行    /opt/cm-5.15.0/etc/init.d/cloudera-scm-server start

node11,12,13:   执行  /opt/cm-5.15.0/etc/init.d/cloudera-scm-agent start 

service服务启动需要几分钟,取决于服务器的性能,此时我们可以使用

netstat -apn|grep 7180

查询端口被占用后,就可以用浏览器打开http://node11:7180/进行访问了,登录用户名与密码分别为admin。

7、Server&Agent开机自启动服务

将/opt/cm-5.15.0/etc/init.d/目录下的cloudera-scm-server服务器启动脚本和cloudera-scm-agent代理服务启动脚本复制到/etc/init.d/目录下面。(/etc/init.d/目录用于存放开机启动脚本的目录)

复制代码
//配置server主节点node11
[root@node11 ~]# cp /opt/cm-5.15.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
[root@node11 ~]# chkconfig --add cloudera-scm-server
[root@node11 ~]# chkconfig cloudera-scm-server on 
[root@node11 ~]# vi /etc/init.d/cloudera-scm-server 
CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default} 修改为 CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.15.0/etc/default}  #你的cloudera manager安装目录,然后保存???出即可。
添加:export JAVA_HOME=/usr/local/java/jdk1.8           #你的java安装目录
[root@node11 ~]# chkconfig --list cloudera-scm-server  //然后查看状态,如果2-5显示开启表示配置成功。
[root@node11 ~]# service cloudera-scm-server start & systemctl start cloudera-scm-server.service
//配置agent所有节点,node11,node12,node13 [root@node11 ~]# cp /opt/cm-5.15.0/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent [root@node11 ~]# chkconfig --add cloudera-scm-agent [root@node11 ~]# chkconfig cloudera-scm-agent on [root@node11 ~]# vi /etc/init.d/cloudera-scm-agent CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default} 修改为 CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.15.0/etc/default} 添加:export JAVA_HOME=/usr/local/java/jdk1.8 #你的java安装目录 [root@node11 ~]# service cloudera-scm-agent start & systemctl start cloudera-scm-agent.service
复制代码

四、CDH5安装 

下一步,选择免费版本

继续,下一步,直到如下界面,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点,这里我选择全部节点,继续。

选择自己下载的CDH版本,点击继续

接下来是安装Parcel,服务器检查,

更改交换空间: 

echo 10 > /proc/sys/vm/swappiness

如下禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始化脚本中,以便在系统重启时予以设置。以下主机将受到影响: 

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

重新运行检测,

全部完成,点击完成,这里选择自定义安装

服务配置,一般情况下保持默认就可以了,也可以自己手动根据节点情况进行分配,点击继续

测试如下数据库连接

这里启动hive报错找不到mysql连接驱动包,靠备一份  mysql-connector-java.jar   到    /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hive/lib/下面

点击继续,默认集群设置,直到安装成功. 

更多Hadoop相关信息见Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13

Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx

友情链接
  • Ubuntu 19.04正式发布,生命周期仅9个月
  • 微软推出新编程语言Bosque,超越结构化程序设计
  • 红帽接手维护OpenJDK 8和OpenJDK 11
  • Facebook未经允许“无意中上传”了150万用户的电子邮件联系人
  • Edge Chromium将对管理员权限发出警告
  • URL贪吃蛇,考验手速的时候到了
  • Skywalking结束孵化,成为Apache基金会顶级项目
  • 红帽发布企业开源调查报告:战略重要性、数字化转型和创新 ...
  • 前Mozilla高管爆料,谷歌一直在破坏火狐
  • Zend Framework进入Linux基金会,重命名为Laminas
  • 开源编辑器Atom简化代码审查过程
  • Mozilla发起请愿书,希望Apple每月重置用户广告标识符
  • 不满支持论坛,安全人员连续公布三个WordPress插件漏洞
  • GStreamer 1.16 RC1发布,支持WebKit WPE源元素
  • 调查显示:机器学习/数据科学推动Python超越Java
  • Fedora 30正在接近最终版,但首先它有一些bug需要解决
  • Unigine Superposition 1.1 发布,增加Linux SteamVR支持
  • Dolphin和其他KDE实用程序开始在Linux上显示文件创建时间
  • Unity 2019.1 发布,Linux 与 Vulkan改进
  • Apache Flink 1.8.0 发布,提供最终的状态模式演化支持
  • Wine
  • 如何在Ubuntu 18.04及更高版本中安装经典Gnome应用程序菜单
  • Nouveau开发人员致力于OpenGL扩展以帮助逆向工程
  • 华为重新开始开发新的 EROFS 的 Linux 只读文件系统
  • Mesa 19.1将在两周内进入功能冻结,5月21日左右发布
  • Wayland正在开发一种颜色管理器校准协议
  • Ant Design 3.16.3 发布,企业级UI设计语言
  • DXVK 1.0.3 发布,用于转换Direct3D 10/11调用
  • Debian 10 “Buster”目前大约有150个关键的bug
  • Systemd支持MACsec以更好地保护以太网连接
  • CentOS庆祝15岁生日,为CentOS 8.0发布做准备
  • 游戏引擎Godot从Mozilla开源支持计划获得5万美元的奖励
  • Chrome OS 75在Linux应用程序中有完整的USB支持
  • Debian 10 Buster的安装程序达到RC阶段
  • Google Chrome 将添加可滚动选项卡功能
  • Reiser4引入了Linux 5.0内核
  • 大发888真人网址
  • 世界杯最新澳盘
  • 福彩3d图谜总汇
  • 福彩3d谜语
  • 天津时时彩
  • 单机棋牌游戏下载
  • 红足一世足球