linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Linux数据库 >

Cloudera Manager Server CDH 5.15部署详解

时间:2019-02-23  来源:未知  作者:admin666

下载 cloudera-manager.repo 文件

 wget P /etc/yum.repos.d https://archive.cloudera.com/cm5/RedHat/7/x86_64/cm/cloudera-manager.repo

升级 GPG key

sudo rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera

系统和环境配置

更改主机名

打开网络配置

sudo vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata002-dev.novalocal

重启网络

sudo service network restart

配置hosts文件

打开hosts文件

sudo vim /etc/hosts

改为如下配置

192.168.1.3  bigdata003-dev.novalocal

192.168.1.2  bigdata002-dev.novalocal

192.168.1.1  bigdata001-dev.novalocal

192.168.1.4  bigdata004-dev.novalocal

关闭内存大页

在 /etc/rc.d/rc.local 中添加一下内容

echo never /sys/kernel/mm/transparent_hugepage/defrag

echo never /sys/kernel/mm/transparent_hugepage/enabled

所有机器安装Java 8

旧版本卸载

#查看安装的Java

rpm -qa | grep java

#卸载相应的Java包

rpm qa |grep jdk | xargs rpm -e --nodeps $1

下载 JDK tar包解压并配置环境变量

在你看到这篇文档的时候 Oracle JDK 可能已经开始收费了。所以我们可以试试 OpenJDK ,Cloudera 正在努力让自己的平台与 OpenJDK 适配,这应该不会花费太多时间

 

wget https://download.java.net/java/early_access/jdk8/b03/BCL/jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz

tar xzvf jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz C /user/java/

配置环境变量

Vim /etc/profile

# 添加一下内容

JAVA_HOME=/usr/java/jdk1.8.0_202

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib

export JAVA_HOME PATH CLASSPATH JRE_HOME

关闭所有机器的防火墙和SELinux

如果一个个配置端口的话会比较麻烦,所以在安装过程中就把防火墙关闭,可以在安装完成后再根据需求配置

关闭防火墙

关闭 iptables

service iptables stop

sudo chkconfig iptables off

关闭firewalld

systemctl disabled firewalld

我们的服务器 有salt 所以我们可以批量执行。在salt server 服务器

Salt bigdata0[89]-dev.novalocal cmd.run systemctl stop firewalld systemctl disable firewalld

Salt bigdata01[02]-dev.novalocal cmd.run systemctl stop firewalld systemctl disable firewalld

关闭SELinux

临时关闭

sudo setenforce 0

Salt bigdata0[89]-dev.novalocal cmd.run setenforce 0  getenforce

Salt bigdata01[02]-dev.novalocal cmd.run setenforce 0  getenforce

 

如果要永久关闭,可以修改配置:

sudo vim /etc/selinux/config

修改以下配置

SELINUX=disabled

启动 NTP 服务

Service ntpd start

Chkconfig ntpd on

Systemctl start ntpd

Systemctl enable ntpd

Salt bigdata0[89]-dev.novalocal cmd.run systemctl start ntpd systemctl enable ntpd

Salt bigdata01[02]-dev.novalocal cmd.run systemctl start ntpd systemctl enable ntpd

注:如果不启动 ntpd 服务,scm agent 无法发现123 端口开放状态,会出现告警

Cloudera Manager Server 和 Agent 安装

Yum 安装

Yum 网络安装方式,如果你已经配置 yum 源

yum install cloudera-manager-daemons cloudera-manager-server

rpm 包安装

所有服务器都需要的操作:

我们使用 rpm 安装所以其他的依赖包需要使用 yum 安装

yum install bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse  portmap fuse-libs  httpd mod_ssl Python-psycopg2 redhat-lsb-core y

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm  ivh cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Server 服务器

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/RPMS/x86_64/

下载 server rpm 包

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm ihv cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Agent 服务器安装

Wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Rpm ivh cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

安装MySQL

数据库这一步我们可以找DBA 协助

在server 机安装配置MySQL

sudo yum install mysql-server

设置开机启动

sudo chkconfig mysqld on

启动MySQL service

sudo service mysqld start

设置root用户密码

sudo mysqladmin -u root password 'xxxx'

为Cloudera Manager建立数据库

下载MySQL驱动:http://dev.mysql.com/downloads/connector/j/

解压把驱动的jar文件mysql-connector-java.jar上传到/usr/share/java/

初始化数据cloudera库

sudo /user/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pmysql@Hadoop0 --scm-host localhost scm mysql@Hadoop:scm:88

如果DBA已经帮我们处理完的数据库的事情,我们需要修改 数据库配置文件

c /etc/cloudear-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=www.mydatabase.com:3306

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=devuser

com.cloudera.cmf.db.password=Devuser123

com.cloudera.cmf.db.setupType=EXTERNAL

 

在Master机上启动Cloudera Manager  Server

Systemctl start cloudera-scm-server

Systemctl enable cloudera-scm-server

 

Agent配置

在所有机器上配置Master机的主机名

sudo vim /etc/cloudera-scm-agent/config.ini

把server_host设置成Master机的主机名

server_host=192.1687.1.2

启动agent 

Systemctl  start cloudera-scm-agent

Systemctl enable cloudera-scm-agent

 

打开Cloudera Manager主页

http://192.168.1.10:7180/

第一次启动比较慢,可能需要等待几分钟才可以打得开cloudera manager主页。

登录Cloudera Manager

默认用户名密码都是admin,第一次登录成功之后先进入到cloudera manager的安装引导界面:

 

CDH安装

CDH文件上传

下载 CDH 安装包和 sha 验证文件

http://archive.cloudera.com/cdh5/parcels/5.15.0/

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

在通过 Cloudera Manager 进行网络安装CDH 的时候可能会比较慢,或卡住所以我们可以将已经下好的 CDH 包上传到server 端服务器上

把下载好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 重命名 

CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha

把CDH的parcel和sha文件上传到server机 的 /opt/cloudera/parcel-repo/目录

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

 

选择cloudera manager的版本

选择要安装CDH的主机

所有正常启动agent的机器都会显示在这个页面

选择要安装的Parcels

 

安装Parcel

 

选择要安装的服务

如下图所示,有多种服务组合供选择(服务是随时可以根据需求增删的),我这里根据项目需求选择自定义服务。

 

集群设置

一般按默认设置就可以了,也可以根据自己的需求定制。

点击继续安装,在安装的过程中可能会有一些服务的配置需要设置,一般按默认配置就可以了。

 

完成安装

 

至此,Cloudear Manger/CDH的安装已经完成,你可以在Cloudear Manger管理界面上对集群进行更细化的定制。

Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx

友情链接
  • Mozilla发布Firefox 67.0.4,修复沙箱逃逸漏洞
  • 蚂蚁金服正式成为CNCF云原生计算基金会黄金会员
  • Firefox 68将采用Microsoft BITS安装更新
  • OpenSSH增加对存储在RAM中的私钥的保护
  • 谷歌想实现自己的curl,为什么?
  • Raspberry Pi 4发布:更快的CPU、更大的内存
  • Firefox的UA将移除CPU架构信息
  • Ubuntu放弃支持32位应用程序实属乌龙,Steam会否重回Ubuntu怀抱
  • Qt 5.13稳定版发布:引入glTF 2.0、改进Wayland以及支持Lottie动
  • 红帽企业Linux 7现已内置Redis 5最新版
  • Slack进入微软内部禁用服务清单,GitHub也在其列?
  • 安全的全新编程语言V发布首个可用版本
  • Windows Terminal已上架,快尝鲜
  • 阿里巴巴微服务开源生态报告No.1
  • 面世两年,Google地球将支持所有基于Chromium的浏览器
  • 推进企业容器化持续创新,Rancher ECIC千人盛典完美收官
  • CentOS 8.0最新构建状态公布,或于数周后发布
  • Debian移植RISC
  • 微软拆分操作系统的计划初现雏形
  • Oracle发布基于VS Code的开发者工具,轻松使用Oracle数据库
  • Ubuntu 19.10停止支持32位的x86架构
  • 微软为Windows Terminal推出全新logo
  • 联想ThinkPad P系列笔记本预装Ubuntu系统
  • 微软发布适用于Win7/8的Microsoft Edge预览版
  • 启智平台发布联邦学习开源数据协作项目OpenI纵横
  • 经过六个多月的延迟,微软终于推出Hyper
  • ZFS On Linux 0.8.1 发布,Python可移植性工作
  • DragonFly BSD 5.6.0 发布,HAMMER2状态良好
  • Linux Kernel 5.2
  • CentOS 8.0 看起来还需要几周的时间
  • 百度网盘Linux版正式发布
  • PCIe 6.0宣布:带宽翻倍 狂飙至256GB/s
  • PHP 7.4 Alpha 发布,FFI扩展,预加载Opcache以获得更好的性能
  • Canonical将在未来的Ubuntu版本中放弃对32位架构的支持
  • Scala 2.13 发布,改进的编译器性能
  • 微软的GitHub收购了Pull Panda,并且使所有订阅完全免费
  • Windows Subsystem for Linux 2 (WSL 2)现在适用于Windows 10用
  • Debian 10 “Buster”的RISC
  • MariaDB宣布发布MariaDB Enterprise Server 10.4
  • DXVK 1.2.2 发布,带来微小的CPU开销优化
  • DragonFlyBSD 5.6 RC1 发布,VM优化,默认为HAMMER2
  • PrimeNG 8.0.0 发布,支持Angular 8,FocusTrap等
  • GIMP 2.10.12 发布,一些有用的改进
  • 清华大学Anaconda 镜像服务即将恢复
  • Debian GNU/Linux 10 “Buster” 操作系统将于2019年7月6日发布
  • 时时彩论坛
  • 五星体育斯诺克
  • 北单比分直播
  • 河北11选5走势图
  • 福建体彩36选7开奖结果
  • 九龙图库下载