博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm安装部署
阅读量:4091 次
发布时间:2019-05-25

本文共 2255 字,大约阅读时间需要 7 分钟。

1.从官网下载安装包,并通过Xftp5上传到机器集群上

下载apache-storm-1.2.1.tar.gz 版本,并通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/uploads/目录:

2、解压apache-storm-1.2.1.tar.gz,并把解压的安装包移动到/opt/app/目录上

tar zxvf  apache-storm-1.2.1.tar.gz

mv apache-storm-1.2.1 /opt/app/  && cd /opt/app/

 

3、修改环境变量(每台机器都要执行),编辑/etc/profile,并生效环境变量,输入如下命令:

sudo vi /etc/profile

添加如下内容:

export STORM_HOME=/opt/app/apache-storm-1.2.1

export PATH=:$PATH:$STORM_HOME/bin

使环境变量生效:source /etc/profile

4、zookeeper集群搭建

①下载解压zookeeper:http://zookeeper.apache.org/releases.html

②修改zookeeper的conf/zoo.cfg文件,增加如下内容:

dataDir=/opt/app/zookeeper-3.4.5/data

clientPort=2181
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

③启动zookeeper集群

在每台机器上通过zookeeper的bin/zkServer.sh  start启动zk,zookeeper会自动组件集群。

6、修改配置文件storm.yaml

进入storm配置文件的目录,cd  /opt/app/apache-storm-1.2.1/conf/

修改storm.yaml文件 vi  storm.yaml,将以下内容写入到storm.yaml文件中

# zookeeper集群的hosts

storm.zookeeper.servers:
    - "hadoop1"
    - "hadoop2"
    - "hadoop3"

# 指定zookeeper的端口

storm.zookeeper.port: 2181

# storm存储的数据目录

storm.local.dir: "/opt/app/apache-storm-1.2.1/storm-local"

# 指定storm集群中的nimbus节点所在的服务器

nimbus.seeds: ["hadoop1"]

# 指定nimbus启动JVM最大可用内存大小

nimbus.childopts: "-Xmx1024m"

# 指定supervisor启动JVM最大可用内存大小

supervisor.childopts: "-Xmx768m"

# 指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上

ui.childopts: "-Xmx768m"

# 指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker

supervisor.slots.ports:
   - 6700
   - 6701
   - 6702
   - 6703

storm.health.check.dir: "healthchecks"

storm.health.check.timeout.ms: 5000

其中storm.local.dir指定的目录需要提前创建,supervisor.slots.ports配置的端口数量决定了每台supervisor机器的worker集群,每个worker会有自己的监听端口用于监听任务。

7、把storm的安装包发送到其他节点机器

scp -r /opt/app/apache-storm-1.2.1/ hadoop@hadoop2:/opt/app/

scp -r /opt/app/apache-storm-1.2.1/ hadoop@hadoop3:/opt/app/

8、启动storm

在hadoop1节点机器上启动nimbus和监控ui

nohup storm nimbus &

nohup storm ui &

在hadoop2和hadoop3节点机器上启动supervisor作为worker

nohup storm supervisor &

9、环境确认

通过浏览器访问ui监控界面,“storm ui”命令运行的机器ip + 默认8080端口,如图:

 

前提条件:三台机器集群是部署在VMware 12上面的,通过NAT网络通信,如果需要访问虚拟机的8080端口,需要在VMware12上面设置端口转发,如图:

至此,storm集群搭建完成,主要工作为:①zookeeper的安装配置;②storm中配置zookeeper的地址;③分别启动storm的nimbus和supervisor及监控ui。

 参考资料:

https://blog.csdn.net/qingkangxu/article/details/79513697

http://storm.apache.org/releases/1.2.1/Setting-up-a-Storm-cluster.html

你可能感兴趣的文章
ubuntu 下编译PHP5.5.7问题:configure: error: freetype.h not found.
查看>>
PHP编译configure时常见错误 debian centos
查看>>
configure: error: Please reinstall the BZip2 distribution
查看>>
OpenCV gpu模块样例注释:video_reader.cpp
查看>>
【增强学习在无人驾驶中的应用】
查看>>
《python+opencv实践》四、图像特征提取与描述——29理解图像特征
查看>>
《python+opencv实践》四、图像特征提取与描述——30Harris 角点检测
查看>>
《python+opencv实践》四、图像特征提取与描述——31 Shi-Tomasi 角点检测& 适合于跟踪的图像特征
查看>>
OpenCV meanshift目标跟踪总结
查看>>
人工神经网络——神经元模型介绍
查看>>
人工神经网络——感知器介绍
查看>>
人工神经网络——反向传播算法(BackPropagation)
查看>>
进程的地址空间概述
查看>>
Windows 窗口底层原理
查看>>
一种函数指针的运用
查看>>
Win32程序之进程的原理
查看>>
C++虚函数原理
查看>>
MySQL的索引
查看>>
一个控制系统初始化的步骤
查看>>
MFC动态载入DLL
查看>>