storm 应用场景:事实的数据流处理
大数据系列:
1、安装一个zookeeper集群
2、上传storm的安装包,解压
3、修改配置文件storm.yaml
#所使用的zookeeper集群主机
storm.zookeeper.servers:
- "weekend05"
- "weekend06"
- "weekend07"
#nimbus所在的主机名
nimbus.host: "weekend05"
#启动进程数 即worker数,下面数字是端口号
supervisor.slots.ports
-6701
-6702
-6703
-6704
-6705
启动storm
在nimbus主机上(后面参数不添加,则是客户端启动)
nohup ./storm nimbus 1>/dev/null 2>&1 &
nohup ./storm ui 1>/dev/null 2>&1 &
在supervisor主机上
nohup ./storm supervisor 1>/dev/null 2>&1 &
UI启动后通过8080访问: http://cloud1:8080/
Storm 安装后将测试程序打为jar包 到storm的nimbus机器中执行
./storm jar jar名称 jar的主类名称 提交后程序会一直在后台运行,就算机器关机后重启一样会继续运行
./storm list 查看运行的storm程序
./storm kill storm程序名称 就可以停止运行的程序
几个名词理解:worker ,Executor , Spout/Bolt
一个storm程序会在多个机器运行,每个机器有多个进程(worker) ,
每个进程有多个线程(Executor)
每个线程又运行着若干个相同的Task(Spout/Bolt)
jps 线程:core nimbus supervisor
相关推荐
0-检查gcc,python版本:python -V,要有gcc-c++ 1-jdk安装 2-解压缩zk 3-安装zeromq configure: error: cannot link with -luuid, install uuid-dev rpm -ivh uuid-1.6.1-10.el6.x86_64.rpm ...修改/etc/hosts,storm.yaml
storm安装配置快速上手
第2章详细讲解storm 集群环境的安装和搭建,以及如何将topology部署 到分布式环境中;第3章通过传感器数据实例详细 介绍Trident topology;第4章讲解如何使用Storm 和Tridentj挂行实时趋势分析;第5章介绍如何使用 ...
storm安装笔记
storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。
storm集群安装与运维.doc
Storm集群安装部署步骤,一步一步记录了作者亲自实践部署的过程,包括遇到的错误解决办法
本文档主要是storm组件部署。欢迎大家关注数据科学,本人不断为大家提供数据科学相关知识,如有疑问请随时沟通不断优化
zk\kafka\redis\storm 安装包,安装文档,入门学习文档等
storm1.1.0单节点部署安装
Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)
一直没找到真正齐全可用的storm安装所需包,经过各种收集终于找全,与大家分享。
本文档介绍了Storm原理,从单机安装和集群安装,以及一些入门程序编写的简单讲解。使开发人员一步一步从入门到精通
storm0.9及其他相关依赖资源的安装。kafka
修改内容如下:依赖zk storm.zookeeper.servers: - "master001" - "slave001" - "slave002" # nimbus.host: "nimbus" nimbus.host:master001
storm的集群安装笔记,在我的虚拟机上安装的整个过程,所有注意点都写了。绝对好用
这个是很实用的,实时流处理框架 ,包里有是兼容版的storm以及其他需装上的软件包,安装文件,可以下载亲爱研究学习,共同探讨。
本文档包括storm集群部署的整体过程:JDK部署,zookeeper集群部署,storm集群部署