博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
企业生产环境集群稳定性-HA就行吗?
阅读量:6772 次
发布时间:2019-06-26

本文共 869 字,大约阅读时间需要 2 分钟。

在企业生产中,集群一旦运行,是要尽可能的将损失降到最低,现在所有的大数据技术都有HA,spark的、Hadoop的、HBase的等等,

HA分冷备和热备,热备是集群自带的,冷备就是硬件的。

这样一种情况:晚上了,人睡着了,突然的大数据量来了,nameNode、master崩了,HA启动了另一台备用节点,然而数据量依然很大,另一台也崩了,好吧集群废了?

咋办?

这就是冷备的需要,进程掉了,在服务器运行的情况下:

有一种机制可以启动进程服务,crontab+shell

五分钟之内检查进程情况,没有启动(时间自定义)

#################################################################!/bin/bash#该脚本用于监控Linux主机上的进程,由于某些情况进程丢失,而人员没有#即时发觉得情况#下面例子是jps->RunJar进程的监管#在Linux服务器上创建一个crontab任务定时检查#作者:舆#时间:2016年################################################################ab=`jps | awk '{print $2=="RunJar"}'`res=0OLD_IFS="$IFS" IFS=" " arr=($ab) IFS="$OLD_IFS" for s in ${arr[@]} do     if [ "$s" = "1" ]    then       ((res++))    fi doneecho $resif [ $res \> 0 ]then   echo "进程存在"else   echo "进程不存在"   hive --service metastore &fi

 

本脚本以hive进程测试成功

是想,生产环境下,上述情况是不是可以缓解,脚本写日志文件处理是不是也可以。

转载于:https://www.cnblogs.com/gnool/p/5651312.html

你可能感兴趣的文章
HT for Web 中Painter的介绍及用法
查看>>
兄弟mfc 7340 加墨粉
查看>>
oracle细节(一)
查看>>
JS计算两个日期之间的天数--转载文章
查看>>
Linux基础之history的详细说明
查看>>
数据分析狂想——“亲~我的东西什么时候到?”
查看>>
hadoop < MapReduce 编写程序 实现倒排索引>
查看>>
人生百态---《让×××飞》有感
查看>>
微信菜单数组格式
查看>>
linux命令详解(19)修改文件属性lsattr、chattr命令详解
查看>>
JVM内存配置详解
查看>>
(四)Thinkphp运行流程简介-TTLSA
查看>>
三种东西永远不要放到数据库里
查看>>
依赖浏览器实现指定元素css样式提取
查看>>
nagios安装文档
查看>>
***检测技术――Snort
查看>>
高性能WEB开发之页面呈现、重绘、回流
查看>>
shell脚本实例之Charpter8-6
查看>>
Linux网络服务-Web Service之【HTTP协议简介】(一)
查看>>
详解 Windows下apache 实现 SSL
查看>>