- 博客(12)
- 收藏
- 关注
RSS订阅原创 使用 Yarn REST API 的几种方式
使用 Yarn REST API 的几种方式由于一个项目部分的脚本中用到了Flink的任务监控，要求的功能单一，使用yarn rest api进行请求，没有对接监控平台，用到的一些功能如下CMD查看指定任务的详细信息：GET http://<rm http address:port>/ws/v1/cluster/apps/${appid}监控任务：curl 'http://<rm http address:port>/ws/v1/cluster/apps/${app
2021-07-01 11:50:32
1858
原创 RGB 颜色对照表
颜色名十六进制颜色值颜色AliceBlue#F0F8FFrgb(240, 248, 255)AntiqueWhite#FAEBD7rgb(250, 235, 215)Aqua#00FFFFrgb(0, 255, 255)Aquamarine#7FFFD4rgb(127, 255, 212)Azure#F0FFFFrgb(240, 255, 255)Beige#F5F5DCrgb(245, 245, 220)Bisque#FFE4C4rgb(255, 228, 196)Black#000000rgb(0, 0
2021-05-07 16:53:37
2542
原创 Redis 资源告警排查记录
Redis 资源告警排查记录背景：有一套小redis集群，已经n长时间没有管过了，几百G内存不够用了，运维中心频繁资源告警，为了不影响应用正常使用，所以有了这次排查的过程。redis-rdb-tools 安装环境：Python 2.7python redis ：https://pypi.python.org/packages/source/r/redis/redis-2.8.0.tar.gztar -zxvf redis-2.8.0.tar.gzcd redis-2.8.0/pyth
2021-05-06 14:40:37
164
3
原创 Java获取计算机信息
Map<String, String> map = System.getenv(); String userName = map.get("USERNAME");// 获取用户名 String computerName = map.get("COMPUTERNAME");// 获取计算机名 String userDomain = map.get("USERDOM...
2019-10-17 14:19:51
1280
转载 配置Service Level Authorization
Hadoop在服务层进行了授权（Service Level Authorization）控制，这是一种机制可以保证客户和Hadoop特定的服务进行链接，比如说我们可以控制哪个用户/哪些组可以提交Mapreduce任务。所有的这些配置可以在$HADOOP_CONF_DIR/hadoop-policy.xml中进行配置。它是最基础的访问控制，优先于文件权限和mapred队列权限验证。可以看看下图在...
2019-06-17 12:57:41
772
2
原创 Flink：注册Table Kafka Source报错处理（flink table）
flink代码：注册kafka source 版本：0.10，格式：Json相关依赖，版本为flink1.8.0：这里要注意flink-json，如果没有此依赖，以上代码块将无法使用Json格式 <dependency> <groupId>org.apache.flink</groupId> ...
2019-05-30 17:08:15
3338
原创 部署CDH5所遇问题
1.启动agent报错 仔细检查 /etc/hosts中ip对应主机名称是否有错误 [17/Aug/2017 16:15:19 +0000] 4162 HTTPServer Thread-2 _cplogging ERROR [17/Aug/2017:16:15:19] ENGINE Error in HTTP server: shutting down Traceback (mo...
2019-03-11 15:41:03
495
原创 cloudera manager 设置开机启动
1.复制启动脚本 将主节点上面的/opt/cm-5.12.1/etc/init.d/目录下的cloudera-scm-server服务器启动脚本和cloudera-scm-agent代理服务启动脚本复制到/etc/init.d/目录下面,其余节点上面只将cloudera-scm-agent代理服务复制到/etc/init.d下。2.修改文件 修改/etc/init.d/cloudera-s...
2018-08-20 14:56:31
864
转载 CentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解
一、环境:1.三台VMware虚拟机(一个做为主节点，两个做为从节点) hserver1n(主节点) hserver2n(从节点) hserver3n(从节点) CM Server CM Agent CM Agent CM Agent NameNode DateNode DateNode Mysql 2.操作系统:CentOS 73....
2018-08-20 11:03:27
1715
转载 cloudera manager 简述
cloudera manager整体介绍 体系架构： 图片描述： ClouderaManager的核心是ClouderaManagerServer。Server托管AdminConsole WebServer和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。解释：Agent：安装在每台主机上。它负责启动和停止进程，解压缩配置，触发安装和监控主机Mana...
2018-08-20 10:35:15
283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人