JCY19890312的博客

原创 常用centos命令

ps -ef | grep 'apache-flume-1.6.0-bin' |grep -v 'grep'| awk '{print $2}' | xargs kill -9

原创 idea maven工程打可运行jar包方式

步骤：1. 利用idea 创建maven工程2.在Project Setting的Artifacts中module中新建jar，如下图：3.将代码中用到的jar包都Extractes如下图：4.在IDEA菜单栏Build中Build Artifacts 即可5 .在centos中  在jar包所在的目录下，用 java   -jar  ***

原创 bhase命令行的使用

1 、chd中bhase的shell在  cd /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/bin  下 键入：hbase shell即可2 、在shell中退出用 ctrl+c ；  退格中ctrl+Backspace

原创 Java实现数据压缩 zlib

package com.ecer.common.utils;import java.io.*;import java.util.zip.Deflater;import java.util.zip.DeflaterOutputStream;import java.util.zip.Inflater;import java.util.zip.InflaterInputStream;/*

原创 CDH集群的关闭与开启

周末要关闭大数据集群步骤如下：  1  、在主页上cloudera manager 上关闭cluster和service即可；   2 、远程关闭centos，命令如下：sudo shutdown -h now    3  、开启集群如下：            a ]   开启service   命令如下：sudo /opt/cm-5.0.0/etc/

转载 linux 下 mysql的一些操作命令

一、总结一下：1.Linux下启动MySQL的命令：   mysqladmin start/ect/init.d/mysql start (前面为mysql的安装路径)2.linux下重启mysql的命令：   mysqladmin restart/ect/init.d/mysql restart (前面为mysql的安装路径)3.linux下关闭mysql的命令：

原创 java 判断返回类型是非为空（null 与 a.length()的区别）

null  与 a.length()的区别如果a为null 则a.length就会报 java lang nullpointException正确的处理方法：if（a==null）{}而不是a.length>0

原创 Yarn application has already ended! It might have been killed or unable to launch application maste

yarn-client运行spark任务是出现： Yarn application has already ended! It might have been killed or unable to launch application master.日志显示：Failed to connect to driver!看看yarn的 ResourceManager UI 如下

原创 win7 只能ping通本机，局域网内都不行的解决方法！！！

原创 spark集群 Failed to connect to driver!

是应用是发布任务的pc机不在spark集群所在局域网导致的

原创 bootstrapdatetimepicker ff 浏览器 不兼容处理方法

1 、找到bootstrap-datetimepicker.js，        把里面的  this.defaultTimeZone = (new Date).toString().split("(")[1].slice(0,-1);        改为   this.defaultTimeZone = 'GMT '+(new Date()).getTimezoneOffset()/60

原创 删除远程svn上idea中的module （另附Linux解压命名）

a  总结：  删除远程svn上idea中的module步骤：             1. updata远程代码到本地，确保没有冲突（否则checkout到新文件夹既重新clone到本地）             2. 在idea中打开工程，然后在Project Structure的Module中减掉要删除的module             3. 在idea主界面的左侧Proje

原创 在idea中新建scala工程及打包步骤

1.新建scala工程，如下图2 。生成jar包，并内嵌mysql包  （Build on make需勾选，并在idea住菜单的Build下选make****）3. ok

原创 在spark上运行scala代码，出现ClassNotFoundException

几个jvm运行报错说明：如名字所言，一个exception，一个error， 而error是不建议捕捉的；classNotFound主要发生在Class.forName, ClassLoader.loadClass, Classloader.findSystemClass时动态加载类到内存中时，如果没有找到该类就会抛；还有一个原因是该类已经加载到内存中去了，此时另一个类加载器又尝试动态

原创 在centos7上 安装CM的步骤

1. 安装jdk    （http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_jdk_installation.html）2. 安装mysql  （http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_mysql.h

原创 安装cloudear后检查服务时，遇到的三个问题

1    已启用“透明大页面”，它可能会导致重大的性能问题。版本为“CentOS release 6.3 (Final)”且版本为“2.6.32-279.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] never”，并将 defrag 设置为“[always] never”。请运行“echo never > /sys/kernel/mm/redhat_tra

原创 The method setCharacterEncoding(String) is undefined for the type HttpServle

今天将以前做的一个web项目从不笔记本上移到台式机上，import项目后出现“The method setCharacterEncoding(String) is undefined for the type HttpServle”，导入tomcat下的lib包问题依旧。后来将lib包在Order and  Export中的位置上调（如下图）就可以了。可能是servlet包冲突导致。

原创 ERROR: index 'test1': sql_connect: Host 'maoyt3' is not allowed to connect to this MySQL server (DSN

保存！

原创 运行phpmyadmin的时候下方总是出现“wapm您配置文件中的设置 (空密码的 root) 与 MySQL 默认管理员账户对应。您的 MySQL 服务器使用默认值运行

运行phpmyadmin的时候下方总是出现“wapm您配置文件中的设置 (空密码的 root) 与 MySQL 默认管理员账户对应。您的 MySQL 服务器使用默认值运行1 、修改mysql密码，步骤如下：    用UPDATE直接编辑user表　　mysql -u root　　mysql> use mysql;　　mysql> UPDATE user SE

原创 TOMCAT 异常启动的情况

原创 多台计算机安装ssh

当我们在配置多台计算，使之可以相互使用无密码登录-ssh,之前都是一台一台的配置，现在一台A上添加B，然后在另一台B上再次添加A，这样使得authorized_keys中的内容相同，但时并不是完全相同，比如添加顺序。如果超过2台，这种配置就相当复杂了，而且容易出错。后来，在网上看到了一种简单的配置，所有机器只需配置一遍即可。1.安装ssh.  sudo apt-get install ssh.