- 博客(21)
- 收藏
- 关注
RSS订阅原创 hadoop windows下调试报错的分析org.apache.hadoop.io.nativeio.NativeIO$Windows
升级了服务器上hadoop版本到2.7.2，原来是2.4.1，响应的修改了pom.xml的hadoop版本。本地运行时出现如下错误：java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
2016-03-24 17:14:23
11425
6
原创 nginx配置tomcat https websockets等问题汇总解决方式
1.配置nginx反向代理到tomcat上，最好是在tomcat的server.xml上的 加入address="127.0.0.1"来限制其他IP访问然后在 ngix上配置反向代理配置如下， upstream xxx_server { server 127.0.0.1:8888 weight=1 max_fails=2; keepalive 1
2015-12-23 13:53:15
5175
原创 mysql启动不了的问题总结
启动mysql报MySQL is running but PID file could not be found可能的原因1是mysql下有某个数据很大的文件太大，无法加载。ps aux|grep mysqlkill -9 所有进程然后删除那个文件。数据目录默认在/var/lib/mysql 找到应用的数据名，进入目录删除xxxx.ibd文件，重启mys
2015-09-23 14:45:57
462
原创 hadoop JOB错误日志查找
到hadoop的cluster页面找到 application,如 application_1438588979245_0136，点击进入cluster/app/application_1438588979245_0136点击History出现地址http://server3:xxxx/jobhistory/job/job_1438588979245_0
2015-08-13 10:17:51
1779
原创 DT大数据梦工厂 第82讲 Scala中List的ListBuffer是如何实现高效的遍历计算的 学习总结...
DT大数据梦工厂学习总结系列视频来自王家林老师的DT大数据梦工厂系列51CTO视频：http://edu.51cto.com/lesson/id-71305.html腾讯视频：http://v.qq.com/boke/page/f/0/8/f0162pgyfz8.html 土豆视频：http://www.tudou.com/programs/view/WBW9Ki9Y_1g...
2015-08-11 00:20:08
131
原创 scala actor swing代码实践
信息来源于 DT大数据梦工厂微信公众账号：DT_Spark【DT大数据梦工厂视频】《第72讲：Scala界面事件处理编程实战详解》视频观看地址：http:百度网盘：http://pan.baidu.com/s/1o6FvweQ 本期视频重点：
2015-07-31 18:12:05
616
转载 linux free 命令解释学习
转载 源地址 http://blog.sina.com.cn/s/blog_5f1bf8510100cwig.htmlfree 命令相对于top 提供了更简洁的查看系统内存使用情况：# free total used free shared buffers cached Mem: 255988 231704 24284
2015-07-09 16:40:00
381
原创 centos mysql移动存储目录
mysql 默认rpm安装数据目录在/var/lib/mysql下默认配置在/usr/my.cnf修改数据目录的方式1.修改my.cnf下的datadir 将/var/lib/mysql的文件cp -rf到修改的目录地址修改新的数据目录所有人 chown mysql:mysql ./* -R
2015-07-02 15:56:32
361
原创 hadoop 运维问题汇总(持续更新中)
1. hadoop 2.4 运行mapreduce 报10020端口拒绝连接,是因为jobhistory进程未启动，需要手动到sbin/mr-jobhistory-daemon.sh start historyserver2. hadoop 2.4 运行时发现文件无法读取，safemode in on 可通过 bin/hdfs dfsadmin -safemode get 获取
2015-03-06 15:14:04
545
原创 hadoop no xxxx to stop的原因和解决方法
hadoop 2.4.1 使用sbin/stop-all.sh时候报错 no namenode to stop no resourcemanager to stop等错误jps查看发现进程并未关闭。网上参考资料，总结发现是默认hadoop pid文件是存放在/tmp内，但tmp 每10天会被清理一次。解决的方法是kill掉对应的进程修改 hadoop-env.sh中 pid
2015-03-05 16:18:30
1443
原创 linux 删除文件太多
rm -rf 一般能解决问题遇到报错，可以用find通过找出早于多少天前的文件删除。如下13天前修改的文件删除find ./ -mtime +13 -print|xargs rm -vf如果只是要删除13天前那一天的文件，去掉+号特别注意：这个13天前会精确到时分秒，也就是执行是2月15日 18:05，则2月12号的18:05前的文件被会被删除。18点06分以后的还存在。
2015-02-14 18:09:17
2572
原创 ClientAbortException: java.net.SocketException: Broken pipe 的原因和测试方法
ClientAbortException: java.net.SocketException: Broken pipe
2014-12-25 11:01:20
6814
2
原创 mysql 连接关闭问题和解决方式
spring + hibernate +mysql遇到一个异常 Caused by: org.hibernate.TransactionException: JDBC begin transaction failed: at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.doBegin(JdbcTran
2014-12-24 13:14:52
1559
原创 linux基本操作(持续更新)
一.查看当前操作系统版本信息 1. cat /proc/version 2. uname －a 3.lsb_release -a二.Linux查看版本当前操作系统发行版信息1.cat /etc/issue 2.cat /etc/redhat-release三.Linux查看cpu相关信息，包括型号、主频、内核信息等 1.
2014-12-19 10:10:52
407
原创 cron 表达式的误区
今天用java quartz 写表达式，常规的这里就不介绍了，网上很多笔者希望做到每五分钟进行一次，由于业务原因，希望延迟几分钟才开始进行。一开始写 0 4/5 * * * ?后来想想如果服务是这个小时的第5分钟后启动，岂非要等到下个小时04分才启动，公司系统试用中，经常会修改BUG重启，这样会带来问题。后来做试验，发现不是笔者之前想的那样，如果服务在06分启动，依然还是会在
2014-12-12 12:50:30
417
原创 hibernate 异常场景分析（一）
spring 3+ spring mvc + hibernate 4.1 使用中发现日志出现这个异常。Caused by: org.springframework.orm.hibernate4.HibernateSystemException: Unknown service requested [org.hibernate.stat.spi.StatisticsImplement
2014-12-10 15:17:27
3674
原创 spring mvc接受post数据过大，参数获取为空的解决方法
最近用jetty 跑spring mvc接收post请求（post中数据很大）。出现数据无法获取到的问题。如 @RequestMapping(value = "/receive", method = RequestMethod.POST)public receive(String a,String b,String c) 其中 a是从post中获取，先前数据量小的时候，可
2014-11-25 17:00:48
16537
原创 转： Java API 设计准则
新年将到，决定开始使用这个blog，学习其他大牛的开发水平，这里用一篇转载开始 :D Java API 设计准则在Java API设计中有着许多的各种规则与折衷考量，和其他所有复杂任务一样，它考验着我们的记忆力及脑力。这里我找到了一个对正在设计Java API的软件开发人员而言非常不错的准则列表，其中介绍的一些准则可能是很明显的，又或者不那么显眼，但确实非常不错，希望你会喜欢。 ...
2012-01-20 15:39:57
94
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人