软工小透明-CSDN博客

原创 Redis报错-java.net.SocketException: Broken pipe (Write failed)

异常原因：在SparkStreaming中使用Redis进行高并发写，发现有时候会出现以下异常：redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketException: Broken pipe (Write failed) at redis.clients.jedis.Connection....

2020-03-03 18:11:17 5668 3

转载 idea方法头快捷键设置,亲测可用

此处直达原文链接https://blog.csdn.net/jianghappyboy/article/details/80794552思路清晰，亲测可用,转载以防不时之需

2020-03-03 17:09:33 683

原创 HBASE-java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch

异常原因：我是在hbase中用 table.put(list)的时候发生这个报错的（最后发现与此无关），我很纳闷的是程序之前都是正常跑的，怎么今天重新打包部署了一下就报错了，然后跟随百度大佬们模糊的指点，知道了是jar包冲突问题解决过程：首先检查自己maven依赖中有没有这个类的依赖包，发现还真有，配置如下： <dependency> ...

2020-02-17 23:08:52 2838 1

原创数据仓库-shell脚本实现hive hdfs文件上传到目标ftp

总的来说就是一行一行的linux命令，组装起来就变成一个脚本了！#!/bin/bashcd /web/data/file/tmpjfrm -rf bm_jingfeng_export_zte_login_d_{Date_No}.txtrm -rf bm_jingfeng_export_cms_content_d_{Date_No}.txtrm -rf bm_jingfeng...

2019-12-10 18:05:30 578

转载数据仓库-大数据血缘关系分析系统设计

目录大数据血缘关系分析系统设计大数据血缘关系分析系统设计本篇文章摘自如下链接（直接放链接了），记录之用，侵删！大数据血缘关系分析系统设计一：http://cxy7.com/articles/2018/05/26/1527300004975.html#b3_solo_h2_3大数据血缘关系分析系统设计二：http://cxy7.com/articles/2018/05/2...

2019-12-10 15:37:36 5292 1

原创 Hive之自定义函数UDF使用&实现时间段转小时批次demo

目录0.需求来源1.创建maven项目2.上传jar包到hdfs上3.创建函数4.使用函数0.需求来源最近，接到这么一个需求，需要统计用户在一天中的各个时间段（比如02:00-09:00点）的电影播放时长，评估了一下需求，使用hiveql无法进行这种计算，因为我们的数据长这样：数据是按天分区的，时长粒度也是为天的，要想分时段统计就必须要有小时分区的数据，况且它这...

2019-11-13 22:33:16 512

原创数据仓库（一）：数据仓库概述

数据仓库概述1.数据仓库需要解决的问题以及需要达成的目标跨系统实现数据共享，解决信息孤岛问题，提升数据质量现在很多企业都有很多业务，每种类型的业务可能都有一个系统应用来支撑，但各个业务系统之间相互独立，比如A系统只有A类型业务的数据，B系统只有B类型业务的数据，A,B系统由于权限等各种问题不能互相访问彼此的数据，所以跨系统实现数据共享解决信息孤岛问题很重要构建企业单一视图，实现各种结...

2019-11-12 22:52:22 363

原创 Hive基本所有的application状态一直处于ACCPETED状态

最近早上来发现hive集群调度平台所有的任务都处于ACCPETED状态，之前以为是集群的原因，重启了之后感觉好了，结果第二天来还是同样的情况，排查了情况没看到报错信息，倒是看到了如下关键日志：not starting application as amIfStarted exceeds amLimit大致意思就是不能运行应用因为所需要的资源已经超过最大资源了，如果你的也有类似日志，通过ya...

2019-11-07 17:23:23 880

原创记一次Sparkstreaming应用之Hbase插入数据优化

最近使用SparkStreaming对公司交互产品的日志进行处理最后插入Hbase和Redis，数据经Flume收集后入Kafka,然后途径Sparkstreaming应用，最后插入相应数据库中；然后发现在数据产生的高峰期Sparkstreaming居然发生数据计算积压的情况，也就是任务积压导致的阻塞，由于公司环境是内网，Spark job界面也无法查看，无法排查是哪里的问题；只能用linux...

2019-09-19 15:36:32 589 1

原创 c语言中的自增运算和指针的优先级问题

阿弥陀佛，工作以后又回来补这些知识了，果然时间久了就容易忘，记录在这里以后好翻阅：首先来看看一个比较简单的自增运算的例子：a=i++;b=++i;相信这个大家都比较清楚吧对于 a来说，先赋值i的值给a，然后i自己加1；对于b来说，i自己先加1，然后赋值给b;好了，来背口诀，i++先赋值再运算；++i先运算再赋值;上面这个例子比较简单，只含有自增运算的表达式，但当自增...

2019-03-25 21:22:07 4128 3

原创二.面向对象的三大特性，封装、继承、多态

2.1 java里的封装1.封装的概念将类的信息隐藏在类内部，不允许外部程序直接访问，而是通过该类提供的方法来实现对隐藏信息的操作和访问2.封装的好处只能通过规定的方法访问数据，隐藏类的实现细节，方便修改和实现3.封装的实现步骤a.修改属性的可见性 -private修饰符b.创建getter/setter方法 -用于属性的读写c.在getter/setter中加入属性控制语句...

2019-03-04 23:03:45 150

原创 java中的类

1.2 java中的类1.类在java中的重要性类是java程序的组织单元2.类的组成属性和方法3.属性和方法如何声明修饰符+返回类型+方法名/属性名1.3 java中对象的使用1.创建对象类名对象名=new 类名();2.使用对象对象名.属性/方法3.关于成员变量和局部变量成员变量在类中定义，用来描述对象将要有什么，作用域在整个类中可见局部变量...

2019-02-26 08:00:25 146

原创 Java基础之类与对象

1.1 关于类和对象1.对象是什么万物皆对象，任何客观存在的事物都可以叫做对象 2.面向对象是什么顾名思义，我们关注对象，我们对所有客观事物的关注3.类是什么类是对象的类型，是具有相同属性和方法的一组对象的集合4.类和对象的关系类是抽象的，是一个模板，而对象是客观存在的，一个看得见摸的着的具体实体...

2019-02-25 07:54:01 104

原创 java基础之向上造型与多态

最近浏览博客的时候看到一个题，主要讲多态的，看了之后仔细研究了一下，发现自己出了不少问题，由于题主没有详细的解释，因此在这里分享一下自己遇到的问题也方便大家理解：如何理解多态？实例解析：（一）相关类 class A ...{ public String show(D obj)...{ return ("A and D");

2017-12-06 16:02:43 5880 1

原创关于sql中的规范化理论

1NF：列字段不可再分，即属性的原子性2NF：主键的一部分（比如组合主键）不能决定其他非键字段，即消除部分依赖3NF：表中非键字段不能确定非键字段，即消除传递依赖BCNF：非键字段不能确定主键的一部分4NF：全键表（所有字段都是主键），有两个以上的多值依赖

2017-09-29 15:53:48 1032

转载 Linux如何安装java以及环境配置

1.准备工作　　a.因为Java JDK区分32位和64位系统，所以在安装之前必须先要判断以下我们的Centos系统为多少位系统，命令如下：　　　　uname -a　　　　解释：如果有x86_64就是64位的，没有就是32位的。后面是X686或X86_64则内核是64位的，i686或i386则内核是32位的　　　　　　　　由此可以判断我的centos

2017-09-22 16:51:22 472

原创 linux常用命令

cd 切换盘符ls 查看某个目录文件夹下的所有子目录ps -ef|grep java 查看与java相关的所有进程kill -9 进程号杀死对应的进程java -jar 包运行jar包

2017-09-22 09:03:12 216

转载 eclipse常用快捷键

CTRL+D // 删除当前行 CTRL+M //窗口最大化和还原 CTRL+K //快速向下查找选定的内容 Ctrl+shift+o //快速打包 Ctrl+1 快速修复(最经典的快捷键,就不用多说了)Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复

2017-09-17 23:55:38 196

原创 SSH常见问题

SSH框架常见问题汇总重新启动Tomcat后web-inf/classes/下的配置文件没有更新 Struts2常见问题汇总1. There is no Action mapped for namespace / and actionname admin_login.解：mlgb，浪费我半天时间，问题：没有找到该Action的映射，即该Action不存在，大家都知道mye

2017-09-17 23:54:21 331

原创 weka之如何利用kmeans算法分析数据的聚类效果

聚类算法之k-means算法的数据集分析：1. K均值聚类的步骤：K均值算法首先随机的指定K个簇中心。然后：1)将每个实例分配到距它最近的簇中心，得到K个簇；2)计分别计算各簇中所有实例的均值，把它们作为各簇新的簇中心。重复1)和2)不断迭代，直到K个簇中心的位置都固定，簇的分配也固定。

2017-09-16 21:12:21 25681 2

原创 Git学习

Git学习1. git与svn的异同:同：都是用来控制代码版本的工具异：svn是集中式版本控制系统，版本库是在中央服务器，但是我们的代码却是写在自己的电脑上，因此每次写完代码后都需要将自己的代码上传到中央仓库，而别人也需要从这个中央仓库获取最新的版本，然后写完自己的代码后再推送到中央仓库，上传或者下载过程都需要联网，速度慢git是分布式版本控制系统，每个人的电脑都是一个版本

2017-08-24 17:47:09 368

原创 SpringBoot如何添加拦截器

在web开发的过程中，为了实现登录权限验证，我们往往需要添加一个拦截器在用户的的请求到达controller层的时候实现登录验证，那么SpringBoot如何添加拦截器呢？步骤如下：1.

2017-08-16 17:51:01 6004

原创 md5算法加密实现

最近在开发中在存用户密码存储到数据库时，为了不明文存储，就使用了比较通用的MD5加密算法，这里贴一下简单实现：public class StringToMd5 { public static String stringToMd(String plainText) throws NoSuchAlgorithmException { //实例化一个消息摘要

2017-08-11 15:21:00 347

转载 Struts2中的OGNL详解

原文链接地址：http://blog.csdn.net/tjcyjd/article/details/6850203 Struts2中的OGNL详解首先了解下OGNL的概念：OGNL是Object-Graph Navigation Language的缩写，全称为对象图导航语言，是一种功能强大的表达式语言，它

2017-06-14 10:11:02 651

原创关于一加载jsp页面就跳转到servlet获取数据然后再跳回jsp页面的问题

下面来说我遇到的问题：上一篇文章中写的是jsp+javabean实现商品分页浏览，即model1的开发模式，现在要改为 jsp+sevlet+javabean 即model2了之前在jsp处理的业务逻辑，都要经过servlet调用模型层进行处理，我想的是先加载jsp页面（刚开始Jsp页面什么数据也没有，需要从servlet中获取数据再显示），加载的同时跳转到servlet获取商

2017-05-26 00:37:53 13355 5

原创 jsp+servlet实现简单商品上传、商品浏览、与商品分页技术

首先，来看一下程序的运行结果：1. 商品展示部分2.添加商品界面下面说一下具体的实现过程：1.创建数据库表，任何一个系统首先要做的事情就是建表，明确自己的需求建相应表，该表中我只说一下pimg字段，其他的大家都应该懂的吧(paddr表示的是商品产地) ，pimg字段用于存放上传图片的文件名，比如美女.jpeg ，而不是在项目中的路径，

2017-05-24 22:23:11 6762 4

转载 Statement与PreparedStatement的区别

原文地址：http://blog.csdn.NET/haorengoodman/article/details/239953471:创建时的区别： Statement statement = conn.createStatement(); PreparedStatement preStatement = conn.prepareStatement(sql);

2017-05-11 11:57:09 362 1

转载 Cannot forward after response has beencommitted问题分析及解决

Cannot forward after response has beencommitted问题分析及解决通过toncat启动服务器，可以正常登陆访问，登陆进去选择子系统的时候点击登陆的时候，可是去又回到了登陆界面，如此反复就是不能够进入子系统，查看后台报的错误: Java.lang.IllegalStateException: Cannot forward after response

2017-05-04 12:15:02 516

原创 jsp之记录用户登录的总次数以及记录用户最后一次登录的时间

其实刚开始是不知道怎么去做的，百度了一堆，结果都是没有用的，网上的结果不是说用session记录就是说用cookie记录，还有的用application(访问次数？？服务员关闭的时候消亡) 但注意~其实上面的办法都是行不通的，因为他们都有生命周期，像cookie有些浏览器还会禁用，因此，不能用他们来记录变化的值！那用什么呢？？不错，数据库，可以用数据库来记录变

2017-04-16 17:41:46 6886

原创 java之cookie保存登录信息下次登录时自动填充表单

现在发现写代码不是最难的，天下代码一通抄，看你会抄不会抄。。。反而找问题才是最难的，因为不是所有的问题你都能找到，要么就是不符合自己的问题需求，要么就是根本是错的。。。好了，吐槽完毕！------------------------------------------------一道华丽的波浪线----------------------------------

2017-04-09 17:06:53 5160

原创 servlet中alert对话框出现中文乱码的问题

在servlet中嵌入js代码显示对话框对话框出现中文问号乱码：解决办法：在servlet文件中加上如下代码问题即可解决：PrintWriter out = response.getWriter(); //获取输出流String a = URLEncoder.encode("口令错误，请重新输入！", "UTF-8"); out.print("al

2017-04-07 08:44:08 5423 3

原创 Servlet之浏览器页面出现中文乱码问题

博主最近在写servlet页面跳转的时候出现了浏览器出现中文乱码的问题，一半是中文，一半是乱码，也是浪费了好多时间才解决这个破问题：对于单独的一个servlet文件来说，要向页面写中文，只需要在doget 或者dopost 方法的首行加上 response.setCharacterEncoding("GBK"); 即可解决中文乱码问题，但是对于两个以上的servlet文件来说，如果他们之

2017-04-06 16:04:37 1186 1

原创更改extension_dir目录和打开extension_mysq.dll后仍然不能调用mysql_connect()函数

真是心好累，都怪自己把appserve给卸载了，作死的想独立装PHP5.3的amp配置环境,这两天找错误都快疯了，勉强现在又找出来一个，记下来以防下次再出问题：按照网上的教程来的更改extension_dir目录和打开extension_mysql.dll后仍然不能调用mysql_connect()函数,原因是我在配置apache环境的时候忘记写php.ini的配置目录了：

2016-12-30 20:22:36 2905 1

原创修改hosts文件将我们的域名地址解析到本机ip

昨天刚刚发了一篇更改apache httpd端口号的问题，，，，然而今天问题就来了。。。上次由于80端口号被占用，我就将端口号改为了8088, 今天将hosts文件的我随便设置的域名解析到本机ip当访问我设置的域名时发现不能访问，原因就是我将apache服务器的端口号设为8088了，因此访问时需要在你的域名的后面加上对应的端口号比如：你的域名为

2016-12-30 14:42:06 3662 1

原创关于apache不能启动的问题

出现这个问题，基本都是80端口被占用了的原因，楼楼已经不是第一次遇到这个问题了，估计众多网友也经常遇到吧在这里写一篇博客说说我的解决办法：首先，找到你的apache安装的文件夹，然后找到conf文件夹--》打开 --》选中httpd这个文本文件 --》打开 --》点击编辑 --》查找 --》输入 80 --》找到后替换为 8088（或者其他） --

2016-12-29 21:34:04 369

原创 java代码实现将时间序列数据集（UCR）转化为weka能识别的.arff文件

之前发过一篇转.arff文件的博客，后来发现是错的。。。，weka虽然能识别，但是并不能进行聚类或者分类，原因是我没有提取数据集中的类别信息，也就是说我将其中的类标也看成一个属性了。。。而且为了方便转换，做了一个再简单不过的界面，（主要是需要转换的文件太多了，不想一个一个改路径。。。）如下图，直接选中就可以转换了：第一个显示你要选择的文件，第二个显示你是否转换成功。

2016-12-28 23:34:21 2658 1

原创 Petri网之XML文件设计代码（传入一个矩阵生成Petri网）

XML文件之Petri文件结构Petri网XML文件结构图：Petri网中XML根结点为net,其属性有id、type，其子结点有四个，分别为token，place，transition，arc。具体结构图如下：1）根结点下有4个子结点，分别为token,place,transition,arc，如图3.1所示：

2016-12-28 22:54:36 1953 2

原创 Java Swing之按钮点击选择文件与获取选中文件绝对路径

button.addActionListener(new ActionListener() { public void actionPerformed(ActionEvent e) { //按钮点击事件JFileChooser chooser = new JF

2016-12-23 15:34:54 14078 3

原创关于结构体里面的字符串指针输出出现乱码的问题与结构体数组作为参数传值的问题

首先，结构体里面的字符串指针输出出现乱码的问题：相信很多遇到过这种问题的人都跟我一样写过这样的代码（好吧，或许不一样。。。）：#include#includetypedef struct{ int age; const char* name; const char* id;}person;person p();int main(){ person s[1]; s[0]=

2016-10-29 13:59:58 8488 4

原创 java代码实现将无表头.txt文本文件转化为weka能识别.arff文件

首先，我们要有一个.txt文件，每一行中的元素个数是相同的（因为每一行中的每一个元素就代表了一种类型的属性值），文尾已奉上，读者自行下载。有的就不用下载了，然后，，，代码如下，具体的就不细讲了import java.io.*;import java.util.ArrayList;/** * Created by Administrator on 2016/10/20. */

2016-10-20 13:05:38 2388