泡泡鱼的专栏

里面都是平时学习和工作中碰到的一些问题及解决方法，希望可以帮到大家。有不同见解的，可以在下面评论，反正我也不会看的。（开玩笑了）

转载利用SSH隧道技术实现跳板机SHELL登陆以及SFTP到内网服务器

跳板原理SSH隧道技术，分别有三种方法实现：本地端口转发、远程端口转发、静态SOCKS代理XMANAGER——静态SOCKS代理出于安全考虑，公司的一组应用服务器仅允许特定P远程SSH访问，带来安全防护的同时也增加了进行SSH登录和SFTP上传维护的繁琐，在授权的IP服务器上搭建VPN作为跳板是一种解决方案，本文阐述的，是另一种更加简单的安全访问方式，主要是基于日常维护

2016-09-05 18:36:59 8898 2

转载 Mybatis JdbcType与Oracle、MySql数据类型对应列表

1. Mybatis JdbcType与Oracle、MySql数据类型对应列表MybatisJdbcTypeOracleMySqlJdbcTypeARRAY JdbcTypeBIGINT BIGINTJdbcTypeBINARY

2016-08-31 11:34:46 6955

原创 java mysql 高性能批量处理设置rewriteBatchedStatements

昨天研究了一下mysql的批处理，最初发现很慢10000条每次1000 243秒50000条每次500条 1295秒代码如下：package main;import java.sql.*;public class JdbcStreaming { public static void main(String[] args){ try {

2016-08-03 14:40:34 18356 1

原创 spark操作mysql数据库

spark对mysql提供了一些基本的读写操作，今天这边文章主要从读写两个方面来讲。一、spark读取mysql数据库1、通过JdbcRdd来读取首先看一下官方文档是如何介绍的翻译为：1、getConnection 返回一个已经打开的结构化数据库连接，JdbcRDD会自动维护关闭。2、sql 是查询语句，此查询语句必须包含两处占位符?来作为分割数据

2016-07-18 18:03:18 13231

原创 spark函数讲解：aggregate

函数原型：defaggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): UAggregate the elements of each partition, and then the results for all the partitions, using

2016-07-13 18:44:45 2521

转载 spark函数讲解：cogroup

cogroup：将多个RDD中同一个Key对应的Value组合到一起。最多可以组合四个RDD函数原型：def cogroup[W1, W2, W3](other1: RDD[(K, W1)], other2: RDD[(K, W2)], other3: RDD[(K, W3)], partitioner: Partitioner) : RDD[(K, (Itera

2016-07-13 17:20:05 5277

转载 Spark函数讲解：collectAsMap

/** * User: 过往记忆 * Date: 15-03-16 * Time: 上午09:24 * bolg: http://www.iteblog.com * 本文地址：http://www.iteblog.com/archives/1289 * 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货 * 过往记忆博客微信公共帐号：

2016-07-13 17:08:19 4311

转载 spark性能调优指南（四）（shuffle调优）

shuffle调优调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此

2016-07-12 18:34:49 999

转载 Spark性能优化指南（三）（数据倾斜调优）

数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三

2016-07-12 18:11:40 893

转载 Spark性能优化指南（二）（资源调优）

本文转自美团技术博客：http://tech.meituan.com/spark-tuning-basic.html资源调优调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。

2016-07-12 17:31:32 1118

转载 Spark性能优化指南（一）（开发调优）

本文转自美团技术博客：http://tech.meituan.com/spark-tuning-basic.html前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中

2016-07-12 17:28:06 850

转载 hive中order by,sort by, distribute by, cluster by作用以及用法

1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。这里跟传统的sql还有一点

2016-07-12 17:07:14 828

原创偏差和方差

偏差（Bias）：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。方差（Variance）：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。下面通过一个故事来讲解：想象你开着一架黑鹰直升机，得到命令攻击地面上一只敌军部队，于是你连打数十梭子，结果有一下几种情况:

2016-07-12 16:50:28 861

原创 java通过JDBC操作mysql数据库

package main;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;import java.util.ArrayList;import java.util.List;public class DBConnec

2016-06-21 19:04:13 774

原创 CyclicBarrier和CountDownLatch区别

这两天写多线程时，用到了CyclicBarrier，下意识的认为CyclicBarrier和CountDownLatch作用很像，就翻阅资料查了一下，说一下他们的区别吧CyclicBarrier和CountDownLatch 都位于java.util.concurrent 这个包下CountDownLatchCyclicBarrier

2016-03-18 19:19:10 54749 25

原创 mkdir()和mkdirs()

mkdir() 和mkdirs()都是创建文件夹mkdir()：在某个目录下创建下一级目录，如果上级目录不存在，则创建失败。mkdirs()：如果上级目录不存在，则挨个创建目录package main.java.file;import java.io.*;public class test { public static void main(String[] a

2016-03-17 18:12:52 809

转载 java将控制台信息输出到文件

添加以下代码：import java.io.*;public class IO2File { public static void main(String[] args) throws IOException { File f=new File("out.txt"); f.createNewFile(); FileOutputStr

2016-03-17 17:11:45 13729 4

原创保存Log4j日志文件到指定路径

第一种方法：1、web.xml中添加如下代码： webAppRootKey webapp.root log4jConfigLocation classpath:log4j.properties log4jRefreshInterval 6000 org.springframework.web.util.Log4jConfigLis

2016-03-17 17:05:23 6594

原创 Log4j配置详解

配置文件示例：### set log levels ###log4j.rootLogger = debug , stdout , D , E### 输出到控制台 ###log4j.appender.stdout = org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout = org.apache.log4j.Pa

2016-03-16 17:42:42 679

原创 Spring MVC配置Velocity

Velocity是一种Java模板引擎。和JSP，Freemarker差不多，都是用来展示网页内容的。和JSP不同的是velocity只能显示Action中的数据，不能处理数据。不能写java代码，但是可以使用Velocity标记。Velocity的页面（模版）可是是任何类型（text/html）的文件。当Velocity应用于web开发时，Velocity将java代码从web页

2016-03-14 15:28:52 10598 1

原创 Java参数传递：值传递和引用传递

Java参数传递方式分为两种：值传递和引用传递Java基本数据类型都是值传递方式，非基本数据类型（即引用类型，String除外，下面会详细介绍）是引用传递方式。下面举例介绍：1、基本数据类型及其包装类public class testMain { public static void main(String args[]){ float x=10;

2016-03-10 16:28:51 916

原创通配符的匹配很全面, 但无法找到元素 'mvc:annotation-driven' 的声明

报错信息：通配符的匹配很全面, 但无法找到元素 'mvc:annotation-driven' 的声明原因是：虽然在xml文件上方声明了mvc，但没有配置此声明对应的文件信息，正确配置如下： xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.spri

2016-03-10 12:16:54 55871 13

原创 SpringMVC中四个基本注解

Spring mvc常用4个基本注解@Component、@Repository 、@Service、@Controller@Controller 控制层，通常我们所说的action层@Service 业务逻辑层，通常我们所说的service层或者manger层@Repository 持久层，通常我们所说的Dao层@Component 组件，书面意思就是我

2016-03-10 12:06:15 5739 1

原创 Spring 整合mybatis配置

Spring整合mybatis配置Mybatis是ibatis的升级版，是一个基于java的持久层框架。Mybatis是支持普通SQL查询，存储过程和高级映射的优秀的持久层框架，Mybatis 消除了几乎所有JDBC代码和参数的手工设置以及结果集的检索。MyBatis 使用简单的 XML或注解用于配置和原始映射，将接口和 Java 的POJOs（Plain Old Java Objects，普

2016-03-10 11:21:08 14326 2

原创 mybatis-generator 代码自动生成工具

今天来介绍下怎么用mybatis-gennerator插件自动生成mybatis所需要的dao、bean、mapper xml文件，这样我们可以节省一部分精力，把精力放在业务逻辑上。之前看过很多文章，都是借助eclipse或者IDEA等其他工具，今天讲的这个方法是，直接在命令提示符下运行。程序打包上传：1、在D盘新建一个文件夹，命名：generator（或者其他盘其他名字也可以，之所以

2016-03-09 15:29:18 76883 38

原创 maven查询库

在用maven搭建框架时，在配置pom.xml时，总因为不知道对应jar的配置路径而头疼，下面列举两个查找maven库的地址：1、http://search.maven.org/2、http://mvnrepository.com/

2016-03-07 10:53:45 832

原创 IDEA 创建基于Maven的spring mvc框架

IDEA 创建基于Maven的spring框架最近在用IDEA，发现IDEA已经集合了很多模板，只需要选择一下，就可以创建一个基于maven的spring mvc框架准备工作：1、安装：IDEA、maven、jdk、tomcat2、IDEA配置jdk，maven，tomcat ，请参考本人其他文章，配置好的请忽略，直接下一步IDEA配置jdkIDEA配置tomcat

2016-03-04 18:02:12 5382 2

原创 IDEA配置maven

1、打开File-->settings2、搜索maven，或者按以下路径，点开maven配置页，依次配置maven路径，setting文件即可。

2016-03-04 17:15:20 7611

原创 IDEA配置tomcat

1、如图所示，点击Edit configuration，进入如下页面2、点击左上角+号，选择tomcat server-->Local3、点击configure，进入tomcat配置页4、选择tomcat路径5、依次点击OK6、点击右下方Fix，选择需要运行的包，如果没有，可以忽略，等需要运行程序时

2016-03-04 17:05:18 2090

原创 IDEA配置jdk

提前安装jdk，配置环境变量一、配置jdk1、依次点开File -->Project Structure，点击左侧标签页，点击SDKs2、点击+号，选SDK3、在弹出框选择jdk路径（我本地装了两个jdk，大家可以忽略）4、点击OK，可以看到jdk配置好了5、按照这个顺序，可以配置多个jdk

2016-03-04 16:21:19 255320 19

翻译请简要描述客户端发送的http request header都包含哪些内容

问题描述：请简要描述客户端发送的http request header都包含哪些内容？解答：HTTP Request header当今web程序的开发技术真是百家争鸣，ASP.NET, PHP, JSP，Perl, AJAX 等等。无论Web技术在未来如何发展，理解Web程序之间通信的基本协议相当重要, 因为它让我们理解了Web应用程序的内部工作. 本

2016-02-25 12:26:42 2671

原创 jsp 静态引用和动态引用的区别

1. 首先先介绍下，jsp机制： servlet容器，先将jsp转化成servlet，然后编译成.class文件，放置容器缓冲区【tomcat的work目录下】。每次调用jsp时，服务器会读取编译好的servler.class，处理jsp的请求。2. 在servlet容器转化jsp为servlet时，将引入的jsp源码全部添加到当前jsp，一并转化成一个ser

2016-02-25 11:06:47 7280

原创 IDEA打包可运行jar

背景：有时候，我们会用IDEA来开发一些小工具，需要打成可运行的JAR包；或者某些项目不是WEB应用，纯粹是后台应用，发布时，也需要打成可运行的JAR包。并且，如果依赖第三方jar时，又不希望第三方jar也打入最终的可运行jar包，并且还希望，组织下目录结构（如把第三方jar文件，放到最终可运行jar包的并行目录lib下）开发环境OS： Windows 8.1JDK： 1.7

2016-02-16 17:58:59 5452

原创 maven 配置 pom.xml 详解

什么是pom？pom作为项目对象模型。通过xml表示maven项目，使用pom.xml来实现。主要描述了项目：包括配置文件；开发者需要遵循的规则，缺陷管理系统，组织和licenses，项目的url，项目的依赖性，以及其他所有的项目相关因素。这是一个一站式项目管理商店，里面包含了项目需要的各种东西。事实上，在maven的世界里，一个项目不需要任何代码，仅仅是一个pom.xml。

2016-02-16 17:02:51 2701

转载 java.lang.UnsatisfiedLinkError: D:\Tomcat\apache-tomcat-7.0.37\bin\tcnative-1.dll: Can't load AMD 6

昨天重装系统后，把Java环境变量都配置好，myeclipse环境也搭建好后，今天做项目时启动tomcat后，出现这种情况，百度后说去该地址下载一个32位的dll文件，替换tomcat的bin\目录下对应的文件http://www.apache.org/dist/tomcat/tomcat-connectors/native/我嫌麻烦找个最简

2016-02-16 11:12:05 2692

转载 spring中scope作用域

今天研究了一下scope的作用域。默认是单例模式，即scope="singleton"。另外scope还有prototype、request、session、global session作用域。scope="prototype"多例。再配置bean的作用域时，它的头文件形式如下：如何使用spring的作用域：bean id="role" class="spring.chapte

2015-10-22 22:32:21 692

转载 maven依赖关系中Scope的作用

依赖范围控制哪些依赖在哪些classpath 中可用，哪些依赖包含在一个应用中。让我们详细看一下每一种范围： compile （编译范围） compile是默认的范围；如果没有提供一个范围，那该依赖的范围就是编译范围。编译范围依赖在所有的classpath 中可用，同时它们也会被打包。 provided （已提供范围） provided 依赖只有在当JDK

2015-10-22 22:19:40 445

转载 maven详解之坐标与依赖

看着简单而又复杂的pom.xml文件，看似熟悉，当自己编写的时候觉得简单，但是看人家项目的时候又觉得复杂的很，现在我们一起来分析这个pom文件。Maven的坐标为各种构件引入了秩序，任何一个构件都必须明确的定义自己的坐标，maven的坐标包括如下的元素：groupId: 定义当前Maven项目隶属的实际项目artifactId: 该元素定义实际项目中的一个Mav

2015-10-22 22:15:52 739

转载 java设计模式之单例模式（几种写法及比较）

概念：　　java中单例模式是一种常见的设计模式，单例模式的写法有好几种，这里主要介绍三种：懒汉式单例、饿汉式单例、登记式单例。　　单例模式有以下特点：　　1、单例类只能有一个实例。　　2、单例类必须自己创建自己的唯一实例。　　3、单例类必须给所有其他对象提供这一实例。　　单例模式确保某个类只有一个实例，而且自行实例化并向整个系统提供这个实例。在计算机系统中，线程池、缓存、

2015-10-21 22:56:49 10005 2

原创读提交和可重复读区别

读提交：务A事先读取了数据，事务B紧接了更新了数据，并提交了事务，而事务A再次读取该数据时，数据已经发生了改变。造成了不可重复读（虚读）。可重复读：事务A读取与搜索条件相匹配的若干行。事务B以插入或删除行等方式来修改事务A的结果集，然后再提交。事务A再读取时，却发现数据发生了变化。造成了幻读。很多人都容易混淆不可重复读和幻读的概念，当然，本人也是纠结了好久，下面就说一下我的理解

2015-10-21 22:23:32 26548 9