叶不二-CSDN博客

原创 NoSQL数据库的四大类分析和五类主流数据库主要指标分析

笔记：NoSQL数据库的四大类分析五类主流数据库主要指标分析neo4j与其他数据库的对比

2019-05-29 16:06:45 695

原创 Spark GraphX关联操作之joinVertices和outerJoinVertices的区别

它们的共同点都是：根据给定的另一个图(原图的每个顶点id至多对应此图的的一个顶点id)把原图中的顶点的属性值根据指定的mapFunc函数进行修改，返回一个新图，新图的顶点类型不变。不同点是：当图中的某个顶点id在另一个图中不存在时，它们的处理不同joinVertices的操作是会保留原图中该顶点属性的原值outerJoinVertices操作是使用None值作为该顶点的属性值...

2019-05-16 10:58:46 1499

原创《spark GraphX实战》书籍免费免费免费分享

今天想找《spark GraphX实战》这本书籍，找了好多网站，不是最后解压需要密码，就是需要注册网站会员回复可见，还有csdn博客上竟然10积分，我的天呐，宝宝就想看个书啊，怎么这么难，终于好不容易找见了，在这分享给大家，免的有需要的人和我一样，浪费了时间。链接：ttps://pan.baidu.com/s/1OnDoOIASYDQP6Yo-Iz6o0w提取码：dwca欢迎自取啊！截...

2019-05-16 10:52:43 1963 10

原创为什么我又开始写博客了---come back

有一段时间没写博客了，不是因为忙，主要的原因是遇到的大多数问题，基本上在网络上都可以搜索到，也就没有再写的必要了在不写博客的这段时间里，一直用的是脑图，印象笔记等这些东西，把有用的直接剪切保存，新学的直接做成脑图慢慢地发现有时候写给自己看的东西和写在博客上的东西还真的不一样，写在博客上，你需要仔细去想该如何向别人说清楚你要表达的东西，不像写给自己的，当时看了明白，再回过头来发现自己又不...

2018-10-10 15:45:30 213

原创 es5.2安装search-guard插件后，es-head插件获取不到集群信息

1.search-guard插件安装后，访问单节点信息需要输入用户名和密码，才能看到信息，而且必须是https2.再去访问es-head插件，却出现了如下图所示的情况无论是添加用户名密码还是不添加，head插件都获取不到集群信息3.这个问题找了一天，网上的方法也尝试了好多，最后发现是个配置的问题es5.2的config文件夹下的elasticsearch.yml文件中的一项配置原配置：http.c...

2018-03-22 21:38:34 3713

原创 linux脚本报错 /root:is a directory

写了一个启动脚本，其中有些内容是从别的地方粘过来的，然后运行启动脚本，程序可以正常执行，但是报了一个错，/root:is a directory ,然后从脚本文件找root，发现脚本里并没有root网上查询了一下，最后发现是我粘贴的时候多粘贴了一个~,见下图标红的那个是粘贴的时候带过去的把那个删了，自己敲一个，就不会有那个问题了。...

2018-03-09 10:39:01 32765

转载 spark RDD算子（四）之创建键值对RDD mapToPair flatMapToPair

mapToPair举例，在F:\sparktest\sample.txt 文件的内容如下 aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zksee kksee zz zks将每一行的第一个单词作为键，1 作为value创建pairRDD scala版本 scala是没有mapToPair函数的，scala版本只需要map就可以

2018-02-01 10:17:16 1561

转载 Bootstrap table 服务器端分页示例

bootstrap版本为 3.Xbootstrap-table.min.css bootstrap-table-zh-CN.min.js bootstrap-table.min.js前端bootstrap+jQuery，服务端使用spring MVC实现restful风格服务前端代码块table id="test-table" class="col-xs-12" data

2017-11-08 10:15:02 842

转载 IDEA文件编码修改

上图标注 1 所示，IDE 的编码默认是 UTF-8，Project Encoding 虽然默认是 GBK，但是一般我都建议修改为 UTF-8。上图标注 2 所示，IntelliJ IDEA 可以对 Properties 文件进行专门的编码设置，一般也建议改为 UTF-8，其中有一个重点就是属性 Transparent native-to-ascii conversion，上图标注 3 所示，

2017-10-19 15:42:35 32053 4

转载构建微服务：Spring boot 入门篇

什么是spring bootSpring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。用我的话来理解，就是spring boot其实不是什么新的框架，它默认配置了很多框架的使用方式，就像maven整合了所有的jar包，spring boot整合了所有的框

2017-10-19 12:03:36 213

转载 Mybatis中的CDATA标签的用法

术语 CDATA 指的是不应由 XML 解析器进行解析的文本数据（Unparsed Character Data）。在 XML 元素中，"""&" 也会产生错误，因为解析器会把该字符解释为字符实体的开始。某些文本，比如 JavaScript 代码，包含大量 "CDATA 部分中的所有内容都会被解析器忽略。CDATA 部分由 "" 结束：在mapper文件中写sql语句时

2017-10-18 10:33:50 345

转载分页插件pageHelpler的使用（ssm框架中）服务器端分页

1. maven依赖：[html] view plain copy print? dependency> groupId>com.github.pagehelpergroupId> artifactId>pagehelperartifactId> version>3.4.2-fixversion>

2017-10-17 15:38:58 2845

转载 Oracle数据库中的分页--rownum

1. 介绍当我们在做查询时，经常会遇到如查询限定行数或分页查询的需求，MySQL中可以使用LIMIT子句完成，在MSSQL中可以使用TOP子句完成，那么在Oracle中，我们如何实现呢？Oracle提供了一个rownum的伪列，它会根据返回记录生成一个序列化的数字。rownum和rowid都是伪列，但是两者的根本是不同的。rownum是根据SQL查询出的结果给每行分配一个逻辑编号，所以

2017-10-10 11:41:36 335

转载 mybatis中的mapper接口文件以及example类的实例函数以及详解

##Example example = new ##Example(); example.setOrderByClause("字段名 ASC"); //升序排列，desc为降序排列。 example.setDistinct(false)//去除重复，boolean型，true为选择不重复的记录。 Criteria criteria = new Example().cr

2017-10-10 11:00:16 433

转载如何在Intellij IDEA中拉svn分支?

由于用IDEA时间也不是特别长，对操作svn的一些东西，不是特别熟悉，特此记录一下，以做备忘。先说下流程：在IDEA里面对trunk代码拉分支熟悉了，其实很容易，（1）你trunk目录下的得有个你的releases项目（2）在idea的工作空间下，按如下截图显示（3）填一些拷贝的一些的信息：（4）在3的基础上，选则在svn上的分支路径

2017-09-29 17:10:32 526

转载 kafka集群搭建

原文地址：http://blog.csdn.net/dhtx_wzgl/article/details/46892231第一步先去官网下载 kafka_2.9.2-0.8.1.1.tgz 并解压再进入到安装目录（也可以自己配置路径，方法跟配置java、hadoop等路径是一样的）.> tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2

2017-09-21 09:59:38 384

转载安装Elasticsearch5.0 部署Head插件

部署5.0版本的ES　　5.0版本的ES跟之前的版本最大的不同之处就是多了很多环境的校验，比如jdk,max-files等等。设置内核参数vi /etc/sysctl.conf# 增加下面的内容fs.file-max=65536vm.max_map_count=262144设置资源参数vi /etc/security/limits.conf# 修改

2017-09-20 14:43:20 288

转载 IDEA常用快捷键（亲测）

Ctrl+E 最近的文件Ctrl+Alt+Enter 在当前行前插入一行Shift+Enter 在当前行下面增加一行Ctrl+Alt+O 自动删除未使用的importCtrl+Shift+F12 最大化/还原窗口Alt+鼠标选择列选择模式，按列选择Ctrl+N 搜索class类文件Ctrl+Shift+N 打开文件、搜索文件Shif

2017-09-11 12:33:33 240

原创 java批量导入数据到es中出现数据重复问题解决方案

今天在网上找了一个批量数据导入到es中的java代码，代码主要逻辑如下：// 读取要导入数据的文件BufferedReader br = new BufferedReader(new FileReader( "D:\\test\\test.txt"));String json = null;int count = 0;// 开启批量插入BulkRequestBuilder bulkR

2017-09-01 14:49:31 15640 2

原创错误Can't load IA 32-bit .dll on a AMD 64-bit platform解决方案

今天第一次使用idea,在配置完jdk和tomcat后启动项目，报如下错误警告: The APR based Apache Tomcat Native library failed to load. The error reported was [D:\tomcat\apache-tomcat-7.0.75\bin\tcnative-1.dll: Can't load IA 32-bit .d

2017-08-28 16:12:02 7288 1

原创 linux学习笔记之系统目录结构

linux系统目录结构树状图如下：具体含义如下： /bin： bin是Binary的缩写, 这个目录存放着最经常使用的命令。 /boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。 /dev ： dev是Device(设备)的缩写, 该目录下存放的是Linux的外部设备，在Linux中访

2017-08-26 14:53:59 238

原创 linux学习笔记之处理目录和查看文件内容的常用命令

一、处理目录常用命令： ls: 列出目录 cd（Change Directory）：切换目录 pwd（Print Working Directory）：显示目前的目录 mkdir（make directory）：创建一个新的目录 rmdir：删除一个空的目录 cp: 复制文件或目录 rm: 移除文件或目录ls 显示某个文

2017-08-26 14:46:09 240

原创 linux学习笔记之文件基本属性

在linux上输入命令ll后，如下图所示其中drwxr-xr-x这些就是文件的基本属性，从左至右用0-9这些数字来表示。第0位确定文件类型，第1-3位确定属主（该文件的所有者）拥有该文件的权限。第4-6位确定属组（所有者的同组用户）拥有该文件的权限，第7-9位确定其他用户拥有该文件的权限。第0位d表示这是一个目录，还有以下值以及含义当为[ - ]则是文件；若是[ l

2017-08-26 14:31:07 227

转载 Spark性能优化：shuffle调优

目录(?)[+]shuffle调优调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾

2017-08-25 11:55:07 243

转载 Spark性能优化：数据倾斜调优

转载地址：http://blog.csdn.net/u012102306/article/details/51556450前言继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能

2017-08-25 11:11:27 270

转载 Spark性能优化：开发调优篇

转载地址：http://blog.csdn.net/u012102306/article/details/513222091、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，

2017-08-25 10:09:02 199

转载 Spark性能优化：资源调优篇

转载地址：http://blog.csdn.net/u012102306/article/details/51637366在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能

2017-08-24 11:21:17 236

原创 linux学习笔记之linux系统启动过程

1.Linux 系统启动过程一共分为5个阶段，分别是：1）内核的引导。2）运行 init。3）系统初始化。4）建立终端。 1）学习资料上 2）本机上（默认启动级别是5，下面会谈到启动级别） 5）用户登录系统。至此，linux系统启动完毕。2.Linux系统有7个运行级别(runlevel)，分别

2017-08-20 22:56:46 380 2

原创 spark-submit运行jar包脚本命令

找到spark-submit文件的目录目录/spark-submit --master spark://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10 --driver-memory 4G --class com.test.main.test test.jar参数：--master spark集群

2017-08-14 15:12:48 10966

转载 Spark Streaming 中使用 zookeeper 保存 offset 并重用 Java版

原文地址：http://blog.csdn.net/jsjsjs1789/article/details/52823218最近工作中使用Spark Streaming +kafka,由于涉及到金额，所以需要保证at only one, 而网上关于Java版的kafka offset回写zk的资料少之又少，于是总结一下，希望可以为广大使用java的友友们提供参考!这里采用的是Direct A

2017-08-14 14:36:45 1000 1

转载 myEclipse导出可运行的jar包

原文地址：http://blog.csdn.net/hqs_1992/article/details/50899878一、Runnable Jar file方式该方式可以简单的导入第三方Jar包 1，右击项目，单击export=》Java=》选第三个,Runnable Jar file (可执行的jar文件),Next。2，选择launch configuration（程序

2017-08-14 14:10:28 646

转载 Quartz的cron表达式

原文地址：http://www.blogjava.net/javagrass/archive/2011/07/12/354134.html按顺序依次为秒（0~59）分钟（0~59）小时（0~23）天（月）（0~31，但是你需要考虑你月的天数）月（0~11）天（星期）（1~7 1=SUN 或 SUN，MON，TUE，WED，THU，FRI，SAT）年份（1

2017-08-04 15:50:02 197

原创 ElasticSearch 2.4.0系列之二 java 创建client客户端

Elasticsearch为Java用户提供了两种内置客户端：节点客户端（node client）节点客户端以无数据节点(none data node)身份加入集群，换言之，它自己不存储任何数据，但是它知道数据在集群中的具体位置，并且能够直接转发请求到对应的节点上。传输客户端（Transport client）这个更轻量的传输客户端能够发送请求到

2017-07-28 16:14:02 2494 1

原创 ElasticSearch 2.4.0系列之一 es简介

在使用一个工具或者插件前，首先要从以下这三方面了解它1.是什么2.为什么3.怎么用1.ElasticSearch是什么？引用百度百科上的介绍：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是

2017-07-14 12:29:29 1393

转载 Elasticsearch的存储模型和读写操作

声明：本文章转载地址：http://www.infoq.com/cn/articles/analysis-of-elasticsearch-cluster-part01Elasticsearch是当今最流行的分布式搜索引擎，GitHub、 SalesforceIQ、Netflix等公司将其用于全文检索和分析应用。在Insight，我们用到了Elasticsearch的诸多不同功能，比如：

2017-07-12 11:28:52 1000

原创 kafka生产者与消费者java代码示例

kafka生产者package kafkatest;import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import kafka.ser

2017-07-12 11:21:19 3207

原创 Eclipse Mars2在线安装svn详细步骤

刚下载下来的eclipse mars2默认是没有svn仓库的，所以这就需要我们自己去安装，具体的操作步骤如下：1.在help下选中eclipse商店2.搜索svn插件并安装3.安装完毕之后，将其视图显示4.注意此步骤很关键，否则连上svn仓库会报错至此svn安装完毕

2017-06-26 14:46:32 3734

原创错误：Unsupported major.minor version 51.0 解决方案

错误原因：本地的jdk版本与导出的项目jdk版本不一致，或本地的jdk版本低解决方法：修改本地jdk版本号1.点击项目右键2.移除原来的jdk3.添加新的jdk4.选择已经安装的jdk至此问题解决

2017-06-24 17:28:10 862

原创 Linux下的常用命令

vim 文件名进入到文件编辑模式cat 文件名打印（显示）文件内容more 文件名显示文件内容（一页一页显示）touch file 创建一个名为"file"的新的空白文件scp ./* root@n2 /ssh/ 将当前文件夹下的所有东西拷贝到n2服务器上的ssh文件夹下（前提是ssh已经打通）rpm -qa 查询所有的包rpm -qa | g

2017-06-19 15:09:43 279

原创 go语言之脚本命令的使用

比如说我想在go项目启动的时候，也把java项目启动，那么我就可以把启动java项目的脚本命令放入到go项目中go语言也为我们提供了执行脚本命令的包 “os/exec”1.引入 "os/exec"包2.在go项目main函数中执行 c := "java -jar /test/demo.jar /test/demo.properties" //执行的脚本命令 cmd := ex

2017-06-19 14:17:25 2500