javageekcoder-CSDN博客

原创持续集成-shell自动创建jenkins节点并通过jnlp链接jenkins服务器

jenkins add node via command line and connect via jnlp wayjenkins 通过shell脚本自动添加节点，并通过jnlp连接

2023-08-17 17:03:48 201

原创 springboot通用异常处理

需要关注的点:异常捕获请求参数回放统一异常处理异常捕获对于控制层controller可以忽略部分异常处理请求参数回放因为是在异常发生时serveletrequest已经被拆包一次,所以需要考虑怎么把请求参数保留起来Servlet提供了Filter可以在请求到达时进行参数处理.自定义Fliterimport org.springframework.stereotype.Component;import javax.servlet.*;import javax.se

2020-07-30 20:54:15 405

原创 Apache Druid数据迁移工具insert-segment-to-db批量迁移脚本

#!/bin/shecho "task begin...."#/data/druid为druid安装目录,须替换自己的datasource名称for dir in `/data/hadoop/bin/hdfs dfs -ls hdfs://10.28.222.4:9000/druid/segments/datasouce名称|grep -v WARN | awk '{print $8}'`;do echo "begin insert to db with path : $dir"; jav.

2020-07-30 20:31:03 505

原创 elasticsearch调用Java Client打印sql

最近配合测试验证数据平台数据有效性,因为之前代码都是采用TransportClient进行查询,测试校对数据须采用elasticsearch-sql工具进行查询,所以想做一个打印sql的功能. 跟踪调用栈,发现查询均是通过ActionRequestBuilder完成的,所以考虑项目中替换elasticsearch.jar中的相关类. 具体操作步骤如下:elasticsearch查询项目中创建包org.elasticsearch.action 复制如下代码...

2020-07-21 21:02:05 1362

原创利用selenium访问某网站实现模拟人机交互爬虫

高考刚结束，堂侄面临志愿投递的问题，之前用jsoup模拟抓取过不少网站，但是抓取高考信息网（gkcx.eol.cn）的时候遇到了问题，部分接口返回的内容为密文，查看网站js，应该是采用了PBKDF2加密方式，而且加密方式也挺复杂，走进了死胡同。 google查询类似问题，发现了selenium可以用来实现浏览器自动化功能：模拟用户点击，操作浏览器的组件实现翻页等。 https...

2019-06-11 18:41:31 1141 1

原创 logstash处理时区问题

公司线上日志是通过logstash接收并上传的，使用版本是logstash2.3，发现@timestamp经常少8个小时；处理逻辑如下，无需修改插件源码input { stdin {} }output { stdout { codec => rubydebug } }filter { date { match => ["message","UNIX_MS"]#message

2017-09-07 11:26:32 16533 4

原创利用elasticsearch dump插件完成数据迁移

最近工作中发现有一个es集群不稳定，影响了线上其他项目的使用。遂考虑迁移索引到其他集群上；网上搜索到有多重方案：1.查询并导出数据2.目录复制3.采用snapshot快照各种方案各有优劣：第一种：优点：支持个性化操作缺点：所有的使用脱离不了api，且在维护数据的同时需要维护mapping映射等信息；第二种：优点：简单粗暴缺点：不同集群配置可能不同，可能造成索引

2017-07-17 13:25:30 5053

原创 nginx负载均衡配置

nginx请求重定向和负载均衡配置请求重定向server {listen 8088;location / { proxy_pass http://localhost:8080}}负载均衡server {listen 8088；upstream balancer {

2017-04-06 15:57:05 601

原创 elasticsearch索引自动维护

采用elasticsearch-curator工具完成索引维护按时间+索引前缀删除索引首先确认安装了python环境sudo easy_install pippip install elasticsearch_curatorcurator_cli --version确认安装成功最后执行curator_cli --host 127.0.0.1 --port

2017-04-05 15:59:49 1276

原创 Linux Bash Shell字符串分割substring等

近期在做持续集成项目，因为要做高使用性的平台，公司项目组各业务线打包流程不尽相同，采用了业务藏入脚本的方式，原有java可实现的操作写入了脚本中。脚本开发中遇到的问题是：原java中的字符串分割操作（substring indexOf等）不知道怎么处理（比如/a/b/c/d.txt我想知道文件的名称）查询相关资料得知，shell中可以采用标识符来做分割字符串，包括substring（0，i

2016-10-10 17:23:58 7231

原创文件实时同步到Linux机器

近期做持续集成打包功能，打包服务器和应用服务器不在同一台机器，为了可以正常下载，我们有一个文件同步的需求使用了rsync做相关的同步操作；遇到的问题是同步的时机不好掌握，在手动操作了一段时间rsync之后，觉得做一个根据文件夹变更执行同步操作更高效网上看到fswatch这个工具，他可以监控文件夹文件的变更，同时有相关的回调，格式如下：fswatch -o ~/path/to/w

2016-09-08 15:32:22 755

原创一步一步跟我学习hadoop(7)----hadoop连接mysql数据库执行数据读写数据库操作

为了方便 MapReduce 直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。运行MapReduce时候报错：java.io.IOException: c

2015-08-11 18:20:18 12035 2

原创一步一步跟我学习hadoop(6)----hadoop利用FileSystem API 执行hadoop文件读写操作

hadoop文件系统较普通的文件系统差异性主要在于其容错性，普通文件系统不能直接查看hadoop的hdfs对应的文件信息。文件存储起来之后，我们是需要可以访问才能够体现它的价值，hadoop提供了FileSystem API来进行hadoop的文件读写。本节我是对照hadoop的API中的FileSystem类写的demo，包含了一些主要的方法，更多的需要从相关api中进行查询编写。

2015-08-02 23:38:10 4692

原创一步一步跟我学习hadoop(5)----hadoop Map/Reduce教程（2）

Map/Reduce用户界面本节为用户采用框架要面对的各个环节提供了详细的描述，旨在与帮助用户对实现、配置和调优进行详细的设置。然而，开发时候还是要对应着API进行相关操作。首先我们需要了解Mapper和Reducer接口，应用通常需要提供map和reduce方法以实现他们。接着我们需要对JobConf, JobClient,Partitioner,Output

2015-07-26 23:31:37 1945

原创一步一步跟我学习hadoop(4)----hadoop Map/Reduce教程（1）

Hadoop Map/Reduce说明 hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce作业经常讲数据集切分成独立的块，这些块通过map任务并行处理，框架对map的输出进行排序，排序结果会被reduce以输入参数进行接收。通常作

2015-07-19 22:47:16 2659

原创一步一步跟我学习hadoop(3)----hadoop命令手册

上节我们学习了hadoop的eclipse插件安装和wordcount程序的运行，本篇对hadoop命令进行一个系统的了解hadoop的命令通过HADOOP_HOME\bin\hadoop命令触发，我们可以在命令行执行hadoop --help来提示用户的命令输入。hadoop命令分为两大类：用户命令和管理命令，以下是hadoop命令的详细解读0 概述：

2015-07-11 22:07:22 2025

原创一步一步跟我学习hadoop(2)----hadoop eclipse插件安装和运行wordcount程序

本博客hadoop版本是hadoop 0.20.2。安装hadoop-0.20.2-eclipse-plugin.jar下载hadoop-0.20.2-eclipse-plugin.jar文件，并添加到eclipse插件库，添加方法很简单：找到eclipse安装目录下的plugins目录，直接复制到此目录下，重启eclipse依次点击eclipse工具栏的window-----sho

2015-07-08 00:03:15 2893 1

原创一步一步跟我学hadoop(1)----hadoop概述和安装配置

这几年云计算大数据很火，借这个东风，今天开始学习apache的分布式计算框架hadoop，希望不要太落后。Apache Hadoop是一个在大型集群的商品硬件上运行的应用程序的框架。Hadoop框架透明的提供了应用程序的可靠性和数据访问的方法。Hadoop实现了Map/Reduce计算模型，每个应用程序被切分成许多碎片化的工作段，每个段可在任何急群众的节点（重复）执行。此外，它还提供了用以在计算节点中存储数据的分布式文件系统HDFS,HDFS提供了节点间的高度聚合能力。MapReduce和Hadoop分布

2015-07-05 23:08:36 3030 6

原创 JAVA 集合框架优化之list.removeAll大数据量优化

今天在公司做项目需要求两个集合的补集，考虑到collection类有removeAll方法，决定采用这种方式；结果程序一直卡在那儿不动了；数据量是两个集合的数据差不多都有60万，直接导致程序处于假死状态（程序当然是还在运行）；出现问题始终要解决的，我又给程序修改为先用retainAll求交集，然后再removeAll的方式，效果不明显（事实是也假死了），我的应用场景还要求实时性，没办法只能

2015-06-09 22:56:17 5310 2

原创一步一步跟我学习lucene（19）---lucene增量更新和NRT(near-real-time)Query近实时查询

这两天加班，不能兼顾博客的更新，请大家见谅。有时候我们创建完索引之后，数据源可能有更新的内容，而我们又想像数据库那样能直接体现在查询中，这里就是我们所说的增量索引。对于这样的需求我们怎么来实现呢？lucene内部是没有提供这种增量索引的实现的；这里我们一般可能会想到，将之前的索引全部删除，然后进行索引的重建。对于这种做法，如果数据源的条数不是特别大的情况下倒还可以，如果数据源的条数特别大的

2015-06-07 22:25:19 6393 1

原创一步一步跟我学习lucene（18）---lucene索引时join和查询时join使用示例

了解sql的朋友都知道，我们在查询的时候可以采用join查询，即对有一定关联关系的对象进行联合查询来对多维的数据进行整理。这个联合查询的方式挺方便的，跟我们现实生活中的托人找关系类似，我们想要完成一件事，先找自己的熟人，然后通过熟人在一次找到其他，最终通过这种手段找到想要联系到的人。有点类似于”世间万物皆有联系“的感觉。

2015-06-04 06:36:34 3857

原创一步一步跟我学习lucene（17）---lucene搜索之expressions表达式处理

有时候我们在做lucene的结果展示的时候可能需要对多个列的内容进行计算，根据多个field对应的值做数值方面的运算。lucene自4.6版本起，提供了用于运算的expression模块；expression分为两部分：org.apache.lucene.expressions：提供了字段绑定和相关的表达式参数传递的功能；org.apache.lucene.expressions.

2015-06-02 00:36:11 3330

原创一步一步跟我学习lucene（16）---lucene搜索之facet查询查询示例（2）

本篇是接一步一步跟我学习lucene（14）---lucene搜索之facet索引原理和facet查询实例（http://blog.csdn.net/wuyinggui10000/article/details/45973769），上篇主要是统计facet的dim和每个种类对应的数量，个人感觉这个跟lucene的group不同的在于facet的存储类似于hash（key-field-value）形式的，而group则是单一的map（key-value）形式的，虽然都可以统计某一品类的数量，显然facet更具

2015-05-31 21:29:36 2679

原创 java redis使用之利用jedis实现redis消息队列

应用场景最近在公司做项目，需要对聊天内容进行存储，考虑到数据库查询的IO连接数高、连接频繁的因素，决定利用缓存做。从网上了解到redis可以对所有的内容进行二进制的存储，而java是可以对所有对象进行序列化的，序列化的方法会在下面的代码中提供实现。序列化java

2015-05-29 14:21:32 10809 3

原创一步一步跟我学习lucene（15）---java读取word excel pdf及lucene搜索之正则表达式查询RegExQuery和手机邮箱查询示例

今天快下班的时候收到了一个群友的问题，大意是读取文本文件中的内容，找出文件中的手机号和邮箱，我自己写了一个读取文档的内容的正则查询示例，用于匹配文件中是否含有邮箱或者手机号，这个等于是对之前的文本处理工具的一个梳理，同时结合lucene内部提供的正则匹配查询RegexQuery；废话不多说了，直接上代码，这里先对文件内容读取分类处理，分为pdf word excel 和普通文本四类，不同的种类

2015-05-28 00:49:17 3838 1

原创一步一步跟我学习lucene（14）---lucene搜索之facet查询原理和facet查询实例

我们在浏览网站的时候，经常会遇到按某一类条件查询的情况，这种情况尤以电商网站最多，以天猫商城为例，我们选择某一个品牌，系统会将该品牌对应的商品展示出来，效果图如下：如上图，我们关注的是品牌，选购热点等方面，对于类似的功能我们用lucene的term查询当然可以，但是在数据量特别大的情况下还用普通查询来实现显然会因为FSDirectory.open等耗时的操作造成查询效率的低下，同时普通查询是全

2015-05-26 00:03:56 4318

原创一步一步跟我学习lucene（13）---lucene搜索之自定义排序的实现原理和编写自己的自定义排序工具

自定义排序说明我们在做lucene搜索的时候，可能会需要排序功能，虽然lucene内置了多种类型的排序，但是如果在需要先进行某些值的运算然后在排序的时候就有点显得无能为力了；要做自定义查询，我们就要研究lucene已经实现的排序功能，lucene的所有排序都是要继承FieldComparator,然后重写内部实现，这里以IntComparator为例子来查看其实现；

2015-05-24 23:02:28 4719 1

原创一步一步跟我学习lucene（12）---lucene搜索之分组处理group查询

grouping介绍我们在做lucene搜索的时候，可能会用到对某个条件的数据进行统计，比如统计有多少个省份，在sql查询中我们可以用distinct来完成类似的功能，也可以用group by来对查询的列进行分组查询。在lucene中我们实现类似的功能怎么做呢，比较费时的做法时我们查询出所有的结果，然后对结果里边的省份对应的field查询出来，往set里边放，显然这种做法效率低，不可取；luc

2015-05-24 00:57:28 7185

原创一步一步跟我学习lucene（11）---lucene搜索之高亮显示highlighter

highlighter介绍这几天一直加班，博客有三天没有更新了，望见谅；我们在做查询的时候，希望对我们自己的搜索结果与搜索内容相近的地方进行着重显示，就如下面的效果这里我们搜索的内容是“一步一步跟我学习lucene”，搜索引擎展示的结果中对用户的输入信息进行了配色方面的处理，这种区分正常文本和输入内容的效果即是高亮显示；这样做的好处：视觉上让人便于查找有搜索对应的文本块；界面展

2015-05-22 00:20:34 7076

原创一步一步跟我学习lucene（10）---lucene搜索之联想词提示之suggest原理和应用

昨天了解了suggest包中的spell相关的内容，主要是拼写检查和相似度查询提示；今天准备了解下关于联想词的内容，lucene的联想词是在org.apache.lucene.search.suggest包下边，提供了自动补全或者联想提示功能的支持；InputIterator说明InputIterator是一个支持枚举term,weight,payload三元组的供suggester使

2015-05-17 23:44:32 5190 3

原创一步一步跟我学习lucene（9）---lucene搜索之拼写检查和相似度查询提示（spellcheck）

suggest应用场景用户的输入行为是不确定的，而我们在写程序的时候总是想让用户按照指定的内容或指定格式的内容进行搜索，这里就要进行人工干预用户输入的搜索条件了；我们在用百度谷歌等搜索引擎的时候经常会看到按键放下的时候直接会提示用户是否想搜索某些相关的内容，恰好lucene在开发的时候想到了这一点，lucene提供的suggest包正是用来解决上述问题的。suggest包联想词相关介绍

2015-05-16 22:02:19 4881

原创一步一步跟我学习lucene（8）---lucene搜索之索引的查询原理和查询工具类（支持分页）示例

昨天我们了解了lucene搜索之IndexSearcher构建过程（http://blog.csdn.net/wuyinggui10000/article/details/45698667），对lucene的IndexSearcher有一个大体的了解，知道了怎么创建IndexSearcher，就要开始学会使用IndexSearcher进行索引的搜索，本节我们学习索引的查询原理和根据其相关原理写索引查询工具类；加入了对分页查询的支持以及多目录索引查询的功能

2015-05-15 00:36:30 4639

原创一步一步跟我学习lucene（7）---lucene搜索之IndexSearcher构建过程

最近一直在写一步一步跟我学习lucene系列（http://blog.csdn.net/wuyinggui10000/article/category/3173543），个人的博客也收到了很多的访问量，谢谢大家的关注，这也是对我个人的一个激励，O(∩_∩)O哈哈~，个人感觉在博客的编写过程中自己收获了很多，我会一直继续下去，在工作的过程中自己也会写出更多类似系列的博客，也算是对自己只是

2015-05-13 23:34:44 6571 2

原创一步一步跟我学习lucene（6）---lucene索引优化之多线程创建索引

这两天工作有点忙，博客更新不及时，请大家见谅；前面了解到lucene在索引创建的时候一个IndexWriter获取到一个读写锁，这样势在lucene创建大数据量的索引的时候，执行效率低下的问题；查看前面文档一步一步跟我学习lucene（5）---lucene的索引构建原理可以看出，lucene索引的建立，跟以下几点关联很大；磁盘空间大小，这个直接影响索引的建立，甚至会造成索引写入提

2015-05-12 22:57:18 9513 1

原创一步一步跟我学习lucene（5）---lucene的索引构建原理

lucene创建索引的原理IndexWriter的addDocument方法详解今天看了IndexWriter类的addDocument方法，IndexWriter对此方法的说明如下：Adds a document to this index. Note that if an Exception is hit (for example disk full) then the ind

2015-05-10 22:35:31 4313

原创一步一步跟我学习lucene（4）---lucene的中文分词器jcseg和IK Analyzer分词器及其使用说明

为什么要使用lucene中文分词器在lucene的开发过程中，我们常会遇到分词时中文识别的问题，lucene提供了lucene-analyzers-common-5.0.0.jar包来支持分词，但多的是对英国，法国，意大利等过语言的支持，因此我们需要引入中文分词的概念。各种中文分词器及其对比jcseg中文分词器jcseg是使用Java开发的一款开源的中文分词器, 使

2015-05-09 20:10:46 5857 3

原创一步一步跟我学习lucene（3）---lucene的analysis相关和自定义分词器

lucene分词相关总结和自定义分词器已经停止词词典的维护,自定义分词

2015-05-08 00:00:33 4965

原创一步一步跟我学习lucene（2）---lucene的各种Field及其排序

lucene的各种Field及公共接口，Field使用示例,各种Field的特性,lucene排序

2015-05-06 18:27:57 13137 8

原创一步一步跟我学习lucene（1）---lucene的IndexWriter对象创建和索引策略的选择

lucene的索引构建原理，不同类型的FSDirectory和创建机制,lucene优点

2015-05-05 17:03:28 9692 1

原创 mysqldump工具使用

mysqldump -h${host} -u${username} -p${password} -P${port} -f --single-transaction ${dbname} > ${dbname}.sql

2023-08-17 17:07:10 101

高考数据库之专业分数线抓取

高考数据库之专业分数线抓取，人机模拟抓取https://gkcx.eol.cn/linespecialty?province=&zytype;=&schoolyear=2018&schoolpc;=&luqutype;=理科页面的数据

2019-06-11

mastering elasticsearch英文原版

gitbook下载的，希望对了解elasticsearch有所裨益，帮助大家

2018-08-20

kafka开发文档

Kafka开发文档-Kafka 是分布式、分区、可复制的提交日志服务。它采用独特的设计来实现消息服务系统。

2018-08-20

设计模式Java

Java版本设计模式，深入浅出系列 Java版本设计模式，深入浅出系列 Java版本设计模式，深入浅出系列

2018-08-08

elasticsearch6.3 xpack破解jar包

elasticsearch6.3 xpack破解jar包，需替换es_home下modules/x-pack/x-pack-core下的x-pack-core-6.3.0.jar文件，同时参考https://blog.csdn.net/lilongsy/article/details/78987784申请license并发送license注册申请即可使用，省略了破解jar包的步骤

2018-07-09

volatile讲解

volatile讲解，涉及硬件、jvm内存模型等层面，希望可以帮到大家

2018-06-11

design-pattern-java-2 设计模式-java版

设计模式-java版，内部包含相关类图，和相关模式的演进，希望可以帮到上进的你

2018-06-11

Java 7程序设计标准教程

Java7程序设计教程，包括Java的历史，数组、类、面向对象继承及对象创建过程中超类对象的创建及构造，静态字段、方法与初始化器，内嵌类、本地类与匿名类，异常处理等

2017-11-22

mysql比知必会

mysql比知必会文字带目录版

2017-07-24

hadoop连接mysql数据库访问数据和导入数据

hadoop连接数据库查询数据，并添加到hdfs；从hdfs进行mapreduce数据导入到数据库 hadoop连接数据库查询数据，并添加到hdfs；从hdfs进行mapreduce数据导入到数据库 hadoop连接数据库查询数据，并添加到hdfs；从hdfs进行mapreduce数据导入到数据库

2015-08-07

一步一步跟我学习hadoop(6)----hadoop利用FileSystem API 执行hadoop文件读写操作

hadoop filesystem api常见使用说明

2015-08-02

一步一步跟我学习hadoop之hadoop命令手册

hadoop相关命令包括用户命令和管理命令

2015-07-11

一步一步跟我学hadoop系列之hadoop开发者第一期

对hadoopi的应用现状和hadoop配置进行了详细的说明

2015-07-11

lucene表达式处理查询

lucene表达式查询示例和表达式语法详解

2015-06-02

lucene facet查询示例

lucene facet查询示例，区间查询多dim查询，key-field-value模型了解

2015-05-31

lucene读取word excel pdf正则表达式查询

http://blog.csdn.net/wuyinggui10000/article/category/3173543 我的博客

2015-05-28

lucene分组查询优化facet

我的博客专栏http://blog.csdn.net/wuyinggui10000/article/category/3173543，希望大家关注

2015-05-26

lucene自定义排序实现

lucene自定义排序实现，大家有兴趣关注我的博客http://blog.csdn.net/wuyinggui10000/article/category/3173543

2015-05-24

lucene分组查询

lucene分组查询，大家有兴趣，查看我的博客http://blog.csdn.net/wuyinggui10000/article/category/3173543

2015-05-24

一步一步跟我学习lucene（12）---lucene搜索之分组处理group查询

一步一步跟我学习lucene是对近期做lucene索引的总结，

2015-05-24

一步一步跟我学习lucene（11）---lucene搜索之高亮显示highlighter

希望大家可以关注我的博客http://blog.csdn.net/wuyinggui10000/article/category/3173543

2015-05-22

lucene查询工具类和IndexSearcher分页查询示例

一步一步跟我学习lucene是对近期做lucene索引的总结，大家有问题的话联系本人如蒙加入，不胜感激，大家共同探讨,本人争取每日一博，希望大家持续关注，会带给大家惊喜的

2015-05-15

lucene IndexSearcher相关和查询示例

一步一步跟我学习lucene是对近期做lucene索引的总结，大家有问题的话联系本人的Q-Q: 891922381，同时本人新建Q-Q群：106570134（lucene,solr,netty,hadoop），如蒙加入，不胜感激，大家共同探讨,本人争取每日一博，希望大家持续关注，会带给大家惊喜的

2015-05-13

lucene索引优化多线程多目录创建索引

一步一步跟我学习lucene是对近期做lucene索引的总结，

2015-05-12

lucene中文分词器Jceseg和IK Analyzer使用示例

lucene中文分词器Jceseg和IK Analyzer使用示例,lucene5可以使用，本人亲测成功，大家放心用，喜欢lucene的人大家关注我的博客 http://blog.csdn.net/wuyinggui10000/article/category/3173543 大家共同交流，有需要的加群106570134

2015-05-09

一步一步跟我学习lucene（2）---lucene的各种Field源码

2015-05-06

一步一步跟我学习Lucene源码之lucene的各种Field

此博文是对近期做lucene索引的总结，（lucene,solr,netty,hadoop），如蒙加入，不胜感激，大家共同探讨,本人争取每日一博，希望大家关注呦

2015-05-06

eclipse svn插件

这个是eclipse的svn插件，直接解压缩到dropins目录就能用了

2013-10-09

dwr中文开发指南文档

该资源免费分享，仅供学校交流之用！ dwr ajax技术,基于后台开发ajax dwr ajax技术,基于后台开发ajax dwr ajax技术,基于后台开发ajax

2012-08-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人