杨先森的博客-CSDN博客

原创解决错误requirement failed: numRecords must not be negative

记录spark程序启动时报错修复过程1、问题：spark程序挂掉几天后重启报错如下信息java.lang.IllegalArgumentException: requirement failed: numRecords must not be negative2、解决方案未尝试方案1，结合环境用方案2解决（方案1）在网上查询有说报错的原因是：删除已经使用过的kafka topic，然后新建同名topic。可以通过把topic名字换一下解决（方案2）由于本环境offset是存储在hbase里的，有

2020-05-28 16:58:03 5166 1

原创解决kibanna字段前带有问号，无法进行筛选过滤

解决kibanna字段前带有问号，无法进行筛选过滤问题描述解决方案总结问题描述在使用kibanna进行统计数据时，我们会发现有些字段前面是带有问号的，并且无法在筛选的栏里搜索到这个字段。显示如下图：解决方案1、进入到kibanna页面，点击左边栏目的Management，接着在出现的栏目里，点击Index Patterns2、进入Index Patterns，选择好字段所在的inde...

2020-04-21 16:45:04 842

原创 java加依赖打包

在maven项目中将依赖项进行打包，可使用下面的插件，java使用1.8版本，执行 maven package 进行打包即可<build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactI...

2020-01-06 21:36:24 1080

原创 Storm重启报java.io.FileNotFoundException错误

问题：storm异常停止后，重启storm，nimbus进程几秒后便不见了。查看日志报错：nimbus [ERROR] Error when processing eventjava.io.FileNotFoundException: File ‘/data/storm/nimbus/stormdist/risk_topo-1-1574555563/stormconf.ser’ does n...

2019-11-24 19:48:45 505

转载解决docker数据文件过大导致根磁盘满的问题

背景：最近在线上使用的docker主机发现根目录容量快满了，一番查找，发现是docker的data文件过大了。我们知道docker数据默认是存放在/var/lib/docker下的，我们可以在启动时用-g --graph=""参数，把数据目录更改到其他容量大的地方去。但是对于在使用中的docker来说，直接修改这个目录路径，会导致镜像和容器都丢失了，所以修改参数这个方法适用于初始化do...

2019-01-10 18:47:57 4041

原创关于多选框的全选与反选

多选框的全选与反选的代码案例案例源码：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><title> </title><

2019-01-08 10:15:08 271

原创关于解决错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP的方案

问题：出现这个错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331原因：文件异常关闭，导致文件，如下图错误内容 hdfs fsck /data/115/apkinfo/0-11-20180410170000.log(使用命令查看文件块的状态，如下图为打开状态) 红色为hdfs上的地址 hdfs de...

2018-04-11 11:00:45 4300 3

转载请查收一封来自程序员的情书

只有程序猿看的懂的情书！当一位程序员面对一段触及不到到爱情时！「你若不来，我便不弃」即使对方执意要离开，程序小哥做的不是拖住其大腿，祈求对方留下！而是拖着湿漉漉的身体，回家后在微弱的屏幕白光之下，记录下内心的伤口：「听说你要走，我站在雨里，任凭身体被水珠撕裂成一个个没有意义的字母」又一个试图忘记对方的日子，终究还是选择直面这段感情

2018-02-05 17:14:57 622

原创关于Windows蓝屏6B修复方法的完整全过程

写在前面：我觉得作为一名程序员来说，最烦的莫过于就是电脑出问题，电脑于我们而已就好比厨师的菜刀，锋利的菜刀使用起来刀刀精准，分块精良，样式美观，做出的菜肴口感美味，而钝的菜刀则会消磨厨师耐心，影响厨师心情，食材大小不均，口感外观欠佳。于我而已，电脑出问题亦是如此，一个好好的程序员，硬生生逼成了电脑维修工。。。。满满的血泪史问题描述：这篇博文是关于Windows7蓝屏出现编码为6B的修

2018-01-18 11:33:52 47365 3

原创大数据组件服务的启动与关闭命令

本文主要整理了大数据组件服务的启动与关闭命令，主要包括Hadoop,Spark,HBase,Hive,Zookeeper,Storm,Kafka,Flume,Solr,ElasticSearch。 1、Hadoop集群（1）启动方式切换到主节点的hadoop安装目录下的sbin目录下a)/start-dfs.sh./start-yarn.sh （建议使用）b)./start-a

2017-11-18 17:09:22 814

原创 IT求职部分网站汇总

哪合伙：http://nahehuo.com/过来人：http://www.guolairen.com/智联：www.zhaopin.com前程：www.51job.com中华英才：www.chinahr.com58：www.58.com赶集：www.ganji.com拉勾：www.lagou.com猎聘：www.liepin.com大街网：www.dajie.

2017-11-18 17:06:20 1748

转载 Flum入门必备知识

1.flume概念flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。flume目前是apache的一个顶级项目。flume需要java运行环境，要求java1.6以上，推荐java1.7.将下载好的flume安装包解压到指定目录即可。2.flume中的重要模型2.1.1.flume Event：f

2017-11-18 17:00:41 831

原创安装MySQL与安装Hive

安装mysql检查是否安装mysql：rpm -qa |grep mysql删除已经安装的mysql：rpm -e mysql-libs-5.1.71-1.el6.x86_64报错：因为mysql有相关依赖，并不能直接删除 rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64成功：使用--nodeps也就是说不检查依赖

2017-10-26 21:35:34 535

转载 Hive优化

在一些特定的业务场景下，使用hive默认的配置对数据进行分析，虽然默认的配置能够实现业务需求，但是分析效率可能会很低。Hive有针对性地对不同的查询进行了优化。在Hive里可以通过修改配置的方式进行优化。　　以下，几种方式调优的属性。 1、列裁剪　　在通过Hive读取数据的时候，并不是所有的需求都要获取表内的所有的数据。有些只需要读取所有列中的几列，而忽略其他列的的数据。例

2017-10-26 21:33:40 360

转载 Java中实现序列化的两种方式 Serializable 接口和 Externalizable接口

Java中实现序列化的两种方式 Serializable 接口和 Externalizable接口对象的序列化就是将对象写入输出流中。反序列化就是从输入流中将对象读取出来。用来实现序列化的类都在java.io包中，我们常用的类或接口有：ObjectOutputStream:提供序列化对象并把其写入流的方法ObjectInputStream：读取流并反序列化对象Seria

2017-10-11 15:23:32 1521

转载 Spring Boot干货:静态资源和拦截器处理

前言本章我们来介绍下SpringBoot对静态资源的支持以及很重要的一个类WebMvcConfigurerAdapter。正文前面章节我们也有简单介绍过SpringBoot中对静态资源的默认支持，今天详细的来介绍下默认的支持，以及自定义扩展如何实现。默认资源映射Spring Boot 默认为我们提供了静态资源处理，使用 WebMvcAutoConfigura

2017-09-27 21:46:43 6396 1

转载 Intellij IDEA快捷键与使用技巧一览表

Intellij IDEA快捷键Ctrl+Shift + Enter，语句完成“！”，否定完成，输入表达式时按 “！”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结构Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F

2017-09-25 23:01:31 586

转载 Spring-Boot整合freemarker引入静态资源css、js等

一、概述springboot 默认静态资源访问的路径为：/static 或 /public 或 /resources 或 /META-INF/resources 这样的地址都必须定义在src/main/resources目录文件中，这样可以达到在项目启动时候可以自动加载为项目静态地址目录到classpath下，静态访问地址其实是使用 ResourceHttpRequestHandler

2017-09-25 21:48:15 20705 2

原创 Hadoop中正确地添加和移除节点

正确地添加和移除节点添加节点克隆克隆一台全新的Linux（如有IP冲突，可右击VMware右下角网络图标断开连接）打开/etc/hostname修改主机名打开/etc/sysconfig/network-script/ifcfg-ens33修改IP重启安装使用安装包+hadoop-install.sh脚本快速安装一个Hadoop节点注意使用source hado

2017-09-21 23:31:19 1849

转载 Hadoop 启动脚本分析与实战经验

start-all.sh脚本现在已经废弃，推荐使用start-dfs.sh和start-yarn.sh分别启动HDFS和YARN。在新一代的Hadoop里面HDFS称为了统一存储的平台，而YARN成为了统一计算的平台。（1）调用start-dfs.sh启动HDFS。之后JPS会出现NameNode,DataNode,SecondaryNameNode（2）调用start-yar

2017-09-21 23:10:40 667

原创 Linux 磁盘管理的命令

Linux 磁盘管理磁盘分区及挂载：先查询系统的使用情况：使用fdisk -l语句查询结果：进行磁盘的新建：***添加磁盘时系统必须处于关机状态** 在进行对系统磁盘的使用情况的查询查询结果如下：进行分区使用 fdisk 命令命令格式：fdisk /dev/sdb(后面不能接任何数字) 其中的 -n q t d 如果只是

2017-09-21 09:34:21 464 1

原创 HDFS 常用Shell命令

HDFS Shell命令概述HDFS Shell命令允许使用命令行在HDFS存储中进行文件夹和文件操作。如文件夹的增删改查、文件的增删改查等。开始练习hadoop时，打开Linux之后要用 start-dfs.sh 启动HDFS。HDFS不是开机启动的常用命令命令格式hdfs dfs -操作命令参数前面的【hdfs dfs -】部分是固定的，后面的...

2017-09-21 09:28:51 12930 1

原创 Hadoop单点伪分布模式安装

Hadoop单点伪分布模式安装概述单点single-node，单节点，即一台计算机。伪分布式模式pseudo-distributed mode所谓集群，表面上看是多台计算机联合完成任务；但本质上是由分布到很多计算机上的很多进程联合完成任务的。因为多台计算机部署比较复杂，需要的硬件配置也比较高，故障率也比较高，所以就产生了伪分布的需求，即在一台计算机上运行本应该分布到多台计算

2017-09-21 09:23:38 1215

原创部署及更新应用

部署挑选一些之前写好的项目，导出WAR包，部署到CentOS中注意修改数据库连接密码，如果连接字符串中的IP是127.0.01则密码是本机登录时使用的密码（相当于本机登录）修改密码后重启tomcat systemctl restart tomcat 导数据如果需要从本地往Linux中导数据，Navicat是支持的【工具】----》【数据传输…】

2017-09-20 23:37:50 460

原创 Linux云服务器下Tomcat部署超详细

基于阿里云Centos 7服务器的Tomcat项目部署工具：一台安装jdk1.8的Centos 6/7.X云服务器（64位）Putty ssh远程连接云服务器的软件FileZillaClient 本地机与服务器文件互传的软件步骤一：Centos 7安装jdk1.81.putty 连接上云服务器2进入到目录 /usr/local/中：cd /u

2017-09-20 23:35:49 2689

原创 Liunx新手入门必看

安装CentOS（Linux的一个常用发行版本，互联网公司经常使用这个发行版）用到的软件： VMware_workstation_full_12.5.2.exe 虚拟机软件，虚拟机由这个软件安装、管理它也提供了虚拟机的运行环境安装之后到百度搜一个注册码CentOS-7-x86_64-DVD-1611.iso CentOS的安装光盘镜像Xshell5p.exe 在Window

2017-09-20 23:34:07 383

原创 CentOS7安装Tomcat

安装Tomcat下载 apache-tomcat….tar.gz上传到 /usr/tmp解压提取将得到的apache-tomcat…文件夹移动到/usr/services/中，services没有则创建出来运行tomcat文件夹中的 bin/startup.sh./startup.sh看cd到Tomcat started.表示启动成功在Linux桌面

2017-09-20 23:31:41 344

原创 CentOS7安装MySQL5.7

卸载MariaDB因为担心Oracle把MySQL变成闭源软件MySQL的创始人利用MySQL的源代码创建了MariaDB，MariaDB与MySQL兼容CentOS担心使用MySQL会引来版权问题，所以改为集成MariaDB yum remove mariadb*yum是基于rpm的新的包管理工具，提供了更强大的功能和更好的体验！下载rpm包（选择Rad Hat

2017-09-20 23:26:14 236

原创 CentOS7安装JDK

卸载OpenJDKGnome桌面版自还OpenJDK，OpenJDK是JDK的一个开源实现与Oracle官方JDK相似度近95%，一般情况下可以使用但大数据的Hadoop不支持OpenJDK通过rpm查找jdk和java的安装信息rpm是RedHat包管理器，包管理器能够管理应用的安装卸载类似于Maven管理Jar包rpm -qa | grep jdkjava-1.

2017-09-20 23:21:26 982

原创 Hadoop入门必须知道的简单知识

Hadoop入门知识Hadoop构成Hadoop由4个主要构成部分：1) 基础核心：提供基础的通用的功能2) HDFS：分布式存储3) MapReduce：分布式计算4) YARN：资源分配（多个任务是排队执行还是同时执行） HDFS构成HDFS由3种主要的节点构成：1) NameNode 用来存储数据的存放位置等元数据（不存放数据）2) DataNo

2017-09-20 23:17:09 320

原创日历插件超简单好用功能强大的插件(附有源码文件和使用说明)

关于日历插件使用说明一、解压后框架如图所示

2017-09-20 22:41:40 1432

转载 CentOS 7 中使用NTP进行时间同步

1. NTP时钟同步方式说明NTP在linux下有两种时钟同步方式，分别为直接同步和平滑同步：直接同步使用ntpdate命令进行同步，直接进行时间变更。如果服务器上存在一个12点运行的任务，当前服务器时间是13点，但标准时间时11点，使用此命令可能会造成任务重复执行。因此使用ntpdate同步可能会引发风险，因此该命令也多用于配置时钟同步服务时第一次同步时间时使用。平滑同步

2017-09-18 14:38:23 1063

转载 VMware虚拟机下安装CentOS7.0超详细图文教程

1.本文说明：官方的第一个文本档案。也就是0_README.txt，大概意思是这样（渣翻译，但是大概意思还是有的）。CentOS-7.0-1406-x86_64-DVD.iso：这个镜像（DVD image)包括了那些可以用安装程序（installer）安装的所有安装包，这个为大多数用户使用的推荐镜像。CentOS-7.0-1406-x86_64-NetInstall.is

2017-09-18 10:19:25 2098

原创 Struts2数据验证与使用Java代码进行数据验证

Struts2数据验证使用Java代码进行数据验证重写ActionSupport的validate()方法对Action类的中所有请求处理方法都会进行验证！对Action类的数据属性进行检查，如果发现错误，通过以下方法向Action添加错误信息：addActionError(errorMessage) //添加action级别的错误addFieldError(fieldNa

2017-09-12 14:16:51 337

转载阿里云服务器Mysql修改密码

核心架构基于阿里云服务器CentOS7.2操作系统，全面支持Java Web运行环境 Tomcat 8.5.8JDK 8u111MySQL5.7.16详细信息，请在服务器执行 more readme.txt 查看修改mysql密码方法（为保证数据安全，新密码设置 9位及以上数字+字母+大小写+特殊字符）： mysqladmin -u root -h

2017-09-11 15:04:58 6402 1

转载深入HQL学习以及HQL和SQL的区别

HQL(Hibernate Query Language) 是面向对象的查询语言, 它和 SQL 查询语言有些相似. 在 Hibernate 提供的各种检索方式中, HQL 是使用最广的一种检索方式. 它有如下功能:在查询语句中设定各种查询条件；支持投影查询, 即仅检索出对象的部分属性；支持分页查询；支持连接查询；支持分组查询, 允许使用 HAVING 和 GROUP BY 关键字；提供内

2017-09-07 17:05:40 58198 2

转载史上最全的正则表达式-匹配中英文、字母和数字

在做项目的过程中，使用正则表达式来匹配一段文本中的特定种类字符，是比较常用的一种方式，下面是对常用的正则匹配做了一个归纳整理。1、匹配中文:[\u4e00-\u9fa5]2、英文字母:[a-zA-Z]3、数字:[0-9]4、匹配中文，英文字母和数字及下划线：^[\u4e00-\u9fa5_a-zA-Z0-9]+$同时判断输入长度：[\u4e00-\u9fa5_a-zA-Z0-9_...

2017-08-29 20:31:28 460932 40

原创使用Git分支开发新特性或修复Bug与使用Git分支开发新特性或修复Bug

使用Git分支开发新特性或修复Bug 通过分支，可以在不影响原有代码的前提下改变代码，主要用于开发新功能新特性、下一代产品为已经发布的正式版修复bug团队开发时为每个人建立一个分支，从而避免相互影响每个分支都有自己的历史记录除了使用Eclipse工具创建/切换分支之外，也可以使用命令方法创建及切换分支创建并切换: git check

2017-08-17 23:27:23 737

原创有关弱类型意识、DOM、动态语言与函数式编程

一、弱类型意识 js变量是没有类型的 var a =1; //a 就是一个变量不要提类型变量可以赋予任何类型的值，类型仅仅是值得性质与变量无关 js 的基本类型变量未赋值时，其值为undefined 只有一个number类型表示数字，不区分整数还是小数二、动态语言动态语言针对不是变量，而是值！

2017-08-17 09:03:22 324

原创视频项目时长的存储和程序设计方案---单例模式节省内存空间以及自定义注解

一、苹果设备按钮（表单）样式外观设置在苹果设备上，按钮等表单控件默认有苹果风格的外观,如图所示如果需要需要和网页上显示一样的效果则需要修改以下的样式如图网页效果 Css样式 -webkit-appearance:none;-webkit是iOS和Android浏览器的内核名称-moz Firefox内核名称-o Opera

2017-08-16 23:03:52 645