写Scala的老刘-CSDN博客

原创 ElasticSearch中 mappings数据类型keyword和text的区别

开始之前我先说一下在es中Settings和Mappings的含义以及区别。首先settings是对于索引的元数据信息的设置,包括对分片和副本数的修改mappings是对于索引数据的映射，主要是指每个字段的数据类型既然说到了字段数据类型,我们回到主题,我们知道,在es中数据类型很多,我就不一一列举了,这里说一下我们常见的字符串类型,在ElasticSearch5.0以后,对字符串类型做了重大的改变,那就是取消掉了string类型,把string类型拆分成了text和keyword类型,其

2020-05-22 15:51:01 863

原创 java中不基于base64的AES128算法

网上大部分的AES128都需要经过base64加解密,其实AES128算法已经相对安全,在对于加解密效率比较高的场景下,夹杂在其中的base64加密算法是没有必要的,反而对性能影响比较大,今天就分享一个不需要base64的AES加解密算法实现:工具类:import javax.crypto.Cipher;import javax.crypto.spec.IvParameterSpec;...

2020-04-02 15:53:31 542

原创 java中AES加密算法128位CBC模式工具类的实现—基于base64

import javax.crypto.Cipher;import javax.crypto.spec.IvParameterSpec;import javax.crypto.spec.SecretKeySpec;import sun.misc.BASE64Decoder;import sun.misc.BASE64Encoder;/** * AES加密128位CBC模式工具类...

2020-04-02 15:42:13 1551

原创 Intellige IDEA java开发常用插件findbugs的介绍、安装配置和使用 IDEA找不到Find-Bugs

FindBugs是一个使用静态分析来查找Java代码中错误的程序,他是免费的软件当前版本是Findbugs3.0.1FindBugs运行需要的jdk版本是1.7以及以上;但是他可以分析从任何版本的java编译的程序,从1.0到1.8,以上是来自官网的介绍,核心内容是查找java代码中的错误1,安装配置找到IDEA的Plugins,然后查找findbugs,找到FindBugs-ID...

2020-03-17 14:43:06 3183 4

原创 Java sha加密算法生成指定位数随机字符串 Ldap中{SSHA}密码加密方式

public class test01 { public static void main(String[] args) throws UnsupportedEncodingException, NoSuchAlgorithmException { String str= RandomStringUtils.randomAlphanumeric(8); S...

2020-02-13 21:04:36 2290

原创如何从GitHub中删除.idea文件夹

默认情况下,我们自己新建的仓库是没有.gitignore文件的,这样的话,我们第一次提交的时候就会提交一下没必要的文件或者文件夹,比如.idea这个文件,如果不小心出现了此文件,我们可以通过下面的步骤删除.idea文件夹:1,新建一个.gitignore文件1,echo '.idea' >> .gitignore2,将.gitignore文件上传到远程仓库1,gi...

2020-01-15 17:25:00 1809

原创 IDEA中maven项目默认使用jdk1.5的编译器和laguage level解决办法

我们的maven项目,如果改变pom.xml文件之后,IDEA默认的编译器就会改成1.5的java编译器,Project Structrue的model中laguage level也会变成1.5,每次改变pom.xml文件之后都要重新调,特别麻烦,这时候我们有两个解决办法:1,在pom.xml文件中增加以下配置: <properties> <proj...

2019-10-08 10:15:16 284

原创 Flink 算子之map彻底阐述

先看一下flink中map算子的源码/** * Applies a Map transformation on a {@link DataStream}. The transformation * calls a {@link MapFunction} for each element of the DataStream. Each * MapFunction call returns...

2019-09-27 21:48:41 6375 1

原创记录一次Flink编码过程中很蛋疼的一个小问题

今天在写flink代码的时候遇见一个非常非常让人蛋疼的问题,也就是很简单一个流在使用map函数的时候找不到他的隐式转换,就算是导入 org.apache.flink.api.scala._也不行,具体表现看图,这个问题让我找了好一会儿,感觉很奇葩,到最后终于发现问题,原来是导错包了,也就是StreamExecutionEnvironment这个类的包应该是:import org.apache...

2019-09-27 20:49:35 506 1

原创解决SparkSql 读取parquet或者Orc文件报错Unable to infer schema for Parquet. It must be specified manually

val conf = new SparkConf().setAppName(getClass.getSimpleName).setMaster("local[4]")val spark = SparkSession.builder().config(conf).getOrCreate()val sc = spark.sqlContextval path="/data_file/tp=acc...

2019-08-17 15:05:48 21575 1

原创基于Scala实现根据指定时间戳开始消费Kafka的数据

import java.text.SimpleDateFormatimport java.util.Propertiesimport java.util.concurrent.{Callable, Executors, FutureTask}import org.apache.kafka.clients.consumer.KafkaConsumerimport org.apache.ka...

2019-05-15 11:02:49 1647

原创基于Scala实现根据指定分区指定Offset开始消费Kafka的数据

一个很简单的测试Demo 这个topic数据是二进制格式,所以value的反序列化方式是classOf[ByteArrayDeserializer].getNameimport java.utilimport java.util.Propertiesimport scala.collection.JavaConversions._import org.apache.kafka...

2019-05-15 10:49:10 1158

原创 SparkStreaming, StructedStreaming, KafkaStream,Storm,Flink 几大常见实时流计算引擎的对比

目前开源大数据实时计算引擎有很多选择,我们可以对他们大致分为流处理和批处理第一类是流处理(Native Streaming):这类引擎中所有的data在到来的时候就会被立即处理，一条接着一条（HINT：狭隘的来说是一条接着一条，但流引擎有时会为提高性能缓存一小部分data然后一次性处理），其中的代表就是Storm,Samza,Flink,KafkaStream第二类是批处理(micro-b...

2018-12-29 17:51:08 2256

转载阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算, 对Flink架构的改进

王峰，淘宝花名”莫问"，2006年毕业后即加入阿里巴巴集团，长期从事搜索和大数据基础技术研发工作，目前在计算平台事业部，负责实时计算北京研发团队。在阿里巴巴的11年工作期间，持续专注大数据计算与存储技术领域，基于Hadoop开源生态打造的数据基础设施一直服务于搜索、推荐等阿里核心电商业务场景，最近一年带领团队对Apache Flink进行了大量架构改进、功能完善和性能提升，打造出了阿里新...

2018-12-29 12:01:57 623

原创 kafka auto.offset.reset值失效 earliest/latest详解

先看一下kafka官网对于auto.offset.reset=earliest/latest的详解earliest: automatically reset the offset to the earliest offset,翻译过来就是自动将偏移量置为最早的latest:automatically reset the offset to the latest offset 自动将偏移量设...

2018-12-27 14:25:34 33267

原创 Springboot 中报错 Your ApplicationContext is unlikely to start due to a @ComponentScan

用springboot 写scala代码是最近做的一个项目,但是我启动的时候抛了一个错误,具体就是Your ApplicationContext is unlikely to start due to a @ComponentScan of the default package大概意思就是ApplicationContext 不能从一个组件的默认包启动SpringBoot在写启动类的时候...

2018-10-23 15:52:35 493

原创关于scala版本不兼容的问题 intelliJ IDEA

今天写的sparkstreaming程序在集群上测试运行的时候出现了一个问题，在网上搜了一下大概是scala的版本不兼容的问题，虽然知道错误在哪里了，但是就是解决不了，花费了我很长时间，到最后才发现是一个很简单的问题，所以记录下来希望可以帮助到有缘人不和我犯同样的错误！报错日志大概是：java.lang.NoSuchMethodError:scala.Predef$.refArrayOps([...

2018-09-18 19:12:52 11599 2

原创关于IDEA或者Ecplice上报can not find winutils.exe等的错误解决方式

这是因为windows环境上没有安装hadoop或者是在haooop的bin目录下缺少winutils.exe文件导致的，这时候我们只需要在windows上配置一下hadoop，然后把winutils.exe文件放到hadoop的bin目录下即可，关于hadoop的配置方法还有hadoop的包，以及winutils.exe文件，大家都可以去网上搜索下载，资料很多，需要注意的是，一般下载的win...

2018-09-14 18:59:09 6698

原创关于如何解决java.lang.SecurityException: Invalid signature file digest for Manifest main attributes

今天写了在IDEA上写了一个spark程序,用的spark2.3.0,打成maven包后,把jar包扔到集群上运行时,发现报错,具体错误如下:Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at sun.secu...

2018-09-14 13:49:43 2230

原创关于如何卸载linux中系统默认自带的jdk 以及安装新的jdk

linux系统出厂后系统一般默认会安装jdk ,因为系统中的有些软件需要使用此环境。但时候我们安装eclipse和tomcat的时候，使用此jdk是不行的。这时候我们就需要安装我们自己下载的jdk，但在此之前我们需要卸载系统自带的jdk[bonc@kafka02 ~]$ java -versionjava version "1.7.0_79"OpenJDK Runtime Environm...

2018-07-23 10:33:44 5206 1

原创 Python中traceback模块的使用 traceback.print_exc()和traceback.format_exc()区别

try: 1/0 except Exception,e: print e输出结果是integer division or modulo by zero，只知道是报了这个错，但是却不知道在哪个文件哪个函数哪一行报的错。下面使用traceback模块import traceback try: 1/0 except Exception,e: tracebac...

2018-06-26 10:30:15 7049

原创推荐一个比较骚气的Xshell配色方案个人很是喜欢

Xshell默认自带的配色方案可能满足不了一些人的需求,比如我,就是喜欢特立独行,那么用一些自定义的配的方案是一个不错的选择,下面给大家推荐一款我比较喜欢的配色方案步骤:1,先在windows上新建一个文本文档,命名为monokai.xcs ,注意后缀是xcs,而不是txt2,把下面这些内容复制到这个文档中去[monokai]text=ffffffcyan(bold)=a6e22etext(bo...

2018-06-14 09:34:26 13368 3

原创 Linux中nohub命令和&命令进程查看及终止

1.nohup用途：不挂断地运行命令。语法：nohup Command [ Arg … ] [　& ]　　无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。　　如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。　　如果没有文件能创建或打开以用于追加，那么 Command 参数指定的命令不...

2018-06-12 09:39:55 6379

原创详解scala中flatmap和map的区别

FlatMap函数有一般的功能和map函数函数一样,就是经过map函数之后多了一个扁平化的过程。不过有个要求，传入的函数在处理完后返回值必须是List(或Seq)，如果结果不是List(Seq)，那么将出错。也就是说，传入的函数是有要求的 —— 返回值是Seq才行。这样，每个元素处理后返回一个List，我们得到一个包含List元素的List，flatMap自动将所有的内部list的元素取出来构成一...

2018-06-11 10:17:23 12615 1

原创 linux中 ./bashrc的作用如何使用别名命令

在linux的根目录下有一个.bashrc文件即~/.bashrc这个文件主要保存个人的一些个性化设置，如命令别名、路径等。打开这个文件 vim ~/.bashrc alias rm='rm -i'alias cp='cp -i'alias mv='mv -i'alias ls='ls --color=auto'alias ll='ls -l'# Source global def...

2018-05-17 11:05:59 5452

原创 linux中关于文件夹和文件显示不同颜色的设置

1,先把关于文件夹的配色方案的文件cp到根目录下cp /etc/DIR_COLORS ~/.dir_colors2,然后编辑这个文件vi ~/.dir_colors3, 找到DIR这一行设置DIR后面的参数上面有每个数字代表的颜色,选择自己喜欢的颜色文件内设定的“DIR 01；34”，为ls命令的目录的颜色设置，01表示粗体，34表示字体蓝色。改成“DIR 01；37；44”...

2018-05-17 10:53:39 11402 3

原创关于Scala中=> 匿名函数的用法

1. => 什么意思=> 匿名函数（Anonymous Functions）,表示创建一个函数实例。比如：(x: Int) => x + 1 和如下JAVA方法表示的含义一样：public int function(int x){ return x+1;}可以这么理解：=>左边是输入参数，：后面int 是参数类型=>右边当作函数体, 类似JAV...

2018-05-14 11:12:04 1270

原创解决VMware启动过程中显示内部错误的问题

虚拟机启动的时候如果现实内部错误,那就是可能因为vmware的服务项没有启动,一共五个,分别是:VMAuthdService、VMnetDHCP、VMware NAT Service、VMwareHostd（VMware Workstation Server）、VMUSBArbService启动一些就可以了 win+r 输入services.msc 找到服务项启动即可...

2018-04-27 10:27:31 471

原创 Linux中怎么快速查看某个文档中是否包含某些内容

在某些工作场景下,我们可能会有这样的需求,比如要看100多个脚本文件中是否包含jar文件,或者是否有涉及hdfs路径,如果我们使用vi或者vim命令,然后再使用/或者?进行搜索的话,那就太麻烦了,一个简单的方式就是使用cat命令和管道命令配合使用cat xxxxx.py | grep ''jar'' 就可以轻易得到xxxx.py文件中是否含有jar,然后把含有jar的行列出来...

2018-04-23 09:35:45 1379

原创用python统计hdfs目录文件夹的大小

#!/usr/bin/env python#encoding:utf-8import getoptimport sysimport commandsfrom commonutil.dbUtil import PostgresqlClientfrom commonutil.dateUtil import DateUtilfrom commonutil.logUtil import L...

2018-04-13 16:45:27 2779

原创 Oracle插入日期数据时报错ORA-01843无效的月份

当在sqlplus或者在plsql上执行插入月份的语句时,比如:insert into emp_test values(1002 , '刘苍松' , 'Analyst' ,8000 , 1000 , '01-APR-11' , 1001, 10) ;如果报ORA-01843无效的月份,那就说明是当时的运行环境是中文的,它不认识APR这个月份,这时候有两个解决方式第一个,执行 alter sess...

2018-04-13 15:01:27 8352 1

原创关于Linux自带的python2.6.6升级到2.7.10版本步骤详解

CentOS 6 系统默认 Python 版本是：2.6.6 平时在使用中遇到很多的库要求是 2.7.x 版本的库，比如使用 ConfigParser 库，在 2.6 版本库就不支持没有 value 值的配置项，需要升级到 2.7 以上的库才行，这次就尝试升级一下 Python 到 2.7.x 版本，记录于此。1. 准备安装包，系统是最小化安装 # 下载安装依赖的相关包[root@vip ~]...

2018-04-12 10:16:54 10325 8

原创 linux中ln -s 命令详解

ln是linux中又一个非常重要命令，它的功能是为某一个文件在另外一个位置建立一个同步的链接.当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在其它的目录下用ln命令链接（link）它就可以，不必重复的占用磁盘空间。这个命令最常用的参数是-s,具体用法是：ln -s 源文件目标文件。当我们需要在不同的目...

2018-04-12 09:32:53 57462 3

原创关于Sql语句中的模糊查询like关键字详解

Sql中模糊查询like关键字的语法是:select * from 表名 where 字段 like 条件关于条件,一共有四种匹配方式:第一:%的使用 %用来匹配0个或者多个字符,可以匹配任意类型和长度的字符,对长度没有限制,如果有条件是中文,请使用两个%号,如%中文% select * from user_table where u_name like '%三%' 将会把u_n...

2018-04-04 10:20:54 18274

原创 python中copy模块 copy()浅拷贝和deepcopy()深拷贝的区别

关于python中copy模块,它只有两个方法,copy()浅拷贝和deepcopy()深拷贝他们通常用于对对象的复制操作,注意,浅拷贝和深拷贝的不同仅仅是对组合对象来说，所谓的组合对象就是包含了其它对象的对象，如列表，类实例。而对于数字、字符串以及其它“原子”类型，没有拷贝一说，产生的都是原对象的引用，所以两者就是一样的结果了。我们要了解一下直接赋值 ,浅拷贝和深拷贝的区别直接赋值: ...

2018-04-02 11:27:26 856

原创 python中的集合详解(列表List,元组Tuple,字典,set)

1,列表-List----内容可变,长度可变,类型可以不同,有序定义列表： list1 = ['physics', 'chemistry', 1997, 2000]; list2 = [1, 2, 3, 4, 5 ]; list3 = ["a", "b", "c", "d"]; 获取列表数据： list1[1] list2[1:5] 更新列表： list[2] = 20...

2018-03-28 10:41:31 1237

原创 python中查询数据库时fetchone()函数和fetchall()函数的区别

我们在用python操作数据库的时候,经常会碰见两个函数:fetchone()和fetchall()刚开始学习的时候可能会搞不清楚他们两个的区别其实非常简单首先fetchone()函数它的返回值是单个的元组,也就是一行记录,如果没有结果,那就会返回null其次是fetchall()函数,它的返回值是多个元组,即返回多个行记录,如果没有结果,返回的是()举个例子:cursor是我们连接数据库的实例f...

2018-03-28 10:12:36 73109 5

qq_40625030的博客