- 博客(246)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【无标题】Mysql8修改密码，不会出现烦人的1396Error
修改密码网上好多方法都报error 1396。可能是mysql8的原因吧？ERROR 1396 (HY000): Operation ALTER USER failed for 'root'@'localhost'这里有几个关键命令，最主要就是关闭安全模式-- 查询一下安全模式开关show variables like 'sql_safe_updates';-- 关闭安全模式set sql_safe_updates = 0;-- 关闭安全模式下，才可以执行authenticatio
2022-05-05 23:01:54
794
1
原创 设计模式--单例模式
单例模式（Singleton Pattern）是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类，该类负责创建自己的对象，同时确保只有单个对象被创建。这个类提供了一种访问其唯一的对象的方式，可以直接访问，不需要实例化该类的对象。注意：1、单例类只能有一个实例。 2、单例类必须自己创建自己的唯一实例。 3、单例类必须给所有其他对象提供这一实例。介绍意图：保证一个类仅有一个实例，并提供一个访问它的全局访..
2022-03-05 11:27:27
215
原创 选择排序_java
一、排序思想选择排序（Selection sort）是一种简单直观的排序算法。它的工作原理是：从待排序列中选出最小（或最大）的一个元素，记录其下标(数组)的位置； 将记录的下标值与待排序列的第一个元素进行交换； 以此类推，直到全部待排序列的元素排完。二、图解三、代码实现public class SelectionSort { public static void main(String[] args) { int[] arr = {43, 21.
2022-02-21 11:46:33
220
原创 Scala中foldLeft的简单使用总结
原地址：Scala中foldLeft的简单使用总结_Scala中foldLeft的简单使用总结-CSDN博客Scala中foldLeft的简单使用总结由于工作需要，博主在写spark相关业务代码时用到foldLeft，经过一番搜寻发现很多文章对这个函数的讲解，于初学者来说不好理解，特此我来做个简单易懂的分析总结，供大家参考。若发现理解上的偏差，还请多指教。源码分析def seq: TraversableOnce[A]上面两段代码是scala.collection.Traversable
2021-09-17 16:54:56
450
原创 scala语法 （+: 和 :+ 和 _*）
将函数 赋值给一个变量，注意语法val max4 = max3 _如果函数的参数，函数体（右边），有且仅使用一次，参数可以使用下划线_代替println("--litter--")greeting("litter",println(_))作为函数的参数一个匿名的函数传递给一个方法或者函数的时候，scala会尽量推断出参数类型。例如一个完整的匿名函数作为参数可以写为scala> def compute(f: (Double)=>Double) = f(3)compute:
2021-09-16 20:44:33
473
原创 设计模式--装饰模式
Decorator Pattern(装饰器模式)定义：Attach additional responsibilities to an object dynamically. Decoratorsprovide a flexible alternative to subclassing for extending functionality.(动态地给一个对象添加一些额外的职责。就增加功能来说，装饰模式相比生成子类更为灵活)1.Component抽象构件：Component是一个接口..
2021-08-24 15:51:02
104
原创 设计模式--观察者模式
观察者模式具体实现1、定义一个抽象被观察者接口/*** * 抽象被观察者接口 * 声明了添加、删除、通知观察者方法 */public interface Observerable { public void registerObserver(Observer o); public void removeObserver(Observer o); public void notifyObserver(); }2、定义一个抽象观察者接口.
2021-08-23 17:47:11
71
原创 superset入门
Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具Superset官网地址：http://superset.apache.org/[root@linux123 ~]# useradd superset[root@linux123 ~]# pass
2021-07-19 17:49:33
790
1
原创 Phoenix安装
1、下载，需要和hbase版本保持一致http://phoenix.apache.org/download.html我的hbase比较老，是1.2版本的所以找2、解压、配置（1）tar -zxvf phoenix.. -C ...（2）vi /etc/profile export PHOENIX_HOME（3）vi $HBASE_HOME/conf/hbase-site.xml<configuration> <property> .
2021-07-01 11:10:54
158
原创 流式计算容错方案
对于7×24小时不间断运行的流程序来说，要保证fault tolerant是很难的，这不像是离线任务，如果失败了只需要清空已有结果，重新跑一次就可以了。对于流任务，如果要保证能够重新处理已处理过的数据，就要把数据保存下来；而这就面临着几个问题：比如一是保存多久的数据？二是重复计算的数据应该怎么处理，怎么保证幂等性？对于一个流系统，我们有以下希望：最好能做到exactly-once 处理延迟越低越好 吞吐量越高越好 计算模型应当足够简单易用，又具有足够的表达力 从错误恢复的开销越低越好 足够的
2021-06-29 17:14:05
131
原创 归并排序_java
基本思想 归并排序（MERGE-SORT）是利用归并的思想实现的排序方法，该算法采用经典的分治（divide-and-conquer）策略（分治法将问题分(divide)成一些小的问题然后递归求解，而治(conquer)的阶段则将分的阶段得到的各答案"修补"在一起，即分而治之)。分而治之 可以看到这种结构很像一棵完全二叉树，本文的归并排序我们采用递归去实现（也可采用迭代的方式去实现）。分阶段可以理解为就是递归拆分子序列的过程，递归深度为log2n。合并相邻有序子序列 再来看看.
2021-06-28 10:12:48
80
原创 冒泡排序_java
比较相邻的元素，如果前一个比后一个大，交换之。 第一趟排序第1个和第2个一对，比较与交换，随后第2个和第3个一对比较交换，这样直到倒数第2个和最后1个，将最大的数移动到最后一位。 第二趟将第二大的数移动至倒数第二位 ...... 因此需要n-1趟； 动图 import java.util.ArrayList;import java.util.Arrays;import java.util.Collection;import java.util.Collections;i...
2021-06-23 16:09:42
81
原创 快速排序_java
高快省的排序算法有没有既不浪费空间又可以快一点的排序算法呢？那就是“快速排序”啦！光听这个名字是不是就觉得很高端呢。假设我们现在对“6 1 2 7 9 3 4 5 10 8”这个10个数进行排序。首先在这个序列中随便找一个数作为基准数（不要被这个名词吓到了，就是一个用来参照的数，待会你就知道它用来做啥的了）。为了方便，就让第一个数6作为基准数吧。接下来，需要将这个序列中所有比基准数大的数放在6的右边，比基准数小的数放在6的左边，类似下面这种排列：3 1 2 5 4 6 9 7 10 8...
2021-06-23 15:50:16
73
原创 —Learn HBase
AdvertisementsREPORT THIS AD—Learn HBaseWelcome to Apache HBase blog.Home AboutMarch 2, 2013Uncategorized53 CommentsHBase shell commandsAs told in HBase introduction, HBase provides Extensible jruby-based (JIRB) shell as a feature t..
2021-06-08 12:13:30
554
原创 flink1.11.1 sql-client 连接kafka
一、启动flink集群 bin/start-cluster.sh二、启动sql-client.sh embedded -llibs/三、
2021-05-29 09:30:17
919
原创 Flink读Hbase
package tmpimport java.utilimport org.apache.flink.api.scala._import org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.api.functions.source.{RichSourceFunction, SourceFunction}import org.apache.flink.streaming.api.scala.{D
2021-05-20 15:54:05
617
原创 docker安装
简书地址：https://www.jianshu.com/p/996e08b7976d问题解决：https://blog.csdn.net/calledjoker/article/details/113556859
2021-05-04 23:38:59
105
原创 /dev/random和 /dev/urandom
一、介绍/dev/random和/dev/urandom是Linux系统中提供的随机伪设备，这两个设备的任务，是提供永不为空的随机字节数据流。很多解密程序与安全应用程序（如SSH Keys,SSL Keys等）需要它们提供的随机数据流。二、区别这两个设备的差异在于：/dev/random的random依赖于系统中断，因此在系统的中断数不足时，/dev/random设备会一直封锁，尝试读取的进程就会进入等待状态，直到系统的中断数充分够用, /dev/random设备可以保证数据的随机性。 /dev
2021-02-06 10:41:29
313
原创 notpad++编辑centos7上的文件
1、安装插件NppFTP 64位 下载：https://github.com/ashkulz/NppFTP/releases/download/v0.27.1/NppFTP-x64.zipNppFTP 32位 下载：https://github.com/ashkulz/NppFTP/releases/download/v0.27.1/NppFTP-x86.zip2、解压出 NppFTP.dll 文件放在notpad++安装目录的plugins中：（注意对应版本32还是64，不要太相信你电脑是64位
2021-02-05 15:11:06
194
原创 大数据常用开源框架
转自：数据社主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。目录系统平台 （Hadoop、CDH、HDP）监控管理 （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统 （HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio）资源调度 （YARN、Mesos
2021-01-25 09:48:46
923
原创 flink watermark不触发window计算，装逼失败的经历
注意问题：1、设置并行度为12、先启动nc，并发送数据，哪怕直发送一条数据（为什么？），然后再idea启动程序提前准备点数据源：01,158648956600001,158648956700001,158648956800001,158648956900001,158648957000001,158648957100001,158648957200001,158648957300001,158648957400001,158648957500001,15864895760000
2021-01-10 13:34:51
1477
原创 三范式
第一范式（1NF）： 属性的原子性所谓的第一范式就是数据库中的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性，如果出现重复的属性则需要重新构建实体，新的实体由重复的属性构成。见图分析图： 在进货和销售中 有两个重复的属性（数量和单价）,并且进价和销售是可以再分割的，不满足原子性，即不满足第一范式，可以修改为下面的两个实体第二范式（2NF）：属性完全依赖于主键完全依赖概念：即非主属性不能依赖于主键的部分属性，必须依赖于主键的所有属性。
2021-01-06 14:00:38
84
原创 数据挖掘(2)
可以挖掘什么类型的数据可以挖掘什么类型的模式类/概念描述1、数据特征化2、数据区分CRM:Customer relationship management system,客户关系管理系统2021.1.4
2021-01-04 11:39:33
62
原创 数据挖掘（1）
数据挖掘（1）拿起数据挖掘的数，翻看几页，我擦，这是啥？苦涩难懂。那咋办？不研究心里过不去啊，硬着头皮上，深呼吸，come on！除了作者拽了几个让小白发蒙的名词，发现还是可以捋出一条能走下去的线路，整理在此，与各位共勉！数据仓库已经做完实时数仓的项目，回头看数仓，才有点感觉。原来数仓就是数据仓库的意思啊。。。（一个自认为很聪明的傻子的内心独白）数据立方体当你白天苦干了一天，晚上想研究到底同事口中的数据立方体是啥的时候，你发现，你的脑子已经免疫从眼睛摄入的内...
2020-12-27 16:09:12
337
2
原创 删除topic里面的数据
删除topic里面的数据这里没有单独的清空数据的命令，这里要达到清空数据的目的需要以下步骤：一、如果当前topic没有使用过即没有传输过信息：可以彻底删除。二、如果当前topic有使用过即有过传输过信息：并没有真正删除topic只是把这个topic标记为删除（markedfordeletion）。想要彻底删除topic数据要经过下面两个步骤：①：删除topic,重新用创建topic语句进行创建topic②：删除zookeeper中的consumer中的路径。 这里假设要删...
2020-11-04 15:34:52
2538
原创 拷贝别人的虚拟机centos7
首先先修改.vmx文件修改成你VM对应的版本号然后修改.vmdk文件同样修改成VM对应的版本号接下来运行虚拟机会出现 不支持客户机操作系统"centos6-64", 请从"虚拟机设置"中"选项"选项卡上的"常规"页面选择一个客户机操作系统.按照操作进入 “虚拟机设置” --> 点击选项修改客户机操作系统为Linux, 版本改为CentOS 64位.再次打开就可以了接下来修改静态ip地址vi /etc/sysconfig/network-scripts/ifcfg-ens33.
2020-11-03 15:41:24
1688
原创 centos虚拟机扩大磁盘
操作步骤：1、首先在打开虚拟机设置，在选中硬盘选项，选择扩展选项（expand），设置扩展大小（需要关机状态，并且不能有虚拟机快照），比如我原来是20G ，通过设置扩展到40G。这一步过后linux就多了20G空闲磁盘.但这只是Vmware给该虚拟机分了硬盘，就像你加了块硬盘到电脑上，下面还要在linux系统中配置使硬盘空间正确挂载：2、终端输入 > fdisk /dev/sda然后输入“p”（print分区信息） 查看当前信息（对本地sda硬盘进行分区管理，其中sda是指SATA接口的
2020-08-25 16:32:29
464
原创 MergeTree原理解析
MergeTree原理解析表引擎决定了一张数据表最终的性格.MergeTree提供了：1、主键索引2、数据分区3、数据副本4、数据采样1. MergeTree的创建方式与存储结构1.1 MergeTree的创建方式：CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1], n
2020-08-19 18:58:36
1384
原创 拦截器
程序设计者设计拦截器供开发者使用，开发者只需要知道拦截器接口的方法、含义和作用即可，无需知道动态代理是怎么实现的。拦截器接口Interceptorpackage com.lucas;import java.lang.reflect.Method;public interface Interceptor { public boolean before(Object proxy, Object target, Method method, Object[] args); public
2020-07-22 00:21:25
191
原创 mysql索引
1.添加PRIMARY KEY（主键索引）mysql>ALTER TABLE table_name ADD PRIMARY KEY ( column )2.添加UNIQUE(唯一索引)mysql>ALTER TABLE table_name ADD UNIQUE (column)3.添加INDEX(普通索引)mysql>ALTER TABLE table_name ADD INDEX index_name ( column )4.添加FULLTEXT(全文索引)mysql
2020-07-09 12:46:10
104
原创 Centos7开放及查看端口
Centos7开放及查看端口1、开放端口firewall-cmd --zone=public --add-port=5672/tcp --permanent # 开放5672端口firewall-cmd --zone=public --remove-port=5672/tcp --permanent #关闭5672端口firewall-cmd --reload # 配置立即生效2、查看防火墙所有开放的端口firewall-cmd --zone=public --list-ports3
2020-07-08 15:10:28
1331
原创 sparkMLib
1.读源文件2、根据源文件rdd做出特征向量Vector3、根据特征向量Vector做出标签点LabeledPoint4、根据标签点LabeledPoint做出训练数据trainingData5、做出LogisticRegressionWithSGD算法对象6、把训练数据trainingData传给LogisticRegressionWithSGD的run方法做出model（公式）7、根据公式做出新数据的预测代码：依赖： <dependency>
2020-07-06 10:29:41
257
原创 Scala排序
排序方法在实际的应用场景中非常常见，Scala里面有三种排序方法，分别是： sorted，sortBy ，sortWith分别介绍下他们的功能：（1）sorted对一个集合进行自然排序，通过传递隐式的Ordering（2）sortBy对一个属性或多个属性进行排序，通过它的类型。（3）sortWith基于函数的排序，通过一个comparator函数，实现自定义排序的逻辑。例子一：基于单集合单字段的排序val xs=Seq(1,5,3,4,6,2) println("..
2020-06-17 09:00:20
779
原创 yarn ui
我们安装完Yarn后，可以在浏览器中通过http://master:8088来访问Yarn的WEB UI，如下图：我们详细解释上图中标记为1(也就是cluster)和2(也就是Nodes)两个界面中和资源有关的信息对上面7个字段信息进行解释：1.Active Nodes：表示Yarn集群管理的节点的个数，其实就是NodeManager的个数，我们集群有2个NodeManager2.Vc...
2020-04-27 13:05:14
255
原创 sparkUI入门
1 代表job页面，在里面可以看到当前应用分析出来的所有任务，以及所有的excutors中action的执行时间。2 代表stage页面，在里面可以看到应用的所有stage，stage是按照宽依赖来区分的，因此粒度上要比job更细一些3 代表storage页面，我们所做的cache persist等操作，都会在这里看到，可以看出来应用目前使用了多少缓存4 代表environment页面，里面...
2020-04-26 11:41:40
259
原创 fastJson
概述fastjson是可用于将Java对象转换为JSON字符串，也可以用于将JSON字符串转换成Java对象的一个Java库。fastjson可以任意Java对象，包括没有预先声明的对象类型。JSON的语法也很简单：1、 数据在键值对中2、 数据由逗号分隔3、花括号保存对象4、方括号保存数组GitHub地址：https://github.com/alibaba/fastjson...
2020-04-10 23:06:23
116
原创 okhttp3
I.简介HTTP是现代应用常用的一种交换数据和媒体的网络方式，高效地使用HTTP能让资源加载更快，节省带宽。OkHttp是一个高效的HTTP客户端，它有以下默认特性：支持HTTP/2，允许所有同一个主机地址的请求共享同一个socket连接 连接池减少请求延时 透明的GZIP压缩减少响应数据的大小 缓存响应内容，避免一些完全重复的请求当网络出现问题的时候OkHttp依然坚守自己的职责...
2020-04-10 22:57:45
132
原创 Hive
1.什么是hive1.1.hive基本思想Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL操作（CRUD）功能。1.2.为什么使用Hive直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短MapReduce实现复杂查询逻辑开发难度太大 Spark为什么要使用Hive操作接口采用类SQL语法，提供快速开...
2020-04-09 13:15:43
316
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人