- 博客(39)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 sbt构建报错：Server access Error: Connection timed out url=https://repo.typesafe.com...
报错：Server access Error: Connection timed out url=https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt/0.13.8/ivys/ivy.xml报错信息解决方法报错信息Server access Error: Connection timed out url=https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/
2021-06-23 09:16:50
1671
2
转载 基于docker-compose安装zk以及kafka集群（转载）
基于docker-compose安装zk以及kafka集群（转载）最近工作中需要基于docker部署一些环境，kafka集群部署出现了点问题，配置的端口号总会有冲突，不按照配置中的端口号运行。网上搜了很多，但是很多都有同样的问题，后来发现了这一篇，解决了端口冲突问题。故在此记录一下。请访问下面链接：docker-compose部署zk集群、kafka集群以及kafka-manager，及其遇到的问题和解决...
2020-07-08 09:47:32
733
原创 字符串模式匹配博文记载
字符串模式匹配博文记载前言1、单模式匹配1.1、KMP1.2、BM2、多模式匹配2.1、AC2.2、WM前言最近工作中用到了知名地址匹配功能，自己恶补了一些字符串模式匹配的知识，在此将自己查阅的一些比较好的博客记录下来。在此感谢下面所提及的博客博主的明细讲解。1、单模式匹配1.1、KMPKMP算法详解-彻底清除了该博主的此博文看着比较清晰，我也没有再看其他人的。1.2、BM字符串匹配算法（BM）BM算法详解BM算法我看了几个，这是我看的感觉比较好的。个人比较喜欢第一个。备注
2020-07-06 23:48:15
220
原创 基于docker-compose安装spark 1+3及Spark On Yarn模式集群
基于docker-compose安装spark 1+3及Spark On Yarn模式集群1、`docker-compose.yml`：2、`spark.env`：此处的样例是参考别人的，之后自己整合一套可以使用的1+3模式的集群。spark镜像可以自行在docker hub选择自己想要的进行替换即可。可参考链接: 基于docker-compose安装hadoop 1+3模式集群.1、docker-compose.yml：version: "2.2"services: master:
2020-07-06 22:11:45
1207
原创 基于docker-compose安装hadoop 1+3模式集群
基于docker-compose安装hadoop 1+3模式集群1、`docker-compose.yml`：2、`hadoop.env`：此处的样例是参考别人的，之后自己整合一套可以使用的1+3模式的集群。1、docker-compose.yml：version: "2.2"services: namenode: image: bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8 # 配置好 docker 内的假域名 hostn
2020-07-06 21:59:12
1322
原创 Flink 踩坑汇总
Flink 踩坑汇总Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: Specifying keys via field positions is only valid for tuple data types. Type: GenericType最近在学习Flink，踩坑汇总。（后续会持续添加）Exception in thread “main” org.apache.flink.api.com
2020-07-06 17:32:41
6087
2
原创 十大基础排序算法-scala编写
十大基础排序算法-scala编写1、前言2、排序2.1、排序分类2.2、影响因素3、冒泡排序4、选择排序5、插入排序6、希尔排序7、归并排序8、快速排序9、堆排序10、计数排序11、桶排序12、基数排序1、前言最近补了一下《数据结构与算法》的相关知识，这里记录一下常见的十大排序算法。因为最近自己在学习scala，所以下面都是使用的scala进行编程，其与java语法有很多类似，保留了java的...
2020-01-01 21:02:35
648
4
原创 ActiveMQ报错：Cannot synchronously receive a message when a MessageListener is set
ActiveMQ报错：Cannot synchronously receive a message when a MessageListener is set消息生产者代码消息消费者代码遇到的问题问题分析解决最近在看消息队列，看了ActiveMQ的消息队列，我自己模拟消息生产者与消息消费者，不过期间一直遇到了这个问题，网上查找了好久，终于找到了解决方案，自己写的有问题。消息生产者代码生产者...
2019-07-09 17:49:47
663
原创 MySQL高级知识（十七）——行锁
MySQL高级知识（十七）——行锁1. 特点2. 事务2.1. 事务主要是处理并发处理带来的问题。2.2. 事务隔离级别3. 案例分析3.1. 准备3.2. 行锁定基本演示3.3. 无索引行锁升级为表锁此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看。1. 特点行锁特点：偏向InnoDB存储引擎，开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率...
2019-06-02 23:24:46
443
原创 MySQL高级知识（十六）——表锁
MySQL高级知识（十六）——表锁1. 特点2. 案例分析2.1. 准备2.2. 表锁（read）案例2.3. 表锁（write）案例此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看。1. 特点表锁特点：偏向MyISAN存储引擎，开销小，加锁快；无死锁；锁定粒度大，发生锁冲突的概率最高，并发度最低2. 案例分析2.1. 准备创建表SQLd...
2019-06-01 14:57:55
245
原创 MySQL高级知识（十五）——MySQL锁机制分类
MySQL高级知识（十五）——MySQL锁机制分类1. 定义2. 事例3. 锁的分类3.1. 对数据操作的类型（读/写）分3.2. 对数据操作的细粒度分此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看。1. 定义锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，除了传统的计算资源（如CPU、RAM、I/O等）的争用以外，数据也是一种供许多用户共享的...
2019-05-31 15:07:41
217
原创 MySQL高级知识（十四）——MySQL常见瓶颈
MySQL高级知识（十四）——MySQL常见瓶颈此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看。常见瓶颈：CPU：SQL中对大量数据进行比较、关联、排序、分组，消耗CPU。主要是比较I/O：实际内存满足不了缓存数据或排序等需要，导致大量物理I/O。查询执行效率低，扫描过多数据行。锁：不适宜的锁的设置，导致线程阻塞，性能下降。...
2019-05-31 10:59:49
373
原创 MySQL高级知识（十三）——全局查询日志
MySQL高级知识（十三）——全局查询日志1. 全局查询日志含义2. 如何开启2.1. 通过mysql的my.cnf配置开启该功能2.2. 通过命令开启该功能3. 总结此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看。1. 全局查询日志含义全局查询日志用于保存所有的sql执行记录，该功能主要用于测试环境，在生产环境中永远不要开启该功能，消耗资源。2. 如何开启2.1....
2019-05-31 10:35:49
696
原创 MySQL高级知识（十二）——Show Profile
MySQL高级知识（十二）——Show Profile1. Show Profile是什么2. 分析步骤2.1. 查看当前mysql版本是否支持2.2. 开启功能2.3. 运行sql2.4. 查看结果，show profiles2.5. 诊断sql2.6. show profile的常用参数2.7. 日常开发需要注意的点3. 总结此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看...
2019-05-31 09:20:32
515
原创 MySQL高级知识（十一）——批量插入数据脚本
MySQL高级知识（十一）——批量插入数据脚本1. 准备2. 创建函数，保证每条数据都不同2.1. 随机生成字符串2.2. 随机生成部门编号3. 创建存储过程用于批量插入数据3.1. 创建往emp表中插入数据的存储过程3.2. 创建往dept表中插入数据的存储过程4. 调用存储过程4.1. emp4.2. dept5. 删除函数与存储过程5.1. 删除函数5.2. 删除存储过程6. 总结此博客...
2019-05-30 22:28:52
517
原创 MySQL高级知识（十）——慢查询日志
MySQL高级知识（十）——慢查询日志1. 慢查询是什么2. 如何开启慢查询3. 慢查询相关参数3.1. 查看慢查询的阈值时间：3.2. 设置long_query_time的值：3.3. 记录慢查询sql的数码此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看。1. 慢查询是什么MySQL的慢查询日志是MySQL提供的一种日志记录，他用来记录在MySQL中响应时间啊你超...
2019-05-30 21:07:51
719
原创 MySQL高级知识（九）——order by优化
MySQL高级知识（九）——order by优化准备案例总结此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看。准备创建test表drop table if exists test;create table test(id int primary key auto_increment,c1 varchar(10),c2 varchar(10),c3 varc...
2019-05-30 16:06:54
569
原创 MySQL高级知识（八）——索引面试题分析
MySQL高级知识（八）——索引面试题分析准备事例分析总结此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看。准备创建test表（测试表）drop table if exists test;create table test(id int primary key auto_increment,c1 varchar(10),c2 varchar(10),c3 ...
2019-05-30 10:53:45
434
原创 MySQL高级知识（七）——索引优化准则
MySQL高级知识（七）——索引优化准则准备规则：1. 最佳左前缀原则1.1. 定义：1.2. 事例1.3. 总结2. 不要在索引列上面做任何的操作3. 范围右边全失效4. 尽量使用覆盖索引5. 使用不等于（ ！=或<>）会使索引失效6. is not null也无法使用索引7. like通配符以%开头会使索引失效8. 字符串不加单引号导致索引失效9. 少用or，用or连接会使索引失...
2019-05-29 19:49:34
409
原创 MySQL高级知识（六）——索引分析
MySQL高级知识（六）——索引分析准备：1. left join2. right join3. 总结此博客的内容主要来源于尚硅谷的视频中，在此记录，以备以后自己查看。准备：首先创建三张表：emp（职工表）、dept（部门表）、conn（描述表）。emp表DROP TABLE IF EXISTS `emp`;CREATE TABLE `emp` ( `id` int(11)...
2019-05-29 15:32:23
491
原创 MySQL高级知识（五）——Explain
MySQL高级知识（五）——Explain1. Explain作用2. Explain包含的信息2.1. id2.2. select_type2.3. table2.4. partitions2.5. type2.6. possible_keys和key、key_len2.7. ref2.8. rows2.9. filtered2.10. extra3. 总结此博客的内容主要来源于尚硅谷的视频...
2019-05-29 14:42:29
302
原创 MySQL高级知识（四）——索引结构
MySQL高级知识（四）——索引结构1. B-Tree索引（即BTree）1.1. 原理图1.2. 关于时间复杂度2. B+Tree索引2.1. 原理图2.2. B+Tree优点2.3. B-Tree与B+Tree区别：3. 聚簇索引与非聚簇索引3.1. 聚簇索引含义3.2. 聚簇索引优缺点3.3. 非聚簇索引含义3.4. 区别3.5. 适用场景4. full-text全文索引4.1. 全文索引用...
2019-05-28 17:52:49
330
原创 MySQL高级知识（三）——索引
MySQL高级知识（三）——索引1. 索引含义2. 索引优缺点2.1. 索引优点：2.2. 索引缺点：3. 索引分类3.1. 主键索引：3.2. 单值索引：3.3. 唯一索引：3.4. 复合索引：4. 基本语法5. 建立索引与否的具体情况5.1. 需建立索引的情况5.2. 不需要创建索引的情况此部分将着重将索引，因为索引在sql调优部分占据很重要的地位。1. 索引含义MySQL官方对索引的...
2019-05-28 14:02:17
410
原创 MySQL高级知识（二）——join查询
MySQL高级知识（二）——join查询准备1. inner join2. left join3. right join4. A独有5. B独有6. AB全有（并集）7. A、B独有并集该篇目主要对MySQL中的join语句的七种情况进行总结。准备join主要根据两表或者多表之间的关系，从这些表中进行数据的查询。首先创建两张表，emp（员工表）和dept（部门表），并插入相关测试数据。...
2019-05-28 10:22:28
411
原创 MySQL高级知识（一）——基础
MySQL高级知识（一）——基础MySQL高级知识——基础1. MySQL概述2. MySQL高手必备3. MySQL的Linux版本安装（非重点）3.1. 下载地址3.2. 拷贝&解压缩3.3. 检查工作3.4. 安装3.5. 查看MySQL安装版本3.6. MySQL服务的启动+停止+查看状态3.7. 首次登录3.8. MySQL安装位置3.9. 自启动MySQL服务3.10. 修改字...
2019-05-27 22:29:58
613
原创 MyBatis学习-MyBatis框架简介
MyBatis框架简介最近因为项目需要，重新学习了一下MyBatis，发现好多都忘得差不多了，而且以前的笔记也没有了，所以还是自己去网上找的资料学习的。所以我把我所看到的，整理下来发到这里，省的以后自己再次忘记还得重新去查找。1. MyBatis介绍MyBatis是apache的一个开源项目iBatis，2010年这个项目由apache software foundation迁移到Googl...
2019-03-18 14:52:37
202
原创 Idea中将class类打包放到linux运行的方法
Idea中将类打包部署到linux中运行的方法：最近我在学习hadoop以及hbase的时候，手写的mr往往需要打包，之后在linux上运行，为此上网搜了相关方法，并在此记录，防止以后自己忘记。首先打开我们的Project Structure这个按钮当然此处我们也可以在File中找到这个。之后选择Artifacts选项，选择+这个选项，点击JAR，之后选择From modul...
2019-03-06 20:06:34
1994
2
原创 错误问题Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter
HBase运行hbase-server-1.3.1.jar包下的rowcount方法统计student的错误解决1、运行环境：开启zookeeper集群开启hadoop集群开启hbase集群2、运行程序运行程序如下：/opt/module/hadoop/hadoop-2.7.3/bin/yarn jar /opt/module/hbase/hbase-1.3.1/lib/hbas...
2019-03-06 16:51:02
7509
1
原创 kafka创建消费者报错：zookeeper is not a recognized option
kafka创建消费者报错：zookeeper is not a recognized option最近在hadoop上搭建kafka的时候，使用bin/kafka-console-producer.sh --broker-list hadoop132:9092,hadoop133:9092,hadoop134:9092 --topic first此命令创建kafka消息生产者，也就是ha...
2019-03-04 18:45:30
9095
原创 Sqoop RDBMS到Hive报错：Could not load org.apache.hadoop.hive.conf.HiveConf的解决方法
Sqoop从RDBMS导入数据到Hive表报错“Could not load org.apache.hadoop.hive.conf.HiveConf”解决方法：1、mysql导入到hive[donghao@hadoop132 sqoop-1.4.7]$ bin/sqoop import \--connect jdbc:mysql://hadoop132:3306/company \--u...
2019-02-28 09:09:18
644
原创 shell脚本搭建zookeeper错误提醒：Error contacting service. It is probably not running.
shell脚本搭建zk错误记录网上的正常配置：shell脚本在/usr/local/bin下面创建一个shell程序，命名为start.sh。#!/bin/bashecho "========== zookeeper启动 =========="echo "========== ...
2019-02-22 16:34:29
496
原创 Hive集成mysql后登录频繁报警问题
Hive中频繁报警的问题最近在研究大数据开发，碰到的小问题汇总在这。在我们使用Hive集成mysql之后，我们多窗口运行hive的时候，有时候会在shell中报一堆警告。虽然不影响正常的使用，但是相信大多数程序员都有强迫症，我也一样，为此我看着很烦。警告如下：Thu Feb 14 17:02:17 CST 2019 WARN: Establishing SSL connection w...
2019-02-14 17:33:56
390
原创 Centos7彻底卸载mysql以及通过yum安装mysql的步骤
Centos7彻底卸载mysql以及通过yum安装mysql的步骤一、彻底卸载mysql查看时候有安装的mysql：rpm -qa | grep -i mysql // 查看命令1`yum list install mysql* // 查看命令22. 卸载mysql的安装包：(使用root用户删除)yum remove mysql mysql-server mysql-l...
2019-02-14 15:02:37
1550
原创 Spring注解版--Spring自动装配
Spring注解–Spring自动装配：最近在看spring注解的网上视频教程，为了以后回头看看，我将内容写了下来，如下：文章目录Spring注解--Spring自动装配：1.环境配置1.1、创建一个Maven工厂1.2、创建相关的类2.自动装配：2.1、`@Autowired`自动注入（spring注解）2.1.1、`@Autowired`注入实例2.1.1.1、创建配置类2.1.1.2、创...
2018-12-20 17:46:55
926
原创 Spring注解版--Bean的生命周期
Spring注解--Bean的声明周期@[TOC](Spring注解--Bean的声明周期)Bean的生命周期1.Bean的生命周期：2.Spring容器来管理Bean的生命周期：2.1、指定初始化和销毁方法2.1.1、创建bean对象2.1.2、创建配置类2.1.3、创建测试类测试2.2、实现`InitializingBean`(定义初始化逻辑)与`DisposableBean`(定义销毁逻辑)...
2018-12-20 13:59:41
649
原创 Spring注解版--spring给容器注册组件的四种方法
spring给容器注册组件的四种方法：这是我看网上视频教程之后，自己整理的，加强记忆。文章目录spring给容器注册组件的四种方法：一. `@Configuration`&amp;amp;`@Bean`-自动扫描组件、扫描规则组件1、创建一个webquick项目，内部添加pom依赖2、比较xml注册bean与注解注册bean（1）xml配置注册bean（2）注解注册bean3.@`ComponentS...
2018-12-15 17:11:54
361
转载 注解@Value取值取不到问题
@Value取值取不到的几种情况总结：本博客参考(http://blog.51cto.com/jtech/2114686)。一、spring组件重写构造方法，在构造方法中引用@Value为null由于spring实例化顺序为先执行构造方法，再注入成员变量，所以序为先执行构造方法，再注入成员变量，所以ing实例化顺取值为null解决办法为：再写一个常量类，在常量类中引用@value，再在构造...
2018-11-30 16:59:14
40883
原创 jQuery中的"$.extend()"和"$.fn.extend()"的区别：
jQuery中的’$'和"$.fn"的区别：新手上路，最近在学前端的一些知识。在一个项目中看到这两个符号，后来上网查了一下，下面将这两个区别简单写一下。这两个都是为jQuery赋予方法，但是他们赋予的方法有个本质上的区别：$.extend(也可以写成jQuery.extend())，这是拓展jQuery本身的方法。也就是说，只要我们用这个拓展方法，那么这个方法，可以不通过对象直接使用。...
2018-11-30 10:20:04
402
原创 ssm整合报错:{Dependency annotations: {@org.springframework.beans.factory.annotation.Autowired(require)}
ssm整合中出现@org.springframework.beans.factory.annotation.Autowired(require)问题
2018-11-21 08:41:01
31700
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人