- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 mysql新增用户报错：ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
执行命令：set global validate_password_policy=0;set global validate_password_length=1;之后正常新增就可以了。
2021-10-15 10:33:29
456
1
原创 Kibana server is not ready yet
Kibana启动报错：Kibana server is not ready yet解决办法：先关闭Kinaba服务删除Kibana索引curl -XDELETE http://hadoop01:9200/.kibana*之后再启动服务就好了
2021-10-13 10:45:00
250
原创 Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.catalog.Catalog
Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.catalog.Catalog方法在poml文件中，导入的flink-table依赖把“ <scope>”去掉就好了比如：原依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink
2021-10-08 10:12:33
3339
原创 supervisor配置kafka启动
报错：/usr/local/kafka-2.11-2.3.0/bin/kafka-run-class.sh: 第 299 行:exec: java: 未找到可在supervisor中配置的kafka.err文件中看到报错信息解决办法有三种：方法一：修改实际Java安装路径，与kafka默认的路径一致（太麻烦，还有可能导致其它与java相关的文件出错，尽量不要用）方法二：在kafka启动命令文件中添加JAVA配置路径（会修改启动文件，不建议使用）cd /usr/local/kafka-2.11-2.
2021-09-27 17:45:12
376
原创 Could not load plugin descriptor for plugin directory [elasticsearch-analysis-ik-6.5.3]
在EK分词器安装好后，启动elasticsearch报错Could not load plugin descriptor for plugin directory [elasticsearch-analysis-ik-6.5.3]Could not load plugin descriptor for plugin directory [elasticsearch-analysis-ik-6.5.3]....Caused by: java.lang.IllegalStateException:
2021-09-24 17:22:28
2408
原创 elasticsearch启动服务遇到的问题
Exception in thread “main” java.nio.file.AccessDeniedException:/usr/local/elasticsearch-6.5.3/config/jvm.options[elastic@hadoop01 bin]$ ./elasticsearchException in thread "main" java.nio.file.AccessDeniedException: /usr/local/elasticsearch-6.5.3/config/j
2021-09-23 17:35:08
187
原创 Kafka知识点小结
Kafka消息队列作用1、系统解耦2、流量削峰3、同步变异步三大特性1、高吞吐量 ，每秒百万级别 单机10万+ 可以满⾜每秒百万级别消息的⽣产和消费——⽣产消费。2、持久化 有⼀套完善的消息存储机制，确保数据的⾼效安全的持久化——中间存储。3、分布式 (CAP) 基于分布式的扩展和容错机制；Kafka的数据都会复制到⼏台服务器上。当某⼀台故障失效时，⽣产者和消费者转⽽使⽤其它的机器——整体Kafka主要术语Topic：主题，Kafka处理的消息的不同分类。Broker：消息
2021-09-22 09:40:11
62
原创 Scala元组
数组都是可变集合元组：固定元素的组合,最多⽀持22个元素组合元组不能直接遍历for(i<-stu)println(i) //错误元组
2021-09-22 09:39:42
141
原创 推荐系统概念
关键术语召回(Recall)：从已知数据集中找到符合条件的数据。召回率 = 检索到相关的内容数量 / 系统所有相关的内容数量精确率 = 检索到相关的内容数量 / 检索到所有的内容数量排序(Ranking)：根据用户兴趣爱好对多个召回策略的结果进行排序架构分析三元组(用户ID,事件ID,用户评分)，一般通过行为数据得到隐式反馈评分召回阶段召回阶段结果:[uid,aid] 每个用户对未访问物品的可能喜欢特征阶段排序阶段输入:[uid,aid]+uaerFeature+itemF
2021-09-13 19:30:04
71
原创 Spark流式计算概念
流式计算特点：数据是⽆界的(unbounded)数据是动态的计算速度是⾮常快的计算不⽌⼀次计算不能终⽌相对应，离线计算特点：数据是有界的(Bounded)数据静态的计算速度通常较慢计算只执⾏⼀次计算终会终⽌在⼤数据计算领域中，通常所说的流式计算分为了实时计算和准实时计算。所谓实时计算就是来⼀条记录(⼀个事件Event)启动⼀次计算；⽽准实时计算则是介于实时计算和离线计算之间的⼀个计算，所以每次处理的是⼀个微⼩的批次常⻅的离线和流式计算框架常⻅的离线计算框架mapreduce
2021-08-23 17:58:18
996
原创 Invalid value earliest for configuration auto.commit.interval.ms: Not a number of type INT
Invalid value earliest for configuration auto.commit.interval.ms: Not a number of type INT 以及 Failed to construct kafka consumerkafka消费者的api操作代码如下package com.qf.kafka.day1;import org.apache.kafka.clients.consumer.*;import scala.Int;import java.util
2021-08-18 21:30:32
1773
原创 scala基础知识
Any是所有类型的父类 它定义了一些通用的方法如equals、hashCode和toString。Any有两个直接子类：AnyVal和AnyRef。 # AnyVal是所有值类型的父类 有9个预定义的非空的值类型分别是：Double、Float、Long、Int、Short、Byte、Char、Unit和Boolean。 Unit是不带任何意义的值类型，它仅有一个实例可以像这样声明：()。所有的函数必须有返回，所以说有时候Unit 也是有用的返回类型。 # AnyRef是所有引用类型的父类 AnyRef代表
2021-08-02 17:21:31
192
原创 sqoop导入数据进入hive
sqoop导入数据进入hive中，明明显示导入成功了，可是在hive中就是找不到导入的表。 我的版本号：hive-1.2.1 sqoop-1.4.7我的解决方法：将 hive/conf/hive-site.xml 复制到 sqoop/conf/ 下；[root@hadoop01 ~]# cp /usr/local/hive1.2.1/conf/hive-site.xml /usr/local/sqoop1.4.7/conf/之后就可以在hive中查到表了。[root@hado.
2021-07-21 20:04:06
243
原创 sqoop导入数据进hive中遇到问题的解决办法
因为我是在导入成功后才写的文章，所以问题就不一一赘述了，直接解决方案。我原版本信息：hive-2.3.6 hadooop2.7 sqoop-1.4.7在网上找了很多方法，没有解决问题，没有导入数据成功，我就换了下hive版本现版本信息： hive-1.2.1 hadooop2.7 sqoop-1.4.7解决办法（依次执行）：1.[root@hadoop01 ~]# cp /usr/local/hive1.2.1/lib/hive-common-1.2.1.jar /usr/
2021-07-21 20:03:13
691
原创 sqoop import数据出错Got error creating database manager: java.io.IOException: No manager for connect str
[root@hadoop01 sqoop1.4.7]# sqoop import --connect jdbc://hadoop01:3306/qfdb --username root --password 123456 --table emp -m 1Warning: /usr/local/sqoop1.4.7/../hcatalog does not exist! HCatalog jobs will fail.Please set $HCAT_HOME to the root of your HC
2021-07-21 19:37:29
2217
原创 Flume的安装配置
***：Flume目前只有Linux系统的启动脚本，没有Windows环境的启动脚本1、准备安装包，上传到虚拟机的某一目录下（随意，但尽量放到某一固定目录下，我的在：/root/softwares/）2、解压压缩包
2021-07-20 22:07:23
307
3
原创 Flume基础知识点
Flume的简介Flume是一种分布式的，可靠的、高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。参考官网： http://flflume.apache.org/Flume目前只有Linux系统的启动脚本，没有Windows环境的启动脚本。Flume的体系结构Flume 运行的核心是 Agent。Flu
2021-07-19 14:42:28
348
原创 完全分布式的安装
先准备三台虚拟机，依次分别命名Hadoop01，Hadoop02，Hadoop03.IP地址依次为192.168.10.101；192.168.10.102；192.168.10.103；完全分布式搭建环境准备1. 总纲1. 三台机器的防⽕墙必须是关闭的. 2. 确保三台机器的⽹络配置畅通(NAT模式，静态IP，主机名的配置) 3. 确保/etc/hosts⽂件配置了ip和hostname的映射关系 4. 确保配置了三台机器的免密登陆认证（克隆会更加⽅便） 5. ...
2021-07-03 17:43:26
468
1
原创 Linux重进vi编辑器的异常退出文件，先出现Found a swap file by the name “.core-site.xml.swp“等，
E325: ATTENTIONFound a swap file by the name ".core-site.xml.swp" owned by: root dated: Tue Jun 29 20:47:48 2021 file name: /usr/local/hadoop2.7/etc/hadoop/core-site.xml modified: YES user name: root host name: q...
2021-06-29 20:59:08
364
原创 虚拟机ssh免密登录报错（WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!）
报错信息如下：这是由于在之前已经安装过相应的ssh免密登录，但由于服务器信息更改（重装虚拟机），服务器和客户端信息不匹配，只要进行如下操作（将known_hosts文件中那个无效的记录删除）即可：解决方法：ssh-keygen -R 目标主机之后就可以正常登陆了...
2021-06-28 08:33:52
918
原创 封装方法，判断一个点是否在圆内（给出圆的圆心和半径）
1 .行为（创建一个点）package exercise;//创建点类public class Point1 { //设置属性 private double x; private double y; /* //取值的规范:getter 构成:修饰词 返回值 方法名 (参数列表){ 方法体中的代码 return 返回值 } 修饰词:public 返回值:类型与属性一致 方法名:get+属性的名字,首字
2021-05-19 23:27:13
766
原创 万年历
万年历，输一个1900年之后的时间，可以输出当前月历package work;import java.util.Scanner;public class Demo7 { public static void main(String[] args) { Scanner input = new Scanner(System.in); System.out.println("请输入年份:"); int year = input.next...
2021-05-15 23:25:55
57
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人