- 博客(22)
- 收藏
- 关注
RSS订阅原创 PySpark-报错记录
1. 报错 org.apache.spark.SparkException: Python worker failed to connect back.2. 报错 TypeError: SparkConf.setMaster() missing 1 required positional argument: 'value'
2023-08-27 09:48:57
349
原创 HDFS启动失败，部分机器启动成功部分失败
报错如下：Initialization failed for Block pool (Datanode Uuid unassigned) service to hadoop102/192.168.1.102:9000. Exiting.原因：第一次启动HDFS需要先格式化，再次执行格式化命令时需要先删除data下的数据，否则和之前id冲突。解决方法是直接删除tmp下的所有数据：rm -rf tmp然后格式化HDFShdfs namenode -format再重启HDFS，成功...
2021-06-19 12:47:28
1770
1
原创 Ubuntu下安装OpenCv依赖包libjasper-dev无法安装的问题
近期需要在ubuntu18.04系统上安装opencv但是在安装依赖包的过程中，有一个依赖包，libjasper-dev在使用命令sudo apt-get install libjaster-dev提示：errorE: unable to locate libjasper-dev后来google到解决办法，复制到这里sudo add-apt-repository “deb http://security.ubuntu.com/ubuntu xenial-security main”sudo ap
2020-10-24 13:08:48
310
原创 使用最小二乘法计算机器学习算法之线性回归（计算过程与python实现）
1.相关概念** 1.1 线性回归：**线性回归模型是一种线性模型，是为了计算输入变量x与多个输出变量之间的关系。求得一条直线：更一般可表达为：**1.2 最小二乘法：**基于L2范数（均方误差）最小化进行模型求解的方法。2.计算过程假设输入特征的值只有一个：在线性回归中，最小二乘法就是找到一条直线，使所有样本到这条直线的距离之和最小。求解!w和b，使得最小的过程，就是“最小二乘参数估计”。将E(w,b)分别对w和b求导，可以得到：令偏导数为0，可以得到：其中，3.代码
2020-10-10 17:51:14
1565
原创 ES启动报错信息解决办法
问题1：max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] elasticsearch（1）切换到root用户，编辑limits.conf 添加类似如下内容[root@hadoop102s elasticsearch-6.6.0]# vi /etc/security/limits.conf添加如下内容:soft nofile 65536hard nof
2020-05-17 17:32:54
842
原创 Flume参数调优
Source增加Source个（使用Tair Dir Source时可增加FileGroups个数）可以增大Source的读取数据的能力。例如：当某一个目录产生的文件过多时需要将这个文件目录拆分成多个文件目录，同时配置好多个Source 以保证Source有足够的能力获取到新产生的数据。batchSize参数决定Source一次批量运输到Channel的event条数，适当调大这个参数可以提高Source搬运Event到Channel时的性能。Channeltype 选择memory时Channe.
2020-05-14 13:55:28
129
原创 redis的持久化方式RDB和AOF的对比
1、前言最近在项目中使用到Redis做缓存，方便多个业务进程之间共享数据。由于Redis的数据都存放在内存中，如果没有配置持久化，redis重启后数据就全丢失了，于是需要开启redis的持久化功能，将数据保存到磁盘上，当redis重启后，可以从磁盘中恢复数据。redis提供两种方式进行持久化，一种是RDB持久化（原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化），另外一种是AOF持久化（原理是将Reids的操作日志以追加的方式写入文件）。那么这两种持久化方式有什么区别呢，改如何选择
2020-05-13 09:58:43
209
原创 用Scala实现WordCount
import scala.io.Sourceobject test { def main(args: Array[String]): Unit = {// Hello Scala// Hello Spark// Hello Hadoop// TODO 1. 读取文件val list: List[String] = Source.fromFile("input/...
2020-04-22 02:32:14
356
原创 scala单例对象和伴生对象的关系
1、单例对象和伴生对象的关系scala中的类不能定义静态成员，而代之以定义单例对象来替代。单例对象通过object关键字来声明。单例对象中的所有方法，可以直接通过object单例对象的名字直接来调用。单例对象在第一次被访问时才会被初始化。（java是在初始化过程中：JVM会将一个类中所有被static关键字标识的代码或者代码块统统执行一遍。）一个单例对象可以绑定在一个类，当单例对象和某...
2020-04-10 21:26:22
141
原创 启动hive时报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient；
报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient；java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClie...
2020-03-30 11:45:21
387
原创 Hadoop集群无法启动datanode或namenode
我的原因：我修改了Hadoop安装文件夹的文件名hadoop-2.7.2，结果在同级目录下产生了新文件夹hadoop，但是原有的hadoop-2.7.2文件夹还在，在原有的文件夹里有data文件夹和logs文件夹，新文件夹里也有data和logs文件夹。然后我想到重新命名可能导致部分脚本无法运行，然后我把新文件夹下的所有文件及目录移动到旧文件夹，logs和data用旧的，然后删除了新的logs和d...
2020-03-29 14:25:59
351
1
原创 群起Zookeeper脚本以及Error contacting service. It is probably not running.错误
#!/bin/bashif [ $# -eq 0 ]then echo "No Args Input..."fifor i in hadoop102 hadoop103 hadoop104do case $1 in "start") echo "===========================Start $i Zookeep...
2020-03-28 12:19:51
178
1
原创 用ssh时 提示WARNING: POSSIBLE DNS SPOOFING DETECTED!
原因：机器识别故障。解决方法：删除 ~/.ssh /know_host，再重新连接ssh即可。
2020-03-27 22:04:30
256
原创 linux安装火狐浏览器
在本机上下载rpm安装包，用xfpt放入linux文件系统中，然后 rpm -ivh /opt/software/google-chrome-stable_current_x86_641.rpm 安装。如果出现warning: /opt/software/google-chrome-stable_current_x86_641.rpm: Header V4 DSA/SHA1 Signature...
2020-03-27 12:32:47
2669
原创 在Linux上安装ZooKeeper的步骤
1．安装前准备（1）安装Jdk（2）拷贝Zookeeper安装包到Linux系统下（3）解压到指定目录[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/2．配置修改（1）将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修...
2020-03-27 08:43:30
292
原创 在Hadoop平台MapReduce上运行WordCount
package com.atguigu.mr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import...
2020-03-25 15:05:01
130
原创 IDEA报错：org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/D:/output already
D:\develop\Java\jdk1.8.0_202\bin\java.exe “-javaagent:F:\IDEA\IntelliJ IDEA 2019.3.3\lib\idea_rt.jar=7676:F:\IDEA\IntelliJ IDEA 2019.3.3\bin” -Dfile.encoding=UTF-8 -classpath D:\develop\Java\jdk1.8.0_...
2020-03-25 11:10:32
3961
原创 一键查看Hadoop集群正在运行的进程shell脚本
#！/bin/bashfor i in hadoop102 hadoop103 hadoop104doecho “===================== $i ========================”ssh $i /opt/module/jdk1.8.0_144/bin/jpsdone#注：我第一次写图方便修改，在editplus里写好然后用secureCRT创建myjp...
2020-03-24 15:29:17
679
原创 群起群停Hadoop集群shell脚本
if [ $# -eq 0 ]thenecho “No Args input…”ficase $1 in“start”)#start操作echo “=正在开启HDFS====”for i in hadoop102 hadoop103 hadoop104doif [ $i = hadoop102 ]thenssh $i /opt/module/hadoop-2.7.2/sbi...
2020-03-24 09:40:10
301
原创 集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。配置时间同步具体实操：时间服务器配置（必须root用户）（1）检查ntp是否安装[root@hadoop102 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1...
2020-03-08 14:23:30
134
原创 【转】Linux清除原有ssh密钥方法
Linux清除原有ssh密钥方法1.问题现象以前在mac的终端下面使用ssh user@localhost输入密码就可以连接到远程的SSH服务器，今天连接的时候老是提示如下错误：KENFORFORLIN:~ kenforstar$ sudo ssh [email protected]:@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@...
2020-03-08 13:53:01
3534
原创 Linux常用命令简述--dirname与basename
一、简介1、dirname命令去除文件名中的非目录部分，删除最后一个“\”后面的路径，显示父目录。 语法：dirname [选项] 参数2、basename命令用于打印目录或者文件的基本名称，显示最后的目录名或文件名。语法：basename [选项] 参数二、使用实例1、dirname[root@liang ~]# dirname /etc/httpd//etc[root@liang...
2020-03-04 16:00:35
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人