- 博客(79)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Caused by: org.elasticsearch.bootstrap.BootstrapException: java.nio.file.NoSuchFileException: /home/
问题:elasticSearch安装Ik的坑启动时报错如下:Caused by: org.elasticsearch.bootstrap.BootstrapException: java.nio.file.NoSuchFileException: /home/hadoop/install/elasticsearch-5.6.1/plugins/elasticsearch/plugin-desc...
2018-12-25 16:05:52
5703
3
原创 最完整的Spark数据倾斜解决方案
我的原文: https://www.cnblogs.com/gentle-awen/p/10141315.html一.了解数据倾斜 数据倾斜的原理: 在执行shuffle操作的时候,按照key,来进行values的数据的输出,拉取和聚合.同一个key的values,一定是分配到一个Reduce task进行处理.假如多个key对应的values,总共是90万,但是可能某个key...
2018-12-20 09:19:40
260
原创 {"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication token for REST
错误如下:{"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication token for REST request [/idx]","header":{"WWW-Authenticate":"Basic realm=\&quo
2018-12-13 17:14:23
34661
9
原创 MapReduce中文乱码
问题：mapreduce输出乱码原因：再用Hadoop处理数据的时候，发现输出的时候，总是会出现乱码，这是因为Hadoop在设计编码的时候，是写死的。默认是UTF-8，所以当你处理的文件编码格式不是为UTF-8的时候，比如为GBK格式，那么就会输出的时候就会出现乱码。问题解决：解决问题非常简单，就是转码，确定数据都是以UTF-8的编码格式在运行。在map端从文件中读取一行数据的时候，把...
2018-11-28 19:22:29
1159
原创 Kafka读取数据是中文乱码问题
解决方案一解决方案二redis 中文存储乱码问题在redis 中存储中文，读取会出现乱码（其实不是乱码，只是不是我们存的中文显示）1 redis> set test “我们”2 OK3 redis> get test4 “\xe6\x88\x91\xe4\xbb\xac”如何在get时取到它的中文呢？只需要在redis-cli 后面加上 --rawredis-cli...
2018-11-23 09:51:30
19622
1
原创 读取大文件数据进入redis作为缓存:赠(广播变量)
在项目中使用Redis做缓存文件(目的等同于广播变量):package com.appimport com.utils.{JedisConnectionPool, RptUtils}import org.apache.commons.lang.StringUtilsimport org.apache.spark.sql.{DataFrame, Row, SQLContext}import...
2018-11-20 19:41:50
1322
原创 Oracle11.2.0.4.0版本CVE-2012-1675 解决方法
适用版本本方法仅适用于11.2.0.1.0以及更高版本。安装系统CentOS7.5漏洞标识CVE-2012-1675问题描述官网给出的解决方案如链接: 官网解决方案链接.但是并不适用11.2.0.1.0。我这里是单机版本。漏洞解决：文件下载：步骤如下：Oracle Database 11g Release 11.2.0.1.0ORACLE NET Patch for Bug# 12880299 for Linux-x86-64 Platforms(RAC Rolling Insta
2021-10-05 13:30:48
1994
原创 windows bat脚本获取前一天/前N天的日期
windows bat脚本获取前一天/前N天的日期@echo offkty \:获取昨天的日期rem 计算指定天数之前的日期set DaysAgo=1rem 假设系统日期的格式为yyyy-mm-ddcall :DateToDays %date:~0,4% %date:~5,2% %date:~8,2% PassDaysset /a PassDays-=%DaysAgo%call :DaysToDate %PassDays% DstYear DstMonth DstDayset DstDa
2020-12-09 09:27:03
5363
原创 Centos7.5(64)安装Oracle 11g2问题汇总
环境说明：系统环境：CentOS7.5 64位JDK版本：JDK8Oracle版本：11g2问题一：初始安装时检查交换空间: 可用的交换空间为 0 MB, 所需的交换空间为 150 MB。 未通过(root用户下操作)The available swap space is 0 MB, and the required swap space is 150 MB. Not through问题解决：$ sudo fallocate -l 512m /mnt/512MiB.swap$ sudo ch
2020-11-05 11:42:30
752
原创 Centos7部署NodeJs(Vue项目)
方法一：非编译安装1、下载nodeJs bin包node-v12.18.3-linux-x64.tar.gzwget https://npm.taobao.org/mirrors/node/v12.18.3/2、解压node-v12.18.3-linux-x64.tar.gztar -xvf node-v12.18.3-linux-x64.tar.gz 3、部署bin包ln -s ~/node-v12.8.3-linux-x64/bin/node /usr/bin/nodeln -s ~/
2020-10-26 09:56:57
696
1
原创 windows安装Flume将本地目录下文件上传到HDFS(kerberos)问题汇总
环境本地系统：Windows10CDH：6.1.0Hadoop: 3.0Flume:1.8.0JDK:1.8安全：kerberos问题一：找不到com/ctc/wstx/io/InputBootstrapper2020-09-02 11:02:22,640 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSin
2020-09-04 09:59:35
772
转载 Python requests包get响应内容中文乱码解决方案
Requests源码包解析原理分析requests的源代码发现，text返回的是处理过的Unicode型的数据，而使用content返回的是bytes型的原始数据。也就是说，r.content相对于r.text来说节省了计算资源，content是把内容bytes返回. 而text是decode成Unicode. 如果headers没有...
2020-07-24 16:48:47
2996
1
原创 Centos7.5.64 python2.7升级python3.7
安装步骤：https://techglimpse.com/install-python-openssl-support-tutorial/安装启发：https://stackoverflow.com/questions/52566503/python-3-7-cant-connect-to-https-url-because-the-sslmodule-is-not-available
2020-06-11 16:32:41
138
原创 Spark(本地)操作Hadoop常见问题汇总
问题一： Failed to connect to bioyuana/ip:1004 for block BP-1366618129-172.16.1.176-1576652184324:blk_1073760623_19803, add to deadNodes and continue.20/05/13 11:40:32 WARN DFSClient: Failed to connect to bioyuana/ip:1004 for block BP-1366618129-172.16.1.176-
2020-05-13 12:00:58
517
原创 C#去掉TabControl的边框(非TabPage)
C#去掉TabControl的外边框(非TabPage)太难了，找了好久，终于找到了去除TabControl边框的解决方案问题如下图：话不多说，直接上代码using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;...
2020-05-07 11:42:17
5233
2
转载 mysql update select 从查询结果中更新数据
update select 语句(注意:必须使用inner join)语法 update a inner join (select yy from b) c on a.id =c.id set a.xx = c.yyupdate table_a a inner join (select id,count(0) numsfrom table_agroup by id) b on a.i...
2020-04-01 12:20:20
1216
原创 Spark Scala API读Hbase(带Kerberos安全认证)
Spark Scala API读Hbase(带Kerberos安全认证)各个组件版本 <!-- Languages --><java.version>1.8</java.version><scala.version>2.11.8</scala.version><scala.binary.version>2.11<...
2020-03-26 15:08:14
1026
原创 StreamSets从MySQL实时同步数据到Hbase问题总结
问题一：找不到zookeeper的/hbase/masterorg.apache.hadoop.hbase.MasterNotRunningException: org.apache.hadoop.hbase.MasterNotRunningException: java.io.IOException: org.apache.zookeeper.KeeperException$Connectio...
2020-03-17 16:03:00
625
原创 StreamSets集成Kerberos详解(Mysql实时同步数据到HBASE)
StreamSets集成Kerberos步骤如下：StreamSets的安装部署省略1、进入到安装kerberos的服务器生成指定keytab文件1、进入到Kerberos管理界面kadmin.local2、在管理界面指定指定用户的Keytab文件生成ktadd -k /opt/hbasekeytab -norandkey [email protected]、将生成的Keytab文件拷...
2020-03-17 10:55:00
668
原创 集体智慧导言-第一章
技术人对于集体智慧的定义为了创造新的想法，而将一群人的行为/偏好或思想组合在一起什么是机器学习机器学习是人工智能（AI,artificial intelligence)领域中与算法相关的一个子域，它允许计算机不断地进行学习。大多数情况下，这相当于将一组数据传递给算法，并由算法推断出与这些数据的属性相关的信息–借助这些信息，算法就能够预测出来有可能会出现的其他数据。机器学习的局限机器学习算...
2020-02-23 19:15:10
212
原创 RHSA-2018:3157-中危: curl 和 nss-pem 安全和BUG修复更新
Curl低版本重定向中的HTTP身份验证泄漏漏洞：官网解释：https://curl.haxx.se/docs/CVE-2018-1000007.htmlCurl版本升级解决漏洞：https://www.cnblogs.com/kingsonfu/p/10069755.html防止原地址不存在：1.安装reporpm -Uvh http://www.city-fan.org/f...
2020-01-13 16:57:05
760
原创 Communications link failure The last packet successfully received from the server was millisec
使用JDBC连接Mysql数据库棘手错误错误情况如下：解决方案：错误情况如下：com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet successfully received from the server was 8,451 milliseco...
2019-12-11 11:35:55
3422
原创 python读取指定文件中的字符串报错问题
错误汇总： 1.json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1) 2.AttributeError: 'str' object has no attribute 'read' 3.UnicodeDecodeError: 'gbk' ...
2019-10-14 19:05:38
369
原创 Python Scrapy框架第一弹
初次接触Scrapy框架先来点干货一、创建scrapy项目 ``` 1、Windows安装Scrapy略 2、在指定目录使用命令创建爬虫项目 scrapy startproject myfirstScrapy 3、Scrapy项目结构 运行上述代码的目的是创建相应的项目文件，如下所示： 放置 spider 代码的目录文件 spiders（用于编写爬虫） 项目中的 ite...
2019-10-10 21:33:22
114
原创 Window 10 安装 Mongo
Window 10 安装 Mongo下载：https://www.mongodb.com/download-center/community?jmp=docs安装：https://www.cnblogs.com/weschen/p/8213746.html
2019-09-26 11:47:15
124
原创 下载MongoDB安装包直达
官网翻了半天https://www.mongodb.com/download-center/community?jmp=docs
2019-09-26 11:42:13
291
原创 Docker Python启动报：Bind for 0.0.0.0:8080 failed: port is already allocated
一句话总结就是容器占用的port还没有完全释放查看进程，发现相关的容器并没有在运行，而 docker-proxy 却依然绑定着端口：$ docker ps检查docker镜像$ ps -aux | grep -v grep | grep docker-proxy查看被docker-proxy占用的端口停止 doker 进程，删除所有容器，然后删除 local-kv.db 这个文件，...
2019-09-20 09:52:26
3991
原创 运行spark项目的问题
运行spark项目的问题：[root@aaaaaaa apptooljar]# spark-submit --master spark://aaaaaaa:6066 --deploy-mode client --class controller.KafkaConsumeFlume /opt/software/apptooljar/BIOUSERAI.jar Exception in thre...
2019-09-19 18:59:32
807
原创 重拾hadoop,spark的Cloudera Manager BUGHeart
总有你遇到的Question### 版本问题：NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object解决方案：就是你程序编码版本和CM自带或者自己集群安装的spark/scala版本不一致，具体查看版本的方法看下面。重新安装的方法。。。（Please leave a message）...
2019-09-19 18:50:40
145
原创 linux的history配置
history中设置显示命令的执行时间vi /root/.bashrcHISTTIMEFORMAT="%Y-%m-%d %H:%M:%S"export HISTTIMEFORMAT为了使以上设置生效，执行以下命令:wqsource .bashrchistory命令清除命令执行操作的历史记录history -chistory命令列出最近执行的n条命令history 10重复执行...
2019-09-10 10:59:34
560
原创 IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: 权限不够
Cloudera Manager启动Yarn阿报错错误日志如下：解决方案：login the related node server, check the permission and ownership of those directories /var/lib/hadoop-*, I got the following infothey are not right. so we need ...
2019-09-09 14:28:17
1499
原创 两台电脑，一台通过无线联网，通过网线共享另外一台的配置
很简单，但是有一点坑需要填，比如需要拿生成的ip作为另一台电脑的默认网关，查了很多方案，最后自己发现，这个ip可以用。(笔记本有网=>台式)或(台式有网=>台式)通过网线实现网络共享配置如下：一、有网的笔记本或者台式机配置如下：1、联网计算机开启网络共享，共享给以太网。/2、配置以太网属性如下所示：3、查看以太网配置之后的网络连接详细信息，会发现有两个IPv4地址，后面我们...
2019-08-22 13:29:17
2088
1
原创 无法加载 DLL“xxxx.dll”: 找不到指定的模块。 (异常来自 HRESULT:0x8007007E)。
C#调用xxxx.dll文件报错如下：System.DllNotFoundException:“无法加载 DLL“.\wcomm_dll.dll”: 找不到指定的模块。 (异常来自 HRESULT:0x8007007E)。这个DLL文件其实是个COM组件，此时需要将xxxx.dll拷贝到（x86系统）C:\Windows\System32或（x64系统）C:\Windows\SysWOW64...
2019-08-21 15:59:23
1966
原创 System.BadImageFormatException: 试图加载格式不正确的程序。 (异常来自 HRESULT:0x8007000B)
用C#调用DLL文件，运行后报错如下：System.BadImageFormatException: 试图加载格式不正确的程序。 (异常来自 HRESULT:0x8007000B)第一步：项目右键属性->项目设计器->生成->平台->把’默认设置(任何 CPU)'改为x86。因为’任何 CPU’的程序在64位的机器上就会用运行为64位，而64程序是不能加载32位dll...
2019-08-21 15:51:37
7575
转载 对于PIL中打开图片时出现警告导致pytesseract识别图片验证码时报错
本文链接：https://blog.csdn.net/sinat_32404247/article/details/79627101 ...
2019-08-20 18:56:46
286
原创 bd爬虫总结
爬虫心得：首先要有页面的真是路径，不然就算你的代码很强，那也爬不到任何东西。URL1：关键词1href="/s?ie=utf-8&cl=2&medium=0&rtt=1&bsst=1&rsv_dl=news_b_pn&tn=news&word=%E7%99%BE%E5%BA%A6&rsv_sug3=5&rsv_sug4=...
2019-07-03 15:32:21
619
原创 Error creating LevelDB timeseries store in directory /var/lib/cloudera-service-monitor/ts
错误描述：重启CLoudera Manager集群的Cloudera Management Service报如下错误！！！错误问题：上午10点14:04.184分 ERROR Main Error creating LevelDB timeseries store in directory /var/lib/cloudera-service-monitor/ts java.io.IOEx...
2019-06-27 10:24:08
2088
原创 SecureCRT 远程无法进行退格删除问题和超时自动退出问题
初次使用secureCRT，连接Mongodb操作时，发现退格键无法使用，有花了不少时间搞好这个。其实很简单，如图，选择linux就好了
2019-06-11 14:22:57
563
2
原创 Linux关闭MongoDB服务的命令
Kill的命令关闭mongodb：kill all mongodb#orkill -9 mongo-pid上面的方法确实可以关闭mongodb，但是正确的做法不是这样子的，mongodb提供了关闭数据库的命令：首先需要进入到mongodb目录下bin/mongo，连接到mongodb，然后执行下面脚本：use admindb.runCommand(“shutdown”)上面第一行切...
2019-06-11 11:46:36
6065
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人