只一刀-CSDN博客

原创 elasticsearch 实现基于spark的kerberos认证

elasticsearch 实现基于spark的kerberos认证

2022-03-02 23:56:23 1801 1

原创用python进行文件编码转换gbk转utf-8，解决部分生僻字导致的转换问题

手头有一批文本文件要导入数据库，但是文件的编码格式多种多样，所以要先进行下转码，从网上找到的方法基本上都是用chardet.detect()方法进行文件的编码识别，然后再进行对应的转换。于是写了一下的方法：def standardized_file_encode(path): with open(path, "rb") as f: data = f.read()...

2019-09-24 11:03:07 4971 4

原创 docker 常用命令

docker image ：镜像管理build 从Dockerfile构建映像history 显示图像的历史记录import 从tarball导入内容以创建文件系统映像inspect 显示一个或多个image的详细信息load 从tar存档或STDIN中加载图像ls 列出图片prune 删除未使用的图像pull 从服务器中拉出图像或存储库push 将映像或存储库...

2019-09-24 10:35:33 132

1. kaldi安装包(https://github.com/kaldi-asr/kaldi/ 上可以下载到)2. 语音模型包（http://www.kaldi-asr.org/models.html 官网上可以下载到）3. 解压kaldi安装包，进入tools目录，按照INSTALL文件的提示进行安装，主要有两个步骤（1）extras/check_dependencies.sh 校验环境，根据...

2018-05-24 15:29:02 1701

原创解决linux下https访问证书问题

通过命令：curl -v https://10.168.2.105 验证证书库是否有效如果出现这个报错信息的话就是证书无效：Peer certificate cannot be authenticated with known CA certificates解决办法是将该证书的公钥.pem文件内容，追加到/etc/pki/tls/certs/ca-bundle.crt。

2016-05-13 11:16:46 28093

原创 cdh安装，解决No more mirrors to try.问题

这两天尝试安装cdh，按照官网的教程首先下载cloudera-manager-installer.bin安装包。这个包很小，只有500多k，实际上，这个只是一个安装引导程序，安装完这个包后，会跑起来一个web进程，并提示你进去web页面进行安装操作默认地址是http://1270.0.1:7180/。访问这个地址，进入安装引导界面（如果无法访问，请检查防火墙）。接下来都挺简单的，选择使

2016-03-15 14:52:17 4906

原创解决 RMContainerAllocator: Exception while unregistering java.lang.NullPointerException问题

在hadoop2.5.2环境中，执行一个mr任务，计算结果正确输出到hdfs里面了，但是job异常退出了，报错信息如下：大概意思就是有任务失败了吧。然后查看各节点日志，发现有一个节点报错了，报错信息如下：ERROR [Thread-856] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Exc

2016-02-15 16:40:46 3476 3

原创 Failed to load native-hadoop本地库不一致的解决办法

在官网上下载了hadoop2.5.2版本的hadoop进行安装，安装完成后一切功能都很正常，是会报这样的的一个警告信息：INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable在网上搜了下原因，是

2016-02-07 16:24:03 1209

原创 hadoop2.5.2安装部署

1. 安装包： http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz hadoop2.5.2安装包 http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

2016-02-05 11:26:56 488

原创 hadoop的源码阅读，ipc包学习--nio

在看hadoop的源码，看到ipc包，涉及到nio和rpc的知识。为了加深了解，把思考的过程写下来。一、nio是java的非阻塞式通信方式，区别于我们常见的socket通信方式（阻塞式）。比如说传统的socket请求是这样的，客户端发送一个请求给服务器，服务器创建一个线程去处理这个请求，可能这个请求的业务过程比较长，那么两边的网络连接是一直连接状态的，直到服务端的处理完请求，才断开网络连接

2016-01-27 10:55:16 345

原创 20个非常有用的Java程序片段

1. 字符串有整型的相互转换　　Java代码　　String a = String.valueOf(2); //integer to numeric string　　int i = Integer.parseInt(a); //numeric string to an int　　2. 向文件末尾添加内容　　Java代码　　BufferedWriter out = nul

2009-12-18 15:12:00 387