- 博客(16)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 MongoDB踩坑记录之Exception authenticating MongoCredential异常及权限问题
MongoDB在操作的时候遇到权限问题 导致导入数据及连接hive出现权限问题，常规的导入csv文件到MongoDBmongoimport --headerline --type=csv --file=./users.csv -d events_db -c users这命令在没有创建权限用户时可以正常导入，但当创建了权限用户后再导入 就会报权限不够的问题，如下：此时需要修改执行命令，添加...
2020-04-01 10:25:40
4340
原创 oozie常用操作命令包括提交，KILL等操作
1.提交作业，作业进入PREP状态oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe2.执行已提交的作业oozie job -oozie http://localhost:11000/oozie -start 14-200...
2020-03-18 22:54:06
733
原创 hive踩坑记录之报错：Map local work exhausted memory
hive执行join语句时 报错Map local work exhausted memory导致该错误的原因是localtask出现了内存溢出。由于开启了hive.auto.convert.join，但是实际小表大小是hive.mapjoin.smalltable.filesize（默认25M，小表不会超过25M）。由于使用的是orc压缩，解压缩后可能大小到了250M，存放到内存大小可能就会...
2020-03-12 23:07:21
1559
原创 虚拟机无法连接网络
VMware Workstation虚拟机在使用过程中，会经常因为虚拟机不能使用网络而烦恼么？或者新装的虚拟机就不能正常连接网络，下面来教大家一个小方法来解决这个题：方法一：1.1、我们要保证实体机的网路是通畅的，网页能打开。首先检查VMware Workstation虚拟机网络服务是否已经启动，因为360加速球等软件可能会自动禁止虚拟机的网络服务。选中“计算机”*（W7叫“计算机”，XP系统...
2020-03-12 23:01:07
277
原创 hive踩坑记录之报错：Java heap space
分享一个hive的 踩坑记录，执行 需要跑MapReduce任务的语句时，报错Error: Java heap space（JAVA 堆空间不足），排查该错误是由于hive任务所使用的内存数量造成的解决办法：1、第一个方案在hive-env.sh中进行更改：添加export HADOOP_HEAPSIZE=4096这个属性2、第二个方案设置 set io.sort.mb=10; 默...
2020-03-12 23:00:16
2073
1
原创 记录kafka常用的10个shell 操作命令
1、查看topickafka-topics.sh --list --zookeeper localhost:21812、创建topickafka-topics.sh --zookeeper localhost:2181 --create --topic users --partitions 3 --replication-factor 13、修改topickafka-topics.sh ...
2020-03-02 23:59:24
682
原创 数据库主从同步、读写分离配置
数据库主从同步、读写分离配置数据库主从同步、读写分离在处理高并发当中也是很重要到的一个单元，同时，数据库主从同步、读写分离不但可以用来处理高并发，同时还可以拥有负载均衡、数据库备份等功能；下面就我我自己在配置主从同步的步骤做一下记录：准备两个数据库主数据库IP ：118.25.57.*；从数据库IP ：111.231.197.；前提两个数据库建立相同的账号和密码并且两个数据库的账...
2020-03-02 23:47:25
131
原创 flume-sink报错 : close() called when transaction is OPEN - you must either commit or rollback first
写flume实时导入数据时报错flume-sink报错 : close() called when transaction is OPEN - you must either commit or rollback first在确认代码无误的情况下，引起该错误的主要原因是flume启动给的内存不足引起的，flume-ng 启动文件默认的启动内存为20M可以修改flume-ng文件：JAV...
2020-03-02 23:46:50
1019
原创 flume的memeryChannel中transactionCapacity和sink的batchsize注意点
最近在做flume的实时日志收集，记录一下memeryChannel的transactionCapacity参数采的坑，transactionCapacity默认值为100，也就是说收集端的sink会在收集到了100条以后再去提交事务（即发送到下一个目的地），于是我修改了transactionCapacity到10，想看看是不是会更加实时一点，结果发现收集日志的agent启动的时候报错了16/0...
2020-03-02 23:41:59
264
原创 matplotlib 绘图报错 RuntimeError: Invalid DISPLAY variable的解决办法
在本地的pycharm可以正常使用matplotlib绘图，但在ssh远程绘图时会报错：RuntimeError: Invalid DISPLAY variable错误原因：matplotlib的默认backend是TkAgg，而FltkAgg, GTK, GTKAgg, GTKCairo, TkAgg , Wx or WxAgg这几个backend都要求有GUI图形界面的，所以在ssh操...
2020-01-04 00:49:49
702
1
转载 Python字符串格式化str.format() 方法详解
文章目录Python 中 str.format() 方法详解0. 参考资料1. 术语说明2. 简单字段名2.1 简单字段名的说明2.2 省略字段名2.3 数字形式的简单字段名2.4 变量名形式的简单字段名2.5 简单字段名的混合使用2.6 使用元组和字典传参3. 复合字段名3.1 复合字段名的说明3.2 `.` 点号的使用3.3 `[]` 方括号的使用4. 转换字段5. 格式说明符5.1 标准...
2019-12-28 23:20:24
431
原创 java操作hdfs输出文件内容的方法
java操作hdfs输出文件内容的方法自定义了一个 inputToString的方法，代码可能写的不规范。。 //输出文件@Testpublic void redToString() throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(co...
2019-11-20 23:54:52
1048
原创 java操作hdfs新建maven工程的依赖包
记录java操作hdfs新建maven工程的依赖包，<dependencies><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.2</ve...
2019-11-20 22:28:06
640
原创 在hadoop操作hdfs时遭遇权限问题失败的解决办法
在hadoop操作hdfs时 遇到Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 问题也是常说的权限问题；解决办法：在hadoop的配置文件 etc/hadoop/hdfs-site.xml加入以下配置dfs.permissions.enabledfalse问题解决！！...
2019-11-20 22:25:57
785
原创 java操作hdfs进行文件下载时报空指针异常的解决办法
在学习java操作hdfs进行文件下载时，一直报空指针异常的错误，原代码：@Testpublic void getFileFornHDFS() throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); // 3. 调用API进...
2019-11-20 22:17:45
1105
原创 MyBatils Plus构建一个简单的项目
MyBatis-Plus 荣获【2018年度开源中国最受欢迎的中国软件】 TOP5，做为这两年比较火的框架，使用起来还是很简单的。开始吧1、首先准备一张表“users”表。2、创建一个springboot工程，“可以使用 Spring Initializer 快速初始化一个 Spring Boot 工程”，具体工程的创建这里就不说了。大家都懂的。3、添加相关依赖，如下： <!-- ...
2019-11-10 13:06:50
735
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人