- 博客(41)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 idea调试Spark程序时报错：Could not load native gpl library
问题描述：在使用idea调试spark时报错：原因分析：在代码中开启了lzo压缩，而在windows本地环境中找不到lzo压缩的配置。def main(args: Array[String]): Unit = { // 设置执行用户 System.setProperty("HADOOP_USER_NAME", "hive") val conf: SparkConf = new SparkConf() // 使用kryo序列化 ....
2021-12-18 14:44:00
1645
1
原创 Spark的12种WordCount
1.groupBy函数签名def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])]函数说明将数据根据指定的规则进行分组, 分区默认不变，但是数据会被打乱重新组合，我们将这样的操作称之为shuffle。极限情况下，数据可能被分在同一个分区中一个组的数据在一个分区中，但是并不是说一个分区中只有一个组val conf: SparkConf = new SparkConf() .setAppNa
2020-09-15 15:56:04
382
原创 对HDFS上的文件或文件夹权限操作
使用API对HDFS上的文件或文件夹权限操作package com.hondali.permission;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.permission.FsAction;import org.apache.hadoop.fs.permission.FsPermission;import java.io.IOExce
2020-07-14 14:43:16
860
原创 Hadoop之hdfs 的api操作
1、获取指定目录下的全部文件及文件夹 /** * 列出 {@param path} 下的文件和文件夹 * * @param fs 文件系统实例 * @param path 路径 * @return 返回一个目录列表 * @throws IOException 对于任何IO错误 */ public static List<String> listFileAndDir(FileSystem fs, Path p
2020-07-13 21:21:05
294
原创 解决windows10中文家庭版远程连接时出现身份验证错误
错误提示：解决办法：Win + R，输入 regedit ，点击确定，打开注册表编辑器；找到路径：HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters注：由于家庭版没有后两项，这里需要手动建立，右键左侧目录System，选择“新建——项”，输入文件夹名在Parameters 里 新建 DWORD（32位），名称为："AllowEncryptionOrac
2020-07-08 15:36:19
416
原创 CentOS7安装sqoop-1.4.7
1、下载sqoopwget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2、解压和重命名文件mkdir /usr/local/sqooptar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/sqoopcd /usr/local/sqoopmv sqoop-1.4.7.bin__ha
2020-06-28 23:02:35
436
原创 Hadoop3.1.3 + Hbase2.1.7 设置Snappy压缩算法
一、查看Linux是否有系统自带的snappy库，如果有删除掉自带的snappy库① 查看Linux是否有系统自带的snappy库ll /usr/lib64 | grep snappy② 删除掉自带的snappy库yum -y remove snappy 二、安装snappy本地库① 下载snappy：wget https://src.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.4.tar.gz/sha512/873f655713611f4
2020-06-27 20:10:46
1338
15
原创 Hive内置函数
关系运算符名称语法描述=A=B等值比较：如果表达式A与表达式B相等，则为TRUE；否则为FALSE<>A <> B不等值比较：如果表达式A为NULL，或者表达式B为 NULL，返回NULL；如果表达式A与表达式B不相等，则 为TRUE；否则为FALSE<A < B小于比较：如果表达式A为NULL，或者表达式B为 NULL，返回NULL；如果表达式A小于表达式B，则为 TRUE；否则为FALSE<=A <=
2020-06-18 16:20:19
233
原创 Apache Ambari 2.7.4 + HDP3.1.4 安装
Apache Ambari 2.7.4 + HDP3.1.4 安装版本信息机器配置一、在三台服务器分别修改hosts二、在三台服务器分别修改hostname（需要重启才能生效）三、配置免密四、安装JDK五、HDP下载地址六、安装依赖七、关闭防火墙八、关闭SELinux九、同步时间十、解压安装包到/var/www/html目录下，准备制作本地源十一、开启httpd服务十二、制作本地源十三、检查站点是否做好十四、安装mysql十五、下载mysql驱动包十六、配置本地源repo十七、在hadoop33节点安装am
2020-06-09 10:59:25
1504
4
原创 spark报数据越界异常:10582
Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 10582 at com.thoughtworks.paranamer.BytecodeReadingParanamer$ClassReader.accept(BytecodeReadingParanamer.java:563) at com.thoughtworks.paranamer.BytecodeReadingParanamer$ClassReader....
2020-05-18 14:24:50
1126
2
原创 hadoop动态添加和动态删除节点
目录一、动态添加节点1.前提准备2.系统配置3.hadoop动态添加节点二、动态删除节点1.动态删除DataNode节点与NodeManager节点2.动态删除DataNode节点与NodeManager节点的另一种方式一、动态添加节点1.前提准备假设之前有三台服务器来安装Hadoop192.168.0.102 hadoop102192.168.0.103 hadoop103192.168.0.104 hadoop104现在增加一台机器192...
2020-05-15 17:19:18
853
原创 CentOS7安装mysql后无法启动服务，提示Unit not found
1、最近在centos7上面的MySQL挂掉后，无法启动，报如下错误：Failed to start mysql.server.service: Unit not found.2、解决办法一：使用MariaDB代替mysql数据库（MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。）yum install mariadb...
2020-05-14 18:15:48
2010
原创 linux的su命令鉴定故障
前几天不知道服务器什么原因出现了使用普通用户进入root的时候，使用''su -''，出现鉴定故障解决办法：从普通用户进入root用户：sudo su root修改root的密码：passwd root或者在普通用户直接使用命令：sudo passwd root...
2020-05-14 16:58:51
671
原创 hadoop3.1.3下MapReduce操作出现错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster 问题解决方法
Hadoop3.1.3下成功安装后，进行MapReduce操作出现错误：错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster解决办法：① 在命令行下输入如下命令，并将返回的地址复制。$ hadoop classpath/usr/local/hadoop/hadoop-3.1.3/etc/hadoop:/usr/local/hadoop/hadoop-3.1.3//share/hadoop/common/lib/*:/usr/loc
2020-05-14 16:50:29
5763
9
原创 Hadoop 格式化时报错 java.lang.IllegalArgumentException: No class configured for qournal
hadoop配置完成后，格式化时报错，错误信息如下：2020-05-14 10:48:55,410 ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: No class configured for qournalat org.apache.hadoop.hdfs.server.namenode.FSEditLog.getJournalClass(FSEditLog.java:
2020-05-14 16:19:27
1129
原创 AnyDesk on macOS 遇见连接不上的问题
今天办公时需要远程连接一台mac，使用的远程工具就是AnyDesk，连了好久就是连不上，我这边一直出现连接结束的问题：官方文档：https://support.anydesk.com/AnyDesk_on_macOSmac这边显示（macOS Catalina的要求）从macOS Catalina开始，AnyDesk需要控制和记录的权限。在AnyDesk的主窗口AnyDesk- ID/A...
2020-03-10 14:50:37
10705
9
原创 Windows 安装软件时遇见 1152: Error extracting files to the temporary location
今天在安装软件时遇到了 1152: Error extracting files to the temporary location 的错误。百度上没有太多相关的方法，解决问题后整理一下解决问题的方法。希望对遇到相同问题的朋友有所帮助。如果从以前失败的安装中提取出一些“坏的”临时文件，则通常会发生将文件提取到临时位置的错误。清理那个文件夹，然后再试一次才是正确的方法。这意味着如果你将一个文件一...
2020-01-18 17:03:25
17338
1
原创 CentOS7下yum的卸载与安装
卸载查询原有的yum[root@localhost~]# rpm -qa |grep yumyum-plugin-fastestmirror-1.1.31-45.el7.noarchyum-metadata-parser-1.1.4-10.el7.x86_64yum-3.4.3-158.el7.centos.noarch卸载原有的yum[root@localhost ~]# rpm...
2020-01-07 17:01:27
629
原创 Hadoop HA 分布式安装
假设以三台服务器来安装HadoopIP hostname 192.168.0.102 hadoop102 192.168.0.103 hadoop103 192.168.0.104 hadoop104 组件版本组件 版本 Java 1.8 zookeeper 3....
2020-01-02 22:47:09
231
原创 JDK安装与环境变量配置
一、工具jdk-8u202-windows-x64windows 10二、下载并安装JDK如果还没有下载JDK，请到Java的官网下载JDK安装包，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html，本文选择的是jdk-8u202。下载前需要选中“Accept License Agreement...
2019-03-26 17:40:21
525
4
原创 C# 读取AssemblyInfo文件中的属性值
using System;using System.Collections.Generic;using System.Linq;using System.Reflection;using System.Text;using System.Threading.Tasks;namespace TestAutoUpdate{ /// <summary> //...
2019-03-21 17:15:25
2622
原创 解决Java编译错误：编码GBK的不可映射字符
新建的Java文件保存时encoding为UTF-8，出现编码GBK的不可映射字符的错误。由于文件中包含中文，javac编译时报错，错误是“出现编码GBK的不可映射字符”。解决办法：1.使用javac -encoding UTF-8 TestIf.java编译通过2.修改文件的encoding编码格式为ANSI编译通过...
2019-03-03 22:13:14
29310
3
转载 代码分支及版本管理规范
目的为了规范代码库分支管理 和 版本管理，使代码分支及版本结构清晰，方便维护，并避免由于维护造成的错误的版本发布等问题。适用范围适用于所有项目。规范 Git 分支管理 通常每个应用或者是二方库的代码将包括 master(生产分支)、develop(开发分支)、release(发布分支)、hotfix(补丁分支)、feature(功能分支)分支，release、h...
2019-02-21 17:23:33
381
原创 python练习12
题目：判断101-200之间有多少个素数，并输出所有素数。 #!/usr/bin/python# -*- coding: UTF-8 -*-#from math import sqrtprime = []flag = Truefor i in range(101, 201): k = int(sqrt(i)) for j in range(2, k + 1): ...
2018-11-15 23:27:38
90
原创 C# DataGridView 冻结列或行
1.冻结列把DataGridView的Columns中Frozen属性为True，此时在该列左侧的所有列都被冻结（即被固定了），横向滚动时固定列不随滚动条滚动而左右移动。代码如下：// 固定左侧2列，即固定表格中的第0列，第1列dataGridView1.Columns[1].Frozen = true;2.冻结行把DataGridView的Rows中Frozen属性为True...
2018-11-15 09:54:15
6478
原创 SQL Server备份失败
今天在备份数据库时出现了错误，错误信息大概为System.Data.SqlClient.SqlError: 无法打开备份设备 'C:\Ocean_PCMSystem-完整 数据库 备份.bak'。出现操作系统错误 5(拒绝访问。)。 (Microsoft.SqlServer.Smo)。出现这种错误的主要原因是因为所选择备份的文件夹没有相应的权限，所以必须文件夹添加SQLServer20...
2018-10-30 11:41:33
4208
1
原创 python练习11
先解决一个获取 100 以内质数的问题。质数（prime number）又称素数，有无限个。质数定义为在大于1的自然数中，除了1和它本身以外不再有其他因数。#!/usr/bin/python# -*- coding: UTF-8 -*-nums = []for i in range(2, 101): for j in range(2, i): if n...
2018-10-17 23:53:40
104
原创 python练习10
题目：暂停一秒输出，并格式化当前时间。from time import sleep,localtimeprint("{0}/{1}/{2} {3}:{4}:{5}".format(localtime().tm_year,localtime().tm_mon,localtime().tm_mday,localtime().tm_hour,localtime().tm_min,localt...
2018-10-16 23:14:07
107
原创 python练习9
题目：暂停一秒输出。分析：使用time模块中的sleep()函数。# 暂停一秒输出。import timelst = [1, 2, 3, 4]for item in lst: time.sleep(1) # 暂停1秒 print(item) ...
2018-10-14 23:44:50
90
原创 python练习8
题目：输出 9*9 乘法口诀表。分析：i控制行，j控制列#!/usr/bin/env python#coding:utf-8for i in range(1, 10): for j in range(i+1): if(j == 0): continue print('%d * %d = %d' % (i, j, i ...
2018-10-12 23:09:43
105
原创 python：递归案例之阶乘，幂，二分查找
一、递归之阶乘假设你要计算数字n的阶乘。n的阶乘为n×(n-1)×(n-2)×┈×1，在数学领域的用途非常广泛。例如，计算将n个人排成一队有多少中方式。如何计算阶乘呢？可使用循环。def factorial(n): result = n for i in range(1, n): result *= i result result这种实现可行，...
2018-10-10 23:06:48
445
原创 python练习7
题目：将一个列表的数据复制到另一个列表中。1.使用切片ls = [1, 2, 3]ly = ls[:] # 使用切片print(ly)2.使用list()函数ls = [1, 2, 3]ly = list(ls)print(ly)3.使用列表的copy()函数，这类似于使用ls[:]或list(ls)，它们也都复制ls。ls = [1, 2, 3]ly = ...
2018-09-28 23:07:12
144
原创 C# 写入CSV文件
最近做了一个小Demo，需要导出CSV文件。/// <summary>/// 保存CSV文件/// </summary>/// <param name="path">文件夹路径</param>/// <param name="fileName">文件全路径</param>/// <param name="...
2018-09-28 14:37:16
6674
6
原创 python练习6
题目：斐波那契数列。斐波那契数列（Fibonacci sequence），又称黄金分割数列、因数学家列昂纳多·斐波那契（Leonardoda Fibonacci）以兔子繁殖为例子而引入，故又称为“兔子数列”，指的是这样一个数列：1、1、2、3、5、8、13、21、34、……在数学上，斐波纳契数列以如下被以递推的方法定义：F(1)=1，F(2)=1, F(n)=F(n-1)+F(n-2)（n&g...
2018-09-23 23:20:18
225
原创 python练习5
# 题目：输入三个整数x,y,z，请把这三个数由小到大输出。程序分析：我们想办法把最小的数放到x上，先将x与y进行比较，如果x>y则将x与y的值进行交换，然后再用x与z进行比较，如果x>z则将x与z的值进行交换，这样能使x最小。方法一：# 排序def sort(x,y,z): if(x > y): x, y = y, x if(x &...
2018-09-21 23:21:57
174
原创 python练习4
题目：输入某年某月某日，判断这一天是这一年的第几天？方法一：# 判断是否是闰年def isLeapYear(year): # 1、能整除4且不能整除100 2、能整除400 if((year % 4 == 0 and year % 100 != 0) or year % 400 == 0): # 如果是闰年，返回True return ...
2018-09-20 23:02:22
244
原创 python练习3
题目：一个整数，它加上100后是一个完全平方数，再加上168又是一个完全平方数，请问该数是多少？方法一：import math# 打印出在10000范围内符合条件的值for i in range(10000): m = int(math.sqrt(i + 100)) n = int(math.sqrt(i + 100 + 168)) if(m * m == ...
2018-09-20 21:52:38
148
原创 python练习2
题目：企业发放的奖金根据利润提成。利润(I)低于或等于10万元时，奖金可提10%；利润高于10万元，低于20万元时，低于10万元的部分按10%提成，高于10万元的部分，可提成7.5%；20万到40万之间时，高于20万元的部分，可提成5%；40万到60万之间时高于40万元的部分，可提成3%；60万到100万之间时，高于60万元的部分，可提成1.5%，高于100万元时，超过100万元的部分按1%提成，...
2018-09-16 00:06:34
93
原创 python练习1
题目：有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？# !/usr/bin/env python# -*- coding:utf-8 -*-def func(n, m): # 填充百位 for i in range(n, m): # 填充十位 for j in range(n, m): ...
2018-09-15 22:11:41
90
C#之实现Scoket心跳机制
2018-07-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人