- 博客(24)
- 收藏
- 关注
RSS订阅
原创 hadoop+eclipse 安装插件hadoop-eclipse-plugin-2.7.6.jar不能在eclipse中识别
我们已经习惯了windows，希望在Windows上进行hadoop代码开发，因为方便调试，如果要搭建这个运行环境，我们需要安装插件hadoop在eclipse中的插件hadoop-eclipse-plugin-2.7.6.jar包。**一、下载hadoop-eclipse-plugin-2.7.6 .jar**，然后将其放在我们安装的eclipse软件下面的dropins或者plugins文件...
2019-06-25 16:53:46
1841
5
原创 禁用防火墙
禁用防火墙及SELinux1.在安装集群或者其他应用时，需要与部署集群主机通信，因此特定的端口必须打开。最简单的实现方式是执行下面的命令禁用防火墙：2.禁用SELinux插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FL...
2019-06-25 10:20:17
553
原创 IDEA远程连接mysql操作数据库java.sql.SQLException: Access denied for user ‘root‘@‘111.79.225.30‘ (using passwo
IDEA远程连接mysql操作数据库java.sql.SQLException: Access denied for user 'root'@'111.79.225.30' (using passwo通过一下连接出现以上问题 Class.forName("com.mysql.cj.jdbc.Driver"); String dburl = "jdbc:mysql://121.37.xx2.1xx/DB?&useSSL=false&serverTimezone=UTC"
2020-11-12 14:54:46
364
原创 IDEA打包出错：[ERROR] The specified user settings file does not exist: C:\Users\Administrator\.m2\setting
IDEA打包出错：[ERROR] The specified user settings file does not exist: C:\Users\Administrator.m2\setting如下图解决方法：File——settings——Build，Excution，Deployment——Maven之后再clean打包就不会出现以上错误了...
2020-09-26 15:47:57
14551
2
原创 Java Matrix包的下载
在大数据开发时，经常用到PCA去数据噪音，然而基于spark的scala语言容易加载不到包，因此还是回到原来的使用JAVA实现；在开发时候需要到入Java Matrix包：import Jama.Matrix;该包的下载地址https://math.nist.gov/javanumerics/jama/也可以通过搜索maven jama的方式为IDEA加入其包的依赖<!-- https://mvnrepository.com/artifact/jama/jama -->&
2020-09-24 22:07:50
801
原创 安装启动azkaban的server和executor时报错Error:Could not initialize class org.apache.derby.jdbc.AutoloadedDrive
问题描述：安装启动azkaban的server和executor时报错Error:Could not initialize class org.apache.derby.jdbc.AutoloadedDrive原因：是在azkaban的server和executor中缺少一个derby.jar的包解决办法：下载db-derby-10.14.2.0-bin.tar.gz 解压之后将derby.jar拷贝到azkaban的server和executor下的extlib下，即可derby下载地址：
2020-08-18 08:47:43
237
原创 搭建hadoop HA高可用集群启动其中一个namenode其中之后，没一会挂掉
出现的问题现象：start-dfs.sh启动时警告：[hadoop@yunmaster1 ~]$ start-dfs.shyunmaster1: /home/hadoop/apps/hadoop-2.7.6/sbin/hadoop-daemon.sh: line 131: 22401 Killed nohup nice -n $HADOOP_NICENESS $hdfsScript --config $HADOOP_CONF_DIR $command "$@" &g
2020-08-16 17:24:55
1020
原创 flume抽取数据时：java.lang.OutOfMemoryError: GC overhead limit exceeded
flume抽取数据时：java.lang.OutOfMemoryError: GC overhead limit exceeded错误错误日志如下：Exception in thread "PollableSourceRunner-SQLSource-r1" java.lang.OutOfMemoryError: GC overhead limit exceeded at org.keedio.flume.source.SQLSource$ChannelWriter.write(SQLS
2020-08-13 12:24:55
423
原创 搭建hadoop集群设置hadoop-env.sh中JAVA堆内存参数导致以下问题
搭建hadoop集群设置hadoop-env.sh中JAVA堆内存参数导致以下问题 hadoop Invalid maximum heap size: -Xmx4096Mm Error: Could not create the Java Virtual Machine. Error问题分析：出现这个问题是因为设置堆内存参数时设置语句错误一开始错误的配置如下：export HADOOP_HEAPSIZE="4096"export HADOOP_NAMENODE_INIT_HEAPSIZE="204
2020-08-12 20:16:22
1274
1
原创 Hadoop集群的执行作业时一直卡着不动问题的解决
现象描述：当我们搭建好集群之后，初次执行hadoop作业时成功的，但是过了一段时间之后会一直卡着不能继续执行，想要重启集群，但是考虑到可能会造成数据丢失，这种情况下该怎么办呢。现象如下：20/08/04 11:02:53 INFO input.FileInputFormat: Total input paths to process : 120/08/04 11:02:53 INFO mapreduce.JobSubmitter: number of splits:120/08/04 11:02:5
2020-08-05 09:28:57
2860
原创 《matlab神经网络43个案例》第三章遗传算法优化BP神经网络代码纠错
问题描述：直接运行的Genetic文件 i = 1索引超出矩阵维度。出错 Cross (line 33) v2=chrom(index(2),pos);出错 Genetic (line 70) individuals.chrom=Cross(pcross,lenchrom,individuals.chrom,sizepop,bound);解决：将select中的pick=pick-sumf(i);改成pick=pick-sumf(j);即可...
2020-07-17 17:30:38
1237
7
原创 Hadoop运行sqoop任务时一直卡在: mapreduce.Job: Running job: job_1593343246519_0035
问题描述：Hadoop运行sqoop任务时一直卡在: mapreduce.Job: Running job: job_1593343246519_0035大数据集群在搭建的时候，格式化之后，运行典型的例子是可以的，但是为什么会出现这个问题呢，是因为yarn管理的内存资源不够了，在分配给MR作业运行的时候，jvm获得的运行内存低下，因此会卡着。计算：每个hadoop守护进程使用1000MB内存，因此需要2000MB内存来运行一个datanode和一个节点管理器，另外，还要为运行在本机上的其他进程保留足够内
2020-06-29 18:28:17
2646
2
原创 华为云部署zeppelin-0.8.2安装成功，浏览器连接不上访问
zeppelin安装成功，浏览器连接不上访问，原因一，用以下确定了其状态是安装成功的#zeppelin-daemon.sh statusZeppelin is running [ OK ]但是在浏览器访问使用IP+端口号的时候不能访问，原因二确认端口号有没有占用，比如8080端口lsof -i:8080如果占用用户可以zeppelin-site.xml这个配置文件注意：zeppelin-0.8.2版本不能
2020-06-10 21:47:53
581
原创 Flume1.9的安装
1.上传 apache-flume-1.9.0-bin.tar.gz2.解压[hadoop@master apps]$ tar -zxvf apache-flume-1.9.0-bin.tar.gz3.配置环境变量#vi ~/.bashrcexport FLUME_HOME=/home/hadoop/apps/apache-flume-1.9.0-binexport PATH=$PATH:$FLUME_HOME/bin#使变量设置生效#source ~/.bashrc4.修改配置文件
2020-06-08 17:14:22
750
原创 centos下完全卸载mysql
centos下完全卸载mysql1.新开的云服务器，需要检测系统是否自带安装mysql# yum list installed | grep mysqlyum方式安装的mysql1、yum remove mysql mysql-server mysql-libs compat-mysql51 2、rm -rf /var/lib/mysql 3、rm /etc/my.cnf #记得cd /etc下删除my.cnf这个配置文件查看是否还有mysql软件：rpm -qa|grep mysql如果存
2020-05-29 10:13:37
216
原创 华为云搭建hadoop大数据之启动start-dfs.sh出现问题
华为云搭建启动hadoop大数据平台时可能出现The authenticity of host ‘master (192.168.0.154)’ can’t be established.华为云搭建启动时可能出现Starting namenodes on [master slave1]The authenticity of host ‘master (192.168.0.154)’ can’t be established.ECDSA key fingerprint is SHA256:QguAFI/
2020-05-28 16:56:57
484
原创 华为云搭建hadoop大数据之格式化zookeeper问题
华为云搭建hadoop大数据之格式化zookeeper问题华为云搭建hadoop大数据之格式化zookeeper问题：在搭建HADOOP集群时，在格式化ZKFC时，总报org.apache.hadoop.HadoopIllegalArgumentException: Bad argument: –formatZK。原因是原因是因为在进行zookeeper格式化时我们习惯了复制 hdfs zkfc -formatZK 命令到命令行。解决办法英文状态下手动收入 hdfs zkfc -format
2020-05-28 16:49:14
575
原创 华为云搭建hadoop大数据平台不能通过http://xx.xx.xx.xx:50070/ 访问hadoop页面
华为云搭建hadoop大数据平台不能通过http://xx.xx.xx.xx:50070/ 访问hadoop页面华为云服务器在网页里面访问web界面时需要华为云【安全组】开放所需端口，50070端口！操作如下点击 20 之后，点击 添加规则 ，注意是添加入口规则 ，在左侧添加 你要开放的端口号即可，比如我要开放的端口是 50070 我就填这个，然后点击 确定 即可 如下图：华为云服务器在网页里面访问web界面时需要华为云【安全组】开放所需端口，50070端口！操作如下华为云服务器在网页里面访问web界
2020-05-28 16:01:20
487
原创 EXCEL跨列找出每一行最小值
**本案列用于对隔列同行挑选出每一行的最小值** **测试：对A、C、E三列的数据进行横向比较，标出最小值** 选中数据区域，条件格式→新建规则，输入以下公式，然后点击 格式 选择标记需要的颜色=a1=min(a1,a1,a1,c1,$e1)公式解释：注意引用是用英文的逗号分开3. 点击 确定 完成即可，如下图...
2019-10-26 11:06:54
4088
原创 挑出区域内每一行最小值，并标记颜色
1.选中需要标记的区域，如下图2.单击菜单“格式”—》“条件格式”—》新建规则3.点击 使用公式确定要设置格式的单元格4.输入公式以下公式，并点击 格式 进行颜色标记即可，如下图（注意输入公式是在英文状态下输入）=a1=min(a1:a1:a1:d1)公式说明min是挑出最小值，a1:a1:a1:d1 是引用单元格地址，如果我们要算的是B1到D1这段的最小值，那么把公式改为...
2019-10-22 09:40:05
10568
原创 高可用hadoop集群namenode格式化启动异常
etry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)19/08/04 10:37:22 WARN namenode.NameNode: Encountered exception during format:org.apache.hadoop.hdfs.qjo...
2019-08-04 11:05:43
572
原创 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR
sqoop 从mysql导出数据到hive，出现下面错误：19/07/19 09:27:54 INFO hive.HiveImport: Loading uploaded data into Hive19/07/19 09:27:54 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make...
2019-07-19 22:01:25
436
原创 centos6.10如何安装图形界面
一、登录系统默认是命令行的文本界面，输入账号密码登录，如下面所示：二、yum安装desktop登录完成以后，使用yum命令就可以直接安装图形化桌面，安装命令是：yum groupinstall “Desktop”yum命令会自动分析需要的依赖报，然后下载所有安装包，如下面图中所示：三、修改为图形界面配置包的数量是223，耐心等待安装完毕，安装完成后，执行下面的命令：sed -...
2019-06-28 10:11:17
3595
原创 centos6.X 如何ping通访问外网
如果我们需要虚拟机访问外网，那么我们需要修改dns服务器，使用以下命令加入几行：vim /etc/resolv.conf加入域名dns设置：nameserver 你想要访问的服务器IPnameserver 8.8.8.8nameserver 8.8.4.4nameserver 114.114.114.0如下图所示这样就可以ping通了，用ping www.baidu.com...
2019-06-25 10:46:15
820
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人