- 博客(36)
- 资源 (22)
- 收藏
- 关注
RSS订阅原创 Maven报错：Failed to execute goal org.apache.maven.plugins之解决方法
Idea maven打包时,报错:Failed to execute goal org.apache.maven.plugins。
2024-04-10 10:16:32
333
原创 Idea git撤销本地提交代码
git快去撤销本地提交代码，可以用revert ，revert后不提交，删除调revert记录，重新修改提交代码就可以了。
2024-03-14 10:07:26
397
原创 2020-12-07
微信开发如何屏蔽投诉按钮（附代码）代码如下：<script type="text/javascript"> var wx= (function(){ return navigator.userAgent.toLowerCase().indexOf('micromessenger') !== -1 })(); if(wx){ if (typeof WeixinJSBridge == undefi
2021-08-06 20:47:00
382
原创 2021-05-16
win10用之前的idea.2018.win不能正常启动springboot，试了各种办法，只能下载最新的idea.2021.1.win不用配置就可以 用。
2021-05-16 17:20:27
115
原创 2020-12-07
no datanode to stop错误原因：datanode的clusterID 和 namenode的 clusterID 不匹配。解决办法:1、 打开 hadoop/tmp/namenode/name/dir 配置对应目录下的 current 目录下的 VERSION 文件，拷贝clusterID；2、修改所有datanode节点，打开 hadoop/tmp/datanode/data/dir 配置对应目录下的 current 目录下的 VERSION 文件，用拷贝的 cl..
2020-12-07 12:03:07
132
原创 springboot项目中 查询自动加上order by create_time问题及解决方案
发现mybatis 查询自动加入order by create_time 是因为接收参数是实体继承pageDomain pageDomain中含有orderByColumn 默认按照create_time去排序
2020-09-22 10:28:39
2343
原创 mysql查询时间总结
当天select * from `order` where to_days(输入时间字段名) = to_days((输入时间字段名);昨天SELECT *FROM`order`WHERE TO_DAYS( NOW( ) ) - TO_DAYS(输入时间字段名) <= 17天SELECT *FROM`order` where DATE_SUB(CURDATE(), INTERVAL 7 DAY) <= date(输入时间字段名)近30天SELECT *FRO...
2020-09-17 10:45:27
213
原创 Canonical names should be kebab-case (‘-‘ separated), lowercase alpha-numeric characters and must
springboot yml配置处理如下错误Canonical names should be kebab-case ('-' separated), lowercase alpha-numeric characters and must start with a letter原因 配置文件不能用驼峰式，不能用下划线，可以用-
2020-07-27 16:33:38
2381
原创 java实现一个list里面其中两个属性相乘,乘积再累加reduce
Double ss = orderList.stream().reduce(0.0, (x, y) -> x + (y.getNum() * y.getPrice()), Double::sum);
2020-05-29 16:49:29
4998
原创 Windows route add command failed
Windows route add command failed出现此错误需要管理员安装openvpn和管理员运行vpn gui
2020-02-03 18:01:19
10185
原创 spark 二次排序 文件数据较大情况下
数据较大时，不能基于内存，可以基于spark框架实现x,2,9y,2,5x,1,3y,1,7y,3,1x,3,6z,1,4z,2,8z,3,7z,4,0p,4,7p,1,9p,6,0p,7,3package com.gao.mapreduceSparkimport org.apache.spark.SparkConfimport org.apache.s...
2019-08-28 17:34:23
208
原创 spark 二次排序 文件数据较少情况下
package com.gao.mapreduceSparkimport org.apache.spark.{SparkConf, SparkContext}object SecondarySortByMemory { def main(args: Array[String]): Unit = { // if (args.length != 2) { pr...
2019-08-28 17:31:10
119
原创 关于pyspider与phantomjs的phantomjs exited以及输入命令pyspider all不启动webui的解决方法
http://localhost:5000无法访问原因：可以能是async是关键字修改以下文件：C:\Python37\Lib\site-packages\pyspider\run.pyC:\Python37\Lib\site-packages\pyspider\fetcher\tornado_fetcher.pyC:\Python37\Lib\site-packages\pys...
2019-08-09 14:37:00
701
原创 pyspider 启动错误
Traceback (most recent call last): File "C:\Python37\Scripts\pyspider-script.py", line 11, in <module> load_entry_point('pyspider==0.3.10', 'console_scripts', 'pyspider')() File "C:\Pyt...
2019-08-09 14:33:35
1033
原创 Linux系统时间同步方法总结
但在Linux下，默认情况下，系统时间和硬件时间并不会自动同步。在Linux运行过程中，系统时间和硬件时间以异步的方式运行，互不干扰。硬件时间的运行，是靠BIOS电池来维持，而系统时间，是用CPU Tick来维持的。在系统开机的时候，会自动从BIOS中取得硬件时间，设置为系统时间。1. Linux系统时间的设置//查看时间[root@node1 ~]# dateTue Feb 25...
2019-08-06 11:19:26
179
原创 三台机器互相免密登录2
#三台机器互相免密登录2#1、cdh1机器执行以下命令[root@cdh1 ~]# ssh-keygen -t rsa[root@cdh1 ~]# cd ~/.ssh/[root@cdh1 .ssh]# cp id_rsa.pub authorized_keys[root@cdh1 .ssh]# ssh-copy-id -i cdh1[root@cdh1 .ssh]# ssh-cop...
2019-08-05 15:14:47
178
原创 三台机器互相免密登录
#三台机器互相免密登录#1、三台机器执行以下命令[root@cdh1 ~]# ssh-keygen -t rsa[root@cdh2 ~]# ssh-keygen -t rsa[root@cdh3 ~]# ssh-keygen -t rsa#2、进入/.ssh/目录 该目录存放密钥对[root@cdh1 ~]# cd ~/.ssh/#3、新建authorized_keys并设置权限...
2019-08-05 15:00:09
2265
1
原创 spark Hadoop 高可用模式下读写hdfs
第一种，通过配置文件 val sc = new SparkContext() sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://ns"); sc.hadoopConfiguration.set("dfs.nameservices", "ns"); sc.hadoopConfiguration.set("dfs.h...
2019-07-09 15:22:46
572
原创 Spark读取HA模式下的HDFS
通过配置参数的方式访问 HA模式不同于普通模式直接使用ip:8020这种方式访问。HA模式使用多NameNode，直接访问NameNode是不被允许的，所以为HDFS集群另外设置了一个命名空间namespace，以及两个NameNode的名称，在访问时候直接访问namespace即可。访问方式有两种，需要依赖Hadoop-Client包。在Spark中：通过配置参数的方式访问...
2019-07-03 11:06:39
2435
1
转载 Yarn application has already ended! It might have been killed or unable to launch application maste
https://www.cnblogs.com/tibit/p/7337045.html
2019-07-03 10:27:17
244
原创 org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG 异常解决办法
方法2：/bin/hbase zkcli（此种方法可行） ls /hbase/table 如果有下面的表：SYSTEM.CATALOG, SYSTEM.SEQUENCE, SYSTEM.STATS, and SYSTEM.FUNCTION，则执行如下命令 rmr /hbase/table/SYSTEM.CATALOG rmr /hbase/table/SYSTEM....
2019-06-05 17:44:51
2136
原创 康威定律
在系统划分时，也要思考康威定律系统架构是公司组织机构的反映。 应该按照业务闭环进行系统拆分/组织架构划分，实现闭环/高内聚/低耦合，减少沟通成本。 如果沟通出现问题，那么就应该考虑进行系统和组织架构的调整。 在合适时机进行系统拆分，不要一开始就把系统/服务拆的非常细，虽然闭环，但是每个人维护的系统多，维护成本高。...
2019-06-05 09:47:38
437
原创 墨菲定律
在设计系统时，应该多思考墨菲定律：1、任何事都没有表面看起来那么简单。2、所有的事都会比你预计的时间长。3、可能出错的事总会出错。4、如果你担心某种情况发生，那么它就更可能发生。...
2019-06-05 09:40:15
278
原创 Elasticsearch－基础介绍及索引原理分析
https://www.cnblogs.com/dreamroute/p/8484457.html
2019-05-29 10:03:15
125
原创 解决了dhcpd启动失败
问题：如果启动dhcpd失败。解决步骤：1.检查dhcpdsudodhcpd-t出现下面错dhcpd:bad subnet number/mask combination. subnet192.168.3.1原因是subnet网络地址最后一位必须是0,修改如下修改subnet192.168.3.0 netmask 255.255.255.0 {...
2019-05-25 08:09:48
13143
1
原创 Win10/ubuntu 双系统，彻底删除ubuntu (方法全，带图解)
在win7/Win8系统下安装ubuntu后，通过格式化磁盘的方式格式化ubuntu，在windows启动管理器中还残留了ubuntu的启动引导选项点击ubuntu，会提示无法加载操作系统。如何彻底删除这个引导呢？在系统配置中删除“引导”选项卡中的ubuntu，没有效果。方法/步骤1.以管理员身份运行命令提示符（win8下win+x，选择“命令提示符（管理员）”）。2.输入...
2019-05-09 10:10:40
6771
1
原创 一、关于Yarn的学习
关于Yarn的学习1、YARN的应用一些分布式计算框架（MapReduce，Spark等等）作为YARN应用运行在集群计算层（YARN）和集群存储层（HDFS和HBase）上。还有一层应用是建立在上图所示的框架之上。如PIg，Hive和Crunch都是运行在MR、Spark之上的处理框架。YARN的运行机制YARN通过两类长期运行的守护进程提供自己的核心服务：管理集群行资...
2019-05-08 15:20:17
466
原创 intellij idea 利用generatorConfig.xml反向生成java类
intellij idea利用generatorConfig.xml反向生成java类pom.xml 引入插件<plugin><groupId>org.mybatis.generator</groupId><artifactId>mybatis-generator-maven-plugin</artifactId&...
2019-04-19 14:50:09
1544
原创 没有启动yarn导致map任务无法执行。
19/04/10 23:20:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop01/192.168.42.133:803219/04/10 23:20:58 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not perfor...
2019-04-16 16:36:14
340
原创 开机自动启动hadoop伪集群
编辑 mkdir /app[root@hadoop01 ~]#vim /app/hadoop-start.sh[root@hadoop01 ~]#chmod +x /app/hadoop-start.sh[root@hadoop01 ~]#chmod +x /etc/rc.d/rc.local[root@hadoop01 ~]#vim /etc/rc.d/rc.local文件尾部...
2019-03-26 10:31:42
222
原创 手动启动hadoop
/usr/soft/hadoop-2.7.1/sbin/start-dfs.sh/usr/soft/hadoop-2.7.1/sbin/start-yarn.sh
2019-03-26 10:29:04
510
原创 java并发编程总结（一）并发编程挑战
1、多线程目的：让程序运行更快2、并发挑战：a、上下文切换：cpu通过时间片分配算法循环执行任务，当前任务执行一个时间片后会切换到下一个任务。任务从保存到再加载的过程就是一次上下文切换$vmstat 1解决：CAS算法（重点）使用最少线程：避免创建不要的线程，比如任务很少，倒是创建了很多线程来处理，这样会造成大量线程都处于等待状态。sudo -u admin /op...
2019-03-05 14:56:16
116
原创 idea中SpringCloud 报错“Could not autowire。No bean of 'XXXXXX' type found。“ 解决方案
原因： spring无法扫描到注入的bean。解决方案： 在项目启动类 Application中@SpringBootApplication(scanBasePackages = "com.XXX")加入红色部分及加入根pom设定的groupId。...
2019-03-05 14:51:01
2508
1
原创 Semaphore 用法
信号量主要有两种用途：1. 保护一个重要(代码)部分防止一次超过 N 个线程进入。如果你将信号量用于保护一个重要部分，试图进入这一部分的代码通常会首先尝试获得一个许可，然后才能进入重要部分(代码块)，执行完之后，再把许可释放掉。比如这样：public class SemphoreTest { private static final int THREAD_COUNT = 3...
2019-03-04 18:25:28
412
intellij idea 利用generatorConfig反向生成java类
2019-04-19
hadoop权威指南4中文版本和源码
2018-09-27
netty权威指南第二版源码 maven项目 支持messagepack
2018-09-05
centos6.6安装rabbitmq
2018-04-12
IBM之java性能诊断工具初探-IBM Support assitant的使用.docx
2017-04-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人