- 博客(27)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅翻译 Arifactory官方文档翻译Maven Repository
OverviewAs a Maven repository, Artifactory is both a source for artifacts needed for a build, and a target to deploy artifacts generated in the build process. Maven is configured using a settings.xml...
2020-03-19 21:07:02
531
原创 RDD操作aggregate学习
//利用aggregate操作计算均值 public static void aggregateDemo(JavaSparkContext sc){ /** * 创建RDD 最简单的方式就是把程序中一个已有的集合传给SparkContext 的parallelize()方法 * Scala：val lines = sc.parallel...
2019-11-21 18:56:13
408
原创 RDD操作combineByKey学习
public static void combineByKeyDemo(JavaSparkContext sc){ // JavaPairRDD input = sc.parallelize(Arrays.asList((1,2),(4,1))); JavaPairRDD pariRdd = sc.parallelize(Arrays.asList("a a a d...
2019-11-21 18:52:08
313
原创 java.util.Arrays$ArrayList cannot be cast to java.util.Iterator
报错：java.util.Arrays$ArrayList cannot be cast to java.util.Iterator原代码JavaRDD<String> words=input.flatMap(new FlatMapFunction<String, String>() { @Override public...
2019-11-18 20:08:00
1913
原创 java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V
原因：Stopwatch在google的guava包下，检查guava，原因就是guava包冲突解决：1、 找到guava包位置，删除多余包2、 使用spark时，可能会遇上该问题，因为spark依赖低版本的guava，删除高版本，在Maven中添加低版本guava依赖：<dependency> <groupId>com.google.guava</gr...
2019-11-18 19:07:17
3972
1
原创 Spark学习笔记（二）Spark工作模式
Spark on YARNClient模式Spark Yarn Client向YARN的ResourceManager申请启动Application Master。同时在SparkContent初始化中将创建DAGScheduler和TASKScheduler等，由于是Yarn-Client模式，程序会选择YarnClientClusterScheduler和YarnClientSchedu...
2019-11-14 20:09:17
167
原创 python开启http服务&nohup报错
Python中自带http服务器程序Python2：SimpleHTTPServerPython3：http.server基本使用在python3中使用方法是在web目录下运行命令：python -m http.server如果需要后台运行，可在命令后加"&"符号，Ctrl+C不会关闭服务如下：python -m http.server &如果要保持服务，则在命令...
2019-11-14 11:27:27
1131
转载 解决linux环境下nohup: redirecting stderr to stdout问题
转载链接：https://blog.csdn.net/educast/article/details/28273301在生产环境下启动Weblogic时，发现原来好好的nohup信息输出到指定文件中的功能，突然出问题了。现象是控制台输出的信息一部分输出到了我指定的文件，另一部分却输出到了nohup.out，而我是不想让它产生nohup.out文件，不知道是什么原因。我的启动命令是这样的：no...
2019-11-14 11:18:52
163
原创 YARN架构学习
YARN架构YARN是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。核心思想：将MP1中JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager（全局）和ApplicationMaster（每个应用程序都有一个）进程来实现。YARN的出现，使得多个计算框架可以运行在一个集群当中（每个应用程序对应一个ApplicationMaster）。目前可...
2019-11-09 16:20:13
385
原创 调度器学习（一）
FIFO早期的Hadoop使用FIFO（先进先出）调度算法，典型情况下，每个作业都会使用整个集群，因此其他作业必须等待。问题是有些生产作业需要及时完成，同时还要保证正在进行较小临时查询的用户能够在合理时间内得到返回结果。后来，设置了作业优先级的功能，可以通过设置mapred.job.priority属性或者JobClient的setJobPriority()方法来设置优先级。在作业调度器在选...
2019-11-09 16:13:46
172
原创 MapReduce1.0作业提交过程
客户端提交MapReduce程序到Job，job的submit()方法，创建一个JobSummiter实例，并且调用其submitJobInternal()方法。注：jobtracker是一个java应用程序，它的主类是JobTracker。Job会向jobtracker请求作业ID（通过调用JobTracker的getnewJobId()方法获取）。接下来它会做检查操作，这个检查就是确定...
2019-11-07 19:49:50
183
原创 spark学习笔记（一）基础
参考链接https://www.jianshu.com/p/3aa52ee3a802https://www.cnblogs.com/Mayny/p/9330436.htmlhttps://www.cnblogs.com/tgzhu/p/5818374.html计算框架Spark架构采用了分布式计算中的Master-Slave模型，Master是对应集群中的含有Master进程的节点，S...
2019-11-07 19:42:18
215
原创 IDEA 报错 Module is not specified
估计原因：重新导入 module时，idea没有识别出 module选项解决：Edit Configuration -> Configuration -> Use classpath of module -> 选择正确的module
2019-11-05 11:23:55
861
原创 日志随笔（slf4j门面）
日志门面——日志的统一接口层（抽象）日志门面日志实现JCL、SLF4J、jboss-logginglog4j、Jul、log4j2、logback先选择门面，后选择日志实现。在开发中，日志方法调用，不应直接调用日志实现类，而是调用日志抽象层的方法；Spring框架默认使用JCL；SpringBoot选用SLF4J+logback统一日志统一日志，有些框架是用来...
2019-10-11 12:16:01
97
原创 SpringBoot JPA 中无法注入 JpaRepository 接口的问题及解决方案
SpringBoot JPA 中无法注入 JpaRepository 接口的问题及解决方案引入JpaRepository依赖，spring boot只需定义仓库接口，在应用程序启动后，该接口在运行时会自动实现。但我使用jpa时发生错误，找不到我定义的 Repository接口的实现类。报错如下：required a bean named ‘xxx.xxx.xxx’ that could n...
2019-09-30 11:33:57
2191
原创 SpringBoot报错：Failed to configure a DataSource
错误：Failed to configure a DataSource: ‘url’ attribute is not specified and no embedded datasource could be configured.Reason: Failed to determine a suitable driver class解决：1、添加 application.properti...
2019-09-30 11:16:04
198
原创 spring config类报错 nested exception is java.lang.StackOverflowError
陷入死循环。。。错误很低级：原代码：@Beanpublic football football(){return football();}解决：@Beanpublic football football(){return new football();}漏了一个new…尴尬...
2019-09-27 11:45:09
473
原创 JS JSP HTML CSS概念
前段时间，因为项目展示，做了一个OD分析的web可视化，主要用了echart实现，因为自己是前端小白，连JS、HTML是什么都不了解，花了一些时间去看了相关概念，在此整理一下。JS：JavaScript是一种直译式脚本语言，是一种动态类型、弱类型、基于原型的语言，内置支持类型。它的解释器被称为JavaScript引擎，为浏览器的一部分，广泛用于客户端的脚本语言，最早是在HTML（标准通用标记语...
2019-09-23 15:48:30
2666
原创 Echart资源网站
Echart官网地址：https://www.echartsjs.com/官网demo集合：https://www.echartsjs.com/examples/zh/index.html#chart-type-dataset完整版（官网下载都是定制版，很难一下子找到完整版） ：https://www.7down.com/soft/214165.html...
2019-09-23 10:38:46
2029
1
原创 Spring容器启动概括
最近在看 《spring3.x企业开发实战》，算是读书笔记吧Spring容器高层视图 要使 应用程序的 Spring容器成功启动，需要具备以下三个条件：Spring框架的类包都已经放在应用程序的类路径下；（Spring依赖）应用程序为Spring提供完备的bean配置信息；（bean元数据）bean的类都已经放在应用程序的类路径下。（应用程序的实现） Spr...
2019-09-06 12:08:39
91
原创 IO流学习
参考链接：https://www.cnblogs.com/QQ846300233/p/6046388.htmlhttps://www.jianshu.com/p/e1416f026c3dIO流流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。字符流和字节流根据...
2019-09-06 11:57:20
140
1
原创 动态代理学习
动态代理代理模式(Proxy)定义：给目标对象提供一个代理对象，并由代理对象控制对目标对象的引用在代理模式中，是需要代理对象和目标对象实现同一个接口（如果是不同的接口，那就是适配器模式了）代理模式最最最主要的原因就是，在不改变目标对象方法的情况下对方法进行增强，比如，我们希望对方法的调用增加日志记录，或者对方法的调用进行拦截，等等…举例：有接口有say方法:public interf...
2019-09-06 11:51:16
129
1
原创 反射学习
反射反射机制是在【运行状态】中：对于任何一个类，都能知道该类的所有属性与方法；对于任何一个对象，都能调用它的任意一个方法与属性；反射提供的功能：1、在运行时判断任意对象所属的类；2、在运行时构建任意类的对象；3、在运行时判断任意类所具有的成员变量与方法‘4、在运行时调用任意对象的方法；5、生成动态代理反射方法详解：public class rTest { public...
2019-09-06 11:44:17
103
1
原创 spring Application报错：LoggerFactory is not a Logback LoggerContext but Logback is on the classpath.
springboot application报错：LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing implementation (class org.slf4j.impl.Log4jLoggerFactory...
2019-09-05 11:22:01
715
转载 To display the conditions report re-run your application with ‘debug’ enabled
只需要在启动类上的注解@SpringBootApplication中加(exclude = {DataSourceAutoConfiguration.class})即可原文：https://blog.csdn.net/weixin_41432270/article/details/83575402
2019-09-04 15:28:37
1620
转载 使用@springbootapplication报错Spring Boot Application in default package：
使用@springbootapplication报错Spring Boot Application in default package：报错：Spring Boot Application in default package less… (Ctrl+F1)Inspection info: Checks Spring Boot Application Setup解决：是因为把main ...
2019-09-04 15:27:41
1659
原创 maven POM配置学习笔记
Maven & POMMaven是一个项目管理和综合工具。Maven提供了开发人员构建一个完整的生命周期框架。开发团队可以自动完成项目的基础工具建设，Maven使用标准的目录结构和默认构建生命周期。在多个开发团队环境时，Maven可以设置按标准在非常短的时间里完成配置工作。由于大部分项目的设置都很简单，并且可重复使用，Maven让开发人员的工作更轻松，同时创建报表，检查，构建和测试自...
2019-09-04 15:14:31
522
Spark机器学习.pdf
2019-07-17
Spring 3.x企业应用开发实战（带目录）.rar
2019-07-17
SpringBoot实战（带目录）.rar
2019-07-17
数据挖掘：概念与技术 原书第03版(
2017-04-24
map 和 reduce0%就失败了，能帮我看看是什么原因吗？
2017-06-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人