枫叶斋-CSDN博客

原创 Spark Yarn API 在线任务提交

针对在进行spark任务在线提交过程中遇到的问题和解决方案的一点分享。

2021-11-22 15:46:08 2975 7

spark任务在执行过程中动态加载远程（hdfs）的jar包，并实例化对象进行逻辑处理。记录过程中遇到的类加载问题。一、hdfs协议在实现动态加载的过程中URLClassLoader需要支持hdfs协议，hadoop有现成的处理方式。通过调整UrlStreamHanderFactory来实现URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());备注：需要添加hadoop相关的jar包 hadoop-common和hadoo

2020-08-25 16:22:28 1590 1

原创逻辑层对策略模式的使用

目前互联网的开发中非常喜欢用设计模式来降低各个模块之间的耦合。对于功能迭代非常快的互联网中，运用策略模式，能够非常方便的应对这种速度。将spring和策略模式的结合，更是事半功倍。下面就说说后台开发的过程中怎么运用策略模式来应对这种变化。1：header public class Header { public int cmd;// 命令字序号 public int getCmd...

2015-08-12 16:45:40 413

原创 Mybatis的批量更新

今天遇到一个问题，在mybatis 里面执行批量更新操作的问题。mybatis本身没有提供对于批量操作的接口。所以对于批量的操作都需要自己写。正常情况下，批量的插入，都是执行一条Sql 比如： SELECT LAST_INSERT_ID() insert into lable_tag_log (autho

2015-07-09 17:16:04 614 1

原创 linux svn共享文件

linux里面down svn服务器上面的文件

2014-09-10 12:44:56 441

原创 linux svn下载文件到本地

最近接触到linux下面下载svn服务器上面的

2014-09-10 11:57:54 5317

原创 java的main函数在linux下面发布

Java编写的普通的main函数在linux服务器下面的发布过程一：在Eclipse中将java项目转成maven项目。二：在dos下面用 mvn clean package将项目生成一个jar文件。三：在磁盘上创建search文件夹，里面包括两个子文件夹，bin，lib1. lib里面存放mvn生产的项目的jar文件以及项目外加的jar包文件2. bin里

2014-05-06 09:07:04 807

apache-maven-3.1.1

Maven是基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。

2014-05-06

重装系统PPT

30分钟学会专业重装系统。内有详细的步骤，非常使用。从U盘启动项的制作，到重装系统系统。

2013-11-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

he329867402的专栏

原创 Spark动态加载之坑