自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(50)
  • 资源 (2)
  • 收藏
  • 关注

原创 常见问题集锦

数据库表同步到数仓时,状态变化问题(如订单状态变化)解决方案: 1. 数据库端做快照表,每天同步快照表数据2. 采用实时同步工具(cancel)实时同步binlog日志

2021-12-13 17:08:40 349

原创 spark原理,架构与运行流程

spark

2020-04-20 15:28:09 174

转载 静态资源请求被拦截问题

SpringMVC中配置URL拦截,非常简单。网上找个示例,就能通过。但是,在我做了好几个Web项目,又参与了别人主导的Web项目时,发现URL配置也非常有学问。先说说一种比较常见的:<servlet> <servlet-name>theDispatcher</servlet-name> <servlet-class>org....

2018-11-07 10:20:12 4152

转载 sendFile原理: 实现文件传输性能的提升

sendFIle原理

2018-09-28 15:59:48 686

原创 java web导出csv文件

用csv导出取代excel导出的原因:poi导出excel时出现的问题:excel2003 单sheet最多只能导出65536条数据(excel2007 单sheet能导出百万级数据,弥补了2003的缺陷)excel每创建一个单元格就会生成一个对象,并且单元格生成过程中不会释放对象,所以会消耗大量的内存资源csv文件打开方式:office excel打开wps excel打开问...

2018-09-26 17:41:43 1017

转载 hashMap,hashTable,linkedHashMap,TreeMap

hashMap,hashTable,linkedHashMap,TreeMap

2017-09-05 14:46:49 218

转载 Spring mvc中把表单数据当做一个对象提交给controller的实现

简版Spring源码(帮助理解):protected <T> T getParamByBean(HttpServletRequest request, Class<T> clazz) { T bean = null; try { bean = clazz.newInstance(); } catch (InstantiationExceptio

2017-08-12 10:29:51 3774

转载 jvm 策略与保护域,自定义类加载器

策略与保护域自定义类加载器

2017-04-14 15:37:27 407

转载 Maven之setting.xml配置详解

[Maven之setting.xml配置详解]

2017-04-12 13:55:39 717

转载 <context:property-placeholder>导致的 Access denied for user ''@'localhost' to database 问题

解决办法: 1、改用以下配置: <bean id= "propertyConfigurer" class= "org.springframework.beans.factory.config.PropertyPlaceholderConfigurer" > <property name= "locations">

2017-04-08 18:00:45 811

转载 @resource或@Autowired Service service不能通过spring注入问题

遇到的主要的问题的原因是:Spring注解扫描不能注入new对象例如:@service(orderFactory)public class OrderFactory implements IOrderFactory{ public OrderCreate factory(String type){ if(type != null && type.indexOf("1")!

2017-03-24 17:39:47 5984

转载 数据库到底用不用外键

数据库到底用不用外键

2017-03-23 09:48:23 425

转载 mybatis关联查询问题(一对多、多对一)

mybatis关联查询问题(一对多、多对一)

2017-03-22 18:10:54 304

转载 Mybatis拦截器,分页

扩大优秀资源传播速度,别问我是谁,叫我雷锋!

2017-03-22 11:04:32 198

转载 分布式缓存-memcached

转载 分布式缓存: 思考: 1.分布式水平线性扩展问题 2.高并发情况下的性能问题 3.避免单点故障问题 分布式缓存管理核心: 1.内存的分配,管理和回收 2.分布式管理和分布式算法 *3.缓存键值管理和路由什么是Memcached:许多Web 应用程序都将数据保存到RDBMS中,应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大,访问的

2017-03-17 15:22:08 409

原创 Spring Ioc和Aop原理

参考资料 关于 Spring AOP (AspectJ) 你该知晓的一切 1.Spring Ioc(控制反转,依赖注入,两者意思相同)和Aop(面向切面编程) Ioc: 作用:通过Ioc容器实现对对象的管理,实现各组件之间的解耦 实现原理:反射 可以借助工厂+反射来理解 图示: 代码in

2017-03-10 17:38:00 647

转载 webx.xml装载顺序与PropertyPlaceholderConfigurer的应用

web.xml中属性的装载顺序 Spring中的PropertyPlaceholderConfigurer应用

2017-03-10 11:34:01 686

转载 applicationContext.xml的两种加载方式

第一种:直接将之放到/WEB-INF下,在web.xml中声明一个listener; org.springframework.web.context.ContextLoaderListener 默认的路径是/WEB-INF/applicationConte

2017-03-10 10:01:55 2230

转载 Java过滤器与SpringMVC拦截器之间的关系与区别

Java过滤器与SpringMVC拦截器之间的关系与区别

2017-03-09 14:35:40 375

转载 数据库索引

数据库索引工作原理 数据库索引的创建及其优化 MYSQL数据库优化经验

2017-03-02 15:08:05 468

原创 mysql语句添加索引

1.PRIMARY KEY(主键索引) mysql>ALTER TABLE table_name ADD PRIMARY KEY ( column ) 2.UNIQUE(唯一索引) mysql>ALTER TABLE table_name ADD UNIQUE (column ) 3.INDEX(普通索引) mysq

2017-03-02 14:33:31 1639

转载 hashSet,hashMap,hashTable,currentHashMap

hashMap原理:这里,这里 HashSet与hashMap:点我,点我 hashMap与hashTable:点这,点这 hashMap与cocurrentHashMap:here,here

2016-09-08 11:23:12 366

转载 ubuntu java环境配置及mysql安装

java环境配置 mysql安装 mysql操作 (亲测可行)

2016-08-23 10:25:54 292

原创 获取ajax动态加载的页面

最近在因为工作需要,开始学习爬虫,对于静态加载的页面,爬去并不难,但是遇到ajax动态加载的页面,就爬去不到动态加载的信息了! 对于ajax动态加载的数据爬去,一般有两种方式: 1.因为js渲染页面的数据也是从后端拿到,而且基本上都是AJAX获取,所以分析AJAX请求,找到对应数据的 请求,也是比较可行的做法。而且相对于页面样式,这种接口变化可能性更小。缺点就是找到这个请求,并

2016-08-18 17:27:53 19381 8

转载 aop注解

详细 简略

2016-08-15 17:23:38 339

原创 内网和外网

关于内网和外网 网上经常看到有人问内网和外网的区别,其实外网和内网的概念很模糊,全看你怎么理解。希望这篇文章能帮助大家明确一些概念。 简单的说,自己的单位或者家庭、小区内部有局域网;单位、家庭之外有覆盖范围极大的网络,比如internet,这个大网络延伸到了我们的单位、家庭(通过光纤、网线、电话线等)。我们把自己的局域网连接到internet上,那么我们的访问范围就从局域网扩展到了整个interne

2016-08-15 16:02:24 428

原创 页面滚动到指定的位置

1.设置坐标,使页面滚动到指定的坐标WebDriver driver = new FirefoxDriver(); driver.get("http://www.nytimes.com/"); ((JavascriptExecutor)driver).executeScript("scrollTo(0,3000)"); Thread.sleep(5000);2.获取滚动条,使滚动条滚动到

2016-08-10 15:42:31 1350

转载 log4j具体用法

相信我,会有帮助的

2016-08-10 11:21:59 229

原创 简单的spring mvc 异步登陆验证

最近接触到Spring+SpringMVC+Mybatis框架,在登录验证方面遇到了一些问题,与struts2有一些区别 1.@Resource private Service service ;非控制器中不能注入 2.不能通过ajax实现页面跳转(控制器中可以实现页面跳转,但是不能通过控制器+ajax实现页面跳转) 以下是异步登录的实现,对才接触ssm框架的新手可能有一些帮助 login.

2016-08-02 17:22:10 721

转载 Spring-Task

Spring3.0以后自主开发的定时任务工具,spring task,可以将它比作一个轻量级的Quartz,而且使用起来很简单,除spring相关的包外不需要额外的包,而且支持注解和配置文件两种 形式,下面将分别介绍这两种方式。 第一种:配置文件方式 第一步:编写作业类 即普通的pojo,如下:import org.springframework.stereotype.Service;

2016-07-29 19:52:10 240

原创 Mybatis插入一条数据后返回刚插入数据主键

MyBatis 3.2.6插入时候获取自增主键方法有二(第一种方法亲测可行,第二种方法测试没有通过,有测试通过的小伙伴可以告知一下啦,谢谢咯!!!)以MySQL5.5为例:方法1: <insert id="insert" parameterType="Person"> <selectKey keyProperty="id" resultType="long">

2016-07-28 11:45:40 1139

转载 webmagic入门

webmagic入门链接

2016-07-25 19:47:55 420

原创 SSM注解错误

注解错误一般有三种情况: 1. 你的BrandServiceImpl必须以@Service或@Component注解才行。2。自动写入的时候把接口写成实现类了 @Autowired private BrandServiceImpl brandServiceImpl; 应该是 @Autowired private BrandService brandService

2016-07-20 09:37:11 1201

转载 关于struts2文件上传中的uploadContentType和uploadFileName

文件上传页面中,包含两个表单域,文件标题和文件浏览域——当然,为了能完成文件上传,我们应该将这两个表单域所在表单的enctype属性设置为multipart/form-data。该页面的代码如下所示:<html xmlns=" " target=_blank _extended="true">http://www.w3.org/1999/xhtml"><head><meta http-equiv

2016-07-12 15:31:05 3936 2

原创 RDD Stage生成

Stage生成 Stage的调度是由DAGScheduler完成的。由RDD的有向无环图DAG切分出了Stage的有向无环图DAG。Stage的DAG通过最后执行的Stage为根进行广度优先遍历,遍历到最开始执行的Stage执行,如果提交的Stage仍有未完成的父母Stage,则Stage需要等待其父Stage执行完才能执行。同时DAGScheduler中还维持了几个重要的Key-Value集合结

2016-06-13 10:06:50 894

原创 spark RDD的5个重要内部属性

RDDs 接口的五个属性 下表总结了 RDDs 的五个属性:上述属性可以概括为几个方面:一组分区,表示数据集包含的分片;一组依赖关系,指向其父 RDD;一个函数,基于父 RDD 进行计算;以及划分策略和数据位置相关的元数据。例如上文中的代码实例里,HDFS 文件作为输入,初始 RDD 的 partitions 代表文件中每个文件块的分区(包含文件块在每个分区对象中的偏移量),preferredLo

2016-06-13 09:24:24 2318

原创 spark集群部署

1.下载安装scala scala下载地址 我用的是scala-2.11.8.tgz 然后解压sudo tar -zvxf scala-2.11.8.tgz /usr/localcd /usr/localsudo mv scala-2.11.8 ./scalasudo chown -R master ./scala配置scala环境变量sudo vim /etc/pro

2016-05-28 16:33:53 268

原创 hadoop集群搭建

1.安装linux系统(我实在Ubuntu系统在搭建的) (可以根据自己的需要创建一个用户,也可以不创建,由于博主用的是虚拟机,就不创建了) Ubuntu安装好后,替换源sudo vim /etc/apt/source.list//下面是我用的源,还挺快deb http://mirrors.163.com/ubuntu/ trusty main restricted universe

2016-05-27 17:09:41 301

原创 Lock的使用

一.synchronized与Lock的比较synchronized是java中的一个关键字,也就是说是Java语言内置的特性。那么为什么会出现Lock呢?  在前面的文章中,我们了解到如果一个代码块被synchronized修饰了,当一个线程获取了对应的锁,并执行该代码块时,其他线程便只能一直等待,等待获取锁的线程释放锁,而这里获取锁的线程释放锁只会有两种情况:  1)获取锁的线程执行完了该代码块

2016-05-15 15:12:02 3736 3

原创 Synchronized关键字与线程通信

一.等待/通知机制 1.通过wait/notify实现等待/通知机制 wait():可以使调用该方法的线程释放共享资源的锁,然后从运行状态退出,进入等待队列,直到被再次唤醒 notify():可以随机唤醒等待队列中等待同一共享资源的一个线程,并使该线程退出等待队列,进入可运行状态,也就是notify()方法仅通知一个线程,且随机 notifyAll():可以使

2016-05-15 13:21:12 2129

python3.4.0 api

python3.4.0 api英文文档,有需要的可以自行下载。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

2017-09-18

Hadoop权威指南3-书签-中文.pdf

清晰度还可以

2017-03-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除