- 博客(38)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 Redis实现分布式锁的原理
在多线程并发的情况下，我们可以使用锁来保证一个代码块在同一时间内只能由一个线程访问。比如Java的synchronized关键字和Reentrantlock类等等。这样子可以保证在同一个JVM进程内的多个线程同步执行。如果在分布式的集群环境中，如何保证不同节点的线程同步执行呢？怎么才能在分布式...
2020-06-08 23:57:26
821
转载 关联分析：FP-Growth算法
关联分析：FP-Growth算法 关联分析又称关联挖掘，就是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。关联分析的一个典型例子是购物篮分析。通过发现顾客放入购物篮中不同商品之间的联系，分析顾客的购买习惯。比如，67%的顾客在购买尿布的同时也会购买啤酒。通过了
2017-12-18 16:35:07
1614
转载 单机和集群环境下的FP-Growth算法java实现(关联规则挖掘)
目录(?)[+]FP-Growth简要描述FP-Growth单机java实现源码FP-Growth在spark集群上java实现源码运行结果1 FP-Growth简要描述 和Apriori算法一样，都是用于关联规则挖掘的算法。Apriori算法每生成一次k频繁项集都需要遍历一次事务数据库，当事务数据库很大时会有频繁的I/O操作，因此只适合找出小数据集的频繁项集；而FP-Growth算法整个过
2017-12-15 17:00:21
520
转载 java中JDBC实现往MySQL插入百万级数据的实例代码
这篇文章主要介绍了java中JDBC实现往MySQL插入百万级数据的实例代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。想往某个表中插入几百万条数据做下测试，原先的想法，直接写个循环10W次随便插入点数据试试吧，好吧，我真的很天真….?1234567891011DROP PROCEDURE IF EXISTS proc_initData;--如果存在此存储过程则删掉D
2017-12-08 16:22:20
488
原创 window下myeclipse2014下连接hadoop集群
在连接之前要保证hadoop集群搭建完善，并且window系统可以ping到hadoop集群的机器，集群里面的机器我用的ubuntu系统，总之要保证这个在同一网段内，可以搞个局域网，本人就是用自己的笔记本开通共享wifi，然后将另一台主机通过共享的wifi链接，同时在该主机内搭建虚拟机。好了，下面开始我们的操作过程，下载hadoop插件：https://github.com/winghc/ha
2017-12-07 19:56:04
756
原创 hadoop2.4.1集群+ubuntu
最近在忙搭建集群环境，需求是这样的：通过局域网搭建hadoop集群，集群是安装在虚拟机上面的，因此要保证局域网内的主之间可以ping通。然后利用window下的eclipse去连集群，当然这要保证window和集群在同一个局域网内（目前是局域网内的实验），至于安装hadoop集群时步骤，晚上已经有很多，这里不多解释，同时在hadoop主机上安装myqsql，因为默认安装时5.5左右的版本，
2017-12-07 15:41:13
195
转载 EasyUI中datagrid的样式
EasyUI中datagrid的样式 <div class="article_manage clearfix"> <div class="article_l"> <span class="link_categories"> 标签： <a href="http://www.c
2017-11-09 16:52:39
1030
转载 jvm主内存与工作内存
一、jvm主内存与工作内存 首先，JVM将内存组织为主内存和工作内存两个部分。 主内存主要包括本地方法区和堆。每个线程都有一个工作内存，工作内存中主要包括两个部分，一个是属于该线程私有的栈和对主存部分变量拷贝的寄存器(包括程序计数器PC和cup工作的高速缓存区)。 1.所有的变量都存储在主内存中(虚拟机内存的一部分)，对于所有线程都是共享的。2.每条线程都有自己的工作内存，工作内存中
2017-07-12 10:21:15
353
转载 数据库复制跨服
SQL：复制数据库某一个表到另一个数据库中 SELECT * INTO 表1 FROM 表2 --复制表2如果只复制结构而不复制内容或只复制某一列只要加WHERE条件就好了例子：SELECT * INTO [IMCDB].[dbo].[SysLog] FROM [AimManageDB].[dbo].[SysLog]（将数据库AimManageDB中的SysLog表复制到数据库IMCDB
2017-07-11 12:43:45
342
转载 SQLServer中把某个表里的记录复制到另一个数据库的表中
SQLServer中把某个表里的记录复制到另一个数据库的表中 现有数据库a和数据库b，数据库a里有表table1，数据库b里有表table2.现在要把表table1里的记录复制到table2中，不同情况采用不同方法：1. table1和table2表结构相同use binsert into table2 select * from a.dbo.table12. table1和table2表结构不相
2017-07-11 12:31:14
940
转载 HashMap实现原理分析
1. HashMap的数据结构数据结构中有数组和链表来实现对数据的存储，但这两者基本上是两个极端。 数组数组存储区间是连续的，占用内存严重，故空间复杂的很大。但数组的二分查找时间复杂度小，为O(1)；数组的特点是：寻址容易，插入和删除困难；链表链表存储区间离散，占用内存比较宽松，故空间复杂度很小，但时间复杂度很大，达O（N）。链表的特点是：寻址困难，插入和删除容易。哈希表那么
2017-07-10 10:25:14
189
转载 深入分析Java中的length和length()
在开始正文之前，请你快速回答如下问题：在不使用任何带有自动补全功能IDE的情况下，如何获取一个数组的长度？以及，如何获取一个字符串的长度？这个问题我问过不同水平的程序员，包括初级和中级水平的。他们都不能准确而自信地回答这个问题（如果你能很准确很自信的回答这个问题，那么证明针对这一知识点你比大多数中级程序员掌握的好）。由于现在很多IDE都有代码补全功能，这使得开发人员在很多问题上都理解的很肤浅。本
2017-05-22 14:58:00
207
转载 Java 内存模型及GC原理
一个优秀Java程序员，必须了解Java内存模型、GC工作原理，以及如何优化GC的性能、与GC进行有限的交互，有一些应用程序对性能要求较高，例如嵌入式系统、实时系统等，只有全面提升内存的管理效率，才能提高整个应用程序的性能。本文将从JVM内存模型、GC工作原理，以及GC的几个关键问题进行探讨，从GC角度提高Java程序的性能。一、Java内存模型按照官方的说法：Java 虚拟机具有一个堆，堆是运行时
2017-05-21 19:34:44
239
转载 Java知识点总结
索引的实现方式线程池中的corenum和maxnum有什么不同如何找出单链表中的倒数第k个元素多线程缺点迭代和递归的最大区别是SQL truncate delete与drop区别总结常见的mysql数据库优化操作SQL语句中executeQueryexecuteUpdateexecute的区别Spring初始化过程MySQL Hash索引和B-Tree索引的区别索引的实现方式1、
2017-05-20 21:02:54
718
原创 SSO下的CAS如何整合到项目中
CAS的原理内容就不多介绍了，直接介绍如何将CAS整合到项目里面。首先肯定要有CAS包文件，如何解压那些自行百度，然后就是在自己项目的web.xml进行配置了，如下所示，切记一定要注意顺序，并要在其他过滤器之前，这样才能提供认证的可能。 org.jasig.cas.client.session.SingleSignOutHttpSessionLi
2017-05-19 15:24:02
1560
原创 CAS单点登录
CAS是Central Authentication Service的缩写，中央认证服务，一种独立开始指令协议。CAS 是 Yale 大学发起的一个开源项目，旨在为 Web 应用系统提供一种可靠的单点登录方法，CAS 在 2004 年 12 月正式成为 JA-SIG 的一个项目。从结构上看，CAS 包含两个部分： CAS Server 和 CAS Client。CAS Server 需
2017-05-19 15:07:37
290
转载 偏向锁，轻量级锁，自旋锁，重量级锁的详细介绍
原文地址http://www.cnblogs.com/wade-luffy/p/5969418.html 偏向锁，轻量级锁，自旋锁，重量级锁的详细介绍 Java对象头锁存在Java对象头里。如果对象是数组类型，则虚拟机用3个Word（字宽）存储对象头，如果对象是非数组类型，则用2字宽存储对象
2017-05-19 09:16:20
287
转载 MySQL表的四种分区类型
MySQL表的四种分区类型 一、什么是表分区通俗地讲表分区是将一大表，根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。 如：某用户表的记录超过了600万条，那么就可以根据入库日期将表分区，也可以根据所在地将表分区。当然也可根据其他的条件分区。 二、为什么要对表进行分区为了改善大型表以及具有各种访问模式的表的可伸缩性，可管理性和提高数据库效率。分区的一些优点包括：与单个磁盘或文件系
2017-03-07 11:25:59
164
转载 SVN 服务端、客户端安装及配置、导入导出项目
SVN服务器搭建和使用（一） Subversion是优秀的版本控制工具,其具体的的优点和详细介绍,这里就不再多说.首先来下载和搭建SVN服务器.现在Subversion已经迁移到apache网站上了,下载地址:http://subversion.apache.org/packages.html这是二进制文件包的下载地址,你可在左侧的导航栏找到源代码,文档的下载地址.windows操作系统下
2017-03-02 22:07:56
346
转载 java登录程序用户密码5分钟内输错3次锁定用户账号一天的实现
最近在公司实习的项目遇到这么一个业务需求：用户登录时如果5分钟内密码连续3次输入错误就将用户锁定，24小时后自动解锁。 分析一下，这个需求有很多种方法可以实现，比较简单的就是采用数据库来实现，我采用的是比较老实的办法，欢迎大家留言指正。 公司开发采用的是struts1.1+Oracle+MVC,由于某些样式不支持的问题，用户登录数据的检验这些操作我都是传输到servlet中进行的。第一步：建用户
2017-02-27 11:16:09
3773
转载 Http请求和HttpServletRequest中获得对应参数的方法
<div class="markdown_views"><blockquote>当用户访问网页, 会使用http发送请求, 在服务端需要解析用户的请求. 那么http请求和HttpServletRequest的方法是如何对应的呢? Http请求
2017-02-15 16:22:52
834
转载 HttpServletRequest对象方法的用法
IT程序员开发必备-各类资源下载清单，史上最全IT资源，个人收藏总结！1. 获得客户机信息 getRequestURL方法返回客户端发出请求时的完整URL。 getRequestURI方法返回请求行中的资源名部分。 getQueryString 方法返回请求行中的参数部分。 getRemoteAddr方法返回发出请求的客户机的IP地址 getRemoteHo
2017-02-15 15:58:58
253
转载 java实体注解
@Column标记表示所持久化属性所映射表中的字段，该注释的属性定义如下：@Target({METHOD, FIELD}) @Retention(RUNTIME)public @interface Column {String name() default “”;boolean unique() default false;boolean nullable() default true;
2017-01-19 21:29:14
2768
转载 美团搜索排序
美团的愿景是连接消费者和商家，而搜索在其中起着非常重要的作用。随着业务的发展，美团的商家和团购数正在飞速增长。这一背景下，搜索排序的重要性显得更加突出：排序的优化能帮助用户更便捷地找到满足其需求的商家和团购，改进用户体验，提升转化效果。和传统网页搜索问题相比，美团的搜索排序有自身的特点——90%的交易发生在移动端。一方面，这对排序的个性化提出了更高的要求，例如在“火锅”查询下，北京五道口的火锅店A
2017-01-02 16:45:27
2185
原创 powerdesign设计mysql一些问题
最近要用到ｍｙｓｑｌ数据库，因为要建立实体以及实体之间的关系，这样就不能直接在ｍｙｓｑｌ里面建立比较麻烦，为此想到了用powerdesign，看教程有提供连接mysql的方式，为此记录下我的操作过程。1：下载powerdesin，貌似没有64位的，我用的是32位的2：下载jdk，这边要注意，因为powdesign是32位不支持64位的jdk,我之前用的是64位的jdk，powerdesin
2016-12-25 12:56:27
345
原创 Python实现Selenium实现自动登录CSDN
最近有个需求是写个脚本自动登陆某个望网站，并干嘛干嘛的，于是乎研究了下python的东西，发现python有个好用的库selenium可以直接调用那么问题来了，要用哪个浏览器实现呢，我这边用的是火狐，如果直接用并不能很好的启动火狐浏览器，网上介绍要安装相应的驱动：如何安装这边简单介绍下：1、下载geckodriver.exe：下载地址：https://github.com/mo
2016-12-15 16:16:28
2220
1
转载 JVM监控与调优
原文出处：http://www.cnblogs.com/zhguang/p/java-jvm-gc.html目录参数设置收集器搭配启动内存分配监控工具和方法调优方法调优实例 光说不练假把式，学习Java GC机制的目的是为了实用，也就是为了在JVM出现问题时分析原因并解决之。通过学习，我觉得JVM监控与调优主要的着眼点在于如何配置、如何监控、如何优化3点上。下面就将针对这3
2016-12-14 22:48:31
181
转载 浅谈facebook服务器架构
大体层次划分Facebook的架构可以从不同角度来换分层次。一种是：一边是PHP整的经典的LAMP stack；另外一个是非PHP整的各种service。Facebook的页面从刚创立的时候扎克伯格写的，到现在，都用PHP开发。后端有用各种语言开发的service。它们之间用跨语言的thrift RPC通信(Scribe也是建立在Thrift之上)。另外一个角度划分的层次是：前面是负载局衡
2016-12-13 14:11:55
464
转载 （转）高并发高流量网站架构详解
一篇有点过期的文章,但是个基础Web2.0的兴起，掀起了互联网新一轮的网络创业大潮。以用户为导 向的新网站建设概念，细分了网站功能和用户群，不仅成功的造就了一大批新生的网站，也极大的方便了上网的人们。但Web2.0以用户为导向的理念，使得新 生的网站有了新的特点——高并发，高流量，数据量大，逻辑复杂等，对网站建设也提出了新的要求。本文围绕高并发高流量的网站架构设计问题，主要研究讨论了以下内容：首
2016-12-12 22:35:47
607
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-12-12 22:32:16
174
原创 ubuntu14.04下pytharm2016.3的激活码
这个激活码是题上版本的激活码有效，测试的时候提示时间是一年有限期，也就是对奥2017年11月到期。为了方便这边记录下来，在这一年又用到的可以看下。另外在网上找了别的激活码没激活成功，找到下面那个才激活成功。43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZW
2016-12-05 11:48:00
445
原创 ubuntu下安装tensorflow
最近在整tensorflow，写入下自己遇到的问题，同有共同的问题可以看看，1：安装的是基ubuntu14.04下的tensorflow,因为该系统自带有python2.7和3.4版本，由于现在大家都在用3.4版本，因此我这边也用，但ubuntu默认情况是2.7版本的，因此首先就要切换，命令如下：echo alias python=python3 >> ~/.bashrc
2016-12-04 21:43:41
620
原创 关于java.split问题
之前在刷OJ的时候，因为本人JAVA是初始者，对于给的答案里面的String[] array=str.split(" ");这句话不是很理解，网上对SPlit的解释是split函数是编程语言中使用的函数，是指返回一个下标从零开始的一维数组，它包含指定数目的子字符串。有点绕哈，然后又给出通用表达式Split(expression[, delimiter[, count[, compare]]])
2016-05-07 21:07:25
280
原创 安装window虚拟打印机时出现无法启动Print Spooler服务，错误1068，依存服务或组无法启动
很多朋友在安装虚拟打印机时会出现这样的问题：无法启动Print Spooler服务，错误1068，依存服务或组无法启动，这里我小结自己的经验，给大家一个简单的解决办法，首先进入CMD下，注意这里要用管理员登录才行，在运行框下输入命令：sc config spooler depend= rpcss即可，至于网上说的进入服务那里修改，已测针对不同问题是不能解决的。
2016-05-06 14:40:04
3057
2
原创 hadoop伪分布式集群上传文件出现的位数问题
近几天在搞hadoop，原先装的是32位的ubuntu系统，一切跑的都正常，但之后我换spark玩玩，于是装了64位的ubuntu14.04（觉得原先系统版本太旧了），按照之前的配置重新来了一遍，原以为都OK，jps也看到那些进程点，但在我用mkdir input时出现问题了，WARN util.NativeCodeLoader: Unable to load native-hadoop
2016-04-10 14:35:26
301
原创 ./spark-submit --class Test --master spark://localhost:7077 /usr/local/aa.jar
./spark-submit --class Test --master spark://localhost:7077 /usr/local/aa.jar打包好的jar包发布到spark单机情况下的命令后面的aa.jar是我的jar包。
2016-03-31 22:14:05
1371
原创 导入文章“Apache Spark学习：将Spark部署到Hadoop 2.2.0上”中给出的 assembly/target/scala-2.9.3/目录下的spark-assembly-0.8.
最近在搭建用eclipse构建spark环境时，查找网上的相关文章，看到一篇董的博客http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/，大家可以如有搭建这个环境的可以看下，里面有个需要用到编译好的jar包。这个包那个链接给没找到，大家可以自行下载spark-0.8.1-incubating-bin-hadoop2.tgz解压出来在
2016-03-30 18:47:27
1482
SSM+Echarts+Mysql实现的从数据库获取数据展示图表
2017-07-06
CAS-server -3.4myeclipse工程直接运行源代码
2017-03-19
heritrix-1.14.4-src.zip
2016-09-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人