- 博客(42)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 接口的幂等性设计
前言 感觉最近脑子老是比较迷糊，记不住东西。因此，正好马上周末了，可以抽空写点东西，记录下最近的一些学习心得。概念 幂等广义上一般指以相同参数调用同一个接口多次，对系统内部产生的影响是一致的。比如说进行支付时，如果一次扣款操作因为某种原因调用了两次，那么理论上应该只生效一次，否则就会出现一定的风险；如何做幂等 回到刚才的场景，幂等是需要保证在对同一请求进行多次处理时不影响系统的正常
2017-08-18 23:04:56
8694
3
原创 Java Web中常用的分页组件（Java端实现）
前言好久没写Web程序了，这一段时间看了看原来师弟们做的一些程序，感觉还是有很多不足，一个比较典型的例子就是分页查询的实现，正好借着这个机会简单记录一下。分析使用场景“分页”在Web程序里非常常见，比如我们在页面上经常要展示一些列表信息，通常情况下，如果数据过多，我们在一屏上难以罗列出所有的记录，而且很多时候我们可能只是看看比较Top的一些记录，因此，在这种情况下使用“分页”查询只展示部分数据是比较
2017-05-21 17:19:20
6078
1
原创 win 10 + maven + idea 15 + Hadoop 2.7.3开发环境配置
前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。步骤关于maven以及idea的安装这里不再赘述，非常简单。在win 10上配置Hadoop 将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:\大数据平台\hadoop\hadoop-2.7.3中 配置HADOOP_HOME以及
2016-12-17 14:35:30
9249
2
原创 Add Two Numbers
You are given two linked lists representing two non-negative numbers. The digits are stored in reverse order and each of their nodes contain a single digit. Add the two numbers and return it as a linke
2016-09-06 14:48:39
759
原创 Two Sum
Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution. Example:Given nums = [2, 7, 11,
2016-09-06 11:08:09
383
原创 MapReduce之WordCount
package org.alipay.study.hadoop;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import
2016-08-23 18:58:17
597
原创 Java中的多线程(五)之死锁演示
前言死锁是多线程编程里比较容易碰到的一个问题，尤其在锁嵌套情况下，极易发生互相请求锁资源而不得的情况，下面是示例。示例package base;/** * * @author zlb */public class DeadLock { private static Object lockA = new Object(); private static Object loc
2016-04-15 17:33:49
834
原创 剑指Offer-从尾到头打印链表
题目描述输入一个链表，从尾到头打印链表每个节点的值。 输入描述:输入为链表的表头输出描述:输出为需要打印的“新链表”的表头解决方案: 1：不使用系统api，即手动构造stackimport java.util.ArrayList;public class Solution { public ArrayList<Integer> printListFromTailToHead(List
2016-04-06 15:33:16
404
原创 剑指Offer-替换空格
题目描述 请实现一个函数，将一个字符串中的空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。解决方案:public class Solution { public String replaceSpace(StringBuffer str) { int nSpace = 0; int in
2016-04-06 13:12:20
541
原创 剑指Offer-二维数组中的查找
题目描述在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。 输入描述:array： 待查找的二维数组 target：查找的数字输出描述:查找到返回true，查找不到返回false解决方案:public class Solution { public boolean Find
2016-04-06 12:48:24
347
翻译 Spark Streaming + Kafka整合指南
前言 翻译之官网http://spark.apache.org/docs/latest/streaming-kafka-integration.html，spark版本为1.6.1，kafka版本为2.10，由于某些部分比较绕口，所以这里并没有完全遵照官网进行翻译。正文 Apache Kafka是一个实现发布-订阅方式的消息系统，它可以用来实现分布式、可分区、可复制
2016-04-06 12:45:49
1525
原创 same-tree
Given two binary trees, write a function to check if they are equal or not.Two binary trees are considered equal if they are structurally identical and the nodes have the same value./** * Definition f
2016-03-31 11:49:13
374
原创 maximum-depth-of-binary-tree
Given a binary tree, find its maximum depth.The maximum depth is the number of nodes along the longest path from the root node down to the farthest leaf node/** * Definition for binary tree * public
2016-03-31 11:38:27
410
原创 single-number
Given an array of integers, every element appears twice except for one. Find that single one.Note:Your algorithm should have a linear runtime complexity. Could you implement it without using extra memo
2016-03-30 17:42:43
291
原创 k-max pooling实现
使用theano实现k-max pooling，github上目前还没有找到theano的实现，自己就写了一个简单的，仿照的是keras issues里面的一个提交。由于theano在反向bp时能够自动处理array index的变化，因此本质上是很简单的。def k_max_pooling2d(data, k):output = data[T.arange(data.shape[0]).dims
2016-03-05 10:47:48
4944
1
原创 HBase-0.98集群安装
前言HBase集群的安装依赖于zookeeper，因为它的root表信息要保存在zk上，因此我们需要Hadoop高可用安装时的zookeeper集群安装将hadoop中配置文件目录中的hdfs-site.xml和core-site.xml拷贝到hbase/conf下修改hbase-env.shexport JAVA_HOME=/usr/jdk/jdk8//禁用hbase自带的zkexport
2016-03-04 23:06:25
594
原创 Hadoop 2.x高可用配置
前言这两天整理了一下原来写的各种文档，准备陆陆续续全部写成博客，以防文档丢失，第一篇，使用zookeeper来实现Hadoop的高可用主机规划此处有三台主机，规划如下：主机名 IP地址 运行进程hadoop 192.168.201.243 NameNode、ResourceManager、JournalNode、QuorumPeerMain、
2016-03-04 21:50:28
993
翻译 Spark编程指南
Spark 编程指南概览从上层来看，集群中每个Spark应用都包含一个驱动程序来运行用户的main函数并且执行不同的并行操作。Spark提供的主要抽象概念就是弹性分布式数据集(RDD)，其实就是一个数据集合分区后放在了集群的不同节点上，而且它可以被并行处理。RDD可以通过Hadoop的文件系统被创建(或者任何其它Hadoop支持的文件系统)，或者是驱动程序中一个存在的Scala集合转换得到。用户可能
2015-11-13 10:30:38
1233
翻译 Spark 1.5.1快速指南
Spark 1.5.1快速指南说明：本翻译基本遵照Spark的官方翻译，但是某些不太顺口的地方还是做了一下处理，请原谅我poor的外语能力。官网链接：http://spark.apache.org/docs/latest/quick-start.html使用Spark Shell进行交互分析基本操作Spark的shell提供了一种简单的方式来学习Api，同时它也是一个强大的具有交互功能的数据分析工具
2015-11-02 09:27:44
1152
原创 Gensim Tutorials(一)
前言最近一直在看文本方面的东西，虽然好理解，但是总感觉缺了点什么，意外中发现了一个不错的开源工具包gensim，它是基于python的文本挖掘工具，主要是topic model的实现，粗看了一下，感觉非常方便，所以就想学习一下这个工具，本文档主要是对Tutorials中的代码进行了注释，以备以后使用。From Strings to Vectors#文档内容，每一行就是一篇文档documents =
2015-10-22 09:44:09
2161
原创 回归-逻辑回归
前言 前面一节介绍了梯度下降的概念，本质上它是一个优化问题，通过不断的迭代来求得局部最优值，本节将介绍一个非常有名的函数-sigmoid函数，而逻辑回归可以看成是一个线性回归的值再通过非线性函数sigmoid映射到0-1空间，逻辑回归的使用非常广泛，在广告点击、预测、分类中都有它的影子，同时，它也是神经网络中神经元的一种常见形式。sigmoid函数 sigmoidsigmoid函数是非常
2015-09-23 17:35:22
699
原创 概率论
概率论基础回顾概率的认识存在随机变量XX，假设XX是离散的，p(X=x0)p(X=x_0)代表事件x0x_0发生的概率。 问题来了，假设XX是连续型随机变量，这里概率怎么来理解？累计分布函数ϕ(x)=P(x≤x0)\phi(x)=P(x \le x_0)ϕ(x)\phi(x)一定是单增函数min(ϕ(x))=0，max(ϕ(x))=1min(\phi(x))=0，max(\phi(x))=1
2015-09-16 11:09:22
1632
原创 先验概率、最大释然估计(MLE)与最大后验估计(MAP)
前言在数据分析和机器学习中，估计是一个很重要的内容，这里着重介绍下极大似然估计与极大后验估计。最大似然估计(MLE) 最大似然估计是模型已定，参数未定时的一种估计方法。比如说对于抛硬币而言，模型已定，可以看做是多个伯努利实验，我们所不知道的是这个硬币正面朝上的概率pp，所以我们的任务就是估计pp的值。极大似然估计的思想是，对于已经给定的一些观测数据，参数pp的取值应使得取得这些观测数据的概率最
2015-09-15 21:05:30
3109
原创 统计学基础回顾(一)
前言本篇文章以《商务与经济统计》为蓝本，参考了里面的知识构架，内容主要包括描述统计学、概率、离散型概率分布、连续型概率分布、抽样和抽样分布、区间估计、假设检验、两总体均值和比例的推断、关于总体方差的统计推断、拟合优度检验和独立性检验、实验设计与方差分析……数值方法位置的度量主要采用平均数、中位数、众数、百分位数、四分位数来对数据的位置进行度量。平均数平均数是数据中心位置的度量，分为样本平均数和总体平
2015-09-15 10:54:08
1683
原创 回归-梯度下降法
导语 在上一节中，我们求解了OLS的解析式，但是对于样本数量较多的情况下，矩阵的求解过程计算量非常大，本节讨论的是线性回归中的梯度下降法。梯度下降法 梯度下降在李航的《统计学习方法》附录A里有比较详细的理论推导过程，大家可以参考。梯度下降是求解无约束最优化问题的一种最常见的方法，实现比较简单。它的核心在于迭代，即给定初值x(0)x^{(0)}，通过不断迭代，来更新xx，使目标函数(线性回
2015-08-31 15:35:55
1683
原创 回归-普通最小二乘法(OLS)解析式推导
导语 上一篇文章中解释了最小二乘损失函数的由来，本篇将继续向下推导，即系数WW的推导。前置知识 里面用到了几个常见的与矩阵相关的求导公式 ∂Xθ∂X=XT\frac{\partial X\theta}{\partial X}=X^T ∂θTX∂θT=XT\frac{\partial \theta^TX}{\partial \theta^T}=X^T ∂θTX∂θ=X\frac{\p
2015-08-20 13:48:33
20968
原创 回归-用极大似然估计来解释最小二乘
导语 这是线性回归的第一篇，后面还有多篇，包括普通最小二乘、梯度下降、牛顿法等知识，本篇主要是阐述最小二乘法损失函数与高斯分布的联系，虽然逻辑回归也是线性回归的一个变种，但它主要是0-1分布，不在本篇讨论之列。损失函数 任何一本概率论书在讲线性回归时都会说到一个方法，叫做最小二乘法，这里先给出线性回归的定义式： y=θT∗Xy=\theta^T*X 这里是一种表达习惯，XX与θ\
2015-08-19 16:30:06
7102
2
原创 伯努利分布、二项分布、几何分布、超几何分布、泊松分布
伯努利随机变量、二项分布、几何分布、超几何分布、泊松分布导语 对于任何一个学习概率论的童鞋来说，各种分布都是很头痛的一件事情，本篇主要讨论的是离散型随机变量.伯努利分布 伯努利分布就是我们常见的0-1分布，即它的随机变量只取0或者1，各自的频率分别取1−p1-p和pp，当x=0x=0或者x=1x=1时，我们数学定义为： p(x)=px∗(1−p)1−xp(x
2015-08-19 11:21:49
60245
3
原创 2015年学习计划
2014年匆匆地走过，从本科毕业到研究生生活，变化还是蛮大的，上学期时间基本都用来应对考试了，时间过得太快，在这里列出2015年计划，为自己的未来添砖加瓦。
2015-03-02 10:06:07
708
原创 Java中的多线程(四)之线程的停止
Java线程的停止，线程开启了，也许有时候我们需要停止线程的执行，总体来说，停止分两种，即：1：正常停止，比如run方法执行完毕2：非正常停止，可能被其它线程中断等等OK，照例先看JDK中提供的方法我们可以看到interrupt和stop方法都可以停止线程，但是stop已经不建议使用了，我们探究下为什么不建议使用呢？看源代码： @Deprecated p
2014-03-21 11:16:18
653
原创 Java中的多线程(三)之线程间的通信
在第一篇文章中说过Java的并发模型是共享内存，所以线程间的通信也是基于这个原理实现的，在Java中，使用wait/notify/notifyAll是实现线程间通信的一种简单方式。我们看下这三个方法的说明(在Object中定义)通过说明我们看出，wait会导致当前线程进行等待，直到另外一个线程调用notify()、notifyAll()或者等待一个确定的时间过后才会停止等待状态
2014-03-18 16:35:41
1195
原创 Java中的多线程(二)之多线程同步
多线程同步synchronizedeg：public class TestThread { private int value; public static void main(String[] args) { final TestThread tt = new TestThread(); Thread t1 = new Thread(){ @Override
2014-03-16 09:36:58
607
原创 Java中的多线程(一)之多线程创建
Java中的多线程是个很复杂的话题，自己也一直感觉有必要写些博客来梳理这些知识点，所以写下这篇文章来记录。Java线程并发是通过共享内存实现的，理解此模型比较重要，这个会让我们对多线程的通信有很直观的理解。一：线程的创建Java中线程的创建有两种方式，即：1：继承Thread类 2：实现Runnable接口看看Java给我们提供的常见api吧Thread()：创
2014-03-15 23:11:40
689
原创 判断字符串相等
这个是参加上海某家数据咨询公司的Java笔试题，胡乱的写写，大神勿喷，菜鸟一枚。题目：给你两个字符串，每个字符串的组成都是a-z，'*'，'.'这些符号，而*的功能是将其前面的字符删除，'.'可以替代任何一个字符，写一个算法判断两个字符串是否相等。例子： isMatch("a*","")=true; isMatch("a.","ab")=true; isMat
2014-03-15 20:45:32
930
原创 Java的类加载器
此文仅做学习笔记，参考之http://www.ibm.com/developerworks/cn/java/j-lo-classloader/，讲得很好 以前基本上没有怎么接触过类加载器，最近，想研究下JVM，所以找了一些资料进行了学习，感觉收获颇多。 重点：父类委托机制，最终定义类的加载器负责启动引用类的加载过程。 Java中的类加载器分为4种（上文中定义为2种
2014-03-15 20:29:52
582
原创 Java对象初始化顺序
前两天看到阿里笔试的附加题，第一道考到了对象的初始化顺序，题目如下：public class Test { public static int k = 0; public static Test t1 = new Test("t1"); public static Test t2 = new Test("t2"); public static int i = p
2014-03-15 20:25:31
756
原创 单例模式
以后要坚持写博客了，记录下自己学习过程的点点滴滴，最近一段时间对设计模式很是感兴趣啊，也查阅了很多资料，网上大神们也有很多类似的东西，自己就当学习笔记喽。最简单的设计模式就是单例模式。单例，顾名思义，就是只有一个实例，一个类只有一个实例，实现的方法有很多种，常见的有5种，一个一个说：1：饿汉式单例类public class Singleton{ private static fi
2013-10-27 12:11:36
547
原创 Struts2.3.4 GA版配置流程
Struts版本更新真快啊，回头望了望大部分参考书上还停留在2.1.X时，一上官网都更新到2.3.4版本了......不过整个配置流程并没有太大的改变，流程如下（以一段小程序为例好了）：1：建立web项目，将Struts2.3.4目录下lib文件夹下的jar导入到WEB-INF下的lib目录，不过我们没必要将所有的包完全导入，我们只要保证能运行struts的包就好了，大家可以直接参考Strut
2012-07-31 21:11:39
757
转载 MySQL索引背后的数据结构及算法原理
摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。第
2012-07-28 00:07:06
453
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人