周自信的技术博客

原创 在Microsoft Excel中执行SQL查询

转载 Java 8的新特性—终极版

【译】Java 8的新特性—终极版javaadu关注52016.03.14 13:24:37字数 6,125阅读 56,404声明：本文翻译自Java 8 Features Tutorial – The ULTIMATE Guide，翻译过程中发现并发编程网已经有同学翻译过了：Java 8 特性 – 终极手册，我还是坚持自己翻译了一版（写作驱动学习，加深印象），有些地方参考了该同...

翻译 AIOps将影响企业IT运营的5种方式

AIOps正准备成为IT管理的下一个重点。这是人工智能与传统IT运营的融合。与所有其他域一样，AI将对系统操作和管理产生重大影响。当AI的强大功能应用于运营时，它将重新定义基础架构的管理方式。 数据中心GRAPHICSTOCK.COMIT基础架构会生成大量数据。从机箱的温度到API调用的延迟率，可以从堆栈的不同层获取数据。在汇总，规范化和分析时，这些数据成为获取洞察力的丰富资源。以...

转载 分布式开放消息系统(RocketMQ)的原理与实践

一年前为了一次内部分享而写的这篇文章，没想到会有这么多人阅读，抽空更新一版，对文中一些晦涩的语句做了修正，删除了一些口水话和附录内容，尽量给大家更好的阅读体验 (第二版更新于2017年春节)。分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题：消息的顺序问题消息的重复问题RocketMQ作为阿里开源

转载 分布式事务与一致性算法Paxos & raft & zab

说明：以下内容总结自网络1.CAP原理要想数据高可用，就得写多份数据写多分数据就会导致数据一致性问题数据一致性问题会引起性能问题2.一致性模型弱一致性最终一致性（一段时间达到一致性）强一致1、2 异步冗余；3是同步冗余3.  扩展服务的方案数据分区： uid % 16数据镜像：让多有的服

转载 支付宝架构师眼里的高并发架构

支付宝架构师眼里的高并发架构来源：极客头条前言高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并发处理方案。在电商相关产品开发的这些年，我有幸的遇到了并发下的各种坑，这一路摸爬滚打过来有着不少的血泪史，这里进行的总

转载 幂等性，RocketMQ解决消息顺序和重复，Mysql与Java中的乐观锁悲观锁，

幂等性浅谈GameKing2017.01.07 21:08* 字数 1155 阅读 467评论 0喜欢 1概述幂等性原本是数学上的概念，即使公式：f(x)=f(f(x)) 能够成立的数学性质。用在编程领域，则意为对同一个系统，使用同样的条件，一次请求和重复的多次请求对系统资源的影响是一致的。幂等性是分布式系统设计中十分重要的概念，具有这一性质

转载 分布式系统事务一致性解决方案

转自：http://www.infoq.com/cn/articles/solution-of-distributed-system-transaction-consistency开篇在OLTP系统领域，我们在很多业务场景下都会面临事务一致性方面的需求，例如最经典的Bob给Smith转账的案例。传统的企业开发，系统往往是以单体应用形式存在的，也没有横跨多个数据库。我们通常只需借助开发平

转载 使用Java开发高性能网站需要关注的那些事儿

近期各家IT媒体举办的业内技术大会让很多网站都在披露自己的技术内幕与同行们分享，大到facebook，百度，小到刚起步的网站。facebook，百度之类的大型网站采用的技术和超凡的处理能力的确给人耳目一新的感觉，但并不是每个网站都是像facebook，百度 有上亿的用户访问流量，有海量的数据需要存储，需要使用到mapreduce/并行计算，HBase/列存储这些技术不可。技术手段始终是运营的支撑，

转载 JVM内存模型你只要看这一篇就够了

让我们不厌其烦的从内存模型开始说起：作为一般人需要了解到的，JVM的内存区域可以被分为：线程栈，堆，静态方法区（实际上还有更多功能的区域，并且这里说的是JVM的内存区域，实际上Java程序还可以调用native方法使用直接内存）。本文接下来就重点说说这三个区域。1. 线程栈简介注意这个栈和数据结构中的stack有相似之处，但并不是用户态的。准确的讲它压入的每个栈帧（Stack Frame

转载 自然语言处理(NLP)基础理解

人工智能的目标- 推理- 自动学习&调度- 机器学习- 自然语言处理- 计算机视觉- 机器人- 通用智能人工智能三大阶段 阶段 1——机器学习：智能系统使用一系列算法从经验中进行学习。 阶段 2——机器智能：机器使用的一系列从经验中进行学习的高级算法，例如深度神经网络。人工智能目前处于此阶段。 阶段 3——机器意识：不需要外部数据就

转载 Mac OS X 10.11 sudo指令不起作用问题

OS X El Capitan中，在内核下引入了Rootless机制，以下路径：/System/bin/sbin/usr (except /usr/local)均属于Rootless范围，即使root用户无法对此目录有写和执行权限，只有Apple以及Apple授权签名的软件（包括命令行工具）可以修改此目录。要么思考你这个操作的意义之后，使用其他方式完成你的操作比如你要改

转载 自然语言处理之TF-IDF算法

http://www.ruanyifeng.com/blog/2013/03/tf-idf.html假定现在有一篇长文《中国的蜜蜂养殖》，我们准备用计算机提取它的关键词。一个容易想到的思路，就是找到出现次数最多的词。如果某个词很重要，它应该在这篇文章中多次出现。于是，我们进行"词频"（Term Frequency，缩写为TF）统计。结果你肯定猜到了，出现次数最多的词是----"的"、"是"、

转载 循环神经网络(RNN, Recurrent Neural Networks)介绍

循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍：1. RNNs的基本介绍以及一些常见的RNNs(本文内容)；

转载 机器学习之异常检测

高斯分布是自然界最常见的分布形态，用它来做异常检测是非常合适的模型。枪打出头鸟，那些分布在两端的小概率事件，要么好的出奇（右边），要么差得离谱（左边）。据说认真看完这篇文章并点赞的人基本上是分布在右侧。异常检测模型和实例给定一组数据 $x^{(1)}, x^{(2)}, ... , x^{(m)}$，我们建立一个模型 $p(x)$，当有一个新的实例 $x_{test}$ 时，如果 $p(x_

转载 NLTK学习记录

使用NLTKimport nltk #导入nltknltk.download() #下载语料库使用官方教程中的文本from nltk.book import *寻找特定词在文本中的上下文text1.concordance("monstrous") #在text1中monstrous的上下文依据上下文，寻找相似的词语text1.similar("monstrous")text2.si

转载 特征工程

目录1 特征工程是什么？2 数据预处理　　2.1 无量纲化　　　　2.1.1 标准化　　　　2.1.2 区间缩放法　　　　2.1.3 标准化与归一化的区别　　2.2 对定量特征二值化　　2.3 对定性特征哑编码　　2.4 缺失值计算　　2.5 数据变换　　2.6 回顾3 特征选择　　3.1 Filter　　　　3.1.1 方差选择法　　　

转载 从决策树到GBDT再到XGBoost

http://www.cnblogs.com/en-heng/p/5013995.html决策树是一种通过对特征属性的分类对样本进行分类的树形结构，包括有向边与三类节点：根节点（root node），表示第一个特征属性，只有出边没有入边；内部节点（internal node），表示特征属性，有一条入边至少两条出边叶子节点（leaf node），表示类别，只有一条入边没有出边。

转载 卷积神经网络

Introduction在前馈神经网络中，当输入层的特征维度变得很高时，全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的28×28的手写数字图片，输入层的神经元就有784个。图（1）若在中间只使用一层隐藏层，参数w就有784×15=11760多个。这很容易看出使用全连接神经网络处理图像中的需要训练参数过多的问题。解决方案：卷积神经网络卷积神经网络概述：卷积

转载 对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形

转载 机器学习十大算法

通过本篇文章可以对ML的常用算法有个常识性的认识，没有代码，没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的，例子主要是分类问题。每个算法都看了好几个视频，挑出讲的最清晰明了有趣的，便于科普。以后有时间再对单个算法做深入地解析。今天的算法如下：决策树随机森林算法逻辑回归SVM朴素贝叶斯K最近邻算法K均值算法Adaboost 算法神经网络马尔可

转载 反向传播神经网络极简入门

单个神经元神经网络是多个“神经元”（感知机）的带权级联，神经网络算法可以提供非线性的复杂模型，它有两个参数：权值矩阵{Wl}和偏置向量{bl}，不同于感知机的单一向量形式，{Wl}是复数个矩阵，{bl}是复数个向量，其中的元素分别属于单个层，而每个层的组成单元，就是神经元。神经元神经网络是由多个“神经元”（感知机）组成的，每个神经元图示如下：这其实就是一个单层感知机，其输入

原创 几道JAVA和分布式系统面试题总结

两个对象相互引用会不会被GC？仍然会被GC。因为JVM按照对象在以GC root为根节点的图中的可达性来决定对象是否被GC。相互引用的两个对象，引用数虽然不为0，但如果跟外界其他对象都没有引用关系，即是一个孤岛，仍然会被GC。java中可作为GC Root的对象有1.虚拟机栈中引用的对象（本地变量表）2.方法区中静态属性引用的对象3. 方法区中常量引用的对象4.

转载 MAC 重置MySQL root 密码

重置MySQL root 密码：当忘记密码，或者想要强行重置 MySQL 密码的时候，可以像下面这样：1.停止 MySQL 服务12sudo /usr/local/mysql/support-files/mysql.server stop//当停止失败 见下边 如何用mac 活动指示器停止服务。2.进入安全模式

转载 TLS协议分析

TLS协议分析2015-09-06本文目标：学习鉴赏TLS协议的设计，透彻理解原理和重点细节跟进一下密码学应用领域的历史和进展整理现代加密通信协议设计的一般思路本文有门槛，读者需要对现代密码学有清晰而系统的理解，建议花精力补足背景知识再读。本文最后的参考文献里有一些很不错的学习资料。目录 :1234567

转载 使用Mockito进行java单元测试

JUnit 是单元测试框架。Mockito 与 JUnit 不同，并不是单元测试框架（这方面 JUnit 已经足够好了），它是用于生成模拟对象或者直接点说，就是”假对象“的工具。两者定位不同，所以一般通常的做法就是联合 JUnit + Mockito 来进行测试。入门首先是配置 Mock 对象，看看例子怎么写的。[java] view plain copy

转载 隐马尔科夫模型（HMM)及其扩展

转载自：（http://blog.csdn.net/xinzhangyanxiang/article/details/8522078）学习概率的时候，大家一定都学过马尔科夫模型吧，当时就觉得很有意思，后来看了数学之美之隐马模型在自然语言处理中的应用后，看到隐马尔科夫模型竟然能有这么多的应用，并且取得了很好的成果，更觉的不可思议，特地深入学习了一下，这里总结出来。马尔科夫过程

转载 从贝叶斯方法谈到贝叶斯网络

从贝叶斯方法谈到贝叶斯网络转自：http://blog.csdn.net/v_july_v/article/details/409846990 引言    事实上，介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少，比如《数理统计学简史》，以及《统计决策论及贝叶斯分析 James O.Berger著》等等，然介绍贝叶斯网络的中文资料则非常少，中文书籍总共

转载 MySql ibdata1文件太大如何缩小

MySql ibdata1文件太大如何缩小 MySql innodb如果是共享表空间，ibdata1文件越来越大，达到了30多个G，对一些没用的表进行清空：truncate table xxx;然后optimize table xxx; 没有效果因为对共享表空间不起作用。mysql ibdata1存放数据，索引等，是MYSQL的最主要的数据。如果不把数据分开存放的话

转载 Mac 可设置环境变量的位置、查看和添加PATH环境变量

Mac 启动加载文件位置（可设置环境变量）------------------------------------------------------- （1）首先要知道你使用的Mac OS X是什么样的Shell，使用命令echo $SHELL如果输出的是：csh或者是tcsh，那么你用的就是C Shell。如果输出的是：bash，sh，zsh，那么你的用

原创 常用Git命令及技巧总结

最近切换到git版本控制来维护代码，记录常用命令如下。另外，推荐git学习的书籍，《Pro Git》。另外，记录一些Git技巧。1. 常用Git命令git initgit add *.cgit add READMEgit commit -m 'initial project version”git clone git://github.com/sch

转载 Go语言简介

周末天气不好，只能宅在家里，于是就顺便看了一下Go语言，觉得比较有意思，所以写篇文章介绍一下。我想写一篇你可以在乘坐地铁或公交车上下班时就可以初步了解一门语言的文章。所以，下面的文章主要是以代码和注释为主。只需要你对C语言，Unix，Python有一点基础，我相信你会在30分钟左右读完并对Go语言有一些初步了解的。Hello World文件名 hello.go

转载 如何给linux添加新硬盘

在服务器上把硬盘接好，启动linux，以root登陆。比如我新加一块SCSI硬盘，需要将其分成三个区：#fdisk /dev/sdb进入fdisk模式：Command (m for help):p  //查看新硬盘的分区Command (m for help):n  //创建新分区可以用m命令来看fdisk命令的内部命令；n命令创建一个新分区；d命令删除一个存在

原创 在CentOS6.3上编译安装git 1.8

在CentOS6.3上用yum安装git，最新的版本只到1.7，如果需要安装1.8及以后的git版本，则需要编译安装。步骤很简单。su -yum -y install zlib-devel openssl-devel cpio expat-devel gettext-devel curl-devel perl-ExtUtils-CBuilder perl-ExtUtils-Make

原创 Mysql 5.5 主从数据复制(Master-Slave Replication)配置笔记

这里讲的是Master-Slave的主从复制方式（单向复制），如果需要Master-Master模式，反过来再配置一遍就可以了。Server的OS是CentOS6.3。主从复制(Master-Slave Replication)配置步骤：1. 在Master和Slave上都安装Mysql server两个mysql server的配置文件/etc/my.cnf内容改为如下，

转载 Python列表推导式(List comprehension)

列表推导式(list comprehension)简介所谓list comprehension，就是一种很方便的遍历方式。而且除了方便之外，速度通常也会比for循环高出许多。简单示例1：#按行遍历一个文件，大写后输出print [line.rstrip() for line in open('test.txt')]#using if#在list comprehension

转载 Python中zip()函数用法举例

定义：zip([iterable, ...])zip()是Python的一个内建函数，它接受一系列可迭代的对象作为参数，将对象中对应的元素打包成一个个tuple（元组），然后返回由这些tuples组成的list（列表）。若传入参数的长度不等，则返回list的长度和参数中长度最短的对象相同。利用*号操作符，可以将list unzip（解压），看下面的例子就明白了：>>> a = [1,2,3

转载 Python数据类型详解

转自：http://www.cnblogs.com/linjiqin/p/3608541.html目录1、字符串2、布尔类型3、整数4、浮点数5、数字6、列表7、元组8、字典9、日期1、字符串1.1、如何在Python中使用字符串a、使用单引号(')用单引号括起来表示字符串，例如：str='this is string';pr

转载 python常用函数总结

一、所有对象通用的运算符和函数1、标准类型运算符1)、对象值得比较>,=,(不等于的另外一个表示，逐渐退出历史舞台）2)、对象身份比较is 对象身份比较3）布尔类型 and,or,not运算符的优先级按从低到高，not运算拥有最优先级，只比素有运算符低一级2、标准内建函数type(obj) :接受一个对象做为参数，并返回它的类型。它的返回值是一个类型对象

转载 Django介绍

这本书是关于一个web开发框架Django的，它将节省你大量的时间，并且使你的web开发充满乐趣。通过Django，你可以建立一个高性能的web应用而只花费最小的消耗。6从好的方面来看，Web 开发激动人心且富于创造性；从另一面来看，它却是份繁琐而令人生厌的工作。通过减少重复的代码，Django 使你能够专注于 web 应用上有 趣的关键性的东西。为了达到这个目标，Dj