- 博客(66)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Elasticsearch简介
基础概念 Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。 接近实时（NRT） Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。 集群（cluster） 一个集群就是由一个或多个节点组
2016-11-02 13:49:18
678
转载 亿级Web系统搭建——单机到分布式集群
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。 Web负载均衡 Web负载均衡（Load Balancing），简单地说就是
2016-08-15 15:16:41
1121
转载 Spark读取Hbase中的数据
大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下：1JavaRDD myRDD = sc.parallelize(Arrays.asList(1,2,3));Scala版本如下：
2016-03-20 15:47:26
2118
转载 JAVA操作Redis增删改查
[java] view plain copypackage sgh.main.powersite; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.List;
2016-03-13 15:44:52
2460
转载 Spark容错机制
引入一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。因此，Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后
2016-03-12 22:16:22
1031
原创 Netcat使用方法
netcat被誉为网络安全界的‘瑞士军刀'，相信没有什么人不认识它吧...... 一个简单而有用的工具，透过使用TCP或UDP协议的网络连接去读写数据。它被设计成一个稳定的后门工具，能够直接由其它程序和脚本轻松驱动。同时，它也是一个功能强大的网络调试和探测工具，能够建立你需要的几 乎所有类型的网络连接，还有几个很有意思的内置功能(详情请看下面的使用方法)。 在中国，它的WI
2016-03-11 18:35:38
1478
原创 Windows下安装部署solr 5.5
注意：本文中的tomcat8所在目录为D:\tools\apache-tomcat-8.0.32目录下 1、官网下载solr-5.5.0.zip解压到D:\tools\solr-5.5.0目录 解压之后的solr-5.5.0文件夹包含了几乎所有你需要的东西。2、复制solr-5.5.0/server/solr-webapp/webapp到tomcat下的webapps目录下，改名为
2016-03-09 21:37:24
10285
1
转载 Kafka入门经典教程
问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa consumer是否可以消费指定分区消息？8.Kafka消息是
2016-03-08 19:53:03
762
原创 windows安装kafka的集群配置
下载kafka二进制包kafka_2.11-0.9.0.1.tgz，解压到D:\tools\kafka_2.11-0.9.0.11.拷贝conf/server.properties为 第一个节点server-3.properties，修改如下内容： broker.id=3port=9093 host.name=localhostlog.dirs=D:\\tools\\k
2016-03-08 15:37:13
2622
转载 Kafka入门经典教程
问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa consumer是否可以消费指定分区消息？8.Kafka消息是
2016-03-08 08:37:18
674
原创 windows 安装 zookeeper 并测试
一、序言 以下是我对zookeeper 的一些理解： zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。 栗子1号： 假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视我KTV 的情况吧，是不是有人打架，或者发生火灾什么的，这时候我会给设置一个视频监控，然后每一家都连接到
2016-03-04 11:38:19
593
转载 Apache Kafka：下一代分布式消息系统
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自
2016-03-03 20:53:05
700
转载 Apache Thrift - 可伸缩的跨语言服务开发框架
Apache Thrift 是 Facebook 实现的一种高效的、支持多种编程语言的远程服务调用的框架。本文将从 Java 开发人员角度详细介绍 Apache Thrift 的架构、开发和部署，并且针对不同的传输协议和服务类型给出相应的 Java 实例，同时详细介绍 Thrift 异步客户端的实现，最后提出使用 Thrift 需要注意的事项。前言：目前流行
2016-03-03 15:08:57
403
转载 Hadoop Pig学习笔记 各种SQL在PIG中实现
我这里以Mysql 5.1.x为例,Pig的版本是0.8 同时我将数据放在了两个文件,存放在/tmp/data_file_1和/tmp/data_file_2中.文件内容如下: tmp_file_1:Txt代码 zhangsan 23 1 lisi 24 1 wangmazi 30 1 meinv
2016-03-03 09:26:35
572
转载 大数据-互联网新的制高点
今天和大伙分享一篇读书笔记，迈尔-舍恩伯格的《大数据时代》，很棒的书，建议感兴趣的人们都可以去读读。大数据-互联网新的制高点 在淘宝十周年及阿里巴巴集团前CEO马云的卸任晚会上，马云说道：“大家还没搞清PC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。”马云这句话威力巨大，导致第二周中国股市里许多与大数据相关企业的股票的涨停。这也充分证明大
2016-02-26 14:13:47
731
转载 深入理解Hadoop集群和网络
摘要：本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。导读：云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。本文将着重于讨论Hadoop
2016-02-25 17:21:20
553
原创 第一个完整的Map/Reduce小程序
从在自己的win7下面装好虚拟机，然后在虚拟机上面安装hadoop，然后再安装hadoop-eclipse插件，过去好像有一个星期了，之前装虚拟机和hadoop都没成功，上个星期解除了封印，一口气把hadoop学习前期的所有的东西都搞定了，接下来就是遥遥无期的hadoop之路。希望自己能坚持下去。 今天按着别人的思路在win7下面的eclipse里面敲了算是处女作的Map/Re
2016-02-24 16:37:28
992
转载 Hadoop框架结构之 hadoop作业调度详解
2 MapReduce框架结构Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating lar
2016-02-23 17:02:58
3876
转载 MapReduce工作原理图文详解
前言：前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。呵呵~不过最近在胡老大的号召下，我们云计算团队重振旗鼓了，希望大伙仍高举“云在手，跟我走”的口号战斗下去。这篇博文就算是我们团队“重启云计算”的见证吧，也希望有更多优秀的文章出炉。汤帅，亮仔，谢总•••搞起来啊！呵呵，下面
2016-02-23 10:25:49
403
原创 Hadoop分块和分片
一、分块： HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。存储在 HDFS上的文件均存储为多个块，如果某文件大小没有到达64MB，该文件不会占据整个块空间。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 HDFS的namenode只存储整个文件系统的元数据
2016-02-23 10:01:05
6690
转载 深入理解HBase Memstore
MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。HBase Memstore首先通过简单介绍HBase的读写过程来理解一下MemStore到底是什么，在何处发挥作用，如何使用到以及为什么要用MemStore。图一：Memstore Usage in HBase Read/W
2016-02-22 10:28:23
401
转载 HBase 超详细介绍
1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采
2016-02-22 09:16:47
621
原创 Linux系统我最常用的20条命令
Linux中的命令的确是非常多，但是玩过Linux的人也从来不会因为Linux的命令如此之多而烦恼，因为我们只需要掌握我们最常用的命令就可以了。当然你也可以在使用时去找一下man，他会帮你解决不少的问题。然而每个人玩Linux的目的都不同，所以他们常用的命令也就差异非常大，而我主要是用Linux进行java和shell程序编写的，所以常用到的命令可以就会跟一个管理Linux系统的人有所不同。因为不
2016-02-13 12:11:18
390
转载 Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式)介绍
阅读目录一、普通同步方式二、事务方式(Transactions)三、管道(Pipelining)四、管道中调用事务五、分布式直连同步调用六、分布式直连异步调用七、分布式连接池同步调用八、分布式连接池异步调用九、需要注意的地方十、测试十一、完整的测试代码jedis是一个著名的key-value存储系统，而作为其官方推荐的java版客户端jedis也非常强大和稳定，支持事务、管
2016-02-11 23:59:45
1679
转载 Java操作MongoDB
现在我们用Java来操作MongoDB的数据。开发环境：System：WindowsIDE：eclipse、MyEclipse 8Database：mongoDB开发依赖库：JavaEE5、mongo-2.5.3.jar、junit-4.8.2.jarEmail：[email protected]：h
2016-02-11 23:45:25
407
转载 linux常用命令详解
Linux必学的60个命令Linux提供了大量的命令，利用它可以有效地完成大量的工 作，如磁盘操作、文件存Linux提供了大量的命令，利用它可以有效地完成大量的工作，如磁盘操作、文件存取、目录操作、进程管理、文件权限设定等。所以，在Linux系统上工作离不开使用系统提供的命令。要想真正理解Linux系统，就必须从Linux命令学起
2016-02-10 20:09:41
2836
转载 zookeeper使用和原理探究
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的<The Chubby lock service for loosely-coupled distributed systems>论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。 zoo
2016-02-08 23:16:47
404
原创 java中volatile关键字的含义
在java线程并发处理中，有一个关键字volatile的使用目前存在很大的混淆，以为使用这个关键字，在进行多线程并发处理的时候就可以万事大吉。Java语言是支持多线程的，为了解决线程并发的问题，在语言内部引入了 同步块 和 volatile 关键字机制。 synchronized 同步块大家都比较熟悉，通过 synchronized 关键字来实现，所有加上synch
2016-01-25 11:38:07
340
转载 Java 原子操作与并发
原帖：http://88250.b3log.org/java-atomic-conncurrent由一个简单的例子引出并发处理时容易被忽视的陷阱，用来作为面试问题应该很适合。某日，工作了 4 年多的 Java 程序员小 K 跳槽，面试时碰到这样一个题目.... publicclass P1 { private
2016-01-20 13:10:37
456
转载 java多线程之生产者消费者经典问题
今天研究了一下java多线程，顺便写了一下多线程中的经典问题-----生产者消费者经典问题，参照了网上的各种写法之后自己写了一个，如下所示[java] view plain copy"font-size:14px;">/**生产者消费者问题，涉及到几个类 * 第一，这个问题本身就是一个类，即主类 * 第二，既然是生产者、消费者，那
2016-01-20 09:54:38
602
转载 Java并发编程：Lock
Java并发编程：Lock 在上一篇文章中我们讲到了如何使用关键字synchronized来实现同步访问。本文我们继续来探讨这个问题，从Java 5之后，在java.util.concurrent.locks包下提供了另外一种方式来实现同步访问，那就是Lock。 也许有朋友会问，既然都可以通过synchronized来实现同步访问了，那么为什么还需要提供Lock？这个问题将在下
2016-01-14 15:59:55
219
转载 Java并发编程：synchronized
Java并发编程：synchronized 虽然多线程编程极大地提高了效率，但是也会带来一定的隐患。比如说两个线程同时往一个数据库表中插入不重复的数据，就可能会导致数据库中插入了相同的数据。今天我们就来一起讨论下线程安全问题，以及Java中提供了什么机制来解决线程安全问题。 以下是本文的目录大纲： 一.什么时候会出现线程安全问题？ 二.如何解决线程安全问题？
2016-01-14 15:57:34
295
原创 hibernate一些底层实现的解析
一、SessionFactory.openSession()这里会通过调用hibernate的ConnectionProvider接口的getConnection()获取Connection，而实际执行的有三个类继承ConnectionProvider：1、DatasourceConnectionProviderImpl通过数据源获取：dataSource.getConnection()；
2015-12-17 10:59:28
2782
原创 Windows7开启远程桌面
本文介绍Windows 7远程桌面连接设置方法，仍然是入门基础教程，虽然Windows 7在远程桌面上改进了很多，但远程桌面终究是个简单的模块，更多的改进只能归于鸡肋功能，九成以上的远程用户都不会用到，比如远程桌面中的体验功能，也许只有在非常特殊的场合才有用处，大部分时间纯粹是在消耗系统资源。远程桌面设置分为两种，一种是Windows 7连向非Windows 7的远程桌面，第二种是Window
2015-12-16 13:32:32
1425
转载 使用 Tomcat 7 新的连接池 —— Tomcat jdbc pool
Tomcat 在 7.0 以前的版本都是使用 commons-dbcp 做为连接池的实现，但是 dbcp 饱受诟病，原因有：dbcp 是单线程的，为了保证线程安全会锁整个连接池dbcp 性能不佳dbcp 太复杂，超过 60 个类dbcp 使用静态接口，在 JDK 1.6 编译有问题dbcp 发展滞后因此很多人会选择一些第三方的连接池组件，例如 c3p0 , bonecp, drui
2015-12-14 21:03:24
508
转载 关于Spring中配置LocalSessionFactoryBean来生成SessionFactory
学习Spring的过程中，一直不理解为何需要用LocalSessionFactoryBean来得到SessionFactory，Google之后发现有诸多童鞋有相似的问题，于是转载来分享：LocalSessionFactoryBean 本身不是一个session factory，但是spring会自动把对这个bean的引用替换成LocalSessionFactoryBean 里面的真正的s
2015-12-14 15:45:11
2514
2
转载 什么是NoSQL？MongoDB简单介绍
原文地址：http://blog.csdn.net/jiuqiyuliang/article/details/41879145目录(?)[+] 开始之前，先说说写这篇博文的背景，本来是想写MongoDB的内容，但是MongoDB又是非关系型数据库中最火的一个。我还是本着自己一直习惯的学习步骤，先有全局观，再着眼于微观，所以有必要先了解一下非关系数
2015-12-08 11:46:20
725
转载 apache http的<directory></directory>语句，允许被访问
原帖：http://blog.sina.com.cn/s/blog_6151984a0100f1tj.html 如何访问根目录下的目录http://192.168.1.12/test/第一．缺省apache不允许访问http目录(没有定义，就没有访问权限)访问目录http://192.168.1.12/test/会显示：ForbiddenYou
2015-12-07 15:18:05
1881
原创 Spring Security通过URL模式匹配的声明式权限控制
Spring Security的声明式安全授权有两种方式，一种是以url模式匹配的方式，另一种是方法上使用注解声明权限，这里重点说第一种。一、创建一个类继承WebSecurityConfigurerAdapter，并使用注解@EnableWebSecurity标注。这个类我之前写到过很多次，是配置CAS客户端和Spring Security的核心类。同时也是启动注解声明权限的入口。@Ena
2015-12-03 15:41:48
10468
Apache Http Server 64位
2015-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人