社会化搜索与互联网广告精准推荐

专注互联网广告大数据BI,海量数据离线计算,实时流计算,实时搜索,推荐算法,微博:http://weibo.com/larryspace

原创单机基于docker搭建hadoop2.7.1 spark1.7 高可用集群

获取ubuntu镜像sudo docker pull ubuntu分别下载 spark1.7 hadoop2.7.1 scala1.1 zookeeper3.4.6 jdk1.8 解压后放置本地文件夹用于挂载到容器中并在文件夹下创建文件authorized_keyshosts本例目录使用/home/docker/config启动容器sudo docker

2015-09-25 11:47:38 2935

原创 hadoop 2.5 伪分布安装

最新的hadoop2.5 安装目录做了一定修改，安装变得稍微简单一点首先安装准备工具 $ sudo apt-get install ssh $ sudo apt-get install rsync配置ssh $ ssh localhostIf you cannot ssh to localhost without a passphrase, execute the

2014-09-10 18:04:47 4275 1

测试恢复工具和流程，包括从备份中恢复数据。遵从最小权限原则保持系统干净，整洁使用好的命名和组织约定来避免产生混乱，例如服务器是用于开发还是用于生产环境谨慎安排升级数据库服务器在升级前，使用诸如 Percona Toolkit 中的 pt-upgrade 之类的工具仔细检查系统使用 InnoDB 并进行适当的配置，确保 InnoDB 是默认存储引擎。如果存储引擎被禁止，服务器就无法启动。确认几本的服务器配置是正确的。通过 skip_name_resolve 禁止 DNS。

2013-09-01 10:30:37 2458

原创 java web 常见问题备忘

一：找不到maven加载的jar包Right click the web project “properties” -------> click the “Deployment Assembly” ---->Click add buttonChoose Java Build Path Entires ---> click NextChoose Maven Dependencies------> Finish二：Cannot change version of project facet Dyna

2013-08-28 17:43:49 3129

原创 JConsole 连接配置

远程监控配置JDK配置在%JAVA_HOME%/jre/lib/management目录下，jmxremote.password.template、jmxremote.password需要修改配置。具体步骤如下：1) 复制一份jmxremote.password.template文件，将其重命名为jmxremote.password，这就是控制远程连接的用户名密码的。

2013-07-03 13:05:33 2913

原创 redmine 2.2.2 + git ubuntu下安装

下载redmine：svn co http://svn.redmine.org/redmine/branches/2.2-stable redmine-2.2安装前提软件：sudo apt-get install libpq-devsudo apt-get install imagemagicksudo apt-get install libmagickwand-dev

2013-02-05 10:26:26 3189

原创数据挖掘的一些基本概念

建模方法：1：数据汇总： eg：pagerank 通过数据来反映网页的重要性，即随机一个用户处于该页的概率2：聚类3：特征抽取 1：频繁项集 frequent itemset： eg：大多数用户买A的同时也购买了B，则当有用户买A的时候给他推荐B 2：相似项 similar item

2013-01-05 10:31:25 2723

原创 mount 硬盘到挂载点

fdisk -l 查看所有硬盘信息df -h 查看已挂载硬盘情况eg:挂载/dev/sdb到/mnt/sdb-为磁盘创建文件系统：mkfs.ext3 /dev/sdb-创建挂载点：mkdir /mnt/sdb-挂载：mount /dev/sdb /mnt/sdb- fdisk -l 如果有问题： Disk /dev/sdb

2012-12-08 19:59:10 3672

原创 Cloudera Impala 安装配置

from : http://blog.csdn.net/larrylgq/article/details/8199147前提条件：impala1.0beta目前只支持RHEL/CentOS6.2.安装集群：主机名master，slave1 2台机器，配置服务器时间同步：sudo yum install ntpcp /usr/share/zoneinfo/Asia/S

2012-11-19 13:48:29 9404

翻译 Cloudera impala 介绍

Cloudera impala™ 直接在你的HDFS或HBase上提供快速、交互式SQL查询.impala 除了使用统一的存储平台，还是用了与hive相同的 Metastore ，SQL 语法 (Hive SQL),ODBC driver 和 user interface Hue Beeswax （Hive）。这些为批处理和实时查询提供了一个统一的常见的平台。Cloudera Im

2012-11-14 14:26:33 5338

翻译 cloudera impala 源码编译

cloudera impala 是一个运行在HDFS 和 HBase 上的执行分布式查询的引擎。该源是我们内部开发版本的一个快照，我们会定期进行版本更新。这个README文档描述了怎样利用该源来构建Cloudera impala，更多的文档请看这里：https://ccp.cloudera.com/display/IMPALA10BETADOC/Cloudera+Impala+1.0+

2012-11-13 19:51:35 5605 1

原创 hadoop常见错误

1：org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Can't continue with getBlockLocalPathInfo() authorization. The user admin is not allowed to ca

2012-09-09 16:19:22 4323 1

原创海量数据下的分布式存储与计算

亲，转载请保留以下信息@from : http://blog.csdn.net/larrylgq/article/details/7851207@author :吕桂强@email; [email protected]存储从理论角度提到大数据存储nosql是不得不提的一个部分,CAP，BASE，ACID这些原理在过去的一些年对其有着一定的指导作用(

2012-08-10 14:27:56 9477 1

原创 groovy的动态性

动态语言需要在运行时给类增加方法或属性根据上章groovy的执行过程可以看到，groovy的执行过程是将类一次加载，且不能修改，那么groovy是如何实现动态的呢？groovy中包含MetaClass接口，该接口扩展了MetaObjectProtocol接口，这就是我们通常所说的MOP协议了，这个MetaClass能在运行时处理如拦截、重定向、增加/删除方法等等之类的方法调用

2012-07-02 16:12:47 2874

原创 groovy浅析

groovy是一个基于jvm的脚本语言，它大多数的地方和java非常类似，所以一般可以看成java的扩展在jvm中我们有2中方式可以运行groovy1：使用groovyc编译所有的*.groovy为java的*.class文件,把这些*.class文件放在java类路径中,通过java类加载器来加载这些类2：通过groovy的类加载器在运行时直接加载*.groovy文件并且生成对象

2012-07-02 15:48:12 3393

原创公钥加密算法浅析

公钥加密又叫双钥加密或非对称加密最早在1976年被提出，但是真正能加密的算法RSA算法实在1978年才被提出。公钥加密是相对与对称加密来说的，即用来加密的密钥是不能用来解密的。公钥加密有2个密钥：公钥，私钥，使用公钥加密的数据可以用对应的私钥解开，同样使用私钥加密的数据也可以用公钥解开公钥是公开的，而私钥只有用户自己持有这个就为签名认证等提供了可能当A要给B发送一个

2012-06-25 18:51:16 3126

原创 zeromq/jzmq push/pull模式及java代码

引用图片：http://iyuan.iteye.com/blog/974040模型描述： 1.上游(任务发布) 2.工人(中间，具体工作) 3.下游(信号采集或者工作结果收集) 上代码：push：package com.zeromq.test.push_pull;import org.zeromq.ZMQ;/** * @author larry

2012-06-05 12:08:50 5036

原创 java jruby相互调用小例子

package com.larry.jruby;import org.jruby.embed.PathType;import org.jruby.embed.ScriptingContainer;/** * @author 吕桂强 * @email [email protected] * @version 创建时间：2012-5-22 上午11:21:45 */publ

2012-05-22 15:45:46 4303

原创 hadoop二次排序

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import or

2012-05-21 17:13:03 3512

原创 hadoop map端reduce端调优参数

map端：io.sort.mb 类型int默认100=》map的内存缓冲区io.sort.record.precent 类型：float默认0.05=》io.sort.mb的缓存区记录索引kvindices和缓存区记录索引排序工作数组kvoffsets占用空间比例io.sort.spill.percent 类型：float默认0.8=》io.sort.mb的缓冲数据边界阙值

2012-05-21 12:18:20 4152

翻译 hadoop mapreduce核心功能描述

核心功能描述应用程序通常会通过提供map和reduce来实现 Mapper和Reducer接口，它们组成作业的核心。MapperMapper将输入键值对(key/value pair)映射到一组中间格式的键值对集合。Map是一类将输入记录集转换为中间格式记录集的独立任务。这种转换的中间格式记录集不需要与输入记录集的类型一致。一个给定的输入键值对可以映射成0个或

2012-05-18 19:34:36 3651

原创 hadoop 创建用户及hdfs权限，hdfs操作等常用shell命令

sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL修改hadoop目录的权限sudo chown -R

2012-05-18 17:16:48 40407

原创 hadoop1.0伪分布安装

安装ssh$ sudo apt-get install ssh $ sudo apt-get install rsync生成密钥用于无密码登陆ssh-keygen -C "[email protected]" -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 644 author

2012-05-17 19:36:26 2346

原创 rails常用命令

rails new demo -d mysql使用mysql新建一个项目rails g controller welcome新建一个welcome的控制器rake db:create根据配置创建空的数据库rails g scaffold person name:string bio:text birthday:date创建person对象的映射，以及增删改查页面rake db:mi

2012-05-16 15:15:54 2779

原创编程基础-面向对象-基于模板的面向对象解析

上接：http://blog.csdn.net/larrylgq/article/details/7432832本文由larrylgq编写，转载请注明出处：http://blog.csdn.net/larrylgq/article/details/7563994作者:吕桂强邮箱：[email protected]现在大多数面向对象的语言都是采用模板的

2012-05-14 11:17:06 1770

原创 ruby小例子-动态执行，绑定，线程

#encoding:utf-8# ---------动态执行#执行2 + 2puts eval "2 + 2"#=》4#执行15 * 2 （Q表示双引号会进行运算，q表示单引号会原样输出）number = 15code = %Q{#{number} * 2}puts codeputs eval(code)#=》4#=》#{number} * 2# ---------绑定

2012-05-10 13:50:06 1658

原创 ruby-文档生成器rdoc使用

通常使用rdoc命令来为ruby程序生成文档eg: rdoc test.rb如果要对整个项目的rb文件生成文档只需在rdoc命令后不带文件名eg:rdoc如果有类和方法不想生成doceg:def no_doc #:nodoc:end或class NoDocClass #:nodoc:all部分注释不想生成doc#--#该行不会生成do

2012-05-09 16:04:41 4475

原创 ruby小例子-‘洞穴’文字游戏

直接上代码：#encoding:utf-8class Dungeon #创建Get Set方法 #保存玩家和room列表 attr_accessor :player def initialize(player_name) @player = Player.new(player_name) @room = [] end #设置玩家location属性

2012-05-09 14:45:33 1932

原创 linux下rvm，ruby，rails安装

rvm：sudo apt-get install curl sudo apt-get install git-coresudo apt-get install libssl-dev(否则gem不能使用)sudo apt-get install libxslt-dev libxml2-dev (不装bundle install会出错)sudo apt-ge

2012-05-07 16:24:43 2811

原创 eclipse下安装ruby插件aptana

eclipse的ruby插件aptana的eclipse更新地址为http://download.aptana.com/studio3/plugin/install 点击菜单栏“Window”，下拉菜单中选择“Preferences”，在设置窗口中找到“Aptana->Startup Page”，Options设置中选择“Never display after startup”，点

2012-05-04 18:59:44 2256 1

原创 zeromq/jzmq 基于信封-内容的pub/sub发布订阅java代码

pub：package com.zeromq.test.psen_pub_sub;import org.zeromq.ZMQ;/** * @author 吕桂强 * @email [email protected] * @version 创建时间：2012-4-27 下午5:56:05 */public class psenvpub { public stat

2012-04-27 18:00:22 4713

原创 zeromq/jzmq pub/sub发布订阅java代码

引用：http://iyuan.iteye.com/blog/973013这里的发布与订阅角色是绝对的，即发布者无法使用recv,订阅者不能使用send,并且订阅者需要设置订阅条件"setsockopt"。按照官网的说法，在这种模式下很可能发布者刚启动时发布的数据出现丢失，原因是用zmq发送速度太快，在订阅者尚未与发布者建立联系时，已经开始了数据发布(内部局域网没这么夸张的)。官网给了两

2012-04-26 20:37:35 8135

原创 zeroMQ/jzmq REQ/REP(c/s)模式及java代码示例

c/s模式是应答状态的，不能同时send多个数据引用：http://blog.csdn.net/kaka11/article/details/66144791. 创建ctx上下文对象，该对象会创建io_thread并启动它们，采用reactor模型作为poller不断轮询。线程间的通信使用mailbox来通信，而mailbox其实本质上就是一个双向的socketpair。2

2012-04-26 19:49:53 7945

原创 zeromq的几种模式

Request-reply pattern 请求-回复模型这种模型主要用于从客户端向一个或多个服务实例发送请求，然后等待紧接着对于每个请求的回复里面又具体分了ZMQ_REQ ZMQ_REP ZMQ_DEALER ZMQ_ROUTERREQ 发送完消息后，必须接收一个回应消息后，才能发送新的消息。REP当接收消息时，都会返回一个消息。 Pu

2012-04-26 19:02:00 7666 1

原创 java出现no XXX in java.library.path的解决办法及eclipse配置

java一般使用两个path：classpath 和 java.library.pathclasspath是指向jar包的位置java.library.path是非java类包的位置如（dll,so）解决办法：1：LINUX下的系统变量LD_LIBRARY_PATH来添加java.library.path2：在vm arguments里添加-Djava.librar

2012-04-26 18:19:44 95865 4

原创 zeroMQ/jzmq 安装

sudo apt-get install autoconf automake libtool gcc gcc- g++ make libuuid-dev/uuid-dev git//安装所需的条件如果出现no jzmq in java.library.path看这里： http://blog.csdn.net/larrylgq/article/details/7515362

2012-04-26 15:43:04 23608

原创 debian下rabbit安装

一键搞定sudo apt-get install rabbit或使用：http://www.rabbitmq.com/install-debian.html 中的rabbitmq-server_2.8.1-1_all.deb启动：sudo rabbitmq-server start出现以下东西即成功安装+---+ +---+| | |

2012-04-25 17:39:23 1327

原创 thrift java多线程非阻塞同步/异步调用实例

本文由larrylgq编写，转载请注明出处：http://blog.csdn.net/larrylgq/article/details/7497342作者:吕桂强邮箱：[email protected]首先创建thrift文件namespace java thriftservice Hello{ string helloString(1

2012-04-25 12:21:19 19159 5

原创 thrift支持的多种服务/传输/协议/数据类型分析

thrift通过IDL生成Client和Processor，然后调用 protocol 和 transportThrift有多种可选的 protocol ，transport和server支持的protocolTBinaryProtocol 直接的二进制格式TCompactProtocol 高效和压缩的二进制格式TDenseProtocoal 与TComp

2012-04-25 12:10:23 10113 1

原创 thrift安装

解压tar -xzvf thrift-0.8.0.tar.gz @：thrift.apache.org sudo apt-get install g++sudo apt-get install python-devsudo apt-get install libboost-dev libboost-test-dev libboost-program-opti

2012-04-24 19:16:45 1337

ChinaDBA.net出品《Redis实战》.pdf

第一章 Redis快速入门 ................................................................................................................... 6 1.1 Key-Value存储系统简介 .................................................................................................... 6 1.1.1 Voldemort ................................................................................................................ 7 1.1.2 Dynamo .................................................................................................................... 7 1.1.3 memcachedb ............................................................................................................ 8 1.1.4 Cassandra ................................................................................................................. 8 1.1.5 memcached .............................................................................................................. 9 1.1.6 Hypertable ................................................................................................................ 9 1.2 为什么选择Key-Value Store ............................................................................................. 9 1.2.1 大规模的互联网应用 ........................................................................................... 10 1.2.2 云存储................................................................................................................... 10 1.2.3 Redis实际应用案例 .............................................................................................. 11 1.3 初识Redis ........................................................................................................................ 13 1.3.1 数据类型 ............................................................................................................... 13 1.3.2 持久化................................................................................................................... 13 1.3.3 主从同步 ............................................................................................................... 13 1.3.4 性能....................................................................................................................... 13 1.3.5 提供API的语言 ................................................................................................... 14 1.3.6 适用场合 ............................................................................................................... 14 1.4 快速入门.......................................................................................................................... 15 1.4.1 安装Redis ............................................................................................................. 15 1.4.2 配置Redis ............................................................................................................. 17 1.4.3 操作数据库 ........................................................................................................... 20 第二章 Redis数据类型及操作 ..................................................................................................... 21 2.1 前言 ................................................................................................................................. 21

2012-03-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

ChinaDBA.net出品《Redis实战》.pdf

Hadoop源代码分析(完整版).pdf

qcon-新浪微博redis实践(最终).pdf

jvm分享-撒迦.pdf

20th.陈晓鸣-百度海量日志分析架构及处理经验分享[1].pdf

林昊 HBase简介与实践分享 .pptx

玄澄 可视化技术成就淘宝数据之美.pdf

张轩丞 淘宝海量数据产品技术架构.pptx

王磊数据开放平台介绍.pptx

王勇极限存储设计原理与实践.pptx

+NoSQL-盛大mongodb实践(郭理靖）.pdf

空空如也

玄澄可视化技术成就淘宝数据之美.pdf

张轩丞淘宝海量数据产品技术架构.pptx