- 博客(86)
- 资源 (6)
- 收藏
- 关注
RSS订阅启动Hbase时其中一个节点连不上zookeeper问题解决（maxClientCnxns）
安装hbase集群时，到启动集群时其中一个节点报错如下：2016-09-09 15:32:57,749 INFO [main-SendThread(madwx31:2181)] [code="java"]zookeeper.ClientCnxn: Socket connection established to madwx31/192.168.32.31:2181, initiating s...
2016-09-09 16:51:29
5348
原创 hive执行job的时候卡死，执行进度总是0%，然后报错的问题分析和解决
因为跨机房业务需要，在另一个机房部署了一个小型的hadoop集群，其中一个节点为namenode无计算节点datanode，而其它两个节点为datanode节点其中每过节点分配50G的内存，总共100G内存资源；而每台机器都是32核CPU，制定最高使用80% 即26核，配置如下：yarn-site.xml[code="xml"] yarn.nodemanager.reso...
2016-09-08 15:30:27
3325
原创 aerospike实战之put操作
put：向Aerospike中添加一条记录ascli putascli put upf testuser test '{"a": "A", "b": 1, "c": [1,2,3], "d": {"x": 4}}'当我们需要修改abcd中其中的一个属性值时，可以通过如下：ascli put upf testuser test '{"c": [1,2,3,4]}'
2016-02-16 13:35:00
2956
原创 sql：当一列为空时取另一列（case when then）
select sbid, act_type from (select case when imei is null then idfa else imei end as sbid,act_type,act_time from rela_load where act_type=52 or act_type=54 or act_type=55 or act_type=56 or act_type=57
2016-01-06 10:45:46
19058
原创 Aerospike实战之UDF（用户自定义函数）
local function Split(szFullString, szSeparator) local nFindStartIndex = 1 local nSplitIndex = 1 local nSplitArray = {} while true do local nFindLastIndex = string.find(szFullString, szSepa
2015-12-30 11:36:37
1858
原创 windows系统磁盘爆满，原因是因为redis
最近一段时间一直被一个问题困扰，我的电脑c盘报红，空间越来越小，运行效率也越来越慢，今天一早到公司一开机发现100G的c盘空间用了99G，解决这个问题迫在眉睫。在同事的推荐下，我用SpaceSniffer.exe磁盘空间分析工具软件分析了一下C盘的大文件，发现如下文件夹占了55G：发生原来是redis搞得鬼，删除之后c盘空间立马就释放了一大半，由原来的99G降到了5
2015-12-30 11:17:33
6032
转载 Aerospike-Architecture系列之数据管理概述
数据管理概述Aerospike支持增强的键值对操作。除了基本的put()和get()操作，Aerospike支持 "CAS"（安全读/修改/写）操作，数据库内计数器，缓存操作。数据被结构化放入bin（类型传统数据库中的列），每个bin有一个类型。类型可以是整型，字符串，二进制对象，或者 language-serialized对象。数据管理包括：包括类型列的键-值操作，比如自
2015-12-16 10:48:06
591
转载 Aerospike-Architecture系列之混合存储
Hybrid Storage（混合存储）混合内存系统包含每个节点上的索引和数据，操纵与物理存储的互动。它还包括用于自动移除就数据的模块以及碎片整理等模块。Aerospike可以将数据存储在DRAM，传统磁盘及SSD硬盘，每个namespace可以分别进行配置。这种配置弹性允许应用程序开发者在内存中配置一个小但频繁访问的namespace，在相对廉价的SSD硬盘中配置一个大的namesp
2015-12-16 10:46:27
717
转载 Aerospike集群宕机演练
1：初始的集群状态2：关掉192.168.91.133:30003：再关掉192.168.91.135:30004：再关掉192.168.91.144:30005：恢复192.168.91.133:30006：至此的状态跟之前宕机两台的状态是一样的。说明主机启动之后，Aerospike又自动平衡了数据。根据namespace配置文件选项的
2015-12-16 10:28:02
905
转载 Aerospike-Architecture系列之分布式
Distribution(分布)Aerospike数据库是为24/7运行、并能可靠处理大数据的应用程序提供的组件。开发应用程序时，你不必担心数据位于哪里。客户端自动发现数据位置并确保绝大多数请求处理是单跳的。应用程序可以视为数据库存储在一个独立的服务器上，由Aerospike智能客户端处理集群分布问题当需要扩容时，简单的把一个节点加入集群，集群将会包括新节点进行再平衡（rebalanc
2015-12-16 10:12:40
495
原创 aerospike init
aerospike init(1) aerospike manual aerospike init(1)NAME aerospike init - initialize aerospike home directory（初始化Aerospike home目录）SYNOPSIS aerospi
2015-12-16 10:10:33
694
原创 aerospike参考资料
http://blog.csdn.net/jiashiwen/article/category/3090193如果您的企业依赖于：庞大的数据量（超过任何结构化数据库所能处理的数据量）可预见（且快速）的性能透明的扩展始终正常运行那么您只有一个选择，那就是 Aerospike。 Aerospike 数据库是一个键-值存储的高性能实时 NoSQL（灵活模式
2015-12-16 10:08:49
2000
原创 实时应用监控平台cat——服务器启动流程（一）
通过此介绍：http://www.oschina.net/p/cat-dianping得知，运行cat-home项目里的‘com.dianping.cat.TestServer’可以启动CAT服务。so，我们就通过这个类来分析一下cat服务端的启动流程。准备工作：需要把cat的代码导入IDE（我这里用的是eclipse），下载依赖（吐槽一下，太慢了），编译成功；好，接着我们断点Test
2015-12-15 10:47:41
7442
1
原创 Aerospike-架构系列之分布式
Distribution(分布式)原文链接： http://www.aerospike.com/docs/architecture/distribution.htmlAerospike数据库是为7*24小时运行、并能可靠处理大数据应用程序提供的组件。开发应用程序时，你不必担心数据位于哪里。客户端自动发现数据位置并确保绝大多数请求处理是单跳的。应用程序可以视为数据库存储在一个独立的服
2015-12-11 14:40:36
2100
原创 基于Aerospike的用户数据管理系统实践
2015-05-12 FreeWheel基于Aerospike的用户数据管理系统实践作者：王敏 在互联网广告行业中，根据用户的信息和购买兴趣进行精准广告投放已成为一个基本需求。为了满足这一需求，需要搭建一个支持高并发、低延迟、可扩展的用户数据库，这是很多实时广告系统面临的一个技术挑战。FreeWheel的用户数据库目前存储着6亿多条用户数据，每天更新的数据约1亿条，要求达到1
2015-12-11 14:36:47
1743
原创 命名空间存储配置（Namespace Storage Configuration）
aerospike决定在哪里存储数据的存储引擎配置是基于命名空间的，这些引擎确定数据将被保存到磁盘，驻留在内存或者基于磁盘和内存的混合存储。这些决定将会影响持久性，成本和集群的性能。Support for Multi-Bin（支持多个bin）Supports full Aerospike data Model (支持所有的Aerospike数据模型)Surv
2015-12-11 14:02:31
6601
转载 Aerospike-Architecture系列之数据分布
Data Distribution（数据分布）Aerospike数据库是Shared-Nothing 架构：一个Aerospike集群中的每个节点都是相同的，所有节点对等，无单点故障。利用Aerospike智能分区算法，数据分布在集群中的各个节点之上。我们已经在这个领域的许多案例中测试过我们的方法，这个非常随机数函数保证分区分布误差在1-2%。为了确定记录去向，使用RIPEMD160算
2015-12-11 13:45:19
1132
原创 aerospike社区版AMC与企业版AMC的区别
Feature NameCommunityEnterpriseCluster Disk Usage✓✓Cluster RAM Usage✓✓Cluster Summary✓✓Cluster Throughput✓✓Nodes✓
2015-12-11 13:41:58
2011
原创 Aerosoike C客户端手册
原文地址：http://blog.csdn.net/jj_tyro/article/category/3104173Aerospike C客户端手册———目录Aerospike C客户端手册———简介Aerospike C客户端手册———入门指南Aerospike C客户端手册———安装Aerospike C客户端手册———Redhat/
2015-12-11 13:40:38
569
原创 aerospike工具集——Aerospike Information Tool (asinfo)
用法asinfo[-h HOST][-p PORT][-v VALUE][-l]OptionDefaultDescription-hlocalhostIP Address or FQDN of the target Aerospike server.-p3000Service
2015-12-11 13:39:28
1755
原创 aerospike工具集——AMC（管理控制台）
一，aerospike管理控制台aerospike管理控制台（AMC）社区版是一个基于web的工具，用来监控和管理每一个aerospike节点，它为每一个集群节点的状态提供实时的更新。它包括的功能：查看吞吐量，存储使用，和集群的配置。安装AMC目前AMC只能在liunx和OS X上进行安装；因为我们的测试和线上生产环境的机器都是contos，所以我们需要选择对应的版本；
2015-12-11 13:38:13
2044
原创 aerospike工具集——aql
aql工具提供了一个类似于sql的命令行接口，用于数据库，UDF和索引管理。aerospike不支持sql查询或管理语言，只是提供一个类似于sql的接口。aql的使用方法aql OPTIONS可以通过aql --help来查看帮助文档，aql --help之后可以看到如下选项：-h 服务器ip，默认为：127.0.0.1-p 端口号。默认为：3000
2015-12-11 13:35:41
10900
原创 aerospike工具集——Command-Line Utility (cli)
Command-Line Utility (cli)Aerospike命令行工具(cli)允许在命令行执行简单的get，set和delet操作，来验证数据库的基本操作。命令行工具使用的信息如下：用法对aerospike集群执行一个命令。cli OPTIONSOptions-t, --target 查询一个集群节点(host:port)默认:
2015-12-11 13:23:15
1811
原创 aerospike安装
aerospike安装(编译版安装)0,安装环境机器ip:10.0.0.9,10.0.0.8https://github.com/aerospike/aerospike-serverhttps://github.com/aerospike/aerospike-client-chttps://github.com/aerospike/aerospike-clien
2015-12-11 13:18:06
2627
原创 aerospike工具集——ascli
aerospike cli（aerospike命令行界面）用法ascli的基本用法：ascli OPTIONS COMMANDOptions--list 查看所有的COMMAND[root@mobiead-06 server]# ascli --list eval exists get put remove u
2015-12-11 13:14:33
1884
原创 Plexus——Spring之外的IoC容器
Plexus是什么？它是一个IoC容器，由codehaus在管理的一个开源项目。和Spring框架不同，它并不是一个完整的，拥有各种组件的大型框架，仅仅是一个纯粹的IoC容器。本文讲解Plexus的初步使用方法。Plexus和Maven的开发者是同一群人，可以想见Plexus和Maven的紧密关系了。由于在Maven刚刚诞生的时候，Spring还不 成熟，所以Maven的开发者决定使用自己维护
2015-11-18 15:47:56
3596
2
原创 redis3.0集群安装步骤
安装redis集群的机器如下：10.0.0.110.0.0.210.0.0.31，下载redis-3.0.0-rc1.tar.gz（目前的最新版）上传到以上三台机器的/data目录；2，分别解压redis-3.0.0-rc1.tar.gz，命令：tar xzvf redis-3.0.0-rc1.tar.gz3，分别：cd redis-3.0.0-rc14
2015-11-18 11:34:17
1320
原创 aerospik工具集——备份和还原
asbackup备份命令的使用asbackup备份命令的运行方式：asbackup [OPTIONS]命令的最简单形式是指定需要备份的命名空间（namespace ）和本地目录。例子：asbackup -d backup_01_23_2013 -n test其中-d为导出需要保存的文件，-n为需要导出的namespace如何在指定的群集上备份命名
2015-09-17 19:45:50
1988
原创 aerospike工具集——AMC（管理控制台）
一，aerospike管理控制台aerospike管理控制台（AMC）社区版是一个基于web的工具，用来监控和管理每一个aerospike节点，它为每一个集群节点的状态提供实时的更新。它包括的功能：查看吞吐量，存储使用，和集群的配置。安装AMC目前AMC只能在liunx和OS X上进行安装；因为我们的测试和线上生产环境的机器都是contos，所以我们需要
2015-08-26 17:54:48
2687
原创 aerospike安装
aerospike安装(编译版安装)0,安装环境机器ip:10.0.0.9,10.0.0.8https://github.com/aerospike/aerospike-serverhttps://github.com/aerospike/aerospike-client-chttps://github.com/aerospike/aerospike-cli
2015-08-26 17:53:04
1771
转载 String , StringBuffer性能差别解析
在java中，定义一个变量为String类型, 如: String str = "小日本部落";当定义了这个变量后，str里的字符串就会放到char数组里， 这个char数组的大小就是 "小日本部落"的长度,类似 char c = new char[str.length]; 我们都知道当确定了一个数组的大小后，是不可以在去改变这个数组的大小的， 所以 当定义了一个String类型的变量
2014-11-22 18:52:57
551
原创 ssh 公钥认证报错：Permission denied (publickey,gssapi-keyex,gssapi-with-mic).解决
CenOS6.3 ssh 公钥认证报错：Permission denied (publickey,gssapi-keyex,gssapi-with-mic).解决1.说明： ssh无密码用户远程登录，一直以来使用是debian操作系统，对用户目录权限要求没有关注过，生成了密钥，放对位置直接就可以使用，今天测试ansible工具，用到了CentOS6.3发现它对目录权限要求比较严格，
2014-10-24 15:08:38
19982
转载 web.xml中 Listener的使用
Java WEB项目制作过程中，可以监听 Web应用事件，能最大程度地控制你的Web应用。 两个比较重要的 WEB应用事件：应用的启动和停止Session的创建和失效应用启动事件发生在你的应用第一次被servlet容器装载和启动的时候；停止事件发生在Web应用停止的时候。 Session创建事件发生在每次一个新的session创建的时候，类似地Session失效事件
2014-06-25 13:55:01
736
转载 web.xml中load-on-startup的作用
如下一段配置，熟悉DWR的再熟悉不过了： dwr-invoker org.directwebremoting.servlet.DwrServlet debug true 1 dwr-invoker /dwr/*我们注意到它里面包含了这段配置：1，那么这个配置有什么作用呢？贴一段英文原汁原
2014-06-25 13:53:21
402
转载 hive的Specified key was too long; max key length is 767 bytes问题解决
当在hive中show table 时如果报以下错时 FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the
2014-05-09 16:00:01
682
转载 failed in state INITED; cause: java.lang.IllegalArgumentException: Does not contain a valid host:por
2013-11-04 09:42:43,405 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService failed in state INITED; cause: java.lang.IllegalA
2014-05-09 15:58:14
2721
转载 Redis的持久化
Redis虽然是基于内存的存储系统，但是它本身是支持内存数据的持久化的，而且提供两种主要的持久化策略：RDB快照和AOF日志。 下面分别介绍这两种不同的持久化策略:1、Redis的RDB快照 Redis支持将当前数据的快照存成一个数据文件的持久化机制，即RDB快照。这种方法是非常好理解的，但是一个持续写入的数据库如何生成快照呢？ Redis借
2014-03-25 15:32:33
560
转载 Redis info参数总结
# 参考：http://redis.io/commands/info### Serverredis_version:2.6.9redis_git_sha1:00000000redis_git_dirty:0redis_mode:standaloneos:Linux 3.4.9-gentoo x86_64arch_bits:64multiplexing_api:epoll #
2014-03-25 13:31:07
560
原创 hadoop环境搭建准备工作之二：linux下设置ssh无密码登陆
ssh配置 主机A：172.16.16.101主机B：172.16.16.102 需要配置主机A无密码登录主机A，主机B先确保所有主机的防火墙处于关闭状态。在主机A上执行如下： 1. $cd ~/.ssh 2. $ssh-keygen -t rsa 然后一直按回车键，就会按照默认的选项将生成的密钥保存在.ssh/id_rsa文件中。 3. $cp id_rsa.
2014-03-18 12:03:59
1484
原创 hadoop环境搭建准备工作之一：安装JDK（linux）
下载JDK(jdk1.7.0_45)下载地址为：http://pan.baidu.com/share/link?shareid=1744393420&uk=336215391&fid=2600365656 1.解压安装文件：tar -xzvf jdk-7u45-linux-x64.tar.gz，解压后得到 jdk1.7.0_45 文件夹； 2.将其移动到/usr/local/（
2014-03-18 11:42:52
666
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人