自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

转载 MySQL数据库集群实现负载均衡的安装配置详解

本文我们详细地介绍了MySQL 5.0数据库集群负载均衡的安装配置工作,希望能够对您有所帮助。本文我们主要介绍了MySQL数据库集群实现负载均衡的安装配置工作,接下来我们就让我们一起来了解一下这部分内容。MySQL数据库集群关系如下图:ndbd:数据库节点,物理数据实际存放位置。mysqld:MySQL服务器节点。ndbd_mgm

2016-08-09 14:32:18 3072

原创 java实现模拟登录itunes后台收入,抓取收入数据,校对收入

由于自己后台记录的充值数据和苹果的结算数据有出入,所以需要做一个功能实现抓取每日苹果收入数据,按月结算,和自己内部记录的充值数据做对比算坏账,实现了掉线获取cookie重新登录功能,抓取每日收入,贴上主要代码供参考:package ;import java.io.File;import java.io.IOException;import java.io.InputStre

2016-07-01 16:35:11 3282 1

原创 MongoDB存储配置

无论数据还是索引都存放在硬盘中。到要使用的时候才交换到内存中。对于读密集型应用,规划好服务器大小以保证在内存中能支撑整个工作集并且进行复制以得到更高的可用性。如果你服务器的内存(RAM)不能够保证在内存中容纳工作集,进行分片以从多个复本集群中整合内存(RAM)。使用与部署相同的服务器硬件创建一个概念验证系统。通过这个方法,你可以在你的概念验证系统中配置和测试一个服务器。接着,你可以根据需要,在

2016-06-30 10:35:23 525

转载 Mongodb联合查询

在关系型数据库中,通过连接运算符可以实现多个表联合查询。而非关系型数据库的特点是表之间属于弱关联,Mongodb作为Nosql代表,其本身特性不建议对多Collection关联处理,不过对于有些需要对多表关联处理的需求,Mongodb也可以实现。主要分为两种方式:简单手工关联和DBRef方式关联 1.简单手工关联下图表示帖子和用户两个Collection的ER图:

2016-06-30 10:04:36 1016

转载 MongoDB与内存

但凡初次接触MongoDB的人,无不惊讶于它对内存的贪得无厌,至于个中缘由,我先讲讲Linux是如何管理内存的,再说说MongoDB是如何使用内存的,答案自然就清楚了。据说带着问题学习更有效,那就先看一个MongoDB服务器的top命令结果:12345shell> top -p $(pidof mongod)Mem: 32872124k total, 30065320k used,

2016-06-30 10:01:35 414

转载 HBase基本概念和hbase shell常用命令用法

1. 简介  HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。2. HBase的表结构  

2016-03-17 14:12:50 394

原创 Hbase分布式安装部署过程

HBase版本1.2Hbase的完全分布式安装概述:          1. 配置hosts,确保涉及的主机名均可解析为ip          2. 编辑hbase-env.xml          3. 编辑hbase-site.xml          4. 编辑regionservers文件,文件默认内容是localhost /home/grid/hbase/co

2016-03-16 14:37:46 647

原创 HIVE和HBASE区别

1. 两者分别是什么?    Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。    Apache HBase是一种Key/

2016-03-15 14:49:31 330

转载 java分布式通信系统(J2EE分布式服务器架构)

一、序言近几个月一直从事一个分布式异步通信系统,今天就整理并blog一下.这是一个全国性的通信平台,对性能,海量数据,容错性以及扩展性有非常高的要求,所以在系统的架构上就不能简单的采用集中式.简单的总结一下就是:       1.数据分布式存储       2.请求分布式调度       3.多结点分布式部署       4.双重备份,热切换

2016-03-15 10:22:19 791

转载 用通俗易懂的大白话讲解Map/Reduce原理

Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等.这里详细分解这里面的概念让大家通过这篇文章了解到底是什么hadoop:

2016-03-15 10:17:28 477

原创 android并发请求处理

最近在做android统计SDK,因为之前参与的网络开发项目都遇到一些相同的问题:1.大量的并发请求造成堵塞,特别是遇上让人无语的3G网络,无限loading。。。2.一般来说一个网络请求都会用使用到一个异步线程,大量的线程创建、运行、销毁又造成了系统资源的浪费3.请求结束得到结果后,如果需要更新UI,一个不小心忘了返回UI线程,各种崩溃。。。 前些日子跟同

2016-03-01 10:58:38 5807

原创 Redis入门介绍

Redis,远程数据服务简称,高速的内存缓存,C语言编写,除了以key-value形式进行存储。还支持丰富的数据存储类型String,List,Hash,Set,Sorted Set,支持数据持久化,在宕机情况下保证数据安全。缓存形式:数据缓存,页面缓存(smarty)利用缓存减少数据负载;开发过程中,提升网站访问速度,需要把短时间内不发生改变,并且被频繁访问的数据缓存起来,以减少数据库访

2016-03-01 10:54:32 374

原创 android并发网络请求的处理

最近在做android客户端的统计sdk,为了保证数据统计的准确行,需要把一些基本信息,和无网络情况下用户的操作保存到SqlLite本地数据库中,等待有网了的时候进行传;基本解决思路,离线操作的数据请求URL和请求参数进行封装,封装到对象中,转化为json存储到SQlLite数据库中;定时任务检测网络情况,如果有网,则把数据库中数据取出,进行网络上传;    取出数据库中请求,就需要处理大

2016-03-01 10:37:19 10741 2

原创 自己平时用到的linux命令

linux实用命令

2016-02-19 15:50:34 679

原创 Hadoop 安装部署及配置

hadoop安装及配置、分布式大数据hdfs开发

2016-02-19 15:45:28 381

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除