清山随笔-CSDN博客

原创 MongoDB的权限控制

权限控制API所有数据库的角色控制首先在启用权限控制时，需要在启动MongoDB时指定启动，可以通过配置文件或启动命令添加：

2017-03-08 17:37:14 670

原创 MongoDB的管理与监控

简介MongoDB的管理与监控是可以参考关系型数据库的各种管理思想的，如常用的数据导入导出、备份、监控等，本节主要介绍相关的内容是如何在MongoDB中实现的，MongoDB管理的DBA需要重点关注。数据的导入与导出数据导入与导出可以借助mongoexport与mongoimport实现数据导出：先查看数据：> use testswitched to db test> show collec

2017-03-07 19:27:34 1781

原创 MongoDB的分布式文件存储系统

对于MongoDB的存储基本单元BSON文档对象，字段值可以是二进制类型，基于此特点，我们可以直接在MongoDB中存储文件，但是有一个限制，由于MongoDB中单个BSON对象不能大于16MB，故而如果需要存储更大的文件，就需要GridFS了。小文件存储系统与GridFS文件存储我们先看下MongoDB存储小文件系统的例子

2017-03-06 15:17:58 7237

分片集群简介在之前有说过关于MongoDB的复制集，复制集主要用来实现自动故障转移从而达到高可用的目的，然而，随着业务规模的增长和时间的推移，业务数据量会越来越大，当前业务数据可能只有几百GB不到，一台DB服务器足以搞定所有的工作，而一旦业务数据量扩充大几个TB几百个TB时，就会产生一台服务器无法存储的情况，此时，需要将数据按照一定的规则分配到不同的服务器进行存储、查询等，即为分片集群。分片集群要做

2017-02-28 16:32:44 6363

原创 MongoDB的复制集

#复制集功能概述复制集（replica set）是MongoDB用来保持相同的数据集合的一个MongoD进程组，复制集提供了所有生产部署的基础：数据冗余以及高可用。MongoDB的高可用靠的是自动故障转移来实现的，本节就是介绍MongoDB的该部分实现的。复制集工作原理虽然Journaling日志功能提供了数据恢复的功能，但是他通常针对的是单个节点来说的，而复制集则针对的是一组进程，通常是多个节点组

2017-02-24 17:17:29 3175

原创 MongoDB的聚集分析

简介聚集操作实际上是对数据进行统计分析时使用的，简单的说，可以理解为SQL中的聚合操作，MongoDB中的聚集操作是为了大数据分析做准备的，尤其是MapReduce可以在分片集群上进行操作，本节主要讲了简单的一些操作，没有涉及到MongoDB中的聚集框架，MongoDB中对数据进行分析计算的方式主要有：管道模式、MapReduce模式以及简单的函数或命令这三种聚集分析方式。管道模式聚集分析Mongo

2017-02-13 15:44:24 2153

原创 MongoDB-Journaling日志功能

Journaling日志简介Journaling日志是MongoDB中一个非常重要的功能，他保证了数据库服务器在意外断电、自然灾害下数据的完整性。该功能类似于RDB中的事务日志，使得数据库在意外故障后快速回复，该功能默认打开内存视图Journaling功能的两个重要内存视图：private view 与 shared view ，这两个视图都是通过MMAP（内存映射）来实现的，对private v

2017-02-10 16:05:11 3499 1

原创 MongoDB的增删改查操作

插入语句MongoDB的插入语句之前也有过介绍了，这里我们只做一个简单的示例：> db.customers.insert({id:11,name:'lisi',orders:[{orders_id:1,create_time:'2017-02-06',products:[{product_name:'MiPad',price:'$100.00'},{product_name:'iphone',pr

2017-02-09 15:03:14 764

原创为什么需要MongoDB

为什么需要MongoDBMongoDB与MySQL的区别关于MongoDB与MySQL的区别可以参考网上关于NoSQL与MySQL的区别，以下是找到的网上的关于两者区别的截图：总体上讲：由于MongoDB独特的数据处理方式，可以将热点数据加载到内存，故而对查询来讲，会非常快（当然也会非常消耗内存）；同时由于采用了BSON的方式存储数据，故而对JSON格式数据具有非常好的支持性以及友好的表结

2017-02-09 13:51:15 8565

原创 MongoDB的查询选择器

MongoDB自己的查询语言MongoDB不支持SQL，本节主要讲在MongoDB中如何实现类似SQL的查询功能SQl中的写法如select column from table join table2 where condition在MongoDB中有一套类似的写法

2017-02-09 13:47:56 2201

原创 MongoDB的索引与查询优化

MongoDB的索引的机制与普通数据库基本相似，主要有如下几部分：单字段索引MongoDB默认为所有集合创建了一个_id字段的单字段索引，该索引唯一，且不能删除（_id为集合的主键）索引的创建方法：db.customers.ensureIndex({name:1},{unique:false} )查询索引：db.system.indexes.find()查询结果：{ "v" : 1, "name

2017-02-09 13:46:37 6186

原创日志记录规范

日志记录规范日志级别一个项目各个log级别的定义应该是清楚明确的，是每个开发人员所遵循的；即使是TRACE或者DEBUG级别的日志，也应该有一定的规范，要保证除了开发人员自己以外，包括测试人员和运维人员都可以方便地通过日志定位问题；对于日志级别的分类，有以下参考：FATAL — 表示需要立即被处理的系统级错误。当该错误发生时，表示服务已经出现了某种程度的不可用，系统管理员需要立即介入。这属于最

2016-12-10 16:58:29 2690

原创 java8中lambda表达式用法再探

2016-12-10 16:58:26 744

原创 java8 日期time测试用例以及结果分析

2016-12-10 16:58:24 2338

原创 java8 stream API学习测试用例

package com.lin.fund;import java.io.IOException;import java.nio.file.FileSystems;import java.nio.file.Files;import java.nio.file.Path;import java.util.ArrayList;import java.util.Arrays;import java.uti

2016-12-10 16:58:21 640

原创 paxos算法学习总结

Edit需求：一个分布式系统如何就某一个值达成一致，即在分布式系统中数据的一致性需要。在一个分布式数据库系统中，如果各节点的初始状态一致，每个节点都执行相同的操作序列，那么他们最后能得到一个一致的状态。为了保证每个节点都执行相同的命令序列，需要在每一条指令上执行一个“一致性算法”以保证每个节点看到的指令一致。这就涉及到一个节点通信的问题，节点通信为保持数据一致性，其通信模型有两个：共享内存（sha

2016-12-10 16:58:18 548

原创 Hive基础知识补遗

Hive学习途径： 1、官网：http://hive.apache.org/2、慕课网：Hive相关入门课程3、《Hadoop实战》第二版4、网络上各种相关Blog以及相关介绍（主要用来进行问题查找解疑） Hive的定义与功能：定义hive 含义为蜂巢，百度百科定义为：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql

2016-12-10 16:58:15 361

原创 hive自定义函数

这是个很有用的功能，用来处理自己的业务逻辑1、需要引入的jar包（maven） org.apache.hadoop hadoop-common 2.7.1 org.apache.hive hive-jdbc 1.2.1 org.apache.hive hive-exec 1.2.1 jdk.tools jdk.tools

2016-12-10 16:58:13 305

原创 hive的条件函数case

case用法示例select id,userid,case title when 'test_title_2' then userid+1 else userid+10 end from article;从article（id,userid,article,content）表中将标题为‘test_title_2’的记录其userid+1，其他的记录userid+10coalesce用法示例：sel

2016-12-10 16:58:10 808

原创 hive中设置查询不启动mapreduce作业（默认不启动）hive-site.xml关键配置

hive.fetch.task.conversion more Expects one of [none, minimal, more]. Some select queries can be converted to single FETCH task minimizing latency. Currently the query should be

2016-12-10 16:58:07 1096

原创执行sqoop导入MySQL数据到HDFS出错，异常：The auxService:mapreduce_shuffle does not exist

执行sqoop导入MySQL数据到HDFS出错，异常如下：15/11/15 08:04:23 INFO mapreduce.Job: Task Id : attempt_1446112127610_0004_m_000000_0, Status : FAILEDContainer launch failed for container_1446112127610_0004_01_000002 :

2016-12-10 16:58:04 1116

原创 sqoop数据导入导出常用功能

sqoop wget下来解压后即可使用，常用的导入导出语句为：//导入到HDFS中./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --target-dir '/sqoop/

2016-12-10 16:58:01 688

原创 hive的安装使用总结

折腾了三天，断断续续，到今天周五，终于搞定了，安装好Hive后，执行bin中的hive即可进入直接输入 show tables;或者先启动hiveserver2，然后运行beeline，然后连接DB，执行show tables;连接DB的语句：!connect jdbc:hive2://host:10000用户名密码直接用配置好的的MySQL用户名密码即可 beeline> show tables

2016-12-10 16:57:59 4004

原创 hive异常：创建MySQL时Specified key was too long; max key length is 1000 bytes

2015-11-13 14:44:44,681 ERROR [main]: DataNucleus.Datastore (Log4JLogger.java:error(115)) - An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 10

2016-12-10 16:57:56 991

原创 hive异常 java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7

2015-11-13 15:05:16,289 INFO [main]: server.HiveServer2 (HiveServer2.java:startHiveServer2(368)) - Exception caught when calling stop of HiveServer2 before retrying startjava.lang.NullPointerExceptio

2016-12-10 16:57:53 3909 1

JasperReport 用户手册的翻译

空空如也