Polaris-zlf-CSDN博客

原创 PowerDesigner连接mysql导出mysql的结构生成pdm

我使用的软件PowerDesigner165.exemysql-5.5.38-winx64.msimysql-connector-odbc-5.1.5-win32.msi1、首先安装这三个软件。怎么安装就不好了，下一步下一步就行。2、打开powerdesigner软件选择：File----》Reverse Engineer----》database

2017-09-28 15:45:28 9143

原创 hadoop添加snappy解压缩库

Snappy是用C++开发的压缩和解压缩开发包，旨在提供高速压缩速度和合理的压缩率。虽然生成的压缩文件可能会比其他压缩库的要大上20%至100%，但是，相比其他的压缩库，Snappy却能够在特定的压缩率下拥有惊人的压缩速度。也就是说用空间换取速度1、安装snappyyum install snappy snappy-devel2、给hadoop环境增加 snappp

2017-01-09 10:54:53 1926

原创 hadoop历史服务器

可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动hadoop历史服务器$ sbin/mr-jobhistory-daemon.sh start historyserver在相应机器的19888端口上就

2017-01-09 10:31:01 2162

原创 mapreduce的结果写入到mysql中

输入文件为：把统计的IP 和每个ip的总数存入到mysql中1、自定义类，该类实现了从日志记录中判断数据是否合格public class TextLine {private String ip;//标识数据是否合法 private boolean flag = true; public TextLine(String line){//检验一行

2016-12-30 16:52:58 6944 1

原创顺时针打印矩阵

题目描述输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字，例如，如果输入如下矩阵： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10.给定矩阵： 1 2 3 4 5 6 7 8 9

2016-12-29 14:15:38 269

原创 mongodb的分页查询

下面这个是我的测试数据> db.test.find().sort({"age":1});{ "_id" : ObjectId("58623df3d13eafd014b937ab"), "name" : "aa", "age" : 20 }{ "_id" : ObjectId("58623e3bd13eafd014b937ac"), "name" : "bb", "age" : 21 }

2016-12-28 08:58:45 449

原创 java抓mongodb数据遇到的问题

最近公司需要把mongodb中的数据抽到HDFS上，刚开始使用kettle，好像kettle对于mongodb只会全量抓取数据，没有分页的功能。于是需要用代码实现从mongodb分页抓数据的功能。1、公司的mongodb是主从配置的，所以其中连接mongodb的代码如下：ServerAddress sa1 = new ServerAddress("192.168.10.1", 2801

2016-12-27 17:51:12 520

原创 java在linux中创建目录遇到的问题

1、如果要在linux中创建多级目录的话File dir = new File("/cloud/test/");if(!dir.exists()){ dir.mkdirs();}创建多级目录的话要使用mkdirs()。//小结://1、利用mkdir()创建目录//2、利用mkdirs()创建多级目录2、使用RandomAccessFile

2016-12-22 16:41:33 10139

原创 zookeeper伪分布式集群安装

所谓 “伪分布式集群” 就是在，在一台PC中，启动多个ZooKeeper的实例。“完全分布式集群” 是每台PC启动一个ZooKeeper实例。在一台PC中，启动3个ZooKeeper的实例。[root@master zookeeper-3.4.6]# mkdir zoo[root@master zookeeper-3.4.6]# cd zoo[root@master

2016-12-20 17:30:26 346

原创 zookeeper单节点安装Standalones模式

本文使用的是：zookeeper-3.4.6.tar.gz[root@master cloud]# java -versionjava version "1.7.0_79"Java(TM) SE Runtime Environment (build 1.7.0_79-b15)Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mi

2016-12-20 16:36:59 3806

原创二叉树的镜像

题目描述操作给定的二叉树，将其变换为源二叉树的镜像。输入描述:二叉树的镜像定义：源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 / \ 10 6 / \ / \ 11 9 7

2016-12-20 15:45:28 213

原创 hadoop2的HDFS的高可用性

在hadoop1中，namenode存在单点故障，每一个集群中只有一个namenode，如果namenode所在的机器出现了故障，那么将导致整个集群无法利用主要在两方面影响了HDFS的可用性：1）、在不可预测的情况下，如果namenode所在的机器崩溃了，整个集群将无法利用，直到namenode被重新启动；2）、在可预知的情况下，比如namenode所在的机器硬件出错，将导致集群宕机。

2016-12-14 18:09:45 434

原创树的子结构

题目描述输入两棵二叉树A，B，判断B是不是A的子结构。（ps：我们约定空树不是任意一个树的子结构）上面所示的两棵二叉树，由于A中有一部分子树的结构和B是一样的，因此B是A的子结构。要查找树A中是否存在和树B结构一样的子树，我们可以分两步：第一步在树A中找到和B的根节点的值一样的结点R，第二步再判断树A中以R为根结点的左右子结点的值是不是和树B的左右子结点值一样。

2016-12-13 17:19:10 201

原创 mysql主从同步

主库服务器环境：操作系统：Centos6.7数据库：Mysql5.6.34IP: 192.168.10.1从库服务器环境：操作系统：Centos6.7数据库：Mysql5.6.34IP:192.168.10.2查看centos版本[sparkadmin@hadoop4 ~]$ cat /etc/redhat-releaseCentOS release

2016-12-09 10:46:12 304

原创 otter进行数据同步

安装otter：http://blog.csdn.net/u012689336/article/details/535144751、添加数据库，点击配置管理，选择数据源配置 a、源库，编辑完后可以验证。在mysql上面创建库CREATE DATABASE pass DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

2016-12-08 19:24:07 5922

原创 canal安装

首先要安装mysql# yum install -y mysql-server mysql mysql-devel# service mysqld start //启动mysql服务# mysqladmin -u root password 'root'　　// 给root账号设置密码为 rootcanal的原理是基于mysql binlog技术，所以这里一定需要开

2016-12-08 18:29:36 2687

原创 otter安装

译意：水獭，数据搬运工语言：纯java开发定位：基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统otter的环境需要：mysql，jdk，zookeeper，node，aria2，managerotter安装需要三台机器，我实现的是两台机器之间的Mysql数据库同步，即双写同步，zookeeper集群。

2016-12-08 16:30:49 4284

原创合并两个排序的链表

输入两个单调递增的链表，输出两个链表合成后的链表，当然我们需要合成后的链表满足单调不减规则。首先分析合并两个链表的过程。链表1的头结点的值小于链表2的头结点的值，因此链表1的头结点将是合并后链表的头结点。我们继续合并两个链表中剩余的结点。此时链表2的头结点的值小于链表1的头结点的值，因此链表2的头结点的值将是合并剩余结点得到的链表的头结点。我们把这个结点和前面合并链

2016-12-08 09:56:56 371

原创 hive的基本命令一

1、创建外部分区表create external table people(id bigint,date string,type string) PARTITIONED BY (log_day string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'location '/logs/people';2、

2016-11-30 16:26:25 390

原创反转链表

输入一个链表，反转链表后，输出链表的所有元素。本文考虑的是单链表定义单链表public class ListNode { int val; //自身值 ListNode next = null; //指向下一个节点 ListNode(int val) { this.val = val; }}

2016-11-30 15:50:42 178

原创链表中倒数第k个结点

输入一个链表，输出该链表中倒数第k个结点。分析：设置两个指针，一个快指针、一个慢指针，快指针和慢指针开始时都指向链表第一个节点，然后让快指针向后走k-1个节点，再让满指针和快指针同时向后走，当快指针指向的下一个节点为空时，慢指针所指向的节点即为所求。本文是考虑的单链表。代码如下：//单链表进行考虑public class ListNode { int val;

2016-11-28 13:52:50 848

原创 Redis从文件中批量执行命令

在redis中，如果要批量执行某些命令，在redis的redis-cli下，只能一条条的执行指令，实在太麻烦了！如果把要执行的命令一行行存储到文件中，然后一次性执行完成。1、创建文件首先创建一个txt文件，将要执行的指令一行一行写进去。[sparkadmin@hadoop4 redis-3.2.4]$ vim d1.txt set mykey1 value1zad

2016-11-25 15:20:09 12015

原创调整数组顺序使奇数位于偶数前面

输入一个整数数组，实现一个函数来调整该数组中数字的顺序，使得所有的奇数位于数组的前半部分，所有的偶数位于位于数组的后半部分，并保证奇数和奇数，偶数和偶数之间的相对位置不变。public class Solution {public void reOrderArray(int [] array) {int[] result = new int[array.length];int

2016-11-24 18:33:08 205

原创 Redis 设置密码

我们可以通过 redis 的配置文件设置密码参数，这样客户端连接到 redis 服务就需要密码验证，这样可以让你的 redis 服务更安全。实例我们可以通过以下命令查看是否设置了密码验证：127.0.0.1:6379> config get requirepass1) "requirepass"2) ""默认情况下 requirepass 参数是空的，这就意味着你无

2016-11-22 13:58:19 513

原创 Redis 数据备份与恢复

Redis save 命令用于创建当前数据库的备份。语法redis 127.0.0.1:6379> save OK该命令将在 redis 安装目录中创建一个 dump.rdb 文件。恢复数据如果需要恢复数据，只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可。获取 redis 安装目录可以使用 CONFIG 命令，如下所示：

2016-11-22 13:43:50 326

原创数值的整数次方

题目描述给定一个double类型的浮点数base和int类型的整数exponent。求base的exponent次方。分析：一看到这个题目，可能我们很容易写出来public double powerWith(double base, int exponent){ double result = 1.0; for(int i = 1;i

2016-11-22 11:49:56 262

原创 maven项目打包以及在liunx上运行

maven项目写完之后，需要打包中含有第三方的jar包的1、在pom.xml 中添加 compile maven-assembly-plugin

2016-11-21 17:56:00 5407

原创二进制中1的个数

题目描述输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。计算机中，数值都是以补码的形式保存。原码：就是十进制的数字转换为二进制在计算机中的表示，如正2，二进制表示为0000 0010，-2的二进制表示为1000 0010。前面的一位表示符号位，其中，正数为0，负数为1。反码：正数的反码和原码相同，负数的反码就是保持原有符号位不变，其他位取反。比如：

2016-11-15 16:41:59 200

原创获取拉勾网招聘信息数据

使用 curl 模拟 ajax 请求获取数据1、找到目标城市和目标职位，然后按“最新排序”。链接为：https://www.lagou.com/jobs/list_iOS?px=new&city=%E5%8C%97%E4%BA%AC#order2、右键点击页面，选择"检查"，进入浏览器调试界面，切换到调试器的 network -> xhr 标签下3、cm

2016-11-15 14:29:22 5049 1

原创 Redis 事务

Redis 事务可以一次执行多个命令，并且带有以下两个重要的保证：事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。事务是一个原子操作：事务中的命令要么全部被执行，要么全部都不执行。一个事务从开始到执行会经历以下三个阶段：开始事务。命令入队。

2016-11-14 19:23:07 266

原创矩形覆盖

题目描述我们可以用2*1的小矩形横着或者竖着去覆盖更大的矩形。请问用n个2*1的小矩形无重叠地覆盖一个2*n的大矩形，总共有多少种方法？分析：解题思路：归纳法（列举出n=1,2,3,4,5 总结规律）得到：f(1)=1f(2)=2f(3)=3f(4)=5f(5)=8即：n>2时，f(n)=f(n-1) + f(n-2)

2016-11-11 13:28:30 228

原创 Redis 发布订阅

Redis 发布订阅(pub/sub)是一种消息通信模式：发送者(publish)发送消息，订阅者(subscribe)接收消息。Redis 客户端可以订阅任意数量的频道。下图是：频道 channel1 ，以及订阅这个频道的三个客户端 —— client1、 client2和 client3：当有新消息通过 publish命令发送给频道 channel1 时，这

2016-11-10 18:12:57 219

原创变态跳台阶

题目描述一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。分析：这个是有一定规律的，我们可以分析一下一级台阶：f(1)=1二级台阶：f(2)=2三级台阶：f(3)=4四级台阶：f(4)=8从第二个开始，该值等于前一个数 * 2public class Solution2 {public int Ju

2016-11-09 17:29:49 191

原创跳台阶

题目描述一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法。分析：这个是有一定规律的，我们可以分析一下一级台阶：f(1)=1二级台阶：f(2)=2三级台阶：f(3)=3四级台阶：f(4)=5五级台阶：f(5)=8通过上面的规律可以得出：从第三个开始，该数等于前两个数之和f(n) = f(n-1) + f(n-2)publ

2016-11-09 17:07:08 199

原创 Redis 有序集合(sorted set)

Redis 有序集合和集合一样也是string类型元素的集合，且不允许重复的成员。不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的，但分数(score)却可以重复。实例127.0.0.1:6379> zadd only 1 redis(integer) 1127.0.0.1:6379>

2016-11-09 14:40:40 2542

原创 Redis 集合(Set)

Redis的Set是string类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。实例127.0.0.1:6379> sadd setname redis(integer) 1127.0.0.1:6379> sadd setname mongodb(integer) 1127.0.0.1:6379> sadd setname mysql(inte

2016-11-09 13:37:18 306

原创 Redis 列表(List)

Redis 列表是简单的字符串列表，按照插入顺序排序，先插入的在最下面，后插入的在最上面。你可以添加一个元素到列表的头部（左边）或者尾部（右边）实例127.0.0.1:6379> lpush namekey redis(integer) 1127.0.0.1:6379> lpush namekey mongodb(integer) 2127.0.0.1:6379> lp

2016-11-09 11:26:12 948

原创 Redis 哈希(Hash)

Redis hash 是一个string类型的field和value的映射表，hash特别适合用于存储对象。实例127.0.0.1:6379> hmset runoobkey name "redis" description "redis basic commands for caching" likes 20OK127.0.0.1:6379> hgetall runoob

2016-11-09 10:09:02 261

原创斐波那契数列

题目描述大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项。斐波那契数列，又称黄金分割数列；以兔子繁殖为例子而引入，故又称为“兔子数列”，指的是这样一个数列：0、1、1、2、3、5、8、13、21、34、……在数学上，斐波纳契数列以如下递归的方法定义：F（0）=0，F（1）=1，F（n）=F(n-1)+F(n-2)（n≥2，n∈N*）即表示为：

2016-11-08 15:29:24 360