Simmu

原创 Guava使用

1.java8中Optional的使用/** * 学习Java8中的Optional使用方法 */public class OptionalTest { @Test public void test() throws Throwable { /** * 三种创建Optional对象方式 */ // ...

原创 java函数式编程

lambda表达式可以理解为一种匿名函数的替代方式lambda的要求（1）使用lambda表达式只能是对于接口，对于抽象类或者普通类都是不能用的.（2）并且函数式接口中只能有1个抽象方法与n个静态方法，如果存在多个抽象方法，则不能作为函数式接口(lambda)使用了lambda表达式的形式(parameters)->expression(parameters)->{...

原创 lombok 使用技巧和说明

maven配置相关：<projectlombok.version>1.18.2</projectlombok.version><dependency> <groupId>org.projectlombok</groupId> <artifactId>lom...

原创 leetcode 574. 当选者

表: Candidate+-----+---------+| id | Name |+-----+---------+| 1 | A || 2 | B || 3 | C || 4 | D || 5 | E |+-----+---------+ 表: Vote+-----+------...

原创 leetcode 184. 部门工资最高的员工

# Write your MySQL query statement belowselect t2.name as Department,t1.name as Employee,t1.Salary from Employee t1inner joinDepartment t2on t1.DepartmentId=t2.Idwhere (t1.Salary,t1.Departmen...

原创 leetcode mysql 178. 分数排名

# Write your MySQL query statement belowselect t1.Score,count(distinct t2.Score)+1 as RankfromScores as t1left joinScores as t2ont1.Score<t2.Scoregroup by t1.IDorder by Rank asc

原创 [牛客网sql练习]查找当前薪水详情以及部门编号dept_no

--正确的sqlselect t2.*,t1.dept_no from (select * from salaries ) t2left join(select * from dept_manager) t1on t1.emp_no=t2.emp_no where t1.to_date='9999-01-01'and t2.to_date='9999-01-01'answer...

原创 python实现简单的文本处理

#字符串转化工具import sysf=open(r"D:\test/1.txt","r")line=f.read();str=line.splitlines()for i in range(0,len(str)-1): str[i]=str[i]+","for i in str: print(i,end="")

转载 大数据路线

原创 Flume使用

r1.sources = source1r1.channels = channel1r1.sinks = sink1r1.sources.source1.type = netcatr1.sources.source1.bind = localhostr1.sources.source1.port = 8888r1.sources.source1.ch

原创 Hbase Java API访问问题

Hbase Java API远程访问时，如果debug或者等待时间过久，定位问题发现是在put或者get操作时，一直等待。那么可以试一下将你的hbase集群的主机ip和对应的主机名存到你编程操作的主机的hosts文件中，不要跟我说你设置参数的时候指定的是ip地址或者你添加的hbase-site.xml中写的也是ip地址，没用的，大概是因为还是需要在本地进行集群的主机的主机名解析。以上。...

原创 Zookeeper 编程访问

package com.huawei.cn;import org.apache.zookeeper.ZooKeeper;import org.junit.Test;import java.io.IOException;import java.util.List;public class ZookeeperTest { @Test public void ls() t...

转载 Linux 快捷键

ctrl键组合ctrl+a:光标移到行首。ctrl+b:光标左移一个字母ctrl+c:杀死当前进程。ctrl+d:退出当前 Shell。ctrl+e:光标移到行尾。ctrl+h:删除光标前一个字符，同 backspace 键相同。ctrl+k:清除光标后至行尾的内容。ctrl+l:清屏，相当于clear。ctrl+r:搜索之前打过的命令。会有一个提示，根据你输入的关键字进行搜索bash的histo...

原创 Avro讲解

Avro和Protobuf相似，都可以通过编译生成java类，然后在编程中使用这个Java类进行序列化。首先需要编写.avsc的json文件如下{ "type" : "record", "namespace" : "Tutorialspoint", "name" : "Employee", "fields"

原创 Protobuf讲解

Hadoop广泛用到Protobuf，而且Protobuf的效率极高，网络间传输数据量小。首先需要新建一个描述对象，在这里我们明明命名为addressbook.proto package tutorial; option java_package = "com.example.tutorial"; option java_outer_classname = "AddressBookProt...

原创 Java 编程实现Hive的UDF

package com.huawei.con.UDFTest;import org.apache.hadoop.hive.ql.exec.Description;import org.apache.hadoop.hive.ql.exec.UDF;@Description(name="myadd", value="myadd(int a,int b)====&gt;retu...

原创 Java实现deflate算法的压缩和解压

package com.huawei.cn;import java.io.*;import java.util.zip.DeflaterOutputStream;import java.util.zip.InflaterInputStream;public class compress { public static void main(String[] args) throw...

原创 用Hive实现MapReduce的单词统计

一个简单的单词统计在用MapReduce来实现虽然是经典用例，但是现实起来还是比较复杂的。下面介绍如何用hive来实现单词统计。首先准备一个记录单词的word.txt然后在hive中新建一个表并将word.txt的数据导入到该表中然后运行如下的命令select tt.wordtxt,count(*) cc from ( select explode(split(line,' ')) as word...

原创 hadoop JDBC (一)

import org.junit.Test;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.Statement;public class JdbcTest { @Test public void testPreparedStatement() throws ...

原创 hadoop实用小工具

集群查询：#!/bin/bashparams=$@tmp_ip="192.168.60."i=31for (( i=31 ; i &lt;= 35 ; i = $i + 1 )) ; do echo ============= ${tmp_ip}$i $params ============= ssh ${tmp_ip}$i "$params"done#集群的ip地...

原创 hadoop与MySQL结合

一般的hadoop的mapreduce操作都是对文本文件或者在hdfs上的数据，如何在数据库中读取数据进行操作。首先需要自定义一个DBWritable类。package com.huawei.hdfs.com.huawei.mysql;import org.apache.hadoop.io.Writable;import org.apache.hadoop.mapreduce.lib.db....

原创 hadoop MR链条化处理

解决数据倾斜问题，可以从自定义分区入手，但是如果对于wordcount场景来说，通过分区到多个reduce那么数据就不准确了。这样就需要链条化的MR来处理。也就是多个Mapper来处理，然后再一个Reduce，后面可以再接Mapper来处理数据。现在就以一个过滤敏感词和筛掉出现次数不大于2的word的频度来举例。Mapper1：package com.huawei.mr;import org....

原创 hadoop 压缩解压

先放代码package com.huawei.hdfs.compress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.compress.*;import org.apache.hadoop.util.Reflectio...

原创 hadoop 优秀讲解备注

shuffer讲解：http://langyu.iteye.com/blog/992916MR讲解：http://www.cnblogs.com/wuyudong/p/mapreduce-principle.html

原创 hadoop MR wordcount代码

其中包括本地在IntelliJ IDEA调试的wordcount和在集群中运行的wordcount，具体原理研究后续。重写mapperpackage com.huawei.hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop...

原创 hadoop学习问题汇总

1.No valid local directories in property: mapreduce.cluster.local.dir问题在本地测试MR任务的时候，出现了该问题，解决办法：添加设置路径：其中该路径为放入测试的wordcount的文本文件的路径，不用具体指到哪个文件。conf.set("mapreduce.cluster.local.dir","/Users/simmucheng...

原创 对通过函数申请内存的理解

如果想通过函数申请一块内存并将这块内存地址传递出来，需要用到指针的指针，但是在这一块并不是很好理解。虽然不知道自己的想法是不是正确的，但是很好理解，先做一个笔记，免得忘记。void GetMemory1（char *p，int num）{ p=malloc(sizeof(int)*num); return;} void Test1（）{ cha

原创 Unity3D 问题解决

Data folder not found。There should be 'rr_Data'folder next to the executable在用Unity实现游戏的时候，在run 游戏的时候出现这个错误，解决办法：File->Build Setting->Player Setting->Other Setting->Api Compatibility Lev

原创 排序算法比较和总结

1.冒泡排序2.选择排序3.插入排序4.快速排序5.归并排序6.堆排序#include using namespace std;void swap_self(int &a,int &b){ a^=b; b^=a; a^=b;}void just(int *a,int state,int len){ int child; child=(state<<

原创 科大讯飞笔试&&腾讯模拟在线笔试

昨天科大讯飞的笔试挂了，很正常，都是C++的题目，虽然之前有做过很多关于C++的算法题，但是感觉和竞赛还是有差别的。科大讯飞，回忆版：C++函数中的两个指针相交换，问返回结果是交换后的结果还是不变？稀疏矩阵的压缩存储的两种方法：十字链表和三元组列。一个二叉树的度为2的节点个数为N2，度为1的节点的个数为N1，求叶子节点的个数？编程题：1.用递归检查一个数组是不是升序排列的。

原创 从本地上传项目到github上

由于现在需要经常上传项目到github上，索性就讲命令行直接写在这里了，忘记了就回头看看。create a new repository on the command lineecho "# AsyncTaskDemo" >> README.mdgit initgit add README.mdgit commit -m "first commit"git remote ad

原创 Handler,Looper,MessageQueue,ThreadLocal讲解以及实例

Handler是android消息机制的核心。一个线程可以有多个handler，但是只能有一个Looper和MessageQueue。handler是用来在线程间传递消息的。而handler是发送消息以及传递消息的。在UI线程也是主线程，由于主线程会自动创建Looper，所以在子线程中，必须自己创建Looper才能创建Handler。Handler的消息发送可以是handler.sendM

原创 Volley 实例DEMO

Volley 是 Google 推出的 Android 异步网络请求框架和图片加载框架。在 Google I/O 2013 大会上发布。Volley的优势是：特别适合数据量小，通信频繁的网络操作。Volley的主要特点是：1.扩展性强。Volley 中大多是基于接口的设计，可配置性强。2.一定程度符合 Http 规范，包括返回 ResponseCode(2xx、3xx、4x

原创 openmesh 用矩阵法映射到圆盘

#include #include #include #include #include #include #include struct MyTraits : public OpenMesh::DefaultTraits{ VertexTraits { int some_additional_index; };};typedef OpenMesh

原创 Java多线程 面试题

三线程打印ABCpublic class JavaTest implements Runnable{ private String name; private Object prev; private Object self; private JavaTest(String name,Object self,Object prev){ this.name=name; this.

原创 剑指offer 65 矩阵中的路径

题目描述请设计一个函数，用来判断在一个矩阵中是否存在一条包含某字符串所有字符的路径。路径可以从矩阵中的任意一个格子开始，每一步可以在矩阵中向左，向右，向上，向下移动一个格子。如果一条路径经过了矩阵中的某一个格子，则该路径不能再进入该格子。 例如 a b c e s f c s a d e e 矩阵中包含一条字符串"bcced"的路径，但是矩阵中不包含"abcb"路径，因为字符串的第一个字符

原创 剑指offer 66 机器人的运动范围

题目描述地上有一个m行和n列的方格。一个机器人从坐标0,0的格子开始移动，每一次只能向左，右，上，下四个方向移动一格，但是不能进入行坐标和列坐标的数位之和大于k的格子。 例如，当k为18时，机器人能够进入方格（35,37），因为3+5+3+7 = 18。但是，它不能进入方格（35,38），因为3+5+3+8 = 19。请问该机器人能够达到多少个格子？思路运用深度优先搜索，其

原创 剑指offer 39 平衡二叉树

题目描述输入一棵二叉树，判断该二叉树是否是平衡二叉树。思路直接递归求出每个节点的左右子节点的最长路径，然后比较是否满足AVL树的要求。public class Solution { int judge=1; public int Judge_AVL(TreeNode root){ if(root==null)return 0; i

原创 剑指offer 40 数组中只出现一次的数字

题目描述一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。思路首先遍历整个数组，运用stl中的map来标记已经走过的数，记为ii+1，其中ii为数组下标。那么下次再次遇到，就将这两个数所对应的mark数组的相应位置上标记一下，遍历完，那么没有在mark数组中标记的就是那两个次数只有一次的数。有一点需要在该算法中注意的是存在四个或

原创 剑指offer 38 二叉树的深度

题目描述输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。思路直接递归。遍历左右子树，当遍历到叶子节点的时候，取舍该节点的深度和最大的深度。/*public class TreeNode { int val = 0; TreeNode left = null; TreeNode right =