- 博客(49)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 mysql5.7安装与配置
Step1: 检测系统是否自带安装mysql# yum list installed | grep mysqlStep2: 删除系统自带的mysql及其依赖命令：# yum -y remove mysql-libs.x86_64 1 查看Linux发行版本[root@typecodes ~]# cat /etc/redhat-releaseCentOS Linux
2017-03-26 11:34:41
541
原创 使用MRUnit进行MapReduce单元测试
1.前言在写完MR之后，通常都会自己造一些数据本地测一下保证基本逻辑没问题。这里使用MRUnit进行MR的单元测试官网地址：https://mrunit.apache.org/ 这里笨小葱使用MRUnit来测试一下最简单的WordCount的MR代码。2.maven配置 这里需要注意 引入mrunit的jar包时需要加上hadoop2,来区分
2017-03-12 12:17:47
915
转载 mr配置es
https://www.elastic.co/guide/en/elasticsearch/hadoop/current/mapreduce.html#_emphasis_new_emphasis_literal_org_apache_hadoop_mapreduce_literal_api
2017-03-10 15:48:01
555
转载 通过Nginx访问后端应用，ERR_CONTENT_LENGTH_MISMATCH 问题的解决
遇到两个问题1. 选择日期功能，不起作用了2. 下载稍大一点的文件，只能下载一小半页面调试发现有ERR_CONTENT_LENGTH_MISMATCH错误系统：CentOS，Nginx，proxy到后端的tomcat原因：nginx会缓存大文件到proxy_temp目录中，然而对这个目录没有读写权限解决
2017-01-06 16:17:02
1188
转载 【lua】table是否为空的判断
【lua】table是否为空的判断在项目的脚本lua中经常有这样的需求，1、local a = {}2、对a进行处理3、对a是否为空表进行判断关于对a是否为空表的判断，如果直接这样做：if a == {} then这样的结果就是a == {}永远返回false，是一个逻辑错误。因为这里比较的是table a和一个匿名table的内存地址。也有些代码如此做：
2017-01-06 16:15:28
2262
转载 CDH5.X完全卸载步骤
//CDH5.X完全卸载步骤# by coco# 2015-01-141. 关闭集群中的所有服务。 这个可以通过clouder manger 主页关闭集群。2. 卸载[root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh [root@slave1 ~]
2017-01-06 16:13:56
742
原创 lua+nginx解析useragent实例
----------------------------------------razor_js.lua---------------------------------------------------------local cjson = require("cjson")local cjson_safe = require("cjson.safe")loc
2017-01-06 16:06:44
3902
原创 lua解析UserAgent
--解析UserAgent，获取移动设备访问的系统版本和设备型号function getUAField(t)local separator=';'local tab={}local android=string.find(t,"Android")local iphone=string.find(t,"iPhone") if android t
2017-01-06 15:59:03
2218
原创 lua的一些简单函数
--字符串分割函数--传入字符串和分隔符，返回分割后的tablefunction string.split(str, delimiter)if str==nil or str=='' or delimiter==nil thenreturn nilend local result = {} for match in (
2017-01-06 15:50:48
616
原创 Linux下调整根目录的空间大小
一、目的在使用Linux系统的时候，发现根目录(/)的空间不是很充足，而其他目录空间有很大的空闲，所以本文主要是针对现在已有的空间进行调整。首先，先来查看一下系统的空间分配情况：[plain] view plain copy print?[root@CentOS-78 /]# df -h Filesystem
2017-01-06 15:17:56
19060
1
原创 hadoop MR从hbase中读取数据写入到hbase中
hadoop MR从hbase中读取数据写入到hbase中的配置public class WordCount { private static final Logger LOGGER= LoggerFactory.getLogger(WordCount.class); static class HbaseMapper extends TableMapper{
2016-12-10 10:25:50
2982
原创 hadoop MR多目录动态输出配置
在写MR时，如果需要根据记录内容进行，每条记录的动态目录输出可以使用MultipleOutputs类配置。public static class hdfs2HiveMap extends Mapper { private MultipleOutputs multipleOutputs; //声明 @Override protected v
2016-12-10 10:11:59
1722
原创 CDH安装中遇到的问题解决
--------------------------cdh中重装hbase后之前的脚本残留解决---------------------1.切换到zookeeper的bin目录； //zookeeper-client status命令可以找到该bin目录2.执行$sh zkCli.sh输入 ls /4.输入rmr /hbas
2016-10-23 10:55:10
5793
转载 ORA-12519: TNS: 没有找到适用的服务处理
无法连接到数据库实例: ORA-12519: TNS: 没有找到适用的服务处理无法连接到数据库实例: ORA-12519: TNS:no appropriate service handler found (DBD ERROR: OCIServerAttach)。在网上搜了一下，都是英文信息，也不是很完整，估计是进程数量超出，根据网上教程，在sqlp
2016-10-23 10:32:01
25640
转载 java.io.IOException: Too many open files
今天后台服务器（Linux） 在转音源的时候 报java.io.IOException: Too many open files在网上查了一些资料 记录如下：打开的文件过多，一般来说是由于应用程序对资源使用不当造成，比如没有及时关闭Socket或数据库连接等。但也可能应用确实需要打开比较多的文件句柄，而系统本身的设置限制了这一数量。异常 1 java.net.Socket
2016-10-23 10:29:43
4901
原创 es与其他服务(hbase,spark,hive)jar包冲突时如何定位冲突包
集群部署时es的jar包可能与其他服务(hbase,spark,hive....)jar包冲突部署时需要替换官方的es架包为我们自己重新编译的jar包。 补充：如果需要定位到具体是哪个class引起的冲突，可以通过在tomcat的bin/catalina.sh中配置： JAVA_OPTS="-verbose:class" tomcat启动后会在catali
2016-10-23 10:26:03
1962
原创 CDH集群中maptask的日志文件的位置整理
笨小葱这周写了一个读取hbase中的数据到map中的很简单的mr。然后放到cdh集群中跑了一下，结果出现了一系列问题。其中最重要的一个问题竟然是，笨小葱想去找我在mr程序中打的日志，竟然苦苦找不到。所以这里记录下笨小葱从头到尾的一个过程。1.打包运行mr这里笨小葱执行 hadoop jar xxx.jar时，报了一个错误:Exception in thread "main" java.
2016-09-09 21:54:26
4773
2
原创 IDEA远程调试Hadoop步骤及出错解决整理
作为习惯了用idea开发的小伙伴，不太想用eclipse开发Hadoop,于是研究了一下idea如何远程调试mr，现分享一下。一 开发环境本地win10系统Intellij idea14工具虚拟机中hadoop2.6.0伪分布模式二配置步骤(这里笨小葱参考的这篇文章：http://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-ha
2016-09-04 12:09:33
12033
6
转载 Could not initialize class net.sf.cglib.proxy.Enhancer解决办法
出现异常：java.lang.NoClassDefFoundError: Could not initialize class net.sf.cglib.proxy.Enhancer，解决方法： 方案1：删除asm-2.2.3.jar； 方案2：删除 cglib-2.1.3.jar； 保留 cglib-nodep-2.1_3
2016-06-20 17:35:45
9559
原创 通过maven-shade-plugin 解决Elasticsearch与hbase的jar包冲突问题
今天在项目中集成hbase1.0.0-cdh5.5.2和ElasticSearch2.2.0时出现了问题,原先在集成hbase时，引入了架包com.google.guava(16.0版本)，后来在集成ES时发现es中也用到了guava的18.0版本。这时候问题来了，如果将原来的guava 16.0版本修改为18.0版本，hbase就是因为版本太高而报错。如果继续使用16.0版本es的javaAPI
2016-06-13 20:08:11
11168
8
原创 ES2.x版本的javaAPI使用实例
前段时间做用户标签系统，使用的es2.2来存储查询。其中涉及到了es的javaAPI的使用。这里把笨小葱用到的一些函数分享一下。首先是es的连接获取操作实例。import org.elasticsearch.action.search.SearchResponse;import org.elasticsearch.client.transport.TransportClient;im
2016-06-08 15:15:58
7230
4
原创 Javascript中对Date类的操作函数
这里，笨小葱分享一个在工作中用到得js，对date类型变量的一些操作函数。包括:1.将Date转化为指定格式的String2.计算出当前时间的前7天，15天的日期3.计算出前1个月，3个月的日期// 对Date的扩展，将 Date 转化为指定格式的String// 月(M)、日(d)、小时(h)、分(m)、秒(s)、季度(q) 可以用 1-2 个占位符，// 年(y)可以用 1
2016-06-08 14:56:28
414
原创 phpass0.1版本对应的javascript版本重写
最近涉及到一个数据库移植时用户的密码是使用phpass0.1版本的php语言进行加密的，该加密算法是不可逆的，同样的字符串在不同的时候加密得到的加密字符串是不一样的，而且不可逆。所以必须要使用该类库所提供的解密接口来进行解密。首先附上php版本的算法：PasswordHash.php<?php## Portable PHP password hashing framework.##
2016-05-18 17:04:13
984
原创 Pentaho从零单排之一（简介与安装）
这里直接分享一个比较全的下载地址:https://osdn.jp/projects/sfnet_pentaho/releases/。 如果要下载老的版本比如笨小葱这个3.5的还有一个需要翻墙的网址也行：https://sourceforge.net/projects/pentaho/files二,安装 1.首先在本机上安装jdk，安装Pentaho的BI Server组件时，注意本地环境的配置。
2016-03-05 16:10:05
1161
原创 springBoot jpa 多数据源的动态切换
这周笨小葱一直在研究如何使用springBoot的多数据源配置。 看了3天的网上的博客，发现大多数都是多数据源的配置，并没有很详细的关于使用springBoot的多数据源动态切换的配置。前者整体配置过程是在springBoot的原有的jpa实体管理工厂（entityManagerFactory）的基础上（这里，entityManagerFactory会绑定一个数据源，而transacti
2015-12-27 15:34:48
25068
3
原创 网站数据分析指标简介
1.浏览次数（PV） 用户访问网站时每打开一个页面，就记为1个PV。同一个页面被访问多次，浏览量也会累积。一个网站的浏览量越高，说明这个网站的知名度越高，内容越受用户喜欢。一味地重视PV也是没有太大意义的（PV跟点击量差不多吧）。2.访客数（UV）访客数就是指一天之内到底有多少不同的用户访问了你的网站。访客数要比IP数更能真实准确地反映用户数量。3.IP数指当天记录的唯
2015-12-20 11:37:35
768
原创 IONIC安装部署入门教程
这周笨小葱接收到了一个项目任务，用ionic+angularJS写一个hybrid应用程序（也就是native+html混合移动应用）。初次接触andriod还是大三时候的事了吧，当时用google的手势识别类库写了个手势识别应用，之后就是写手游的时候涉及到了移动端开发。对于这两个新技术还是第一次听说。下面就让我们来，一步一步的将一个移动应用demo跑起来。（笨小葱这里是在windows操作系统上
2015-11-07 11:13:25
5301
1
转载 Spring Boot @PathVariable出现点号"."时导致路径参数截断获取不全的解决办法
@PathVariable出现点号"."时导致路径参数截断获取不全的解决办法时间：2015-05-28 17:59:54 阅读：756 评论：0 收藏：0[点我收藏+]标签：springmvc pathvaria 小数点 点 参数不全 1、问题 SpringMVC项目中通过下面的ＵＲＬ进行GET请求。当versi
2015-11-07 10:12:57
4908
3
转载 使用Spring Boot快速构建应用
使用Spring Boot快速构建应用作者 张卫滨 发布于 2014年1月21日 | 4 讨论分享到：微博微信FacebookTwitter有道云笔记邮件分享稍后阅读我的阅读清单随着Spring 4新版本的发布，Spring Boot这个新的子项目得到了广泛的关注，因为不管是Spring 4官方发布的新闻稿还是针对首席架构师Adrian Colyer
2015-11-07 10:11:31
371
原创 java从0单排之<<java就业培训教程>>复习与面试题回顾——03
第三章：面向对象（上）1.对象的比较，即“==”和equals()方法，”==“用于比较两个变量的值是否相等，equals（）用于比较两个对象的内容是否一致。 publicclassStringDemo4 { publicstatic void main(String[] args) { String s1 =
2015-10-18 13:40:13
559
原创 java从0单排之<<java就业培训教程>>复习与面试题回顾——02
第二章：java编程基础1.java的包，类，方法，参数和变量的名字，可由大小写字母，数字，下划线（_）和$符号组成,但标识符不能以数字开头，不能是java中的保留关键字。 （之所以笨小葱在这里写下这个内容，主要是实际开发中我都是以字母来表示标识符的，所以有一次笔试中，突然考到这个知识点，记不太清了。当时主要是不确定是否能以$，_开头） QA: 下面哪些标识
2015-10-04 11:10:09
554
原创 java从0单排之<<java就业培训教程>>复习与面试题回顾——01
第一章：java开发前奏1.java是一种简单易用，完全面向对象，有平台无关性，安全可靠的主要面向internet的开发工具。QA:平台无关性啥东东？ 89： 这里跨平台的原理需要说到一个概念，java虚拟机（JVM）,它是可运行java字节码（.class文件）的假想计算机。 原本c语言是首先windows下编译程序编译c源代码
2015-09-19 14:44:34
696
转载 解释器与编译器 （本文转自：http://blog.chinaunix.net/uid-22363424-id-113275.html）
解释器与编译器 本文转自：http://blog.chinaunix.net/uid-22363424-id-113275.html1. 在具体计算机上实现一种语言，首先要确定的是表示该语言语义解释的虚拟计算机，一个关键的问题是程序执行时的基本表示是实际计算机上的机器语言还是虚拟机的机器语言。这个问题决定了语言的实现。根据这个问题的回答，可以将程序设计
2015-09-12 09:29:17
800
转载 jQuery实现CheckBox全选、全不选
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml"><head runat="server">
2015-08-30 11:14:02
449
原创 MD5加密代码
package com.datasoftware.jr.dbbroker;import java.security.MessageDigest;import java.security.NoSuchAlgorithmException;/* * MD5 算法*/public class MD5 { // 全局数组 private fi
2015-08-30 11:10:36
540
转载 java基础教程-多线程编程
java基础教程-多线程编程 多线程编程和其他多数计算机语言不同，Java内置支持多线程编程（multithreaded programming）。多线程程序包含两条或两条以上并发运行的部分。程序中每个这样的部分都叫一个线程（thread），每个线程都有独立的执行路径。因此，多线程是多任务处理的一种特殊形式。你一定知道多任务处理，因为它实际上被所有的现代操作系统所支持。然而，多任务
2015-08-08 10:48:48
602
原创 单链表创建及其插入，删除，逆序
#include struct node{ char data; node *next;}; void Output(node *list);void Init(node *list){ // list->data='0'; list->next=NULL;} v
2015-08-02 10:06:12
708
原创 Web Crawling and Data Miniing with Apache Nutch(翻译+学习心得)_01
笨小葱会在这两个月翻译完这本传说中的418元一本的神作。0.0.由于英语很烂，只能说个笨小葱理解的大概意思，很多地方翻译不到位请各位大拿指出，我会及时更正的。请多多包涵0.0PrefaceApache Nutch is an open source web crawler software that is used for crawlingwebsites. It
2015-07-19 22:21:48
937
原创 nutch2.2.1+mysql集成教程
首先，参考笨小葱之前的博客，完成mysql的安装和nutch2.x的安装编译。然后，修改一些配置就可以完成集成工作啦MySQL配置1.my.cnf配置分别在[client]、[mysql]下添加“default-character-set=utf8”；在[mysqld]下添加：character-set-server=utf8权限授予
2015-07-06 19:04:27
3773
6
原创 linux下mysql安装
首先查看一下系统有没有自带安装mysql#rpm -qa | grep -i mysql如果有的话，那么就删除掉：#rpm -ev mysql-xxxxxx这里，笨小葱删除出错：error: Failed dependencies: libmysqlclient.so.16()(64bit) is needed by (installed) postfix-2:
2015-07-06 19:00:49
461
SpringBoot多数据源动态切换源码
2015-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人