大橙子真帅-CSDN博客

原创 Linux 通过程序名获取进程ID并Kill

#!/bin/bashpids=$(ps -ef | grep XXX| awk '{print $2}')for pid in $pidsdo echo $pid kill -9 $piddone

2018-07-20 15:33:20 6771

原创 java.net.UnknownHostException 解决

在本地和测试服务器运行都没问题，到新的正式机上报错org.quartz.SchedulerException: Couldn't get host name! [See nested exception: java.net.UnknownHostException: task1: task1: unknown error]因为是设置主机名 task1才报的错解决：修改hosts文件(vi /etc...

2018-07-10 19:48:21 12850

原创常用命令～

增加表字段ALTER TABLE table_name ADD COLUMN `create_user_id` BIGINT DEFAULT 0 NOT NULL COMMENT '创建人';修改字段ALTER TABLE table_name MODIFY COLUMN address VARCHAR(200) DEFAULT '' NOT NULL COMMENT '详细地址'; 修...

2018-07-06 17:10:48 297

原创获取免费天气(Java抓取百度天气)

因为要用到天气信息，在网上找了免费的api，不是有调用限制就是返回的结果不满意，看了百度的比较合适，决定用爬虫抓下来在百度上搜索"北京天气"，将浏览器的地址复制，作为请求地址添加jar包  <dependency> <groupId>org.jsoup</groupId> <artifactId&gt...

2018-06-05 13:55:38 5784 1

原创 logback按日期和大小切分日志

生成的日志形式为每天一个文件夹并以日期命名，每个文件夹会存放当天的日志，当每个日志文件超过10KB会自动压缩成.zip<?xml version="1.0" encoding="UTF-8"?> <configuration scan="true"&g..

2018-05-11 10:22:30 10460

原创 Linux安装mysql5.7

下载mysql5.7下载地址：https://dev.mysql.com/downloads/mysql/，或直接用wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz 下载，如图将下载的包复制到linux的 /data/software目录下安装1 解压：tar -zx...

2018-03-30 10:20:47 881

原创使用maven遇到的问题

在pom.xml文件中增加了htmlunit插件，传到服务器上使用mvn clean compile package -Dmaven.test.skip=true命令打包,出现错误：[INFO] ------------------------------------------------------------------------[INFO] BUILD FAILURE[INFO]

2017-09-19 14:47:39 2849

原创 Spring quartz集群配置

quartz单机模式：http://blog.csdn.net/itjavaer/article/details/77923965quartz集群要依赖数据库的，不同版本表可能会不一样，建表语句在下载的安装包里的docs\dbTables，都是qrtz_开头的建完表之后看下qrtz_locks表，这个表里有没有数据，如果没有就手动加上，不然可能报错insert

2017-09-12 19:20:39 534

原创 spring集成quartz

最近用spring集成了quartz做定时任务感觉还不错，比Linux中的crontab靠谱多了，所以记录下来，留个笔记在pom.xml引入quartz org.quartz-scheduler quartz 1.8.5 创建spring-quartz.xml<bean

2017-09-10 19:11:48 297

转载 spring配置文件详解--真的蛮详细

转自： http://book.51cto.com/art/201004/193743.htm此处详细的为我们讲解了spring2.5的实现原理，感觉非常有用 spring配置文件是用于指导Spring工厂进行Bean生产、依赖关系注入（装配）及Bean实例分发的"图纸"。Java EE程序员必须学会并灵活应用这份"图纸"准确地表达自

2017-02-09 15:49:52 467

原创 git常用命令

http://my.oschina.net/doloop/blog/221800cd 到git工作目录添加要提交的文件（提交到暂存区）git add gittext.txt提交到服务器（把暂存区的所有内容提交到当前分支）git commit -m "第一次提交"查看仓库的状态(哪些文件被修改过)git status查看文件修改内容git diff gittext

2016-11-04 16:50:14 312

原创 hive笔记

查看表结构 desc tablename查看表结构 desc extended tablename;查看建表语句 show create tablename;查看表分隔符 desc formated tablename;查看表分区 show partitions tablename;复制表 create table test2 like test1复制表并复制数据create ta

2016-05-05 10:01:35 546

原创 shell日期循环

1. vi test.sh2.#!/bin/shstartdate=`date -d "$1" +%Y-%m-%d`enddate=`date -d "$2" +%Y-%m-%d`while [[ $startdate < $enddate ]]do echo "########$startdate#########" startdate=`dat

2016-04-22 11:15:03 11143

原创 SQOOP导入hive表报错

sqoop：/sqoop-1.4.6/bin/sqoop import --connect jdbc:oracle:thin:@10.100.100.100:1521:orcl --username aaa --password aaa --table tablename --hive-import -m 1 --fields-terminated-by '\t' --hive-overwrite

2015-11-09 13:51:01 1947

原创抓取腾讯新闻评论

package com.orange.qqnews;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.net.URL;import java.net.URLConnection;

2015-10-12 15:56:22 2004

原创 MongoDB count distinct group by JavaAPI查询

import java.net.UnknownHostException;import com.mongodb.BasicDBList;import com.mongodb.BasicDBObject;import com.mongodb.DB;import com.mongodb.DBCollection;import com.mongodb.Mongo;public class M

2015-08-24 17:04:32 5577

原创 hive计算网页停留时长

hive表结构如下： create table pv_user_info(session_id string, user_id string,url string,starttime bigint);主要就是这几个字段有用，省略其他。实现方式：userid和sessionid分组后并按时间降序排序，降序排序后，第一行就是该用户最后一次浏览的网页。最后一行是第一次

2015-08-21 15:22:08 4318 1

原创 hive报错

执行hive语句报下面错误Exception in thread "Thread-150" java.lang.RuntimeException: Error while reading from task log url at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProce

2015-08-20 11:43:27 1399

原创 Hive表数据导入到Hbase

修改hive的配置文件hive-site.xml，增加： hive.aux.jars.path file:///home/hadoop/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar,file:///home/hadoop/hive-0.9.0/lib/hbase-0.92.0.jar,file:////home/hadoop/hive

2015-08-10 13:32:23 6202

原创 storm-0.9.5集群搭建

搭建storm集群准备了4台机器，storm版本是0.9.5，下载地址：http://storm.apache.org/downloads.html，这次是在装有hadoop环境的机器上搭建的，所以jdk和zookeeper安装就略过了。namenode2 （主节点）datanode1 （子节点）datanode2 （子节点）datanode3 （子节点）

2015-06-17 16:02:21 1304

原创 Linux安装kafka 分布式

下载kafka，地址：http://kafka.apache.org/downloads.html选择Binary downloads下载上传到linux并解压$ tar -zxvf kafka_2.11-0.8.2.1.tgz 修改server.properties文件$ vi config/server.propertiesbroker.id=1 (每台机器不能一

2015-06-16 15:18:03 8984 1

原创 Linux安装redis

1.下载redis：下载redis：https://github.com/antirez/redis/archive/2.8.21.tar.gz上传到linux解压，编译：$ tar -zxvf redis-2.8.21.tar.gz$ cd redis-2.8.21/$ make2.编译后将跟目录下的redis.conf文件和src目录下的redis-server、red

2015-06-16 13:21:32 574

原创 jsoup抓取网页报错UnsupportedMimeTypeException

在抓腾讯新闻评论时出现如下异常org.jsoup.UnsupportedMimeTypeException: Unhandled content type. Must be text/*, application/xml, or application/xhtml+xml. Mimetype=application/javascript; charset=utf-8, url=http://.

2015-06-05 16:06:43 5423 1

转载 HTTP协议详解

什么是HTTP协议　　协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则，超文本传输协议(HTTP)是一种通信协议，它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器　　目前我们使用的是HTTP/1.1 版本　　Web服务器，浏览器，代理服务器　　当我们打开浏览器，在地址栏中输入URL，然后我们就看到了网页。原理是怎样的

2015-05-19 14:19:19 908

原创 Java多线程生产者消费者模式

/** * 公共的资源(多个线程操作的对象) */public class Info { private boolean b = false; private String name = "小白"; private int age = 22; public String getName() { return name; } public void setName(Str

2015-05-07 17:07:06 495

原创使用Java调用中科院分词NLPIR/ICTCLAS

官方地址：http://ictclas.nlpir.org/1. 下载NLPIR/ICTCLAS2015分词（最新版本）地址：http://ictclas.nlpir.org/newsdownloads?DocId=3892. 下载NLPIR-ICTCLAS2013-Win

2015-01-29 10:32:42 5608 12

原创 Java抓取去哪网景点门票数据

比如想获得去哪网北京所有门票的信息，地址是http://piao.qunar.com/ticket/list.htm?keyword=%E5%8C%97%E4%BA%AC&region=&from=mps_search_suggest，用谷歌浏览器访问，然后按F12，选择network，经过分析，门票的数据返回list.json,所以可以在搜索框中数据list.json，只查看list.json请

2015-01-22 13:48:55 1332

转载 Java程序打包成exe可执行文件

原文地址：http://www.cnblogs.com/icewee/articles/2073203.html 前言：我们都知道Java可以将二进制程序打包成可执行jar文件，双击这个jar和双击exe效果是一样一样的，但感觉还是不同。其实将java程序打包成exe也需要这个可执行jar文件。准备：eclipse、exe4j（网上有软件和帐号下载）第一步，将java项目打

2014-12-31 13:24:23 748

原创 Java观察者模式

假定QQ可以在多个不同的客户端同时登陆(如：电脑，手机，pad，网页)，当好友给我发消息时每个客户端都会接受到消息，基于这种业务使用观察者模式定义观察者对象/** * 观察者接口 */public interface QQObServer { public void sendMsg(String name);}添加三个客户端，手机，网页，电脑并实现QQObServer接口

2014-12-22 11:28:59 477

原创 Java模版方法模式

模版方法模式就是定义一个骨架，具体做什么操作由子类实现，比如我想测试某个方法执行使用的时间，记录时间的代码是固定的，变的只是不同的要测试方法(如添加，删除，修改)，所以我们可以定义一个抽象类，提供一个抽象方法，是测试添加还是删除由子类决定。定义模版类Demo，有一个抽象方法executeMethod()，再提供一个计算时间的方法getTime()public abstract class

2014-12-14 16:37:57 466

转载 MapReduce原理

本文转自：http://langyu.iteye.com/blog/992916 Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行

2014-12-13 12:02:00 692

原创 Java适配器模式

定义出程序员接口，有4个方法public interface Programmer { public void java(); public void c(); public void dotNet(); public void ios();}接口的实现类，实现4个空方法public abstract class ProgrammerImp implements Prog

2014-12-08 10:04:46 489

原创 Java代理模式静态代理动态代理

静态代理比如说有一个添加的方法需要记录日志，但又不想修改添加的方法，我们可以采用静态代理，这样的好处是业务类只要关注自己的业务逻辑，保证了重用性，其他的业务如记录日志，权限检查等交给其他的业务类去做定义接口public interface User { public void add(); public void delete();}被代理的类要实现User接口pub

2014-12-04 16:55:25 442

原创 Java 装饰设计模式

装饰设计模式是对已经存在的对象增加新的功能，相比继承不会那么臃肿首先定义一个接口，手机最基本的功能打电话public interface Mobile { public void call();}定义抽象的装饰类实现Mobile接口public abstract class MobileDecorate implements Mobile { private Mo

2014-12-04 10:54:06 560

原创 Java工厂模式工厂方法模式抽象工厂

工厂模式定义车的抽象类，有一个行驶的方法，所有的车都继承这个类/** * Car 抽象类 */public abstract class Car { public abstract void run();}定义两辆车，奔驰和本田，继承Car 抽象类并实现run()方法public class BenChi extends Car { @Override publ

2014-12-03 09:02:14 1096

原创 Java单例模式

懒汉式public class Singleton { private static Singleton singleton = null; // 构造方法私有化 private Singleton() { } public static Singleton getInstance() { if (null == singleton) { synchronized (

2014-12-01 17:47:07 406

原创 Java实现二分查找

public class TestSearch { public static void main(String[] args) { // 数组必需是有序的 int array[] = {3,6,10,12,25,48,50,56,88,100,102,106,109,220}; System.out.println(search(array, 25)); System.out

2014-12-01 16:35:12 766

原创 Collections类使用，模拟斗地主洗牌

Collections一个操作集合的工具类，提供的方法都是静态方法，构造方法已被私有化。 package com;import java.util.ArrayList;import java.util.Collections;import java.util.List;public class Test { public static void main(String[] a

2014-12-01 09:40:10 523

原创 HDFS配置项

HDFS的配置文件主要有两个，hdfs-site.xml和core-site.xml，以下是这两个文件的常用的属性，以后会不断添加 hdfs-site.xml属性说明以下属性都在hdfs-default.xml中，hadoop不建议直接修改这个文件，建议在hdfs-site.xml中修改，hdfs-site.xml的属性值会覆盖hdfs-default.xml中的值。

2014-11-26 11:42:01 1443

原创 Spring集成Hibernate

代码结构

2014-11-20 14:44:23 412

北京住宅小区数据

北京小区数据，包含小区名称、经纬度和所属区县，共9084个，应该算比较全了吧，有sql脚本和csv两种格式，可直接使用

2017-11-28

JSONObject所需要的6个jar包

JSONObject所必须的6个jar包: commons-beanutils-1.7.0.jar commons-collections-3.1.jar commons-lang-2.5.jar commons-logging.jar ezmorph-1.0.3.jar json-lib-2.1-jdk15.jar

2015-03-20

Java抓取去哪儿网门票数据

抓取去哪网门票数据，有代码和解析json用的jar包，直接就能运行，抓取其他信息也是一个道理

2015-01-22

新浪微博sdk

抓取新浪微博用到的sdk，也可以去新浪网站下载，使用方法在http://blog.csdn.net/itjavaer/article/details/40299271

2015-01-06

exe4j_windows_4_2

Java程序打包成exe可执行文件,带有注册机，使用方法参考csdn博客http://blog.csdn.net/itjavaer/article/details/42293841

2014-12-31

Java 工厂模式抽象工厂工厂方法模式

Java实现的工厂模式，抽象工厂，工厂方法模式

2014-12-10

spring集成hibernate

spring集成hibernate，包括所有的jar包和代码而且有注释，使用的是spring注解注入，导入Eeclipse就能运行。

2014-11-20

Java抓取https网页数据

Java抓取https网页数据，解决peer not authenticated异常。导入eclipse就能运行，带有所用的jar包（commons-httpclient-3.1.jar，commons-logging.jar，httpclient-4.2.5.jar，httpcore-4.2.4.jar）

2014-11-18

hadoop集群安装

wmware搭建的hadoop集群，共三个节点，有配置linux静态IP，ssh免密码登陆，安装jdk，安装hadoop集群，hive，zookeeper集群，hbase集群，附有截图比较详细，适合第一次安装hadoop集群的同学

2014-10-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人