- 博客(27)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 java 获取Map地图 经纬度与所处地理名称 相互转化
什么是Geocoding？Geocoding API是一个供程序员调用的、http形式的地图服务接口。主要服务那些非网页程序的调用。例如C# 、C++、Java等开发语言都能发送http请求且能接收返回数据。用户只需在请求的url字串中拼接好关键字或者经纬度信息，即可获取到相应的百度经纬度或者结构化地理信息。Geocoding API有哪些功能？Geocodin
2014-10-14 15:35:50
927
原创 HIVE开发那些事儿
HIVE是什么来自度娘百科的解释：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。简单来说，就是用QL这种语言的方式来完成M
2014-10-14 15:33:17
756
原创 Ubuntu下Sublime Text 3 和搜狗拼音输入法安装全套解决方案
最新消息：优麒麟14.04版自带搜狗输入法，http://www.ubuntukylin.com/，以下可以省去第一步安装输入法了。首先声明采用方法并非原创，参考了网上的帖子，经过自己的实践做了一些优化，参考帖子如下：?123456http://www.cnblogs.com/A-Song/archive/2013/04/01
2014-10-14 14:58:23
996
原创 hive 的条件判断（if、coalesce、case）
原文地址：http://www.folkstalk.com/2011/11/conditional-functions-in-hive.htmlCONDITIONAL FUNCTIONS IN HIVEHive supports three types of conditional functions. These functions are listed belo
2014-10-14 14:57:32
1010
原创 Windows下Eclipse搭建GitHub开发环境图文教程
--http://www.linuxidc.com/Linux/2013-06/85372.htm
2014-10-14 14:56:00
504
原创 Hbase shell 常用命令（1）
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录
2014-10-14 14:54:23
439
原创 Hbase原理、基本概念、基本架构
概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来
2014-10-14 14:49:29
534
原创 HBASE SHELL 常用命令
说明：新版hbase取消了对HQL的支持，只能使用shell 命令：disable 'tableName' --disable表。注：修改表结构时，必须要先disable表。命令：enable 'tableName' --使表可用命令：drop 'tableName' --删除表 HBase基本命令下面我们再看看看HBase的一些基本操作命令，我列出了几个常用的
2014-10-14 14:48:02
611
原创 mapreduce中实现对hbase中表数据的添加
参考网址：http://www.javabloger.com/article/hadoop-mapreduce-hbase.html 根据参考网址中的小实例，自己亲自实现了一下，记录一下自己对该程序的一些理解。 实例：先将数据文件上传到HDFS，然后用MapReduce进行处理，将处理后的数据插入到hbase中。代码如下： 首先是Mapper：
2014-10-14 14:46:39
514
原创 Hadoop2.4.1 + ZK + HBase 环境搭建
Hadoop + ZK + HBase 环境搭建Hadoop 环境搭建参考资料: http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/ClusterSetup.htmlhttp://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-
2014-10-14 14:45:33
842
原创 Win7上eclipse无插件交付Hadoop2.2分布式作业
Win7上eclipse无插件提交Hadoop2.2分布式作业一直以来，都以为，想在Win上提交hadoop集群的作业，必须得在eclipse上安装hadoop-eclipse-plugin插件才可以提交，但最近与同事交流，发现其实，不一定必须安装hadoop的eclipse插件，才能提交。今天试了一把，发现果然可以不用安装插件也可以正确提交作业到集群上，故在此总结一下。既然，
2014-10-14 14:39:06
764
原创 Hbase调用JavaAPI实现批量导入操作
将手机上网日志文件批量导入到Hbase中，操作步骤：1、将日志文件(请下载附件)上传到HDFS中，利用hadoop的操作命令上传：hadoop fs -put input / 2、创建Hbase表，通过Java操作 Java代码 package com.jiewen.hbase; import java.io.IOException;
2014-10-14 14:33:35
5240
1
原创 ubuntu安装Thrift
facebook开源项目thrift安装记录2010-05-29 23:47thrift homepage : http://incubator.apache.org/thrift/1.wget http://apache.etoak.com/incubator/thrift/0.2.0-incubating/thrift-0.2.0-incubating.tar.gz
2014-10-14 14:31:00
625
原创 python比较两个文件的差异
python比较两个文件的差异更多0python文件下面的python代码比较两个文件的不同之处，并将比较的结果输出出来。#version 0import sysf1 = open(sys.argv[1], "r")f2 = open(sys.argv[2], "r")fileOne = f1.readlines()
2014-10-14 14:29:59
1594
1
原创 Python 获得命令行参数的方法
本篇将介绍python中sys, getopt模块处理命令行参数如果想对python脚本传参数，python中对应的argc, argv(c语言的命令行参数)是什么呢？需要模块：sys参数个数：len(sys.argv)脚本名： sys.argv[0]参数1： sys.argv[1]参数2： sys.argv[2]test.py
2014-10-14 14:29:14
439
原创 python--用linecache模块方便提取文本数据
需求：工作中生成的日志是固定格式的大量数据，需要从每个日志中提取固定的几行值，对其汇总，用于统计分析工艺参数。需要日志内容如图： 解决：python自带的linecache模块中getline方法简单好用，可直接提取文件中对应行的内容 #!/usr/bin/python # -*- coding: UTF-8 -*- #data_filter import os,
2014-10-14 14:27:00
1088
原创 css选择器(selector) xPath的选择器
去年我学jQuery的时候，曾经做过一点选择器（selector）的笔记。这几天拿出来看了一下，发现很多都忘记了。所以，我决定把它们贴在这里，方便以后查看。这对其他朋友应该也是有用的，毕竟选择器是制作网页效果的第一步。笔记分为两个部分，今天是CSS的选择器，以后还有一部分xPath的选择器。今天的笔记中包括44个选择器，基本涵盖了CSS 2和CSS 3的所有规定。===========
2014-10-14 14:24:10
978
原创 Scrapy轻松定制网络爬虫
网络爬虫（Web Crawler, Spider）就是一个在网络上乱爬的机器人。当然它通常并不是一个实体的机器人，因为网络本身也是虚拟的东西，所以这个“机器人”其实也就是一段程序，并且它也不是乱爬，而是有一定目的的，并且在爬行的时候会搜集一些信息。例如 Google 就有一大堆爬虫会在 Internet 上搜集网页内容以及它们之间的链接等信息；又比如一些别有用心的爬虫会在 Internet 上搜集
2014-10-14 14:19:12
822
原创 Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程linux环境：Oracle Linux Server release 6.3 (64位)编译环境：由于公司服务器不能联网，故在本机win8下的虚拟机中编译（虚拟机中同样是Oracle Linux Server release 6.3 (64位)）节
2014-10-14 14:11:55
1857
1
转载 linux下安装svn记录
linux下安装svn记录前言SVN服务器有2种运行方式：独立服务器和借助apache。2种方式各有利弊，独立SVN服务器不结合Apache安装使用，连接独立SVN服务器也不用HTTP协议。这是比较快捷的SVN服务器配置方法。本次安装时使用的是独立用品方式。SVN存储版本数据也有2种方式：BDB和FSFS。因为BDB方式在服务器中断时，有可能锁住数据所以还是FSFS方式更安
2013-08-12 17:26:45
678
转载 Linux下SVN的安装
Linux下SVN的安装(2012-03-20 10:03:48)转载▼标签：it分类：IT世界安装svn版本为1.6.1一。下载svn下载地址：http://subversion.tigris.org/servlets/ProjectDocumentList?folderID=260&expandFolder=74
2013-08-12 15:24:38
923
转载 redhat 6 配置 yum 源的两种方法
redhat 6 配置 yum 源的两种方法上一篇 /下一篇 2011-09-29 15:51:27/ 个人分类：Linux&Unix查看( 7882 ) /评论( 7 ) / 评分( 44 / 10 ) 由于 redhat的yum在线更新是收费的，如果没有注册的话不能使用，如果要使用，需将redhat的yum卸载后，重启安装，再配置其他源.本文包括配
2013-08-09 16:28:16
803
原创 webservice
环境：tomcat 6，piccreport, picctc.问题：工程发布后，输入网址后，只能响应一个webservice的请求，比如登录，loginuserservice（两个工程中都有的webservice接口）。但位于不同工程下。解决方法：虽然是不同的web工程。但是如果请求的service 为同样的。名字和路径相同。那么只能返回一个请求。
2013-03-07 15:48:48
507
原创 J2SE第三课时（运算符，表达式，控制语句）
关系表达式返回布尔值。。。boolean b=x>y;&与&&运算符的区别和联系。。%运算结果的正负由第一个操作数来决定。。。-7%-4 ans =-3 7%-4 ==3；。 ------------------------------------------雏鹰、
2011-06-24 14:43:00
379
原创 J2SE第二课时（数据类型）
mspaint--画图命令。 标识符命名规范：字符或_ 或 $ 开头，组合数字。。。数据类型分类：基本数据类型（boolean(true/false)，byte/1, short /2,char/2,int/4,long/8,float/4,double/8）.. 抽象数据类型(class interface
2011-06-24 14:39:00
456
原创 J2SE第一课时（课程简介）
这是第一天的课程。。记得不大清了。大体上说了下java方面的背景知识吧。。。 ------------------------------------------------------------------雏鹰、
2011-06-24 14:33:00
350
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人