- 博客(37)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 centos安装hadoop-1.2.1
系统环境：CentOS 5.10（虚拟机下）[plain] view plaincopyprint?[root@localhost hadoop]# lsb_release -a LSB Version: :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noa
2015-09-13 22:55:17
509
原创 docker常用命令
docker常用命令 1. 进入docker容器：sudo docker run it insaneworks/centos /bin/bash 使用ctrl+p或者ctrl+q可以进入和退出容器 2. 拉去一个镜像：docker pull insaneworks/centos查看所有的镜像： docker images删除镜像 docker rmi 镜像名创建容器 do
2015-09-13 22:45:41
423
原创 使用Docker部署Spark集群
使用Docker部署Spark集群克隆包含启动脚本的git仓库启动Spark0.8.0集群并切换至Spark Shell环境不带参数运行部署脚本*运行一些小的例子终止集群克隆包含启动脚本的git仓库*git clone -b blogpost [email protected]:amplab/docker-scripts.git当然，在这之前你必须已经配置了Github的SSH密钥认证，如果没
2015-08-25 21:55:40
1059
原创 (待翻译)github入门之遇到SSH Permission Denied问题的原因和解决
安装好Github之后，要在一台电脑上使用github从服务器上clone一个项目，则必须确保该机器的SSH指纹加入了你的Github账号设置中。如果没有设置的话，则会显示：严重错误，权限拒绝等提示。 将机器指纹加入设置的过程，其实相当于认证账号，实现免密码登录的过程。生成一个机器的公有密钥提供给Github记住，一旦机器以对应的私有密钥身份访问Github时，就会与公钥进行配
2015-08-25 21:35:20
2644
原创 搭建Scala开发环境IDEA
软件准备：（1）scala-2.11.7.msi（2）IntelliJIDEA（百度进入IDEA官网即可下载）搭建步骤：一、安装和配置Scala（1）安装Scala：直接双击选择路径后安装，完整安装后退出。（2）配置Scala：·右击“计算机”---“属性”---“高级环境变量配置”---“系统变量”找到“Path”，点击“编辑”，输入Scala包含Bin的路径。如
2015-08-25 13:39:02
642
原创 为项目添加Hibernate支持-----SSH框架搭建3
在上几篇文章中，我已经详细介绍了如何实现Myeclipse连接mysql数据库，以及如何实现对项目添加Struts和Spring添加支持。本文将最终介绍如何添加Hibernate支持，以实现对SSH框架搭建的实现。在J2EE Eclipse上配置Mysql----SSH框架搭建1添加Structs和Spring支持-----SSH框架搭建2
2015-06-12 14:43:31
2225
转载 添加Structs和Spring支持-----SSH框架搭建2
1.新建项目打开myeclipse，new一个web project。2、右键项目，为项目添加Struts支持。 点击Finish。src目录下多了struts.xml配置文件。 3.为项目添加Spring支持 选择五个包，之后JAR Library Installation为如下图。 点击Ne
2015-06-12 14:36:50
501
转载 web工程调用hadoop集群1.2
这里主要讲下设计思路：首先进入页面后是一个frame框，上面是固定页面，下面是一个输入页面。输入页面输入要运行hadoop word count程序的输入和输出路径，然后提交路径到servlet A，servlet A中new一个Thread来启动wordcount程序（并初始化Job，这个Job可以在其他地方获取到），然后直接跳转到显示map和reduce进度的页面（第一次跳转的时候附带
2015-06-10 14:19:55
439
转载 RSA 算法介绍
RSA 算法介绍RSA 算法的安全性是建立在乘法不可逆或者大数因子很难分解的基础上。RSA 的推导和实现涉及到了欧拉函数和费马定理及模反元素的概念，有兴趣的读者可以自行百度。RSA 算法是统治世界的最重要算法之一，而且从目前来看，RSA 也是 HTTPS 体系中最重要的算法，没有之一。RSA 的计算步骤如下：1、随机挑
2015-05-25 15:44:55
714
转载 No resource found that matches the given name 'Theme.AppCompat.Light 的完美解决方案
首先这个问题的产生是由于缺少Theme.AppCompat.Light这个主题产生的，而这个主题 的是存在于android\support\appcompat-v7支持库中的，注意不是jar包。No resource found that matches the given name 'Theme.AppCompat.Light 的完美解决方案是第一步： 从网上下载appcomp
2015-05-18 15:51:07
537
原创 用Eclipse搭建Android开发环境和创建第一个Android项目（Windows平台）
一、搭建Android开发环境准备工作：下载Eclipse、JDK、Android SDK、ADT插件下载地址：Eclipse:http://www.eclipse.org/downloads/ JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk7u9-downloads-
2015-05-18 13:15:50
408
原创 eclipse离线安装Android ADT 插件
使用eclipse开发Android程序时，需要安装Android开发插件，一般都采用在线url安装的方式。这种方式由于众所周知的GFW的原因，有时很难保证下载的来插件。本文在官网上查到一种离线安装的方式。
2015-05-18 13:13:26
758
转载 Hadoop配置机架感知(python脚本)
有些hadoop集群在运行的时候，不完全是绝对平均的分配，不过需要尽可能平均的分配任务，避免某一台或者某几台服务器任务过重，其他服务器无事可做。这个，一方面是需要用到balancer，一个就是机架感知了。通常，balancer是自动启动的。而机架感知则需要单独配置和编写脚本。不过，机架感知，不是说是感知哪个服务器坏了，是根据机架位置的拓扑结构来选取服务器进行任务的权重分配。
2015-05-04 16:39:06
601
原创 启动Hadoop集群失败，LiveNode 0
安装好Hadoop集群的NameNode和DataNode，并配置好路径。在终端中输入命令：start-all.sh。，发现出现下面界面：看起来集群似乎已经启动起来了，然而，打开master:50070发现，Live Node为0。多次调试之后发现，系统在一开始确实是启动了。但是随着时间流逝，节点死亡了。（通过jps命令来查看），产生这种问题的原因分析如下：1）防火墙设置问题：==
2015-05-04 16:11:57
2995
转载 Win下Eclipse提交Hadoop程序出错：org.apache.hadoop.security.AccessControlException: Permission denied: user=D
描述：在Windows下使用Eclipse进行Hadoop的程序编写，然后Run on hadoop 后，出现如下错误：11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_000311/10/28 16:05:54 INFO mapred.JobClient: map 0% reduce 0%
2015-04-21 22:34:58
294
原创 利用eclipse管理Hadoop集群文件系统
成功安装Hadoop源代码，并对其进行路径配置和环境配置后，面临如何图形化直观管理Hadoop集群的文件系统，以及如何使用Hadoop集群进行程序开发的问题了。本文着重解决上述两个问题，即使用eclipse插件来配置集群管理的目标。需要准备的软件1. Hadoop0.20系列的源代码，本文使用的是： hadoop-0.20.203.0，使用这个版本考虑到该版本作为稳定版提供使
2015-04-17 15:50:20
647
原创 hadoop-0.20.203.0对应的eclipse插件不工作问题解决方案
使用hadoop-0.20.203.0时候实际发现，其实并不能使用连同源码发布的eclipse插件不能使用。主要问题在于打开eclipse的插件hadoop-eclipse-plugin-0.20.203.0.jar时，发现其lib目录下只有两个依赖包，与其他的支持包不同。如果你想自己动手改的话，见下面：解决方法：（1）将commons-httpclient-3.0.1.jar,jac
2015-04-16 22:54:22
392
原创 eclipse更新插件plugin之后如何clean使之生效
平时使用eclipse之后，难免需要进行相应的插件安装。一般采用的方式就是直接将需要的插件jar包复制到eclipse/plugins路径下。之后重启eclipse使之生效即可。但是，在更新或者第二次安装修改的同名jar包之后，执行上述操作后，eclipse重启后并不能检测到jar包的变化，不能生效。此时需要利用eclipse的clean命令。需要注意的是：此处所说的clean命令不同于e
2015-04-16 22:43:45
3864
转载 CentOS 设置静态IP 方法
１.修改网卡配置 编辑：vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 #描述网卡对应的设备别名，例如ifcfg-eth0的文件中它为eth0 BOOTPROTO=static #设置网卡获得ip地址的方式，可能的选项为static，dhcp或bootp，分别对应静态指定的 ip地址，通过dhcp协议获得的ip
2015-04-15 16:22:26
378
原创 myeclipse怎么样统一全部文件编码
程序员利用myeclipse进行开发时，如果不修改默认的编码方式，myeclipse会根据操作系统的平台默认选择开发方式，造成对新建网页中的编码格式不支持。有时候会提示另存为其他编码，但是还是很浪费时间的。因此，可以通过修改默认编码方式来实现对编码方式的统一支持。 myeclipse下怎么样统一全部文件编码？windows---->preferences----
2015-03-31 15:44:37
527
转载 MyEclipse10中修改servlet & jsp的模板代码
这是在MyEclipse10中修改servlet 以及 jsp模板代码的方法，怕自己忘记，做点记录。Servlet : MyEclipse\Common\plugins\com.genuitec.eclipse.wizards_9.0.0.me201108091322.jar com.genuitec.eclipse.wizards_9.0.0.me2011080
2015-03-31 15:43:21
673
转载 GitHub入门：如何上传与下载工程？
由于经常要在家写代码，所以需要有个能够方便访问代码管理工具。最近尝试了一下GitHub。经过了一翻纠结之后，基本上掌握了他的使用方式。 要使用GitHub需要首先在其网站上进行注册。其官方网站是https://github.com/。注册的流程在这里就不多少了，大家按照它的提示，一步一步操作就可以了。执行完注册流程之后，需要在本地安装一个git bash，通过这个在控制台完成对代码的管理。
2015-03-31 15:19:35
340
转载 MapReduce 编程模型概述
已经讲了一篇mapreduce编程模型，这里从另外一角度，感觉也不错。引用一个经典的图片来说明问题.可以带着下面问题来阅读：mapreduce的过程都包含什么操作？map处理完后，tasktracer会完成什么任务？ruducer的作用是什么？map中经过谁的处理之后，变为reduce输入？1. 首先, 我们能确定我们有一份输入, 而且他的数据量会很大
2015-03-27 18:39:19
520
原创 在J2EE Eclipse上配置Mysql----SSH框架搭建1
1、先打开J2EEeclipse，创建Dynamicweb Project工程。2、把mysql-connector-java-commercial-5.1.25.jar包复制到在WebContent/WEB-INF/lib下。3、链接数据库（1）在Window菜单栏下打开OpenPerspertive，选择Database Development。
2015-03-20 11:35:11
2345
转载 Hadoop阅读笔记——洞悉Hadoop序列化机制Writable
原文来源：博客园 作者 ：大数据 小世界酒，是个好东西，前提要适量。今天参加了公司 的年会，主题就是吃、喝、吹，除了那些天生话唠外，大部分人需要加点酒来作催化剂，让一个平时沉默寡言的码农也能成为一个喷子！在大家推杯换盏之际，难免 一些画面浮现脑海，有郁闷抓狂的，有出成果喜极而涕的，有不知前途在哪儿的迷茫与不安……总的来说，近一年来，不白活，不虚度，感触良多，不是一言两语能 说得
2015-02-11 21:47:57
585
转载 盘点SQL on Hadoop中用到的主要技术
摘要：自打Hive出现之后，SQL on Hadoop相关的系统已经百花齐放，速度越来越快，功能也越来越齐全。本文不是要去比较所谓“交互式查询哪家强”，而是试图梳理出一个统一的视角，来看看各家系统有哪些技术上相通之处。编者按：自打Hive出现之后，经过几年的发展，SQL on Hadoop相关的系统已经百花齐放，速度越来越快，功能也越来越齐全。本文并不是要去比较所谓“交互式查询哪家强”
2015-02-10 22:07:16
476
转载 编写HDFS程序并运行的步骤
step1用elipse 建立一个新的工程，并命名为ListHDFSstep2右键点击工程，Properties->Java Build Path->Libraries点击Add External JARs，选择在${HADOOP_HOME}上的.jar文件step3新建Class文件，并命名为ListAllFile.java
2015-02-09 22:27:24
820
转载 WordCount源码分析
3、WordCount源码分析3.1 特别数据类型介绍Hadoop提供了如下内容的数据类型，这些数据类型都实现了WritableComparable接口，以便用这些类型定义的数据可以被序列化进行网络传输和文件存储，以及进行大小比较。BooleanWritable：标准布尔型数值ByteWritable：单字节数值DoubleWritable：双字节数
2015-02-06 09:47:50
711
原创 MapReduce程序执行过程和命令格式
在hadoop中，MapReduce是该平台的计算组件，主要用于分布式计算一些大型的工作。每个工作任务被描述为一个Job。每Job有一个Config类来配置他。MapReduce的执行过程分为Map阶段和Reduce阶段，如果详细划分，可以加上一个中间结果阶段。 在Map阶段，主节点JobTracker将一个Job划分为若干个Tasks，交给计算节点TaskTracker来进行执行。
2015-02-06 09:19:58
3219
转载 Hadoop的应用场景
其实我们要知道大数据的实质特性：针对增量中海量的结构化，非结构化，半结构数据，在这种情况下，如何快速反复计算挖掘出高效益的市场数据？ 带着这个问题渗透到业务中去分析，就知道hadoop需要应用到什么业务场景了！！！如果关系型数据库都能应付的工作还需要hadoop吗？ 比如 1.银行的信用卡业务，当你正在刷卡完一笔消费的那一瞬间，假如在你当天消费基础上再消费
2015-01-29 17:44:44
774
原创 git的使用入门
git是一种代码托管服务器，区别于SVM等中心服务器，他为每一个编程开发人员建立一个分支。这样每个程序员在自己的分支上进行开发，之后pull request到中心服务器上，既保证了工程进度，又隔离了每个人的工作影响。 要使用github的功能受限需要注册一个Github的账号。需要注意的是用户名和邮箱，这将在后面的配置中用到。一、注册GitHub账号到https:/
2015-01-26 14:14:53
417
原创 mysql数据库修改用户密码
设置新的root密码。mysql -u root -p 直接回车，无需输入密码就可以进入数据库了。此时在命令行下执行 use mysql （切换到系统数据库）执行以下语句既可修改root用户密码：update user set password=PASSWORD("123456") where user='root';
2015-01-13 15:55:58
527
转载 在C#中用MySql.Data.MySqlClient连接MySql
在C#中连接MySql数据库其实是件很简单的事情，但对于刚开始学习C#的朋友来说，问题却是不小，主要原因是相对于ACCESS和MSSql来说，MySql方面的教程文章实在太少，我也是自己摸索好好半天才搞清楚的，呵呵。这篇文章可算不上教程，我主要是担心，怕自己以后会忘记，写在这里，方便以后查看而已，呵呵。 １、要安装一个 MySQLDriverCS-n-EasyQueryTools-4.0.0
2014-11-16 15:38:00
3945
转载 C#连接mysql实例
using System;using System.Configuration;using MySql.Data.MySqlClient;/// /// TestDatebase 的摘要说明/// public class TestDatebase{ public TestDatebase() { // // TO
2014-11-16 13:08:08
535
原创 在C#中使用mysql进行插入操作的流程
/*数据库连接函数*/ public static MySqlConnection getMySqlCon() { String mysqlStr = "Database=agrthm;Data Source=localhost;User Id=root;Password=123456;pooling=false;CharSet=utf
2014-11-15 10:06:35
1148
Professional Hadoop Solutions.pdf
2015-05-18
修改后的hadoop-eclipse-plugin-0.20.203.0.jar
2015-04-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人