自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(25)
  • 资源 (10)
  • 收藏
  • 关注

原创 hadoop2.xWordCount执行过程-客户端部分

如下展示wordCount程序的部分: public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRe

2016-03-28 17:50:37 478

原创 使用Docker搭建hadoop集群

使用Docker搭建hadoop集群 参考文档:http://blog.mymusise.com/?p=1501.准备工作1.1下载软件下载一些相关的文件: jdk-8u60-linux-x64.tar.gz hadoop-2.7.0.tar.gz由于hadoop官方提供的hadoop版本是32位的,如果在64位的系统上运行需要编译下,这里提供一个编译好的64位的hadoop

2016-02-23 11:46:09 2168

原创 Ubuntu配置源

Ubuntu配置源sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak #备份sudo vim /etc/apt/sources.list #修改sudo apt-get update #更新列表ubuntu 15.04的源网易163更新服务器(广东广州电信/联通千兆双线接入):deb http://mirrors.163.com/ubu

2016-02-21 09:24:00 603

原创 IK Analyzer中文分词器

IK Analyzer中文分词器本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl +

2015-12-08 11:04:40 456

原创 文本分类

文本分类步骤: 1、使用IK Analyzer进行中文分词 2、去停用词 3、使用贝叶斯分类器进行分类

2015-12-08 11:03:43 961

转载 Git使用(下)

Git使用(下)1、比较提交-Git Diff1.1、比较提交-Git Diff你可以用git diff来比较项目中任意两个版本的差异git diff master..test上面这条命令只显示两个分支间的差异,如果你想找出“master”,“test”的共有父分支和“test”分支之间的差异,你用3个’.’来取代前面的两个’.’git diff master...testgit diff是一个难以

2015-12-07 11:47:03 333

转载 git使用(上)

Git使用1、Git配置使用Git的第一件事就是设置你的名字和email,这些就是你在提交commit时的签名,每次提交记录里都会包含这些信息。git config --global user.name "XXX"git config --global user.email "[email protected]"执行了上面的命令后,会在家目录(/home/lxz)下建立一个叫.gitconfig的文件(该

2015-12-07 10:45:37 337

原创 Ubuntu安装SSTP

Ubuntu安装SSTP进入页面http://sourceforge.net/projects/sstp-client/files/ 下载如下安装包 在sstp-client文件夹中下载64位安装包 sstp-client_1.0.10-0ubuntu3_amd64.deb libsstp-client0_1.0.10-0ubuntu3_amd64.deb在network-manage

2015-12-05 15:35:04 3029

原创 SSH无密码登录

Ubuntu下SSH无密码登录首先安装sshsudo apt-get install openssh-server查看ssh是否启动ps -e|grep ssh若没有启动则使用如下命令启动sshsudo /etc/init.d/ssh start创建密钥ssh-keygen -t rsassh-keygen -t dsa将密钥保存到公钥中cat ~/.ssh/id_rsa.pub >> ~/.ss

2015-12-04 17:19:46 295

原创 试题推荐系统

时间:2015-6-17要求:做一个试题推荐系统。该系统试题库约有5w道试题,用户量大约为100多w。该系统首先要有一个良好的推荐功能,其次要有易扩展、低延迟的特性。架构:目前拟定采用Kafka+Storm+Hadoop+HBase+Redis的架构模式做一个模型版本。其中Kafka用来做日志收集系统,Storm用来做实时处理系统,Hadoop用来做批处理系统,HBase用来做持久化,Redis用来

2015-06-17 10:38:25 2461 3

原创 kafka集群搭建

Kafka集群搭建背景说明要搭建的Kafka是目前最新版本的0.9.4版本。 在搭建Kafka之前要搭建Zookeeper,这里Zookeeper之前已经搭建好了,这里就不在赘述了。 搭建一台三个主机的集群环境 集群环境为: ip responsibility 192.168.192.101 master 192.168.192.102 slave1 192.168.

2015-06-17 10:18:20 391

原创 hbase伪分布式搭建

下载hbase-0.94.16.tar.gz并解压到/home/hadoop/hbase 修改系统配置文件vim /etc/profile 保存并退出,然后source /etc/profile 修改hbase配置文件 修改/home/hadoop/hbase/hbase-0.94.16/conf/hbase-env.sh文件,在最后一行添加如下配置: 添加export HBA

2015-04-13 19:21:00 420

原创 org.apache.hadoop.hdfs.server.namenode.safemode.exception

遇到的问题: 解决办法:./hadoop dfsadmin -safemode leave

2015-03-20 14:57:51 593

原创 org.apache.hadoop.security.accessControlexception.permission denied

配置eclipse连接hadoop时可能会出现权限问题: 我们需要修改hdfs-site.xml文件,在其中添加权限:<property> <name>dfs.permissions</name> <value>false</value></property>

2015-03-20 14:54:34 427

原创 Hadoop环境搭建

Hadoop有三种环境:单机模式、伪分布式、完全分布式。由于资源有限,所以这里搭建一个伪分布式环境。 不多说直接上手:1 SSH建立等效用户Hadoop本是建立在分布式环境下的,不同的节点之间相互通信是要建立SSH等效用户的。虽然在这里搭建的是伪分布式环境,但是Hadoop环境也要求建立ssh等效用户。 通过命令ps -e|grep ssh可以查看是否有ssh进程在运行。 命令ssh-ke

2015-03-12 16:56:04 520

原创 总体规划--大数据

主线:数据挖掘。步骤:Hadoop、相关算法、R语言 辅助:设计模式、深度学习

2015-03-11 19:32:11 517

原创 R语言学习-实例一

一个综合性实例(来自炼数成金)模拟产生统计专业同学的名单(学号区分),记录数学分析,线性代数,概率统计三科成绩,然后进行一些统计分析 先简单介绍几个函数: 正态分布函数rnorm() 泊送分布函数rpois() 指数分布函数rexp() Gamma分数函数rgamma() 均匀分布函数runif() 二项分布函数rbinom() 几何分布函数rgeom()1 建立学生名单> num<

2015-03-09 11:08:12 5193

原创 kNN算法

kNN算法即k-临近算法。算法工作原理k-近邻算法的一般流程(1)收集数据:可以使用任何方法 (2)准备数据:距离计算所需要的数值,最好是结构化的数据格式 (3)分析数据:可以使用任何方法 (4)训练数据:此步骤不适用于k-近邻算法 (5)测试算法:计算错误率 (6)使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执

2015-03-08 16:46:56 539

原创 机器学习

欢迎使用Markdown编辑器写博客

2015-03-06 21:53:06 485

原创 R语言入门(三)

图形初阶这篇就先从一个示例开始,然后逐步介绍图形的各个参数的使用吧。一个简单的例子直接上示例了,这个还是比较容易读懂的> age<-c(5,10,15,25,30)> height<-c(80,120,160,175,176)> plot(age,height,type="b")#选项type="b"表示同时绘制点和线。所绘出来年龄和身高的图形如下: 这只是一个简单的图形,有时候我们需要定

2015-03-04 17:15:25 471

原创 R语言入门(二)

R语言入门(二)今天看到一个好的系列博客,在此推荐:http://blog.fens.me/series-r/ 这部分主要介绍R语言的几种数据结构。R语言的数据结构为向量、矩阵、数组、数据框、列表。向量向量主要是用来存储数值型(1,2,3)、字符型(“abc”,“efg”)或者逻辑型(true、false)数据的一维数组。我们可以用函数c()来创建向量。如下:> a<-c(1,2,3,3,4,5)

2015-03-04 15:54:43 836

原创 数据分析--入门

数据分析–入门数据分析主要分为以下几个步骤: 1.确定问题 确定问题可以采用问卷调查的方式,咨询执行官,获取销售业绩数据等多种方式。然后对数据进行归纳总结,其中会遇到的问题是,我们常常会困于自己的心智模型之中,良好的分析有助于我们突破心智模型。 2.分解问题 3.评估问题 4.做出决策本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Mar

2015-03-02 11:42:14 420

原创 redis主从复制失败no route to host

当配好主从redis之后,经常会发现,slave无法连接上master。我们使用命令:redis-cli -h 192.168.205.100(master的IP) -p 6379(master的端口号),如果连不通会出现no route to host(如下图所示,这个是从日志文件里面截出来的),这时我们要查看防火墙,很有可能是防火墙屏蔽了redis的服务了。使用iptables -L查

2014-10-07 21:03:49 5138

原创 关于java中the jar file C:\program files\java\jar7\lib\rt.jar has no sourse attachment

1.点 “window“-> “Preferences”-> “Java” -> “Installed JRES”;2.此时"Installed JRES"右边是列表窗格,列出了系统中的JRE 环境,选择你的JRE,然后点边上的“Edit...“, 会出现一个窗口(Edit JRE) ;3.选中rt.jar文件的这一项:“C:\Java\jdk1.5.0_04\jre\lib\rt.jar

2014-02-23 14:50:36 1889 1

转载 PHP Notice: Undefined index: ... 问题的解决方法:

转载声明:载自http://www.mycodes.net/74/2360.htm首先,这个不是错误,是warning。所以如果服务器不能改,每个变量使用前应当先定义。    方法1:服务器配置修改     修改php.ini配置文件,error_reporting = E_ALL & ~E_NOTICE    方法2:对变量进行初始化,规范书写(比较烦琐,因为

2014-02-22 16:15:56 426

硬件综合EEPROM器件读写例程设计 武汉理工

目录 1. 课程设计目标与要求 1 1.1目的描述 1 2. 需求分析 1 2.1需求内容分析 1 2.2硬件要求分析 2 2.3软件要求分析 2 3.接口芯片介绍 2 3.1 AT24C02芯片介绍 2 3.3 CH451芯片介绍 4 3.4 CD4052芯片介绍 5 4. 详细设计 5 4.1硬件电路设计 5 4.2软件程序设计 6 4.2.1主要函数及功能描述 6 4.2.2程序流程图 8 4.2.3主要模块设计 8 5. 程序测试 13 5.1软件测试 13 5.2硬件测试 15 6.心得体会 16 7参考文献 17

2013-07-03

数字显示与键盘输入例程设计 武汉理工

目录 1.系统描述 1 1.1实验目的 1 1.2实验要求 1 2.需求分析及背景说明 1 2.1需求分析 1 2.2背景说明 1 2.2.1 89S82芯片说明 1 2.2.2 CH451芯片说明 6 3.设计原理 14 3.1硬件平台 14 3.2设计原理 14 3.3硬件连接 16 3.4软件设计 16 4.总体设计及编码 17 4.1模块框图 17 4.2程序流程图 18 4.3平台初始化 19 4.3.1 MCU初始化 19 4.3.2 CH451芯片初始化 19 4.5源程序主要部分 20 5.测试程序及结果说明 26 5.1测试用例 27 5.2程序运行结果及分析 28 6.自我评价与总结 32 7.参考文献 32

2013-07-03

校园网络系统集成方案的综合设计 武汉理工

目录 1. 校园网络需求分析及设计原则 1 1.1需求分析 1 1.2设计原则 2 2. 校园网络系统整体解决方案及设计 2 2.1校园网的功能 3 2.2校园网功能架构 3 2.3校园网网络设计 4 2.3.1体系结构 4 2.3.2校园网网络系统设计 5 2.3.3校园网的网络技术设计 6 3. 校园网网络拓扑、核心网设计及IP地址分配 8 3.1校园网网络拓扑 8 3.1.1核心层 9 3.1.2汇聚层 9 3.1.3接入层 9 3.2校园网网络核心设计 10 3.2.1双核心的网络设计 10 3.2.2网络核心硬件的可靠性保障措施 10 3.3校园网IP规划 10 3.3.1 IP地址的分配原则 10 3.3.2IP地址的分配方式 11 3.3.3IP地址的管理方式 11 4. 交换机和路由器的配置 12 4.1虚拟网的划分 12 4.1.1VLAN的发展和现状 12 4.1.2使用VLAN技术的优点 13 4.1.3VLAN端口的划分 13 5. 校园网网络安全方案 14 6. 结束语 15 7. 参考文献 15

2013-07-03

进程调度模拟设计 武汉理工

目录 1、 问题描述 1 1.1课程设计的题目 1 1.2课程设计的功能 1 2、 需求分析 1 3、 功能设计 1 3.1先来先服务算法 1 3.1.1算法说明 1 3.1.2流程图 2 3.2抢占式短进程优先算法 2 3.2.1算法说明 2 3.2.2流程图 2 4、 开发平台及源程序的主要部分 3 4.1开发平台 3 4.2源程序的主要部分 3 4.2.1先来先服务算法 3 4.2.2抢占式短进程优先算法 4 5、 测试用例,运行结果与运行情况分析 10 5.1测试用例 10 5.2运行结果 10 5.3结果分析 12 5.3.1先来先服务算法 12 5.3.2抢占式短进程优先算法 12 5.3.3调度算法的比较 12 6、 自我评价与总结 13 7、 参考文献 13

2013-07-03

顶点间的最短路径 数据结构

武汉理工顶点间的最短路径课程设计报告,其中包含了完整的源码

2013-07-03

武汉理工 简易银行卡管理系统的开发 软件工程

目录 问题描述..........................................................................1 需求分析..........................................................................1 可行性分析......................................................................1   3.1经济可行性.......................................................................2   3.2操作可行性分析................................................................2   3.3技术可行性分析................................................................2 功能描述.........................................................................2   4.1管理员登陆.......................................................................2   4.2开户.................................................................................3   4.3重置密码..........................................................................3   4.4修改密码...........................................................................3   4.5挂失..................................................................................3   4.6解挂............................................................................................3   4.7用户登录....................................................................................3   4.8取款............................................................................................4   4.9存款.................................................................................4   4.10注销................................................................................4   4.11转账...............................................................................4 数据定义.........................................................................4 总体设计和各模块说明...................................................6   6.1总体设计...........................................................................6   6.2各模块说明...........................................................................7 程序设计的说明............................................................11 测试和结果说明............................................................18 总结和展望...................................................................19 10.参考资料.......................................................................9

2013-07-02

IF-ELSE条件语句的翻译程序设计(递归下降法、输出三地址表示)

1、问题描述 1 2、问题分析 1 3、词法分析 1 3.1总体分析 1 3.2具体分析 1 4、文法描述 2 5、语法分析方法描述及语法分析表设计 3 6、中间代码形式的描述及中间代码序列的结构设计 3 7、详细的算法描述 4 7.1主要的词法分析如下 4 7.2主要的词法分析及三地址形式分析如下 6 8、软件测试方法和测试结果 10 8.1软件测试方法 10 8.2测试结果 10 9、收获与心得 13 10、参考文献 14 11、附源代码 14

2013-07-02

批处理教程(最全版)

非常棒的批处理教程,文档是pdf版的很清晰,我觉得学习这个会对计算机的操作更加方便快捷。

2013-01-08

学生实验信息管理的设计与实现

内含文档代码等,代码可以正常运行。是基础强化课程设计的必备……

2013-01-08

八进制数和十进制数相互转换

问题描述…………………………………………………3 设计思路…………………………………………………3 2.1设计说明…………………………………………………3 2.2流程图……………………………………………………4 运行结果…………………………………………………9 附源程序………………………………………………10 心得体会………………………………………………18 文献参考………………………………………………19

2013-01-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除