- 博客(44)
- 收藏
- 关注
RSS订阅原创 Linux环境下安装Maven
1.安装包下载：http://maven.apache.org/download.cgi2.解压缩安装包tar -zvxf apache-maven-3.6.0-bin.tar.gzmv apache-maven-3.6.0 /usr/local/maven33.配置环境变量修改/etc/profile配置文件，添加下面内容：vi /etc/profileMAVEN_HOME=...
2019-01-07 22:00:08
226
原创 Windows环境下安装Maven
1.安装包下载网址：http://maven.apache.org/download.cgi2.解压缩到安装目录3.配置环境变量计算机右键→属性→高级系统设置→环境变量（1）新建系统变量M2_HOME,MAVEN_HOME,值为安装路径；（2）编辑系统变量PATH，添加%M2_HOME%\bin；4.验证是否安装成功cmd到命令行界面输入mvn -version5.修改s...
2019-01-07 21:50:59
660
原创 Centos7.2安装JDK1.8
1.安装包下载下载网址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html将下载好的安装包放到家目录的software目录下。2.查看虚拟机上是否已经安装了jdkrpm -qa | grep jdk如果已经安装，需要先卸载所有的openjdk，再安装。yum -y...
2019-01-07 21:18:59
658
原创 Window环境安装JDK1.8
1.安装包下载JDK下载网址：https://www.oracle.com/technetwork/java/javase/downloads/index.htmlJDK1.8下载网址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2.双击执行下载的exe文件，默认安装...
2019-01-07 20:58:27
1255
原创 Hadoop学习笔记（二）--HDFS分布式文件系统（1）
Hadoop学习笔记（二）--HDFS分布式文件系统HDFS简介优点：处理超大文件流式的访问数据（一次写入，多次读取）运行于廉价的商用机器集群上局限性：不适合处理低延迟数据访问无法高效存储大量的小文件不支持多用户写入及任意修改文件HDFS架构主从结构主节点：只有一个NameNode（单点故障），HA下会有多个NameNode。从节点：有很多D
2017-08-28 22:21:31
441
转载 持续集成和Jenkins介绍
对于很多做嵌入式软件的朋友来说，可能从来都没有听说过持续集成这个词，也就无从接触过Jenkins这个工具软件。自去年转调部门后，除了解了设计模式外，还有幸接触到了Jenkins。那什么是持续集成？Jenkins具体用来做什么，对软件开发有什么益处呢？总得来说，这两者主要是涉及一个软件质量的主题，特别是团队开发软件项目。下面就来介绍介绍下这两者。持续集成的概念持续集成
2017-08-21 18:21:49
449
转载 Jenkens配置Git遇到的问题
一、源码管理遇到：Failed to connect to repository:Error performing command:git.exe ls-remote-h ........ 。如下图： 解决：在 系统管理-Global Tool Configuration 设置本地git.exe的路径。如下图：
2017-08-21 17:12:39
2354
原创 Hadoop学习笔记（一）
Hadoop是什么Hadoop运行于大规模普通服务器上的大数据存储、计算、分析的分布式存储系统和分布式运算框架Hadoop2.X组成分布式文件系统HDFS分布式计算框架MapReduce资源分配系统YARN
2017-08-20 15:26:38
233
转载 解决x64机器上IE11版本使用IEDriverServer在输入英文/数字很慢的问题
RFS（三）----解决x64机器上IE11版本使用IEDriverServer在输入英文/数字很慢的问题标签： ie 1164位2016-01-29 10:40 1602人阅读 评论(6)收藏举报分类： RFS（6） 版权声明：本文为博主原创文章，未经博主允许不得转载。今天遇到一个问题，在IE11版本的浏览器
2017-08-13 15:33:19
2899
转载 Selenium 调用IEDriverServer打开IE浏览器
Selenium 调用IEDriverServer打开IE浏览器无论是selenium2(WebDriver)还是selenium2Library，如果想要调用ie浏览器，均需以下步骤。下载IEDriverServer。进入索引页，首先选择版本号，IEDriverServer的版本号和Selenium的版本号一定要一致，因为我选择的是selenium-2.53，所以IEDriv
2017-08-11 18:36:44
2718
转载 xpath中如何使用变量
xpath (python)xpath中如何使用变量描述:在xpath中该如何使用变量，想选择id是某个值的元素，这个值是个变量。response.xpath('//div[@id=val]').extract_first()其中val的值是'images'，xpath中使用变量的语法是什么 。解决方案1:你这个是python语句，为什么不用字符串拼接把这个
2017-07-31 15:24:19
11446
3
转载 java读取xml文件的四种方法
java读取xml文件的四种方法Xml代码 1 xml version="1.0" encoding="GB2312"?> 2 RESULT> 3 VALUE> 4 NO>A1234NO> 5 ADDR>河南省郑州市ADDR> 6 VALUE> 7 VALUE> 8 NO>B1234NO>
2017-07-26 15:12:21
6743
2
转载 PostgreSql新手入门命令
1 命令行登录数据库有两种方式，一是直接在系统shell下执行psql命令；而是先进入psql环境，然后再连接数据库。下面分别给出实例：(1)直接登录执行命令：psql -h 172.16.35.179 -U username -d dbname ，其中username为数据库用户名，dbname为要连接的数据库名，执行后提示输入密码如下：Password for user
2017-07-11 18:46:45
220
转载 centos6.5 安装postgresql9.4
1.下载安装包从Postgres官方网站下载postgresql-9.6.1-1-Linux-x64-binaries.tar.gz安装包2.创建用户创建Postgres用户：useradd postgres
2017-07-11 18:43:31
984
原创 HDFS操作-命令行接口
hadoop fs -ls //表示对HDFS下一级目录的查看 -lsr //表示对HDFS目录的递归查看 -mkdir //创建目录 -put //从本地上传文件到HDFS上 或 -copyFromLocal -get //从HDFS下载文件到本地 或 -copyToLocal -cat 或-text //查看文件内容 -rm(r) //删除文件（夹） -c
2017-07-04 19:11:27
285
转载 Kafka Topic Partition Replica Assignment实现原理及资源隔离方案
Kafka Topic Partition Replica Assignment实现原理及资源隔离方案本文共分为三个部分： Kafka Topic创建方式Kafka Topic Partitions Assignment实现原理Kafka资源隔离方案 1. Kafka Topic创建方式 Kafka Topic创建方式有以下两种表现形式： （1）
2017-06-30 09:59:01
1592
转载 正则基础之——贪婪与非贪婪模式
1 概述贪婪与非贪婪模式影响的是被量词修饰的子表达式的匹配行为，贪婪模式在整个表达式匹配成功的前提下，尽可能多的匹配，而非贪婪模式在整个表达式匹配成功的前提下，尽可能少的匹配。非贪婪模式只被部分NFA引擎所支持。属于贪婪模式的量词，也叫做匹配优先量词，包括：“{m,n}”、“{m,}”、“?”、“*”和“+”。在一些使用NFA引擎的语言中，在匹配优先量词后加上“?”，
2017-06-21 11:30:53
285
原创 Linux基础命令
目录操作命令：pwd,cd,ls,mkdir,du文件操作命令：touch,file,cp,rm,mv,find文件内容操作命令：cat,more,less,head,tail,wc,grep1.压缩命令：gzip,bzip2,tar2.查看工作目录 pwd3.切换工作目录 cd4.列表显示目录内容 ls5.创建新目录 mkdir [-p] 6.统计目录及文件的空间
2017-06-19 19:12:57
164
转载 Hive的内置服务和hiveserver/hiveserver2的比较
一：Hive的几种内置服务 执行bin/Hive --service help 如下： [html] view plain copy[master@master1 hive]$ bin/hive --service help ls: 无法访问/opt/spark/lib/spark-ass
2017-06-19 16:44:41
6496
转载 Cloudera简介和安装部署概述
最近作者在研究Cloudera，并且在自己的虚拟机集群安装部署成功，所以在此做个分享，帮助大家尽快构建自己的Cloudera环境并运用起来。文章将会对Cloudera以及其安装时涉及到的组件做一个简单的介绍，并把官方文档中介绍的3种安装部署方式做一个概要的说明。Cloudera简介为了构建一个以数据为驱动的业务场景，我们需要一个强大的管理工具去统一并安全地管理我们的业务数据，所以C
2017-06-17 10:22:48
846
转载 CDH简介
1、Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低2、Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hortonworks Data Platform
2017-06-17 10:00:44
4818
转载 JAVA ActiveMQ消息发送和接收
JMS即Java消息服务（JavaMessage Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。 在 Java 里有 JMS 的多个实现，ActiveMQ 是Apache出品，最流行的，能
2017-03-27 16:06:03
2014
转载 Linux中环境变量文件
Linux中环境变量文件 一、环境变量文件介绍转自：http://www.linuxidc.com/Linux/2015-01/111459.htm1、在Windows 系统下，很多软件安装都需要配置环境变量，比如 安装 jdk ，如果不配置环境变量，在非软件安装的目录下运行javac 命令，将会报告找不到文件，类似的错误。2、那么什么是环境变量？简单说，就是指定一个目
2017-03-27 10:03:42
218
转载 python中出现SyntaxError: Non-UTF-8 code 解决方法
1.把相应Python程序文件的编码转成UTF-8格式就可以了。以Eclipse+PyDev为例：在左侧Package Explorer里面找到相应的文件，点击右键选择“Properties”把编码从默认： 改为： 再添入中文内容就可以正常运行了。
2017-03-09 11:00:23
5053
转载 python+Eclipse+pydev环境搭建
本文重点介绍使用Eclipse+pydev插件来写Python代码， 以及在Mac上配置Eclipse+Pydev 和Windows配置Eclipse+Pydev编辑器: Eclipse + pydev插件1. Eclipse是写JAVA的IDE， 这样就可以通用了,学习代价小。 学会了Eclipse, 以后写Python或者JAVA 都可以。2. Eclipse, 功能强大。
2017-03-06 14:24:03
164
原创 hibernate单表映射
1.运行环境：Eclipse Version: Neon Release (4.6.0)2.安装Hibernate Tools，下载网址：http://tools.jboss.org/downloads/，看好eclipse版本。Help > Install New Software… > Add… > Archive…安装成功后，File->New->Other3
2017-03-06 13:50:37
236
转载 200到505状态码的意义
200到505状态码的意义此状态代码提供了有关请求状态的信息，且为Baiduspider提供了有关您网站和请求的网页的信息。作为一个专业的SEO或者站长，必须要非常的熟悉各个状态代码的意思才是，今天大家总结了一下，希望能帮到大家。 一些常见的状态代码为： 200 - 服务器成功返回网页 404 - 请求的网页不存在 503 - 服务器暂时不可用
2017-02-14 17:22:26
1452
转载 在做自动化测试之前你需要知道的
什么是自动化测？ 做测试好几年了，真正学习和实践自动化测试一年，自我感觉这一个年中收获许多。一直想动笔写一篇文章分享自动化测试实践中的一些经验。终于决定花点时间来做这件事儿。 首先理清自动化测试的概念，广义上来讲，自动化包括一切通过工具（程序）的方式来代替或辅助手工测试的行为都可以看做自动化，包括性能测试工具（loadrunner、jmeter）,或自己所写的一段程序，用于生
2017-02-14 10:44:25
5293
4
原创 编写自启动脚本
1．切换到/etc/init.d目录下2.制作脚本!/bin/sh#chkconfig:2345 64 36#description:关于脚本的描述#要执行的命令示例：3.给脚本加上权限 chmod +x 脚本名4.利用chkconfig命令将脚本设置为自启动：chkconfig --add 脚本名5．重启试试：reboot说明：ch
2017-02-06 17:26:52
833
转载 CentOS7.2虚拟机配置IP和路由
查看网络，配置静态IP使用下面的命令来验证网络管理器服务的状态：$ systemctl statusNetworkManager.service运行以下命令来检查受网络管理器管理的网络接口：$ nmcli dev status如果某个接口的nmcli的输出结果是“已连接”(如本例中的enp160)，这就是说该接口受网络管理器管理。你可以轻易地为某个特定接口禁用网络管理器，以
2017-01-06 11:27:27
6811
原创 Flume安装
安装步骤• 1、对flume进行解压缩：tar -zxvf apache-flume-1.6.0-bin.tar.gz（下载地址：http://archive.apache.org/dist/flume/）• 2、对flume目录进行重命名：mv apache-flume-1.6.0-bin flume• 3、配置flume相关的环境变量1）vi ~/.bash_profile
2016-11-16 16:41:02
427
原创 Flume简介
Flume 是Cloudera 提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume 支持在日志系统中定制各类数据发送方，同时，Flume 提供对数据进行简单处理，并写到各种数据接受方的能力。Flume 使用java 编写，其需要运行在Java1.6 或更高版本之上。Flume 传输的数据的基本单位是Event，如果是文本文件，通常是一行记
2016-11-16 16:31:49
200
转载 AVRO
Avro是一个数据序列化的系统。功 能 丰富的数据结构类型简介它可以提供：1 丰富的数据结构类型2 快速可压缩的二进制数据形式3 存储持久数据的文件容器4 远程过程调用RPC5 简单的动态语言结合功能，Avro和动态语言结合后，读写数据文件和使用RPC协议都不需要生成代码，而代码生成作为一种可选的优化只值得在静态类型语言中实现。Avro依赖于模式(Sche
2016-11-16 16:23:08
908
转载 Hadoop/Spark相关面试问题总结
Hadoop/Spark相关面试问题总结面试回来之后把其中比较重要的问题记了下来写了个总结： （答案在后面）1、简答说一下Hadoop的map-reduce编程模型2、hadoop的TextInputFormat作用是什么，如何自定义实现3、hadoop和Spark的都是并行计算，那么他们有什么相同和区别4、为什么要用flume导入hdfs，hdfs
2016-11-14 22:10:55
756
转载 hive文件存储格式
hive在建表是，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式例如：[plain] view plain copy> CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t
2016-11-14 22:05:01
314
转载 大数据性能调优之HBase的RowKey设计
1 概述HBase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储，那Rowkey就是KeyValue的Key了，表示唯一一行。Rowkey也是一段二进制码流，最大长度为64KB，内容可以由使用的用户自定义。数据加载时，一般也是根据Rowkey的二进
2016-11-10 16:22:30
332
转载 forward和redirect的区别
1.从地址栏显示来说 forward是服务器请求资源,服务器直接访问目标地址的URL,把那个URL的响应内容读取过来,然后把这些内容再发给浏览器.浏览器根本不知道服务器发送的内容从哪里来的,所以它的地址栏还是原来的地址.redirect是服务端根据逻辑,发送一个状态码,告诉浏览器重新去请求那个地址.所以地址栏显示的是新的URL.2.从数据共享来说 forward:转发页面和
2016-11-05 17:09:01
184
转载 hadoop中map和reduce的数量设置问题
map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的map和reduce也会导致整个hadoop框架因为过度的系统资源开销而使任务失败。所以用户在提交m
2016-11-03 16:20:36
300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人