- 博客(15)
- 收藏
- 关注
RSS订阅原创 根据java的业务代码，自动生成黑盒和白盒测试用例，并且能进行性能检测，及时发现代码的漏洞
根据java的业务代码，自动生成黑盒和白盒测试用例，并且能进行性能检测，及时发现代码的漏洞
2022-06-23 20:04:23
610
1
原创 hdp-2.6.3版本Zeppelin实战应用自定义插件配置
我们知道，在hdp中使用Zeppelin的时候，我们往往很难使用Zeppelin插件默认的一些配置，需要我们自定义才能满足需求。现在就我工作中的一些项目经验，列举一些例子，希望对小伙伴有所帮助^_^。注意：以下的操作都是基于Zeppelin的web页面1.使用spark语言写程序【本地模式】（1）先要自定义一个spark插件,点击右上角 admin 的按钮，选择Interpreter选......
2018-10-15 17:04:21
1104
原创 hdp-2.6.3版本离线安装python插件
（1）首先找到你的hdp安装的那个目录，然后进入zeppelin的安装目录zeppelin-server里面，修改conf目录下zeppelin-site.xml文件的属性zeppelin.interpreter.group.order，添加python（2）同样也是在conf目录下zeppelin-site.xml文件里面，然后修改zeppelin.interpreters属性，添加or......
2018-10-15 16:49:33
452
原创 大数据利器Zeppelin的快速搭建法宝及简单使用
Zeppelin是什么？ 好有一比，我们在学校上课的时候，使用的是用纸做的笔记本计算和记录笔记，而Zeppelin就是基于web的笔记本，它支持数据驱动、交互式数据分析，并且Zeppelin能无缝的使用SQL、Scala等技术。为什么我们选择Zeppelin？首先是安装使用简单，然后是Zeppelin支持丰富的插件，比如ElasticSearch、Flink、Hbase、li......
2018-10-12 18:32:01
1436
原创 SpringBoot整合Hadoop,完成云网盘部分实例
作者这里使用的是IntelliJ IDEA2017，创建SpringBoot项目的工作以及一些简单的整合由于网上也有很多资料，这里就不做赘述，只谈一些比较关键的配置。本项目采用的是SpringBoot 1.5.3.RELEASE这个版本。1.pom文件依赖版本示例： <!-- 版本配置 --> <junit.version>4.12</......
2018-10-11 10:28:55
4779
1
原创 ElasticSearch-6.2.3安装可视化界面插件elasticsearch-head-master
第一步：下载elasticsearch-head-master安装包wget https://github.com/mobz/elasticsearch-head/archive/master.zip第二步：因为elasticsearch-head-master依赖Node环境，所以还要安装Nodewget https://npm.taobao.org/mirrors/node/lat...
2018-10-10 10:36:10
3315
原创 ElasticSearch环境搭建遇到的问题及解决方法
以下问题都是作者亲身踩过的坑，希望对小伙伴有帮助^_^问题一：[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536][2]: max virtual memory areas vm.max_map_count [65530] is too low,......
2018-10-10 10:18:36
8550
1
原创 基于Linux的ElasticSearch轻松搭建
搭建环境：CentOS Linux release 7.5.1804 elasticsearch-6.2.3jdk1.8.0_141第一步：安装jdk，配置环境变量，注意1.8以上，否则出各种问题 第二步.解压缩es，配置es的环境参数config/elasticsearch.yml和jvm.options调优tar -zxvf elasticsearch-......
2018-10-10 10:04:16
931
原创 StreamSets数据流从Kafka到elasticsearch
所有的配置都采用图文的形式，希望小伙伴会喜欢^_^环境准备：kafka_2.11-1.0.1elasticsearch-6.2.3streamsets-datacollector-3.4.1zookeeper-3.4.10注意事项：1、若只读取一个topic的数据，origins使用Kafka Consumer；若要同时读取多个topic，则使用Kafka Multit......
2018-10-10 09:27:38
3671
3
原创 StreamSets从MySQL增量更新到Hive
所有的配置都采用图文的形式，希望小伙伴会喜欢^_^环境准备：5.5.56-MariaDBHDP-2.6.3.0-Hive-1.2.1000HDP-2.6.3.0-HDFS- 2.7.31.第一步，点击创建新的管道流create new pipeline：2.第二步，随便写一个标题和描述3.配置错误日志输入路径，这里配置到本地的/usr/local/data/st......
2018-10-10 09:19:03
4751
3
原创 StreamSet之数据流从JDBC到Hbase
所有的配置都采用图文的形式，希望小伙伴会喜欢^_^环境准备：5.5.56-MariaDBHDP-2.6.3.0-Hbase-1.1.2zookeeper-3.4.10点击创建管道流 随便写一个有意义的title和描述3.击创建好的管道流的title进入管理页面，然后选择All Stages，在下面输入jdbc4.首先配置JDBC注......
2018-10-09 18:16:56
2853
2
原创 hadoop分布式环境搭建
首先规划：三台机器，域名分别是master,slave1,slave2。master上面装NameNode、ResourceManager,slave1和slave2上面装一个NodeManager和DataNode，hadoop的安装包采用Apache的最新稳定版本hadoop-2.9.1。注：为了方便起见，这里不考虑用户权限的问题，所有安装采用root安装1.首先是前提条件,三台机器都必须：......
2018-10-09 17:39:51
462
原创 hdfs伪分布式搭建，伪分布式模式下yarn的配置及测验
1.安装前提条件（1）首先安装jdk，最好安装1.7及1.7以上版本，并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH（2）检查ssh和sshd是否安装，如果没有安装， ubuntu下面安装ssh和......
2018-10-09 15:07:14
568
原创 hdfs单机版安装，基于linux系统
1.【安装的前提条件】（1）首先安装jdk，最好安装1.7及1.7以上版本，并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH（2）检查ssh和sshd是否安装，如果没有安装 ubuntu下面安装ssh和...
2018-10-09 14:58:06
401
1
原创 spring、springboot整合hadoop的时候出现的权限问题
相信大家在使用spring、springboot整合hadoop的时候，操作权限的时候可能会遇到下面这样一个权限异常。不过解决的方式有多种，我这里列出两种比较好的解决问题的方案。Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permissi......
2018-09-21 12:12:35
1655
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人