- 博客(17)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 Scala学习——介绍，安装，idea安装使用。
Scala介绍Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。Scala官网6个特征。1).Java和scala可以混编2).类型推测(自动推测类型)3).并发和分布式（Actor）4).特质，特征(类似java中interfaces 和 abstract结合)5).模式匹配（类似java switch）6).高阶函数Sca...
2019-11-24 22:24:26
224
原创 大数据小试牛刀---------（一）配置Hiveserver2，并编写Spring boot集成hive-jdbc程序（结尾附源码）
hiveserver2的配置和启动在之前的讲解中，我们已经安装好啦Hive，那么这次我们来配置好hiveserver2进行实际项目中操作Hive吧。Hive安装地址：Hive 安装教程配置hive-site.xml进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件，现对其进行配置修改。 <property> ...
2019-11-18 22:38:20
471
原创 大数据学习之路(准备篇)---------（五）Redis cluster集群搭建并进行压力测试
上一节，我们已经搭建好了HIVE，这一节我们来搭建Redis cluster集群吧，现在都是环境搭建，后续的我们有了实际数据后会在这个集群上来进行数据分析，让我们一步一步的向钱推进吧????！redis5.0.2集群搭建（两台服务器6节点）我在集群中选两个节点（node1:192.168.30.101 node2:192.168.30.102）redis下载地址:下载地址在linux下安装...
2019-10-31 22:43:05
1333
1
原创 大数据学习之路(准备篇)---------（四）「HA」Hadoop高可用下Hive和Mysql搭建教程
上一节说到，我们公司要用hdfs+hive+spark构成大数据分析的技术栈。本节就先把Hive和Mysql安装好，上次有朋友问我为什么不装个Ambari，这样不管搭建集群和后面的管理不就方便很多了，其实主要是想从头开始了解这些组件中的一些机制，不然用自动安装的，只知道用，不明白他是怎么来的，公司里有在用星环大数据平台(TDH)和Ambari，就我使用体验来说，感觉还是Ambari用着顺手一点，这...
2019-10-27 17:08:14
389
原创 大数据学习之路(准备篇)---------（三）「HA」Hadoop-2.9.2下配置Mapped和Yarn简单
在上一节中，我们详细搭建了「HA」Hadoop-2.9.2高可用集群，高可用解决了单点故障的问题，但是集群还需要资源调度管理，还需要执行MapReduce任务，所有我们继续把Mapped和Yarn配置好，这样我们就可以做一些简单的数据处理了。Mapped和Yarn根据自己的需要进行不同的配置，在Hadoop官方文档中列出了详细参数配置。hadoop-2.7.1 Yarn配置的相关文档地址：Ya...
2019-10-27 11:14:45
136
原创 大数据学习之路(准备篇)---------（二）「HA」Hadoop-2.9.2集群搭建
在上一篇中已经介绍了Linux虚拟机的搭建，那么下一步我们就应该来搭建我们的Hadoop集群了。系列主要增加了HA高可用和YARN，一个充分解决了集群环境中namenode挂掉的情况，一个解决了mapreduce计算的缺陷。那么下面我们来具体操作吧。集群目标在进行HA配置之前需要对HA的基本概念有所了解，并且设计好HA的集群节点。在之前1.0的时候NameNode 存在单点故障，虽然有 Sec...
2019-10-24 21:41:01
198
原创 大数据学习之路(准备篇)---------（一）集群环境准备
前一阵子刚换了15寸的MBP，所有的东西又要重新开始准备了，不过也好，这次要来一次完整的记录，顺便提一句，MAC是真的好用啊，所有的操作都是那么顺滑流畅。正应了那句话，一入Mac深似海，从此钱财是路人。????虚拟机准备VMware Fusion下安装CentOS7VMware Fusion是我不管在Windows还是Mac下最喜欢的虚拟机软件。打开浏览器，下载地址：http://mirrors...
2019-10-20 10:00:55
267
原创 Postman向后台传json测试（spring boot）
需求不停的改，这就比较坑了，他们做出界面一调我们提供的接口，各种不通，还是我门用postman测好再给他们吧，不闲扯了。记录今天的坑。大家使用过tree树吗，可以多选，就跟省市级联一样，但是我们可能跨省跨市跨县，wow!好麻烦！首先要在postman下的heager中key输入Content-Type，value自然输入application/json。如下图然后点击body，选择r...
2019-10-15 22:09:36
624
原创 spring boot devtools实现热部署
首先要设置idea的配置(1) “File” -> “Settings” -> “Build,Execution,Deplyment” -> “Compiler”，选中打勾 “Build project automatically” 。(2) 组合键：“Shift+Ctrl+Alt+/” ，选择 “Registry” ，选中打勾 “compiler.automake.allow.w
2017-12-17 10:10:26
125
原创 Spring boot项目整合thymeleaf和shiro
项目使用了spring boot 框架和orm框架用了spring data jpa和前台是thymeleaf第一步：先在pom.xml加入thymeleaf和shiro的依赖 <dependency> <groupId>com.github.theborakompanioni</groupId&g...
2017-12-08 23:01:09
3675
原创 jpa多对多映射时(@ManyToMany)时堆溢出(java.lang.StackOverflowError: null )
JPA(多对多映射) 角色和菜单多对多映射TSRoleEntity.classpackage com.nwnu.GanSuBank.system.manager.role.domain; import com.fasterxml.jackson.annotation.JsonIgnore; import com.nwnu.GanSuBank.system.manage...
2017-12-07 16:20:59
4053
3
原创 hadoop集群配置flume
1.先从官网下载flume的jar包。我们下载最新的Apache Flume binary (tar.gz) 1.8版本地址：http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz2.之后再hadoop中解压tar -zxvf apache-flume-1.8.0-bin.tar.gz
2017-11-22 23:18:12
845
原创 bootstrap-table遇到的问题
1.controller层queryParams 参数提交不过去 是因为 bootstrap-table.js中默认是contentType: 'application/json',我们必须改成contentType : "application/x-www-form-urlencoded",而且必须是post提交。/因为bootstrap-table.js源码中是:...
2017-11-18 11:10:24
3194
原创 Hadoop下用MapReduce处理WordCount
WordCount 分词算法我使用eclipse开发，一共有三个类WCJob.class、WCMapper.class、WCReduce.class。WCMapper.class对上传的数据进行筛选，比方说用空格间隔，而WCReduce.class在对筛选后的词进行累加。算法很简单~直接上代码。WCJob.classpackage com.jpf.wc;import jav
2017-10-29 22:47:36
207
原创 thymeleaf模板引擎div th:each=展示echarts图表
前台动态展示echarts图表，使用spring boot 与 thymeleafhtml页面<div th:each="row,iterStat:${county_list}" style="margin-top: 50px"> <div class="aa" th:id="'con'+${iterStat.count}">Onions<...
2017-10-28 18:20:32
4881
原创 Hadoop 编译时报java.lang.UnsatisfiedLinkError
我电脑上的hadoop版本是2.7.4，当运行mapreduce程序时报org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V错误，后来发现是hadoop.dll版本跟hadoop版本不一致，所以应当替换hadoop的bin目录下的hadoop.dll文件和winut
2017-10-27 23:08:29
772
云计算实验报告
2017-12-29
招聘网站项目
2017-12-15
操作系统全部实验
2017-12-15
echarts3-chinese-map
2017-12-09
WordCount分词/ecplise
2017-10-29
使用动态优先权和时间片轮转的进程调度算法的模拟
2017-09-20
eclipse-hadoop
2017-09-20
企业电子商城（源码+数据库脚本）
2017-09-20
echarts-spring-mybatis-master
2017-09-20
非常漂亮后台登陆界面和管理界面HTML源码
2017-09-19
OA办公自动化管理系统（Struts1.2+Hibernate3.0+Spring2+DWR）
2017-07-06
高校选课系统
2016-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人