- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 hadoop集群windows linux安装部署
1. JDK1.8安装（不做解释）2. 下载hadoop2.7.5.tar.gz，或者自行去百度下载。3. 下载hadooponwindows-master.zip（后面有用）安装Hadoop：下载好Hadoop2.7.5的压缩包之后，解压到目录，我放在D:\hadoop-2.7.54 修改hadoop配置文件1.编辑“D:\hadoop-2.7.5\etc\ha...
2019-12-04 18:18:42
452
原创 目录大纲
目录 1. 前端知识1.1. html1.2. css上1.3. js1.4. vue1.5. react1.6. AngularJS1.7. bootstarp1.8. heigchar2. java基础知识2.1. 算法和数据结构2.1.1. 数据结构2.1.2. 算法2.2. 设计模式 多态2.2.1. 23种设计模式 上...
2019-01-16 09:59:26
432
转载 mysql oracle 动态扩容分库分表 面试题
动态扩容分库分表1 面试题#如何设计可以动态扩容缩容的分库分表方案？2 面试官心理分析#对于分库分表来说，主要是面对以下问题：选择一个数据库中间件，调研、学习、测试； 设计你的分库分表的一个方案，你要分成多少个库，每个库分成多少个表，比如 3 个库，每个库 4 个表； 基于选择好的数据库中间件，以及在测试环境建立好的分库分表的环境，然后测试一下能否正常进行分库分表的读写； 完成单库单表到分库分表的迁移，双写方案； 线上系统开始基于分库分表对外提供服务； 扩容了，扩容成 6...
2020-08-01 14:39:48
523
原创 java 服务异常崩溃 JVM报错：Failed to write core dump. Core dumps have been disabled.
目录1 问题点2 分析问题3 解决问题Failed to write core dump. Core dumps have been disabled. To enable core dumping, try "ulimit -c unlimited" before starting Java again1 问题点## A fatal error has been detected by the Java Runtime Environment:## SIGSEGV (0x
2020-06-23 13:59:19
13355
2
原创 Could not locate executable null\bin\winutils.exe in the Hadoop binaries 最全大数据技术
目录1 问题:windows上运行spark代码时候报错2.问题解决：3.安装并配置插件(我这里还是Linux版的hadoop安装包，我们只需要下载一个winutils.exe文件即可)4.直接把解压出来的所有文件放到hadoop解压包下5.配置好hadoop的环境变量1 问题:windows上运行spark代码时候报错2.问题解决：仔细查看报错是缺少winutils.exe程序。Hadoop都是运行在Linux系统下的，在win...
2020-06-13 10:54:05
388
原创 第3章 --- netty的源码分析 Channel创建过程
目录1.调用链过程2.初始化入口：bind()/connect()方法3.实例化Channel1.查看AbstractBootstrap.initAndRegister()以下代码2.channel是由AbstarctBootstrap的成员变量channelFactory进行实例化的。3.进入channelFactory()方法，发现改方法仅仅将参数传递进入并并初...
2020-04-27 18:12:58
272
原创 第2章 --- netty的源码分析
新进入的公司是做股票mac,window app,公司选用netty作为行情推送数据,这一年多对netty源码可劲咬碎~~~~~~~~~~先进行源码跟踪展示-> AbstractBootstrap.bind(port) -> AbstractBootstrap.bind(address) -> AbstractBootstrap.doBind(final Sock...
2020-04-27 17:22:55
181
原创 如何查看vue版本号
如何查看vue版本号1 错误方式百度上搜到的很多都是错误的在cmd控制台内，输入npm-v 可查看到npm 的版本号；vue -V 可看到vue的版本号。这是vue脚手架的版本,不是vue版本,被糊弄了2 正确方式npm list vue关爱自己,少用百度如果能够解决您的问题，那是再好不过(✿◠‿◠)。如果没有顺利的解决你的问题，那么请将您的...
2020-04-09 16:27:31
52644
6
原创 Idea主题风格插件Material Theme
目录1 idea插件material-theme设置2 下载主题风格jar直接使用设置1 idea插件material-theme偶然发现一款“暗黑系列”idea主题插件，感觉非常不错，分享一下~github：https://github.com/equinusocio/material-themeplugins安装完重启idea设置切换主题Edi...
2020-03-18 14:14:32
18102
3
原创 阿里云服务器 Linux防止SSH爆破 fail2ban安装使用
目录1 安装fail2ban2 配置3启动自己的阿里云经常被攻击迫于无奈查看攻击状态 攻击防护1 安装fail2ban#安装fial2banyum -y install fail2ban装成功后fail2ban配置文件位于/etc/fail2ban，其中jail.conf为主配置文件，相关的匹配规则位于filter.d目录，其它目录/文件一般很少用到。2...
2020-03-02 20:04:58
873
原创 spark异常汇总(持续更新中~~)
目录1 idea运行spark javaApi 异常问题点:问题再现:解决方案:1 idea运行spark javaApi 异常问题点:idea不识别spark泛型,报异常但是能正常运行(maven clean)问题再现:入下图incompatible types.required JavaRDD<String> but 'flatMap' was...
2020-02-28 10:31:50
769
原创 Linux CPU占用率99%很高被kdevtmpfsi 和kinsing 挖矿病毒入侵
目录一:警告二:查看cup占用三:解决问题1.首先停掉kdevtmpfsi的程序2.删除Linux下的异常定时任务3.结束kdevtmpfsi进程及端口占用4:删除掉kdevtmpfsi的相关文件四.怎么预防处理这个病毒一:警告先上阿里云上的报警信息。有个最大的问题是：top命令查看自己服务器CPU运行情况，会发现kdevtmpfsi的进程，CPU使用率为...
2020-02-23 15:59:50
3435
原创 hive 问题点总结(持续更新~~)
问题1 hive库编码问题hive加载数据报错日志为hive> load data local inpath '/export/servers/hivedatas/score.csv' into table score2 partition(year='2018',month='06',day='01');Loading data to table myhive.score2...
2020-01-27 20:30:37
206
原创 linux大数据集群搭建--云服务器 hadoop集群搭建
目录第一步: hadoop包下载第二步：上传apache hadoop包并解压第三步: 修改配置文件1 修改core-site.xml 2 修改hdfs-site.xml3 修改hadoop-env.sh4 修改mapred-site.xml5 修改yarn-site.xml6 修改mapred-env.sh7 修改slaves8 分发hadoop...
2020-01-22 18:08:56
758
原创 linux大数据集群搭建--云服务器 zookeeper集群搭建
目录第一步：下载zookeeeper的压缩包，下载网址如下第二步：解压 解压zookeeper的压缩包到/export/servers路径下去，然后准备进行安装第三步：修改配置文件第四步：添加myid配置第五步：安装包分发并修改myid的值,安装包分发到其他机器第六步：三台机器启动zookeeper服务第七步：连接到ZooKeeper第八步：配置环境变量(非必须)...
2020-01-21 18:25:09
1757
原创 idea UML类图工具大全
一、检查UML类图插件是否开启idea默认已经集成了该功能，只是默认没打开，我们要手动打开它，参考下图：File——Settings——Plugins——UML Support确认UML 这个勾已经勾上了，然后点击Apply，重启idea，然后您就可以使用该功能了，当然你可以自己个爽，但推荐你继续往下看，你会更爽二、详细使用你有以下方式来使用UML类图：(快捷键 ctrl+...
2019-12-25 17:01:07
4979
原创 springboot整合 redisTemplate工具类 （含完整的单元测试+简单集成）
目录sprongboot集成redisTemplate1.增加maven依赖2.增加redis配置3.写一个redis配置类4.redis工具类大全(最全的工具类,没有之一)5.单元测试sprongboot集成redisTemplate1.增加maven依赖 <dependency> <groupId>org.springfra...
2019-12-25 10:17:00
5512
原创 hadoop 启动报错 Please update D:\hadoop\conf\hadoop-env.cmd
环境报错问题汇总(持续更新中........)1 hadoop配置完成以后,启动JAVA_HOME报错报错提示Error: JAVA_HOME is incorrectly set. Please update D:\DvlTools\hadoop\hadoop-2.7.7\conf\hadoop-env.cmd1 环境变量没有设置好,测试java -version...
2019-12-05 10:56:33
4604
2
原创 Spark SQL 入门应用 DataFrames
目录一sparkSQL简介二DSL风格应用三SQL风格语法一sparkSQL简介什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习Spark SQL我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大...
2019-12-03 11:39:28
155
原创 commons guava springframework常用工具包的使用
集思广益的结果 持续更新中............package com.sdrfengmi.study._002_guava_lang3;import java.text.ParseException;import java.util.ArrayList;import java.util.Arrays;import java.util.Collection;import ...
2019-11-13 14:08:17
418
原创 springboot之使用redistemplate优雅地操作redis
目录1.1概述1.2关于spring-redis1.3关于key的设计1.3.1key的存活时间：1.3.2关系型数据库的redis1.4 Redis的数据类型1.4.1String字符串1.4.2链表1.4.3集合1.4.4Set 有序集合1.4.5Hash-哈希1.5springboot 与redis的整合1.5.1pom文件1.5.2a...
2019-08-23 17:27:50
1847
原创 Gradle安装和在Eclipse中的使用
目录1、官网下载2、压缩包解压后，根据实际路径配置环境变量3、验证安装结果4、Eclipse安装gradle插件5、Eclipse创建gradle项目6、Eclipse导入gradle项目7、gradle项目配置文件说明：8、导入Github上的Gradle项目Gradle是一个基于Apache Ant和Apache Maven概念的项目自动化构建开源工具。...
2019-08-07 10:55:45
534
原创 Spring Security认证与鉴权 开启(一)
目录1 简要2加入pom3 加入配置4 WebSecurityConfigurerAdapter 配置4.1 基本原理1 简要Spring Security是一款基于Spring的安全框架，主要包含认证和授权两大安全模块，和另外一款流行的安全框架Apache Shiro相比，它拥有更为强大的功能。Spring Security也可以轻松的自定义扩展以满足各种需求，并且...
2019-08-06 09:42:46
795
转载 第1章 --- netty的nio概念-线程模型
目录Netty网络I/O1Linux IO阻塞IO的通信方式(BIO)I/O复用模型非阻塞IO多路复用(NIO)2线程模型事件驱动模型Reactor线程模型Netty线程模型3异步处理4传统IO/Netty对比JDK原生NIO程序的问题Netty的主要特点有：Netty网络I/ONetty是一款基于NIO（Nonbl...
2019-05-29 15:27:31
951
原创 nginx知识大全 所有功能
目录nginx大全1 反向代理1 单端口监听反向代理2 多端口监听反向代理2 负载均衡1、RR（默认）2、权重3、ip_hash4、fair（第三方）5、url_hash（第三方）3 HTTP服务器1 动静分离4 正向代理5 最后说两句手打不容易,感觉好就赞一毛钱地nginx大全前言本文只针对Nginx在不加载第三方模块的情况...
2019-03-07 17:00:57
506
原创 maven 依赖传递 依赖排除 继承和聚合 常用命令
目录Maven使用1 网上依赖jar网址 http://www.mvnrepository.com/2 依赖传递3 依赖冲突的解决4 依赖排除6 继承和聚合7 maven私服8 把第三方jar包放入本地仓库或私服9 常用命令10手打不容易,感觉好就赞一毛钱地Maven使用1 网上依赖jar网址 http://www.mvnrepository.c...
2019-03-04 17:03:52
2177
原创 Maven常用中央仓库 jar下载
好用❤❤❤❤❤https://mvnrepository.com/好用❤❤❤❤https://www.mvnjar.com/好用❤❤❤❤http://maven.outofmemory.cn/hot/
2019-03-04 16:56:10
1588
原创 Docker常用命令大全
目录1 Docker的启动与停止2 镜像相关命令3 容器相关命令手打不容易,如果喜欢请点赞,赞一毛钱的,继续分享ing1 Docker的启动与停止systemctl命令是系统服务管理器指令启动docker： systemctl start docker停止docker：systemctl stop docker重启docker：systemctl rest...
2019-02-27 20:08:30
531
原创 linux中ssh可以登录sftp不能登录解决办法 Failed to connect SFTP channel.
1 用mobaXterm不能连接sftp上传文件2 用jenkins 不能登录1 修改文件系统vim /etc/ssh/sshd_configSubsystem sftp /usr/libexec/openssh/sftp-server 改为Subsystem sftp internal-sftp2 重启sshd服务ser...
2019-02-26 15:53:37
8828
4
原创 Docker容器启动失败 Failed to start Docker Application Container Engine. 的解决办法
systemctl start docker.service启动docker时报以下错误：Failed to start Docker Application Container Engine.Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?...
2019-02-26 10:08:41
18652
3
原创 Xshell免费版安装 常用连接linux工具
目录1 常用连接linux工具2 putty: 推荐 ❤3 Xshell: 中文绿色版 推荐 ❤❤❤4 mobaXterm 绿色版 推荐 ❤❤❤❤❤手打不容易,感觉好就赞一毛钱地1 常用连接linux工具一般我们装linux，基本上都是用来做服务器的，而且基本上服务器也只有一个主机，没有键盘和显示器，在无法接触到物理机的情况下，我们如何对服务器进行管理呢？本...
2019-02-25 17:32:17
11899
5
原创 java所有知识点 --目录
java所有知识点(持续更新中......)1 一级目录 二级目录 三级目录 四级目录 2 1. 前端知识 1.1. html 3 1.2. css上 4 1.3. js 5 1.4. vue 6 1.5. react ...
2019-02-22 09:28:56
637
原创 目录
目录 1. 前端知识1.1. html1.2. css上1.3. js1.4. vue1.5. react1.6. AngularJS1.7. bootstarp1.8. heigchar2. java基础知识2.1. 算法和数据结构2.1.1. 数据结构2.1.2. 算法2.2. 设计模式 多态2.2.1. 23种设计模式 上2...
2019-02-21 15:08:18
197
转载 java 编码 解决中文乱码
目录1 java编码常用转码方式1 在我们Java中定义了一个String，其编码方式是啥？2 编码和编码格式的区别是什么？3 按字节4 按字符5 字节&字符转换1 java编码ASCII：美国标准信息交换表ISO8859-1:拉丁码表，欧洲码表GB2312:中国的中文编码表GBK:中国的中文编码表升级GB18030:GBK的取代版本...
2019-02-20 15:06:19
887
原创 java压缩和解压 减少带宽
目录1 Java 压缩和解压1.zip是一种较为常见的压缩格式，Java提供了java.util.zip包，常用类：2.Jar是Java专有的一种压缩格式，Java提供了java.util.jar包，常用类：3.GZIP是Unix系统的文件压缩格式，Linux系统中经常用的.gz 文件就是GZIP格式，Java提供了解码 1 Java 压缩和解压为了减少传输时的数据...
2019-02-20 14:47:52
605
原创 netty 数据压缩 二进制流推送
目录1 netty 数据压缩推送1 入参 获取二进制数据2 出参 二进制流输出(如果要压缩,查看下文,java Gzip压缩再转化成二进制流,注意和前台交互的编码问题)1 netty 数据压缩推送netty数据传送方式分别有TextWebSocketFrame ---> 文本形式推送BinaryWebSocketFrame --> 二进制流形式推送.....
2019-02-20 14:46:23
3597
原创 Job for docker.service failed because the control process exited with error code. See "systemctl sta
docker的engine 基于Device Mapper提供的一种存储驱动,而它又依赖与 devicemapper。于是乎我将它给删除并重启服务，解决了docker无法正常启动的问题。1 删除# rm -rf /var/lib/docker/2 # 添加如下内容 #vim /etc/docker/daemon.json{ "graph": "/mnt/docker-data...
2019-02-15 15:21:23
743
原创 docker 安装方式 离线安装 在线安装
链接：https://pan.baidu.com/s/1DLOQZ5lTC7KL7OYGQt7iFQ 提取码：j52o
2019-02-14 09:29:00
2132
原创 Maven打包三种方法和常用命令大全
目录maven常用打包命令1 方法一：使用maven-jar-plugin和maven-dependency-plugin插件打包2 方法二：使用maven-assembly-plugin插件打包在pom.xml中配置：3 方法三：使用maven-shade-plugin插件打包在pom.xml中配置：maven常用打包命令1、mvn compile 编译,将Java 源程...
2019-02-13 17:24:25
44276
hadoop-common-2.2.0-bin.rar
2020-06-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人