- 博客(178)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 springSecurity结合使用实现redis管理session
1. pom.xml添加springsession的依赖：<span style="color:#000000"><code><dependency> <groupId>org.springframework.session</groupId> <artifactId>spring-session-data-redis</artifactId> <version>${spring
2020-09-11 15:59:21
2931
原创 SpringBoot项目配置文件密码加密(jasypt)
jasypt由于其使用的是PBEWithMD5AndDES加密方式，每次加密出来的结果都不一样，很适合对数据进行加密.1、引入依赖<!-- 数据库加密 --><dependency> <groupId>com.github.ulisesbocchio</groupId> <artifactId>jasy...
2019-03-05 18:09:24
1906
原创 sudo命令详解
简单的说，sudo 是一种权限管理机制，管理员可以授权于一些普通用户去执行一些 root 执行的操作，而不需要知道 root 的密码。严谨些说，sudo 允许一个已授权用户以超级用户或者其它用户的角色运行一个命令。当然，能做什么不能做什么都是通过安全策略来指定的。sudo 支持插件架构的安全策略，并能把输入输出写入日志。第三方可以开发并发布自己的安全策略和输入输出日志插件，并让它们无缝的和 s...
2019-02-19 09:48:16
83104
2
原创 SpringCloud-简介
1、SpringCloud是什么SpringCloud是分布式微服务架构下的一站式解决方案，是各个微服务架构落地技术的几何体，俗称微服务全家桶。- SpringCloud基于SpringBoot提供了一整套微服务的解决方案，包括服务注册与发现，配置中心，全链路监控，服务网关，负载均衡，熔断器等组件，除了基于Netflix的开源组件做高度抽象封装之外，还有一些选型中立的开源组件- Spri...
2019-02-01 08:33:24
328
原创 SpringCloud-微服务概念
1、什么是微服务1) 对单一应用进行拆分2) 每一个独立的应用都有一个独立的进程3) 拥有自己独立的数据库4) 微服务化的核心就是讲传统的一站式应用，根据业务拆分成一个一个的服务,彻底地去耦合，每一个微服务提供单个业务功能的服务，一个服务处理一件事,从技术角度就是一种小而独立的处理过程,类似进程的概念,能够自行单独启动或销毁,拥有自己的数据库。2、微服务与微服务架构微服务：...
2019-02-01 08:33:15
392
原创 SpringCloud-学习大纲及常见面试题
1、前置知识学习SpringCloud之前需要具备和掌握如下框架和工具的使用:SpringMVC，Spring，,Spring Boot，Mybatis，Maven，Git。2、学习大纲2.1 微服务概述2.2 SpringCloud入门概述2.3 Rest微服务构建案例工程模块2.4 Eureka服务注册与发现2.5 Ribbon负载均衡2.6 Feign负载均衡...
2019-02-01 08:33:01
1869
原创 Activiti-SpringBoot集成环境搭建
1、搭建环境JDK1.8+SpingBoot+MyBatis+Activiti2、搭建步骤(只介绍关键点,具体可下载资源中的代码)1）pom.xml文件：主要有效信息都在dependency中。其中spring-boot-starter为我们在SpringBoot下使用Activiti做了以下这样的配置：自动创建Activiti ProcessEngine的Bean 所有...
2019-01-30 15:46:30
941
原创 开发规范-MySQL数据库
1、建表规约1）表达是与否概念的字段，必须使用 is _ xxx 的方式命名，数据类型是 unsigned tinyint（ 1 表示是，0 表示否 ） 。说明：任何字段如果为非负数，必须是 unsigned 。正例：表达逻辑删除的字段名 is_deleted ，1 表示删除，0 表示未删除2）表名、字段名必须使用小写字母或数字 ， 禁止出现数字开头，禁止两个下划线中间只出现数字。...
2019-01-30 09:57:41
302
原创 MongoDB-与SpringBoot整合及日志记录
1、依赖和配置springboot项目中需要引入相关依赖:数据库连接配置：2、service接口及实现类MongoTemplate是数据库和代码之间的接口，对数据库的操作都在它里面，MongoTemplate是线程安全的。注:此处只写了一个创建方法，其他查询、删除等方法请自行脑补.SysLogService.java接口：SysLogServiceImpl....
2019-01-25 15:25:10
3939
原创 单点登录-基于JWT机制的单点登录
1、认证过程登录：1）第一次认证：第一次登录，用户从浏览器输入用户名/密码，提交后到服务器的登录处理的Action层（Login Action）；2）Login Action调用认证服务进行用户名密码认证，如果认证通过，Login Action层调用用户信息服务获取用户信息（包括完整的用户信息及对应权限信息）；3）返回用户信息后，Login Action从配置文件中获取Toke...
2019-01-23 16:20:16
3699
原创 单点登录-简介及实现方式
1、单点登录简介单点登录SSO（Single Sign On）说得简单点就是在一个多系统共存的环境下，用户在一处登录后，就不用在其他系统中登录，也就是用户的一次登录能得到其他所有系统的信任。单点登录在大型网站里使用得非常频繁，例如像阿里巴巴这样的网站，在网站的背后是成百上千的子系统，用户一次操作或交易可能涉及到几十个子系统的协作，如果每个子系统都需要用户认证，不仅用户会疯掉，各子系统也会为这种...
2019-01-23 11:16:22
657
原创 Oozie-应用及案例
1、案例一：Oozie 调度 shell 脚本目标：使用 Oozie 调度 Shell 脚本，分步实现：1) 解压官方案例模板2) 创建工作目录3) 拷贝任务模板到 oozie-apps/目录4) 随意编写一个脚本 p1.sh5) 修改 job.properties 和 workflow.xml 文件job.propertiesworkflo...
2019-01-20 16:02:06
215
原创 Oozie-简介及部署
1、Oozie简介1.1、Oozie简介现实业务中处理数据时不可能只包含一个MR操作，一般都是多个MR，并且中间还可能包含多个Java或HDFS，甚至是shell的操作，利用Oozie可以完成这些任务。实际上Oozie不是仅用来配置多个MR工作流的，它可以是各种程序夹杂在一起的工作流，比如执行一个MR1后，接着执行一个java脚本，再执行一个shell脚本，接着是Hive脚本，然后又是...
2019-01-20 13:05:32
581
原创 HBase-常用Shell操作及数据备份恢复
1、常用的 Shell 操作1) satus例如：显示服务器状态：2) whoami例如，显示 HBase 当前用户：3) list显示当前所有的表：4) count例如，统计指定表的记录数：5) describe展示表结构信息：6) exists检查表是否存在，适用于表量特别多的情况：7) is_enabled/is_dis...
2019-01-11 15:36:21
518
原创 HBase-与Hive的区别、与Sqoop的集成
1、HBase 与 Hive 的对比Hive：1）、数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系，以方 便使用 HQL 去管理查询。2）、用于数据分析、清洗Hive 适用于离线的数据分析和清洗，延迟较高。3）、基于 HDFS、MapReduceHive 存储的数据依旧在 DataNode 上，编写的 HQL 语句终...
2019-01-10 16:58:25
975
原创 Navicat将sqlserver数据库导入mysql中
1、首先在mysql数据库中创建数据库并点击'导入向导'点击下一步点击...点击下一步输入sqlserver数据库连接信息，点击确定.选择要导入的表，然后下一步新建表名，然后下一步，下一步，开始导入成功...
2019-01-10 10:19:07
2044
原创 HBase-读写流程及JavaAPI
1、读写流程1.1、HBase 读数据流程1) HRegionServer 保存着 meta 表以及表数据，要访问表数据，首先 Client 先去访问 zookeeper，从 zookeeper 里面获取 meta 表所在的位置信息，即找到这个 meta 表在哪个 HRegionServer 上保存着。2) 接着 Client 通过刚才获取到的 HRegionServer 的 IP 来...
2019-01-09 15:18:38
753
原创 HBase-部署及简单使用
1、HBase部署1.1、Zookeeper 正常部署首先保证 Zookeeper 集群的正常部署，并启动之：1.2、Hadoop 正常部署Hadoop 集群的正常部署并启动：1.3、HBase 的解压解压 HBase 到指定目录：1.4、HBase 需要依赖的 Jar 包 由于 HBase 需要依赖 Hadoop，所以替换 HBase 的 li...
2019-01-04 10:25:49
217
原创 HBase-简介及架构
1、简介1.1、HBase简介– HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 – 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务– 主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）...
2019-01-04 10:25:11
3291
原创 Maven-私服Nexus的安装及使用
1、Nexus介绍Nexus 是Maven仓库管理器，如果你使用Maven，你可以从Maven中央仓库 下载所需要的构件（artifact），但这通常不是一个好的做法，你应该在本地架设一个Maven仓库服务器，在代理远程仓库的同时维护本地仓库，以节省带宽和时间，Nexus就可以满足这样的需要。此外，他还提供了强大的仓库管理功能，构件搜索功能，它基于REST，友好的UI是一个extjs的REST...
2018-12-29 09:46:53
202
1
原创 Kafka-工作流程分析及API实战
1、Kafka工作流程分析1.1、Kafka生产过程分析1）、写入方式：producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。2）、分区（Partition）Kafka集群有多个消息代理服务器（broker-server）组成，发布...
2018-12-26 19:59:16
316
原创 Kafka-概述和集群部署
1、Kafka概述1.1、Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Cons...
2018-12-26 19:59:05
474
原创 VirtualBox本地搭建多个虚拟机
1、准备安装软件VirtualBox-5.1.26-117224-Win.execentos7-atguigu.ovaSecureCRT 8.12、导入一个虚拟机安装VirtualBox后,管理->导入虚拟机电脑,如下图:在虚拟机上右键点设置:然后正常启动虚拟机:root/1234563、复制多台虚拟机在虚拟机上右键点复制,如下图:重复以上...
2018-12-20 17:42:22
3071
原创 Zookeeper-实战
1、分布式安装部署0）集群规划在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。1）解压安装（1）解压 zookeeper 安装包到/opt/module/目录下：tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/（2）在/opt/module/zookeeper-3.4....
2018-12-20 13:45:07
168
原创 Zookeeper-概述、安装及原理
1、Zookeeper 概述1.1、概述Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。1.2、特点1）Zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群。2）Leader 负责进行投票的发起和决议，更新系统状态。3）Follower 用于接收客户请求并向客户端返回结果，在选举 Lead...
2018-12-20 13:44:47
229
原创 Flume-部署及使用案例
1、Flume 简介1) Flume 提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务， Flume只能在Unix环境下运行。2) Flume 基于流式架构，容错性强，也很灵活简单。3) Flume、Kafka 用来实时进行数据收集，Spark、Storm 用来实时处理数据，impala 用来实 时查询。2、Flume 角色Flume的一些核心概念：...
2018-12-19 10:48:25
254
原创 Oracle-Docker中使用Oracle XE
Oracle XE是Oracle公司提供的免费开发测试用途的数据库，可以自由使用，功能和使用与Oracle完全一致，但数据大小限制为4G。1、安装oracle-xe2、启动oracle-xe容器：本容器提供如下安装信息:3、system管理员登录后创建用户并授权：create user test identified by test;grant connect,...
2018-12-17 16:01:17
217
原创 Sqoop-常用命令及参数
1、Sqoop常用命令及参数2、命令&参数详解刚才列举了一些 Sqoop 的常用命令，对于不同的命令，有不同的参数，让我们来一一列举说明。 首先来我们来介绍一下公用的参数，所谓公用参数，就是大多数命令都支持的参数。2.1、公用参数：数据库连接2.2、公用参数：import2.3、公用参数：export2.4、公用参数：hive命令对应...
2018-12-13 16:26:59
208
原创 Sqoop-简介及安装
1、Sqoop 简介Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。Sqoop(SQL-to-Hadoop)是一个在结构化数据和Hadoop之间进行批量数据迁移的工...
2018-12-13 16:26:47
410
原创 Hive-扩展项目Youtube
1、需求描述统计 Youtube 视频网站的常规指标，各种 TopN 指标：--统计视频观看数 Top10--统计视频类别热度 Top10--统计视频观看数 Top20 所属类别包含这 Top20 视频的个数--统计视频观看数 Top50 所关联视频的所属类别 Rank--统计每个类别中的视频热度 Top10--统计每个类别中视频流量 Top10--统计上传视频最多...
2018-12-11 13:10:45
6307
原创 Hive-企业级调优
1、Fetch 抓取Fetch 抓取是指Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如： SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录 下的文件，然后输出查询结果到控制台。在 hive-default.xml.template 文件中 hive.fetch.task.conversion ...
2018-12-05 15:03:52
285
原创 Hive-函数
1、系统自带的函数1）查看系统自带的函数2）显示自带的函数的用法3）详细显示自带的函数的用法2、自定义函数1）Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF 来方便的扩展。2）当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义 函数（UDF：user-defined function...
2018-12-05 09:53:16
141
原创 Hive-查询
1、基本查询（Select…From）1.1、基本查询全表查询： hive (default)> select * from emp;选择特定列查询： hive (default)> select empno, ename from emp;列别名：hive (default)> select ename AS name, deptno dn from emp;...
2018-12-04 17:09:33
224
原创 Hive-DML数据操作
1、数据导入1.1、向表中装载数据（Load）1）、语法：hive>load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];（1）load data:表示加载数据（2）local:表示从本地加载数据...
2018-12-04 16:51:11
150
原创 Hive-DDL数据定义
1、创建数据库1）创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。2）创建一个数据库，指定数据库在 HDFS 上存放的位置。2、修改数据库用户可以使用 ALTER DATABASE 命令为某个数据库的 DBPROPERTIES 设置键-值对 属性值，来描述这个数据库的属性信息。数据库的其他元数据信息都是不可更改的，包...
2018-12-04 16:50:59
176
原创 Hive-数据类型
1、基本数据类型注意:对于 Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串， 不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数。2、集合数据类型Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中 的 Array 和 Map 类似，而 STRUCT 与 ...
2018-12-03 16:52:04
260
原创 Hive-安装环境准备
1、Hive 安装地址1）Hive 官网地址： http://hive.apache.org/2）文档查看地址： https://cwiki.apache.org/confluence/display/Hive/GettingStarted3）下载地址： http://archive.apache.org/dist/hive/4）github 地址： https://github....
2018-12-03 16:50:58
872
1
原创 Hive-基本概念
1、什么是 HiveHive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。本质是：将 HQL 转化成 MapReduce 程序1）Hive 处理的数据存储在 HDFS2）Hive 分析数据底层的实现是 MapReduce3）执行程序运行在 Y...
2018-12-03 16:49:50
176
原创 Hadoop-企业优化
1、MapReduce 跑的慢的原因Mapreduce 程序效率的瓶颈在于两点：1）计算机性能CPU、内存、磁盘健康、网络2）I/O 操作优化（1）数据倾斜 （2）map 和 reduce 数设置不合理 （3）map 运行时间太长，导致 reduce 等待过久 （4）小文件过多 （5）大量的不可分块的超大文件（6）spill 次数过多 （7）merge 次数过多等。2、Ma...
2018-11-28 14:28:52
166
原创 Hadoop-Yarn
1、Hadoop1.x 和 Hadoop2.x 架构区别在 Hadoop1.x 时代，Hadoop 中的 MapReduce 同时处理业务逻辑运算和资源的调度，耦 合性较大。在 Hadoop2.x 时代，增加了 Yarn。Yarn 只负责资源的调度，MapReduce 只负责运算。2、Yarn 概述Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式 的操作...
2018-11-28 14:28:44
259
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人