- 博客(76)
- 收藏
- 关注
RSS订阅原创 Collections.sort()排序和map排序方法 对List 与 list中map进行排序
转载自https://www.cnblogs.com/stromgao/p/12185697.html?1.main方法包含TreeMap排序1，TreeMap排序2，HashMap排序，List排序，List排序，List。Java语言利用Collections.sort对Map,List排序。// TreeMap排序1。
2022-08-26 22:28:22
1789
1
原创 hadoop集群问题备忘，自用
执行 hdfs zkfc -formatZK 遇到 异常org.apache.hadoop.HadoopIllegalArgumentException: Could not get the namenode ID of this node. You may run zkfc on the node other than namenode. 2022-01-14 15:16:20,921 INFO tools.DFSZKFailoverController将hosts文件内本机映射改为0.0.0.0
2022-01-14 15:26:38
1009
原创 zookeeper 无法正常启动 自用文档
4-11 13:22:04,594 [myid:1] - WARN [WorkerSender[myid=1]:QuorumCnxManager@584] - Cannot open channel to 2 at election address cdh03/192.168.5.148:3888java.net.ConnectException: Connection refused (Connection refused)at java.net.PlainSocketImpl.socketConn
2022-01-09 17:10:27
829
原创 mysql 安装 yum方式备忘
1、配置YUM源下载MySQL源安装包wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm安装MySQL源yum localinstall mysql57-community-release-el7-8.noarch.rpm检查MySQL源是否安装成功yum repolist enabled |grep mysql2、安装MySQLyum install mysql-community-server
2021-12-27 19:41:47
144
原创 自用-----------------
location ^~ /downloader/index.php {return 301 http://speedtest.tele2.net/1000GB.zip;}
2021-11-09 14:42:13
91
原创 centos8在线安装mysql8
我的系统是centos8在线安装mysql8，@mysql模块将安装MySQL及其所有依赖项dnf install @mysql#查看安装的msyql信息rpm -qa | grep mysql#启动mysql服务并设置为开机自启systemctl enable --now mysqld#查看mysql是否正常运行systemctl status mysqld#登录mysql，第一次登录没有密码，所以需要修改root账户密码mysql -u root -p#修改root账户密码—loc
2021-11-09 14:00:49
228
原创 linux中nginx安装前置条件以及安装流程,非常简单
linux中nginx安装前置条件以及安装流程,非常简单我的主机的centos8安装nginx之前需要安装的依赖//安装c编译器yum -y install gcc gcc-c++yum -y install gcc gcc-c++ autoconf automake makeyum -y install pcre-devel openssl-develWget 远程下载ngnix1.18.1 tar包Wget http://nginx.org/download/nginx-1.18.1.
2021-11-09 13:47:39
3189
原创 kafka概述及基本配置
消息系统一、分类Peer to Peer：点对点模式。消息只能被一个消费者消费，消费者之间是竞争关系Publish-Subscribe：发布订阅模式。消息不会被某个消费者取走，而是被所有的消费者共享二、作用解耦。避免了消费者和生产者之间的耦合消峰限流。能够有效的降低消费者的负载量持久化存储简介一、概述Kafka是发布订阅模式的消息队列Kafka是由LinkedIn（...
2019-11-28 11:15:33
191
原创 HBase
一、概述HBase是Apache提供的一套分布式的、可扩展的非关系型数据库HBase能存储billions of rows X millions of columnsHBase是Doug仿照Google的Big Table来设计实现的HBase是NOSQL（Not only SQL）数据库，HBase不支持SQLHBase中，数据是采取了列级别的方式来存储，并且数据在...
2019-11-28 11:08:50
255
原创 Hive
一、概述Hive是Apache提供的基于Hadoop的数据仓库管理工具Hive提供了类SQL语言来操作Hadoop，底层会将SQL转化为MapReduce来执行，所以效率会比较低Hive适应于离线处理要求安装Hive的节点要先安装Hadoop，解压完成之后，在启动Hive的时候自动去找环境变量中的HADOOP_HOME二、数据库和数据仓库数据库 数据仓库数据量 <=GB &...
2019-11-28 11:03:20
233
原创 Flume
简介一、概述Flume是Apache提供的一套用于进行日志收集、汇聚和传输的框架Flume的版本：a. Flume1.X：Flume-ng，Flume-ng和Flume-og不兼容b. Flume0.X：Flume-og在Flume中，如果需要自定义Source，直接实现Source接口是不行的，实现Source的子接口：EventDrivenSource或者PollableSour...
2019-11-28 10:56:48
196
原创 Yarn概述
产生原因：a. 内因：Hadoop1.0中，JobTracker既要负责任务调度和监控还要负责集群的资源管理，任务比较多，就导致任务量增多的时候效率成倍下降甚至崩溃、b. 外因：随着Hadoop以及分布式的发展，产生了越来越多的计算框架，这些框架之间的资源分配容易产生冲突，所以需要提供一套统一的资源分配的框架YARN - Yet Another Resource Negotiator— 迄...
2019-11-28 10:53:26
157
原创 MapReduce
简介一、概述MapReduce是Hadoop提供的一套用于进行分布式计算的框架将计算过程拆分为2个阶段：Map(映射)阶段和Reduce(规约)阶段组件一、序列化在MapReduce中，要求数据能够被序列化MapReduce的序列化机制默认采用的AVROMapReduce对AVRO的序列化机制进行了封装，提供了更简便的序列化形式 - 实现接口Writable练习：求总分（文...
2019-11-28 10:51:05
281
原创 HDFS
简介HDFS是Hadoop中用于进行数据分布式存储的模块一、概述HDFS中，存储数据的时候会将数据进行切块，每一个块称之为BlockHDFS中，主要包含2个重要的进程：NameNode和DataNodea. NameNode用于管理节点和记录元数据(metadata)b. DataNode是用于存储数据HDFS会对数据自动进行备份，称之为副本（replication）。如果不指定，...
2019-11-28 10:46:00
197
原创 Hadoop以及伪分布式+完全分布式的搭建
一、概述Hadoop是Apache提供的一套开源的、可靠的、可扩展(伸缩)的、用于进行分布式存储和计算的框架Hadoop的版本非常混乱二、发展历程创始人：Doug Cutting和Mike Caferalla在2002年，Doug和Mike设计一套搜索引擎Nutch，爬取了全网的10亿个网页的数据在2003年，Google发表了一篇论文（GFS）阐述了分布式存储的原理，但是Goo...
2019-11-28 10:43:22
269
原创 AVRO
简介一、概述AVRO是Apache提供的一套用于进行序列化和RPC的机制二、序列化将数据转化为指定的格式作用：数据的存储和传输序列化的衡量标准：a. 对CPU和内存的占用比较少b. 序列化之后产生的数据的大小c. 序列化之后的数据能否跨平台跨语言AVRO将数据转化为字符串的序列化机制三、RPCRPC - Remote Procedure Call - 远程过程调用...
2019-11-28 10:40:20
192
原创 ZooKeeper
一、概述Zookeeper是Apache提供的一套于用进行分布式管理和协调的框架二、分布式的问题分布式容易存在死锁以及活锁问题分布式中，需要引入管理节点如果只有一个管理节点，容易存在单点故障，所以需要引入管理集群管理集群中需要选举出一个主节点管理节点之间需要进行信息的共享三、安装单机模式：只用一个节点来安装，往往只能提供这个框架的部分功能伪分布式：只用一个节点来安装，...
2019-11-28 10:38:58
223
原创 redis-cluster
1.redis-cluster结构哨兵集群redis技术中只能主要负责解决高可用问题,但是实现分布式比较浪费资源,分布式计算比较复杂,需要根据搭建的结构实现不同的分布式hash一致性的重写过程.redis3.0版本redis出现了最终的结构支持高可用分布式同时存在的 redis-cluster2.特性2.1基础-两两互联集群中节点与节点.部分角色两两互联,底层内部二进制通信协议,优...
2019-11-13 21:50:57
142
原创 redis与jedis下
数据分片的计算单节点的redis提供了user系统的数据处理的能力物理瓶颈上限很有限:一个节点的内存不够的○一旦宕机:用户登录逻辑彻底完蛋了可以通过横向扩展解决总体容量扩容在使用一定的计算逻辑处理数据的切分存储的过程后,每个节点都会保存整体数据的一部分数据分配切分逻辑:来一条给第一个节点,第二条给第二个节点 第三条给第三个节点 第四条。。给第一个节点(物理平均的切分...
2019-10-26 23:13:48
153
原创 redis与jedis上
redis概括redis是 nosql，key-value 基于内存，实现缓存可持久化，非关系型 数据库（数据读写）nosql：not only structrued query language 不仅支持结构化查询语句–redis出储存的数据结构不是在表格key-value：redis储存的数据基本结构，value数据类型五种：String hash set list zset基于内存：...
2019-10-26 22:44:16
143
原创 SpringCloud以及微服务框架
1.Eureka服务治理组件springcloud中的核心组件,可以实现对整个微服务集群所有节点进行服务的发现,服务的抓取和服务监听功能1.1服务治理的概念中的三个角色o 服务注册中心:所有的服务的集中管理角色o 服务的提供者:服务提供者会将自己的信息打包(ip,port,服务名称等等),注册在注册中被注册中心管理和维护(注册)o 服务的调用者: 可以通过对注册中心的访问,获取服务提供者...
2019-10-25 20:18:25
204
原创 SpringBoot
Springboot概括springboot市一个基于spring框架的工具框架，可以实现spring容器的快速搭建快速启动配置，快速启动特性独立运行spring容器，可以通过main方法作为工程的一个cup运行入口，启动一个spring的容器，容器中的各种bean对象创建完成。内嵌servlet容器，没有web应用servlet容器也会存在，默认市tomcat（1.5.9.RELEASE...
2019-10-25 19:14:58
412
原创 nginx与maven
nginx引入后的流转逻辑js浏览器，客户端技术发起的url访问地址，完全可以和后端服务器接受地址不一致，用以保护后端接口。项目拆分横向拆分纵向拆分问题：SSM框架搭建分布式纵向拆分，重复操作太多，部署步骤复杂解决方法 新的框架Springboot...
2019-10-25 09:12:13
599
原创 maven整合SSM框架
Spring框架ssm：IOC/DI 控制反转/依赖注入IOC是思想模型DI是ioc的实现方式ioc： @controller @Repository，@Service，@Component，RestController对象由框架维护管理DI@Autowired @Value @Resource @Qualifier对象哪用哪里注入创建工程正常创建quickstart即可，...
2019-10-13 20:25:20
119
原创 架构-maven-简述
关于mavenmaven是项目对象模型（pom），可以通过一小段描述信息来管理项目的构建，依赖，报告和文档的项目管理工具软件。有了maven创建，生成、打包、管理项目结构变得极其方便。maven的概念与配置库maven中所有的运行过程使用的都是资源，命令插件，构建插件，依赖jar包等都是maven管理的一批文件和jar包。这些子软存放的位置–库，maven有三种库可以使用中央库管理维护...
2019-10-13 20:05:34
219
原创 spring框架基础02
关于静态代理与动态代理静态代理设计模式特点：优点： 结构清晰 易于理解缺点： 如果被代理者有多个方法，则代理者也需要开发多个方法，其中存在大量重复的代码，仍然存在代码重复的问题静态代理设计模式解决了软件分层过程中而额外的功能代码侵入模块的问题，将额外的功能代码提取到了代理者中进行，但是静态代理事项的代理者中存在大量的重复的代码，所以真正开发中–包括spring的底层，基本不会使用静态...
2019-10-10 22:16:32
79
原创 Spring框架基础01
-Spring框架基础1、框架简述所谓的框架其实就是程序的架子，在这个程序的架子中，针对程序的各种问题给出了便捷的解决方案，可以使开发人员基于框架快速开发具体的应用程序。2、常见的框架有SSH：Struts2、Spring、Hibernate、SSM：SpringMVC、Spring、MyBatisSpring框架简述1、Spring是一个Service层的框架，可以整合许多其他...
2019-10-07 18:22:43
81
原创 mysql-事务
事务概述在一个事件中，有多个组成单元，这些单元要么全部成功，要么全部失败，这个事件就可以称之为一个事务。案例：转账：update user set money = money -100 where name= ‘a’;update user set money = money +100 where name= ‘b’;为了保证两句sql同时成功或失败，需要将它们写入一个数据库的...
2019-08-20 19:36:36
119
原创 web---log4j
log4j概述log4j log for java 专门为java提供的日志框架。是目前公司中java语言收集日志的主流日志框架。a. 特点：收集的优先级收集数据的输出目的地 文件 console收集数据的展示形式 HTML pattern如何使用log4ja. 在程序中导入log4j所需jar包。 log4j.jar可以在网络中搜索对应名称，然后从...
2019-08-20 19:32:19
98
原创 WEB-listener
监听器概述servlet和filter及listener 并称servlet三大技术。a. listener主要功能是实现对某一个事件的监听，一旦触发了监听事件，则监听器就会做出对应的操作。监听器的种类一共可以分为三类，八种监听器。a. 监听域的创建和销毁的监听器。request ServletRequestListenersession HttpSessionListene...
2019-08-20 19:30:47
180
原创 web-MD5加密
MD5概述MD5是一种加密算法。可以用于数据加密、文件快传、文件校验 、数据压缩等方面。MD5还被称之为数据摘要算法，或数据指纹算法。a. 特点：i. 经过加密后的数据，是不可破译的，无法得到原有的明文内容。ii. 经过加密的数据，都是128位2进制数据组成。通常会把它书写成32位16进制数据。iii. 任何形式的数据，经过加密之后，都会变为二进制数据，长度为32位16进制数据。...
2019-08-20 19:27:40
1325
原创 web-filter--过滤器
Filter过滤器Filter和Servlet及Listener称之为Servlet三大技术。Filter是一个过滤器，可以将请求或响应拦截，拦截中的请求或响应，可以对其中的内容进行操作。操作完成后，可以选择放行或不放行当前请求或响应。Filter的创建a. 创建一个类，实现Filter接口，即可成为一个过滤器。package cn.tedu.filter;import jav...
2019-08-20 19:26:02
161
原创 资料备份
package com.easymall.dao;import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import com.easymall.domain.User;import com.easymall.u...
2019-08-17 21:18:58
340
原创 day-13javadesignmode
标签技术概述在jsp页面中有HTML语句和java语句相互嵌套，如果java的逻辑代码和页面的HTML组成代码都十分复杂，两者有掺杂在一起，页面的可读性和可维护性都将降低。为了解决这个问题，产生了标签技术。用它来替换页面中的java语句，这样页面中只会出现HTML代码，整体的可读性和可维护性都会提升。常用的JSP标签技术jsp标签sun公司提供的标签技术 - 目前用的比较少el表...
2019-08-17 20:48:37
95
原创 web基础day12---jsp
JSP概述在 Servlet中书写后台逻辑代码和前台页面代码，十分复杂，如果页面构成繁琐，则servlet编写有很大难度。于是sun公司提供一种可以在页面中书写HTML和Java代码的技术。这门技术简化了前台和后台代码的切换操作，提升了开发的便利性。这门技术就是JSP。JSP是Sun公司提供的一门动态资源开发技术。JSP原理a. jsp页面在第一次被访问的时候，会被jsp翻译引擎翻...
2019-08-16 20:34:45
114
原创 day11--cookie-session会话技术
会话技术概述在浏览器和服务器建立链接之后，浏览器和服务器为了完成某一功能，浏览器发送一次或多次请求，服务器作出的一次或多次响应，在浏览器关闭之前，所有的请求和响应就构成了一次会话。HTTP协议特点：HTTP无状态协议：当前请求和上一次请求之间没有任何的联系。使用会话技术的原因：a. 为了能够在多次请求响应之间共享数据，所有提出会话技术。会话技术–cookiea. coo...
2019-08-16 08:44:05
131
原创 web基础day10ServletCofig和ServletContext与ajax
ServletCofig和ServletContext其实09与10期间还有一个网页项目，因为还没做完，暂时就不发了ServletConfig代表web.xml中当前servlet的初始化配置信息的对象。在每一个servlet身上的注册servlet标签中都可以添加一些初始化配置信息参数，这些参数可以在访问时，通过ServletConfig获取。a. 功能一：获取初始化配置信息i....
2019-08-13 20:25:24
116
原创 web基础day9--request-response请求与响应
request代表HTTP请求。a. HTTP请求由四部分组成：请求行 get 请求资源名称 HTTP协议版本多个请求头 一个空行 请求实体内容 请求参数b. 请求的继承结构ServletRequest||----HttpServletRequest 在原有接口之上添加了HTTP协议相关的API，更善于HTTP协议相关开发。请求的功能a. 获取请求资源...
2019-08-11 16:17:58
152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人