- 博客(45)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MySQL事务（MVCC、锁机制）
锁的分类：按照对数据操作的类型来分，分为读锁和写锁。 按照锁的粒度来分，可分为行锁（间隙锁、临键锁、记录锁）、表锁（意向锁、自增锁）、页锁。 按照锁的意识形态分，又有悲观锁和乐观锁。悲观锁对应的实现有共享锁（又称读锁，简称S锁）和排他锁(又称写锁，简称X锁)，Java中的synchronized关键字；乐观锁对应的实现java.util.concurrent.atomic包下面的原子变量使用了乐观锁的一种 CAS 实现、还有就是通过版本号控制。读锁（共享锁）：针对同一份数据，多个读操作可以同时
2022-01-06 19:48:43
1284
2
原创 SQL篇（一）
以下源于编程实战：SQL数据库实战题_面试必刷+解析_牛客题霸_牛客网描述：有一个员工employees表简况如下。SQL1：查找最晚入职员工的所有信息SELECT *FROM employees WHERE hire_date = (SELECT max(hire_date) FROM employees )##考虑到如果只有一条记录在这一天入职，也可以这么解select * from employees order by hire_date desc limit 1;
2021-09-14 22:15:11
642
原创 YARN内核设计与实现
（一）高并发网络通信RPC架构设计1. YARN结构演进Hadoop-2.x版本之后，解决了原来JobTracker容易出现单点故障以及主节点承载压力大，容易出现性能瓶颈（ApplicationMaster分布在各NodeManager上）的问题。 资源管理/调度和任务执行解耦合（Yarn）。 ApplicationMaster只是一个规范，可支持多种分布式计算框架如Spark、Flink、Storm。 NodeManeger中的container资源抽象比TaskTrack...
2021-08-13 00:40:02
228
原创 2021.05~2021.07工作笔记
SecureCRT-8.3安装&破解https://www.cnblogs.com/qlgj/p/13960699.html查找某个HDP版本对应的大数据组件版本https://www.jianshu.com/p/94f4068c5304【maven单独下载依赖包到本地】mvn dependency:get -DremoteRepositories=http://repository.polyv.net/nexus/content/groups/public/ -DgroupId=co
2021-08-04 22:38:06
129
原创 HDP集群搭建
上一篇：Ambari集群搭建_LSur_king的博客【搭建 HDP集群】1.浏览器访问192.168.1.100:8080，进入ambari集群界面，用户名和密码admin/admin，开始初始化安装。2.创建集群POLYV_HDP，选择3.1版本的HDP集群进行安装，使用本地仓库，把其他操作系统Remove掉。填入本地文件服务器的URL：http://vm01/HDP/centos7/3.1.5.0-152/http://vm01/HDP-GPL/ce..
2021-08-03 19:29:13
828
原创 Ambari集群搭建
【集群规划】 虚拟机1 虚拟机2 虚拟机3 内 存 5GB 5GB 5GB 磁 盘 115GB 115GB 115GB host名 vm01 vm02 vm03 ip地址 192.168.1.100 192.168.1.102 192.168.1.104 ssh信息 root/polyv123 root/polyv123
2021-08-03 18:16:53
509
5
原创 实时计算平台的一些实践记录
Q：实时计算平台的架构是怎么样的？？A：分为web平台和计算引擎两部分来开发、管理和部署。采用SSM+MySQL+Tomcat、Java+Flink。Q：实时web平台的整体流程运作是怎么样的？？？A：略，这个应该很熟悉了，有空再总结。主要从开发SQL任务到上线/启动(提交任务到接口机并执行submit.sh)到提交计算引擎的jar包到flink on yarn并将用户配置的任务脚本作为参数传入给计算引擎，再到被引擎解析和处理的这个流程来回答。Q：实时计算引擎的底层API、整体框架实现？？？A
2021-07-12 01:25:38
99
原创 HDP测试笔记
【GP分区】create table catalog_sales_test( "id" BIGINT, "t1" smallint, "t2" integer, "t3" bigint, "t4" decimal(6,2), "t5" numeric(7,3), "t6" double precision, "t7" varchar(255), "t8" ...
2021-06-17 00:55:30
382
原创 MySQL索引
常见的数据结构：Hash表(数组+链表的结构，有hash冲突的问题且无法进行范围查找) 二叉树(二叉排序树递增插入的时候会退化成链表) 红黑树(非严格的二叉平衡树，树的层数会相对多一些，但是插入性能相对会提升，HashMap的底层从1.8开始改用红黑树实现，取代了Hash表) AVL树(严格的二叉平衡树，左右两个子树高度差不能大于1，这会把树的层数打薄但是插入性能会降低) B-树(多叉树，所以大大降低了树的深度，但区间访问的时候会回旋查找，三层结构只能存储几千条索引数据) B+树（多叉树，三层
2021-05-05 15:40:51
223
1
原创 排序、递归、动态规划
问：一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法（先后次序不同算不同的结果）。解：推导出递推公式后，编程时自底向上型循环求解，时间复杂度为O(n)，空间复杂度为O(3) 。public class Solution { public int jumpFloor(int target) { if (target <= 1) return 1; // fn表示第f[n]项, fn1表
2021-04-27 16:31:43
148
原创 JVM、MVCC、NIO
【JVM相关知识】JVM虚拟机包含类装载子系统、JVM内存模型和字节码执行引擎。JVM内存模型由堆、(线程)栈、本地方法栈、方法区(元空间)和程序计数器组成。方法区(元空间)存放常量+静态变量+类元信息。 本地方法会用native关键字标志，底层是用C++实现的，所以本地方法栈和线程栈的区别就是一个是C++实现的栈一个是Java自己实现的栈。 每个Java线程会分配一个程序计数器、本地方法栈和线程栈，线程栈中根据线程调用的方法划分不同的栈帧区域。每个栈帧区域包含局部变量表、操作数栈、动.
2021-04-24 21:06:20
249
原创 单向链表、栈、队列
问：对于一个给定的链表，返回环的入口节点，如果没有环，返回null解：时间复杂度O(n)，空间复杂度O(n)import java.util.Set;import java.util.HashSet;/** * Definition for singly-linked list. * class ListNode { * int val; * ListNode next; * ListNode(int x) { * val = x; *
2021-04-24 15:53:52
183
原创 ELK实时运维平台
以下是记录本人在工作中的搭建ELK的经验，用于收集日志，建立一个可以说是ElasticSearch的实时数仓用于管理和监控现场运维状况。【环境搭建】系统环境：System: Red Hat 4.8.5-28 ------cat /proc/versionJDK： 1.8.0_191 ------java -version安装步骤：检查是否有JDK环境 安装ES和IK分词插件 ------tar -...
2021-04-20 18:45:02
478
原创 IDEA快捷键一览
【笔记本】IDEA快捷键： Ctrl+Alt+L 对选中的代码格式化IDEA快捷键： Ctrl+Shift+T 快速构建测试类IDEA快捷键： ALT +INSERT 快速实现接口【台式PC】IDEA快捷键： 键入StringBuffer buffer = new并按Ctrl + Shift +空格：StringBuffer buffer = new StringBuffer();IDEA快捷键： Ctrl + Alt + 空格：代码提示（似乎万能）IDEA快捷键：...
2021-04-19 14:57:47
896
原创 Flink进阶与调优
【知识点1】Flink在处理网络传输时，通过NetworkBuffer来实现攒批，权衡吞吐和延迟的关系。Flink 1.10 及以后的版本直接通过配置参数execution.buffer-timeout: 100ms可以设置，Flink 1.10 之前通过代码env.setBufferTimeout(100)设置 。当设置为 0 时表示没有 timeout 策略，即：每条数据来了都认为 buffer 满了，将这一条数据单独发送给下游。保障了实时性，但吞吐可能会下降。要想吞吐不下降，就需要消耗更多的资...
2021-04-18 19:58:48
1005
原创 AutoPliot-Flink任务自动调优
阿里基于Blink开发了VVP实时计算开发平台，其中有个模块是autopliot，可以做到任务的实时监控并且完成资源的自动调优和分配，以下是一些记录：【实现策略】基于CPU利用率 基于内存利用率 基于由于反压导致的delay，需要调整算子并行度 基于slot利用率 基于JobException的原因进行诊断（这是一个兜底策略，但也是最难广泛涵盖的情况，目前可以识别并解决的有：因为资源分配不足导致任务启动的时候抛出的OOM异常）【注意事项】AutoPliot自动调整并发度是通过默认.
2021-04-10 19:00:13
312
原创 Flink状态一致性之exactly-once
幂等写入：一个操作重复执行很多次，但只导致一次结果的更改，也就是说后面重复执行就不起作用了。eg: pow(e,x)求多阶导还等于自己，HashMap，多次写入key相同的键值对等。但需要注意的是，也会出现中间状态短暂的不一致，最终结果一致的情景。eg：flink的checkpoint还有流批结合做关联模型转换的ETL，这些不满足强一致性，但可实现最终一致性。事务写入：构建的事务对应着checkpoint，等到checkpoint真正完成的时候，才把所有对应的结果写入sink系统...
2021-04-05 02:15:22
1412
4
原创 HBase相关杂记
#带着问题去学习寻找答案，其实也是工作和生活中的每一个执行的小步#问题:1.Region什么条件触发分片？ 不同的版本有不同的策略，0.94版本之前的是默认当Region中某个Store的所有Store File大小总和超过10G2.Hflie划分个数的依据？ memstore每次刷写生成一个新的HFile3.在flush的时候是否阻塞客户端读写？ flush是以Region为单位进行操作的，不会阻塞读，但是会短暂阻塞写，Region级别的flush影响可以忽略，RegionServer级别..
2021-03-22 21:02:43
120
原创 JSON对象和JSON字符串、@RequestBody和@ResponseBody
首先明白前端两种数据格式的区别：JSON对象是直接可以使用JQuery操作的格式，如C#中可以用对象（类名）点出属性（方法）一样 JSON字符串仅仅只是一个字符串，一个整体，不截取的话没办法取出其中存储的数据，不能直接使用，除非你只想alert()他；JSON对象：{ name:"deluyi", sex: "man" }JSON字符串："{ 'name': 'deyuyi', 'se...
2018-12-27 16:37:42
1056
原创 富文本编辑器CKEditor的使用心得
1.在JSP页面导入脚本文件<script type="text/javascript" src="plugins/ckeditor/ckeditor.js"></script>2.写JQuery或JS脚本：<!--'CONTEXT'是一般表单元素textarea的ID，通过js函数转换成具有配置模板的富文本编辑器-->$(function(...
2018-12-25 00:31:09
1008
原创 HTTP首部对application数据格式的设置
最近在公司实习，对HTTP数据报和前后端的交互、调接口有了更多的了解，特此想记录下来，也顺便分享一下。先是接触到了Postman这款谷歌插件，作用是用来模拟前端发送HTTP报文，在与前端联调前供后端自己进行调试。其中在使用Postman模拟前端发送数据时，了解到设置Body数据编码有几个知识点：form-data 它会将表单的数据处理为一条消息（一条包含所有key-value的类似js...
2018-12-13 23:54:25
1667
转载 Spring中Model、ModelMap及ModelAndView之间的区别
1. Model（org.springframework.ui.Model）Model是一个接口，包含addAttribute方法，其实现类是ExtendedModelMap。ExtendedModelMap继承了ModelMap类，ModelMap类实现了Map接口。public class ExtendedModelMap extends ModelMap implements M...
2018-12-05 10:35:27
348
原创 建立与释放TCP连接的过程
首先给出标准的书上的概念，摘自 谢希仁著《计算机网络第6版》：三次握手的全过程： 四次挥手的全过程： 以下是经过总结、提取后在笔试题和面试题的回答：三次握手：1.客户端发送SYN请求，进入SYN-SEND（同步发送状态）2.服务端收到请求，回复ACK报文并发送SYN请求，进入SYN-RECV（同步接收状态）--为什么说建立连接至少三次握手，是因为这里发送...
2018-10-06 17:37:07
1625
1
转载 常见排序算法及其稳定性
首先，排序算法的稳定性大家应该都知道，通俗地讲就是能保证排序前2个相等的数其在序列的前后位置顺序和排序后它们两个的前后位置顺序相同。在简单形式化一下，如果Ai = Aj，Ai原来在位置前，排序后Ai还是要在Aj位置前。 其次，说一下稳定性的好处。排序算法如果是稳定的，那么从一个键上排序，然后再从另一个键上排序，第一个键排序的结果可以为第二个键排序所用。基数排序就是这样，先按低位排序，...
2018-10-05 13:05:10
238
1
原创 Java 两个分式相加的运算
class Main{ public static void main(String[] args){ System.out.println(culculateMinLength("1/5+2/3")); } public static String culculateMinLength(Str...
2018-09-25 21:55:30
2787
原创 SSM电商项目---杂记
###备忘####1.返回插入记录的主键（自增）的两种实现<insert id="insertUser" parameterType="cn.itcast.mybatis.po.User" > <!-- 将插入到数据的主键返回，返回到User对象中 SELECT LAST_INSERT_ID...
2018-09-17 18:48:53
1258
原创 遍历Map的四种方式
在集合框架的map中，有3个方法，分别是：keySet(): 将map中所有的key取出并存放在Set集合中（key的唯一性） Set<K> values(): 将map中的所有values取出并存放在一个Collection中（value不唯一） Collection<V> entrySet(): 将map中的一组键值对key-value视为一个整体ent...
2018-08-31 11:16:02
149
原创 Mybatis中 collection的用法及数据库的批量操作
一、collection作为<foreach>的属性使用的三种情况1、当要DAO层的方法参数是一个数组时，mapper.xml的parameter则为数组的类型，然后使用<foreach>标签进行遍历，collection属性值为"array"。 例如：public void deletes(Integer[] ids);(DAO层方法) 则对应的:<...
2018-08-29 20:04:21
5703
原创 @RequestParam的应用
概念：@RequestParam有三个属性，分别是@RequestParam(value="",defaultValue="",required="")– value：参数名– required：是否必须。默认为 true, 表示请求参数中必须包含对应的参数，若不存在，将抛出异常-defaultValue:指定参数的默认值应用场景：一、@RequestParam用来映射参数...
2018-08-25 22:12:40
925
原创 @AutoWired和@Resource的区别
1.两者的匹配方式和所存在的包不同@Resource默认按照名称方式进行bean匹配，@Autowired只能按照类型方式进行bean匹配 @Resource(import javax.annotation.Resource;)是J2EE的注解，@Autowired( import org.springframework.beans.factory.annotation.Autowired;...
2018-08-19 21:14:31
140
原创 JavaWeb 项目中各种路径的问题和总结
1.关于包和转发的路径：都是用的相对路径。包和源码的文件夹是以类路径为基准（无'/'），转发和请求访问路径是以WebRoot下的路径为基准（有'/'）eg: <mapper resource="sql-mapper/UserMapper.xml" /> request.getDispatcher("/WEB-INF/jsps/hello.jsp").for...
2018-08-19 16:26:30
604
转载 ${pageContext.request.contextPath}无法被正确解析
原文出处：https://blog.csdn.net/qq_34941558/article/details/77149609${pageContext.request.contextPath}被解析成$%7BpageContext.request.contextPath%7DJava项目中，当你在jsp中使用${pageContext.request.contextPath}来获取相对路...
2018-08-19 12:33:15
5455
1
转载 Servlet和JSP规范及版本对应关系
Servlet和JSP规范版本对应关系： Servlet规范版本 JSP版本 JSF版本 JAVA EE版本 Servlet2.3 JSP1.2、JSP1.1 J2EE1.3 Servlet2.4 JSP2.0 JSF1.1 J2EE1.4 Servlet2.5 JSP2.1 JSF1....
2018-08-19 01:04:14
2842
原创 MyEclipse 安装SVN插件注意事项
1.使用新的插件，地址svn - http://subclipse.tigris.org/update_1.8.x 1.6的那个版本老坑 了，输入url后半天没连接上。折腾半天才发现问题并找到新的资源下载。2.在使用work with一栏一定输入SVN，而不是其他SVN1、SVNx、什么的，否则MyEclipse会加载不出来，报错fail to load default SVN....
2018-08-18 13:00:58
116
转载 MyEclipse2014+Maven3.3.9 创建下项目报错
MyEclipse2014 导入项目 Plugin execution not covered by lifecycle configuration: org.apache.maven.plugins:maven-resource-plugin:3.1:compile (execution: default-compile, phase: compile)Eclipse 导入项目 Pom.xm...
2018-08-17 17:19:50
241
原创 设置MySQL 区分大小写问题
在linux环境下：（一般是在服务器中）找到my.cnf即mysql的配置信息，根据系统环境所在的路径会不同以我自己的为例 vi /etc/my.cnf在[mysql]下添加一行lower_case_table_names=1 (如下图)然后记得 重新启动一下mysql服务window下：net start mysqllinux下： service my...
2018-07-30 22:01:22
413
原创 Maven 项目管理工具 使用笔记
文档约定的结构： pom.xml与src同级，都放在项目的根目录下。pom.xml配置结构：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-i...
2018-07-05 20:32:43
271
转载 破解企业版IDEA 2017.3.5
（原文链接 https://www.cnblogs.com/wang1024/p/7485758.html）IntelliJ IDEA旗舰版正版购买链接：https://www.jetbrains.com/idea/buy/#edition=commercial最新版官方下载链接：https://www.jetbrains.com/idea/download/#section=windows 本...
2018-07-04 21:11:02
1408
原创 阿里云学生机 部署JavaWeb项目
一、在阿里云服务器上，搭建开发环境 ①安装jdk1.8.0_171: wget [jdk的tar.gz包的下载网址链接] ②将安装包解压到/usr/local/jdk8目录下，然后vi /etc/profile，将以下代码添加到文件首行： tar -zxvf 待解压的包 -C /usr/local/jdk8 export JAVA_HOM...
2018-07-01 16:00:38
1832
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人