- 博客(31)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 初始Flink 水印的设计原理
Flink流处理时间方式EventTime时间发生的时间，例如：点击网站上的某个链接的时间IngestionTime某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据ProcessingTime某个Flink节点执行某个operation的时间，例如：timeWindow接收到数据的时间设置Flink 流处理类型env.setStreamTimeCharacteristic(TimeCharacteristic.Eve
2022-04-29 15:52:12
146
原创 Mysql事务的隔离级别实践
Mysql事务的隔离级别实践一、事务的基本要素（ACID）原子性（Atomicity）：事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体，就像化学中学过的原子，是物质构成的基本单位。一致性（Consistency）：事务开始前和结束后，数据库的完整性约束没有被破坏 。比如A向B转账，不可能A扣了钱，B却没收到。隔离性（Isolation）：同一时间，只允许一个事
2022-03-31 21:46:50
120
原创 【高并发线上问题】线程不安全引起线上问题的分析思路
高并发引起的线上问题的分析思路1、现象2、初步判断3、具体分析步骤1、现象2、初步判断3、具体分析步骤
2022-03-20 22:28:27
505
原创 Flink Sql 第一个UDF 的实现
背景团队正在使用flink sql ，需要熟悉各数据类型的使用，借此机会，将flink 支持的所有data type 在sql-client 上操作一遍，增加对原生数据类型的认识。Flink-Sql 介绍
2022-01-08 22:06:42
3853
3
翻译 Phoenix 二级索引 的使用
二级索引二级索引是从主访问路径访问数据的一种正交方式。在HBase中，你有一个索引，它按照主行键按字典顺序排序。除了通过主行之外，以任何方式访问记录都可能需要扫描表中的所有行，以便根据筛选器对它们进行测试。使用二级索引，索引的列或表达式将形成一个备用行键，从而允许沿着这个新轴进行点查找和范围扫描。覆盖索引Phoenix的功能特别强大，因为我们提...
2020-12-11 18:33:39
511
转载 谈谈Mysql事务隔离级别
当我们的数据是引擎是InnoDB的时候。事务的隔离级别分为：未提交读(read uncommitted)、已提交读(read committed)、可重复读(repeatable read)、串行化(serializable)。未提交读未提交读的意思就是比如原先name的值是小刚，然后有一个事务B`update table set name = '小明' where id = 1`,它还没提交事务。同时事务A也起了，有一个select语句`select name from table where
2020-12-10 14:33:47
82
原创 解决maven 打包不能下载私服上的jar包
背景使用mvn clean package -DskipTests -Pro 打包，提示如下信息，找不到依赖的三方包，正常应该是从公司的私服下载，如果找不见，再从其他中央仓库下载。问题截图如下：于是查看maven 的setting.xml ，如下图二其中，profile 里配置了公司私服的地址，而且公司私服的镜像地址也配置，如下图三：图二：图三：解决办法查看官网及其他环境的maven setting.xml 配置文件，发现没有配置默认的profile ，因此需要给公司私服的.
2020-12-02 16:48:13
1698
原创 解决 Unable to start embedded Tomcat 问题
背景 项目中要查询hive，引入了hive-jdbc 后，spring-boot 启动不了（没引入这个包之前能正常启动），报错如下org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.boot.web.server.WebServerException: Unable to start embedd...
2020-06-18 17:53:11
119756
6
原创 Sharding-jdbc 数据分片动态注册数据源的另类实现
Sharding-jdbc 是一款主流、灵活、扩展性强的开源数据分片中间件，它是Sharding-Sphere 的组成部分，用来完成数据源、数据表的分片。Sharding-jdbc 将注册配置中心通过SPI 的方式开放给用户，用户可自定义注册中心，本文是在官方提供的方式不能满足需求的情况下，另辟蹊径，实现了数据源动态注册的功能。
2020-06-12 21:52:40
1786
3
翻译 Redis 高可用之Sentinel 实现原理
1、 Sentinel 是什么？ Redis 的 Sentinel 系统用于管理多个 Redis 服务器（instance）， 该系统执行以下三个任务：监控（Monitoring）： Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。 提醒（Notification）： 当被监控的某个 Redis 服务器出现问题时， Sentinel 可以通过 API 向管理员或...
2020-04-12 14:57:05
127
原创 基于 Redis-5.0.5 创建 Simple Redis-Cluster
一、手动配置创建 redis-cluster 最少实例个数为6个，3主3从。 1、redis.conf 配置。其中nodes.conf 每个实例一个配置文件，如果在相同目录下，文件名称不能一样。port 7000cluster-enabled yescluster-config-file nodes.confcluster-node-timeout 5000ap...
2020-04-12 12:05:51
267
原创 java 类与非静态内部类、静态内部类、父类与子类 各代码块的加载顺序
最近面试被问到外部类与静态内部类 各代码块的加载顺序，思考许久，最终回答的不理想，事后思考再三，还是对这块的加载顺序理解的不透彻，借此机会，重新认识并做了一些demo，俗话说“实践出真知”，以下是具体的总结和demo，奉上。各代码块，1、普通类与非静态内部类 各代码块的加载顺序的区别...
2020-04-10 21:43:44
489
原创 使用sysbench 工具做mysql 性能测试
一、工具介绍Scriptable database and system performance benchmark安装详见：https://www.cnblogs.com/phpfeng/p/9246213.html具体使用：https://blog.csdn.net/ma15732625261/article/details/81355269源码地址：https://gith...
2019-12-19 15:01:24
270
原创 第一个java原生的socket 通信程序
socket 提供了基于TCP/IP 通信的一篮子API，通过socket ，可以实现基于业务定制的网络编程框架。 之前也看过Netty 框架源码，但是看过很容易忘记细节，时间长了，只知道框架是什么样子，自己动手写socket框架，又无从下手。归根到底，还是对socket 的原理没有弄彻底。所以，今天从最基础开始，写一个基于java.net 原生的socket 程序，立下flag，继续加油！！！...
2019-04-04 16:58:26
217
原创 Linux 性能分析学习笔记
如何学习linux 性能优化学习的步骤； 工具大全； 性能指标；性能分析角度；平均负载概念； 怎么判断过载； I/O 密集型 CPU 密集型stress sysstat mpstat pidstat如何学习Linux性能优化？CPU 寄存器和程序计数器（Program Counter) 进程 线程 硬件发送信号中断处理程序调用...
2019-02-05 10:34:18
183
2
原创 Linux bash sh source ./ export 的理解
bashbash是 Bourne Again SHell 是linux标准的默认shell ，它基于Bourne shell，吸收了C shell和Korn shell的一些特性。bash完全兼容Bourne shell,也就是说用Bourne shell的脚本不加修改可以在bash中执行。shsh或是执行脚本，或是切换到sh这个bash里，默认的shell是bash，你可以试试tc...
2018-12-19 19:55:04
406
原创 （一）什么是微服务架构 及 与单体系统的区别
什么是微服务架构 “微服务”一词源于 Martin Fowler的名为 Microservice的博文,可以在他的官方博客上找到http://martinfowler.com/articles/microservices.html 简单地说,微服务是系统架构上的一种设计风格,它的主旨是将一个原本独立的系统拆分成多个小型服务,这些小型服务都在各自独立的进程中运行,服务之间通过基于HTT...
2018-09-01 09:42:44
2081
原创 Windows 环境下 Git clone pull fetch 慢 解决之道
问题描述：git clone、pull 特别慢 ，项目大概是370MB， 每次pull ，Receving objects:******* 20kb/s ，传输速度才20kb/s 左右，进度70%左右就卡顿，很捉急。纠结了大半天，网上查阅了好多帖子，最终找到的解决方法，传输速度平均在200~300kb/s ，这个速度已经很满意了。 PS：用https 和 ssh 协议pull，速...
2018-07-19 16:46:16
8750
3
原创 关于锁的一些概念理解
1、synchronized 、 volatile 的区别： synchronized ： 缺点：是独占锁（即一种悲观锁），会引起线程上下文切换，开销比较大 优点：保证了线程操作的原子性、可见性、有序性 volatile：优点：轻量级同步机制、不会引起线程上线文切换、开销小； 缺点：只...
2018-06-25 08:13:40
550
原创 windows 提交job 到hadoop 集群，报错：org.apache.hadoop.security.AccessControlException: Permission denied: us
分析步骤： 1、Configuration 里 set dfs.permissions 为 false；2、登陆集群，自行hadoop fs -chmod 777 /user即可。
2018-05-22 17:54:51
201
原创 window 上跑hadoop问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.
分析步骤：1、系统环境变量配置HADOOP_HOME ，并且添加进path 变量里；2、HADOOP_HOME\bin 里是否有hadoop.dll 和 winutils.exe 这两个文件3、C: windows\System32 里是否有hadoop.dll 文件 ，记得重启电脑噢！！！over！ ...
2018-05-22 17:51:27
17909
10
原创 无法读取方案文档 'http://code.alibabatech.com/schema/dubbo因为 1) 无法找到文档; 2) 无法读取文档; 3)
现象： application.xml 文档不报错，但是运行程序，会报错，dubbo.xsd 引用的是dubbo.2.4.9.jar ;分析： 网上有人说是dubbo jar版本的问题，后来我换了版本之后还是不行，后来分析发现，程序运行的时候找不到dubbo.jar 解决办法： 我的开发环境是IDEA， 在IDEA 的setting 里设置了仓库，但是没有引用，在pom.xml 里添加引用即可。...
2018-04-27 19:58:48
1676
原创 zookeeper 、 dubbo-admin 部署到windows 环境 的tomcat的问题及解决方法
纠结了大半天，终于搞定了，废话少说，直接贴问题.ps：前提zookeeper 已经安装，JAVA_HOME 环境变量已经配置启动tomcat后，控制台日志显示 INFO zkclient.ZkEventThread - Starting ZkClient event thread. 这里后，就不往下走了。分析过程：第一步、首先检查zookeeper 是否已经启动。 方法：dos 里输入jps命令...
2018-04-26 16:15:06
529
原创 Plsql Developer 关于oracle 的配置
1、所需安装包：oracle 客户端（免安装） 、plsql Developer 安装包 PS: instantclient_11_2 附件中有，可直接下载 2、系统环境变量配置如下值：path目录后面加： D:\workFiles\PLSQL\instantclient_11_2 ORACLE_HOME = D:\workFiles\PLSQL\instantclient_11_...
2018-03-29 09:26:47
327
原创 Redis性能延迟分析
事件经过：我们在执行通过mapreduce任务往redis中加载空间索引数据的时候，当加载到一定数据量的时候，redis 执行set命令时出现延迟，由于redis是单线程执行命令，导致后面的命令会发生阻塞，数据加载了很长时间。该现象也是随机出现了两次，因此我认为是redis的问题，而不是程序问题；本文示例中redis_version:3.0.7。1.redis性能指标 通过redis-c...
2018-03-09 10:11:49
2028
原创 安装cx_Oracle 的步骤及注意事项
cx_Oracle安装步骤：1、分别下载 cx_Oraclehttp://cx-oracle.sourceforge.net/cx_Oracle-5.3-12c.win-amd64-py3.6-2.exe5.3：指cx_Oracle版本； 12c：指oracle 版本； amd64：指操作系统是64位 ； py3.6：指python是3.6版本pythonhttps:/
2018-02-07 17:55:19
13191
转载 Hbase 学习总结
Hbase学习总结内容包括：1、hbase 下载及安装2、一些简单的增、删、改查数据的hbase shell 命令3、hbase 读写路径的分析4、hbase 与hdfs 的关系等
2016-12-03 16:00:09
461
原创 java 编译 失败，提示找不到符号或程序包com.sun.image.codec.jpeg不存在的原因分析
1、先直接上解决方法：在项目的pom.xml 中增加以下maven依赖配置，再编译就成功啦。 jdk.tools jdk.tools 1.7 system ${JAVA_HOME}/lib/tools.jar 2、再谈谈解决该问题的经过： 网上查了很多资料，有说引用的这些包是sun 的私有类，或者这些类都是过时的类，建议换
2016-11-30 09:16:52
5031
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人