- 博客(56)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 ignite affinity key 并置 究竟是个啥？
先上个pgsql操作的对比，然后引出ignite的并置处理规则ddl:drop table student;CREATE TABLE student(sid int PRIMARY KEY ,sname varchar(64), cid int); drop table course;CREATE TABLE course(cid int PRIMARY KEY ,cname varchar(64)); drop table score;CREATE TABLE score(sid int ,c
2020-06-18 10:59:35
1186
原创 《中台落地手记》 序
每个开发者对“中台的理解”都不同。Thousand people have a thousand Hamlet in their eyes。你们公司在蠢蠢欲动么，不上中台是等死，上了中台是找死，哈哈？ 你是否也跃跃欲试，想一探究竟？ 来吧，我们共同学习，了解，直至落地。。。 笔者最近在参与公司的“中台”产品研发，团队决定最后也会沉淀成书籍、博客、专栏等资产，从此篇博文开始记录孵化-落地过程。因为从产品设计到落地交付的过程存在很多的变数，笔者参与的重心也会有所侧重，系列文章的顺序我尽量做到不打乱，
2020-06-13 14:09:19
758
原创 es7.2.0集群节点无法互相发现
你是否是安装完一个节点，启动过后，再把安装包发送到其他节点？请删除data目录！！！不然，你永远也无法发现其他节点。。。
2019-11-18 17:40:46
2282
10
原创 dubbo,springcloud服务治理4点：限流，容错，降级
限流在高峰时，限制客户端连接的数量，一般在服务端进行。常见的策略有：1，令牌桶法固定频率在桶中生成令牌，来一个客户端发放一个令牌，令牌发完了就等待或者拒绝springcloud实现：zuul网关，gatewaydubbo：TPSLimiter2，读取资源读取CPU或者mem资源，到达一定门限就让客户端等待或者直接拒绝3，细粒度的限流-信号量（自己设置一个值）限流...
2019-10-29 10:30:13
621
原创 简要轻松的理解MVCC
其实，听起来有bigger的MVCC就是那么回事(以MySQL innodb引擎为例)其实它是用来替代行锁的，进一步提升并发能力 InnoDB的MVCC,是通过在每行记录后面保存两个隐藏的列来实现的,这两个列，分别保存了这个行的创建时间，一个保存的是行的删除时间。这里存储的并不是实际的时间值,而是系统版本号(可以理解为事务的ID) 它是自动加上的，程序无法控制 把一个个事务都隔离开...
2019-10-25 18:12:16
706
原创 【idea中git实用操作】git多分支提交
业务场景：公司用gitlab管理代码 提交的代码必须经过codereview，leader检视之后才能合入 项目存在多个版本并行开发：主分支master：定期合入所有分支代码 分支a：a模块开发 分支b：b模块开发这个场景应该是比较通用的代码管理过程，还有更复杂点的场景，例如在a分支上继续开发新功能，在分支b上解决发布版本的bug等。1，gitlab上创建分支这个需要...
2019-10-25 16:24:56
4351
原创 yarn资源管理的控制
yarn如何隔离资源？1，在操作系统上的进程运行所需要的资源没有比操作系统自身更清楚的了，所以在/proc/{pid} 下就有各个进程的资源情况，yarn只需要读取分配给container进程的资源信息即可。2，yarn的资源就是指cpu和内存。3，cpu主要影响进程运行的快慢，yarn主要通过cgroup技术来做限制，需要使用jni调用native c代码完成。4，内存决定进程的...
2019-10-14 10:37:27
303
原创 io多路复用总结
多路复用让我们回顾下计算机网络中的多路复用技术，百度百科的解释基本和课本中应该是一样的：数据通讯系统或计算机网络系统中，传输媒体的带宽或容量往往会大于传输单一信号的基本要求，为了有效地利用通信线路,希望一个信道同时传输多路信号，这就是所谓的多路复用技术(Multiplexing)。采用多路复用技术能把多个信号组合起来在一条物理信道上进行传输，在远距离传输时可大大节省电缆的安装和维...
2019-09-30 11:46:09
325
原创 人人懂点高并发：秒杀系统设计
前端1，在浏览器端肯定要防止用户重复点击，而且不能使用静态URL，防止内部作弊；2，一般都是简单网页，商品介绍啥的放在其他常规页面，让客户提前了解即可，专门的秒杀页面用cdn缓存起来；3，转到机房的NGINX上时，NGINX做出限流配置，例如总并发数肯定不能超过秒杀商品的总数太多；消息队列1，NGINX过后就到了后端了，第一个就是要查询库存，没有库存了，后续操作没...
2019-09-29 17:19:36
213
原创 redis如何存储热点数据？如何淘汰数据？
这个问题涉及多个方面：热点数据的存储1，已知热点数据的大小这个好办，设置最大内存，设置淘汰策略：# In short... if you have slaves attached it is suggested that you set a lower# limit for maxmemory so that there is some free RAM on the syst...
2019-09-29 14:29:49
2113
原创 彻底理解Java线程池
一般我们创建Java线程池喜欢调用的api是下面这个样子的：Executors newCachedThreadPool 自增长线程 newFixedThreadPool 固定线程 newSingleThreadExecutor 单线程 NewScheduledThreadPool 定时线程 newWorkStealingPool 考虑多cpu的并...
2019-09-29 11:48:35
127
原创 几个问题搞懂Java垃圾回收
主流的JVM（HotSpot）采用的是分代收集算法。分什么代？young->old->permanent0,Java内存模型是什么样的？一图胜千言：这个图中不包含 堆外内存：计算机的物理真实内存。1，垃圾回收有几个分类？Minor GC ：一般在年轻代发生Full GC == Major GC 指的是对老年代/永久代...
2019-09-27 18:01:56
150
原创 线上Java问题，从定位到解决
一个线上的问题是如何从定位到解决的?设计埋点埋点就是你要监控啥，你必须在程序开启时设置一些参数来辅助监控，例如把日志输出到哪里，便于另外的监控系统监控。例如 -XX:+PrintGCDetails -Xloggc:/home/xx.log 形成的LOG文件启动参数nohup java ${DEBUG_OPTS} ${JAVA_OPTS} -jar ${WORK_DIR}/abc...
2019-09-26 19:40:18
335
原创 一文知晓：AspectJ，SpringAOP，cglib，动态代理究竟有啥区别
一切源于需求：我只想写业务流程代码，不想管日志，权限，事务等业务无关的东西，怎么办？要是我只写业务代码，想要其他代码的时候有人帮我写就好了。。。于是，代理（代码小蜜）就出现了代理有好多种实现方式呢：AspectJ首先，这是一种语言，类似于Java语言，与Java无缝兼容，而且像Java自带jvm一样，这种语言也自带编译器acj。从上图可以看出，AspectJ在...
2019-09-26 19:37:45
1090
1
原创 白话+大话 量子计算
这次，liang哥要来点高端的，哈哈哈开始，expresso泡起来 O(∩_∩)O关键字：量子一个物理量如果存在最小的不可分割的基本单位，则这个物理量是量子化的，并把最小单位称为量子。只能从几个特殊的关键字来解释：相当数量的某物质微观世界的物理学离散的，不连续的与 原子，分子，中子，电子等基本粒子特性很不一样关键特性：1，完全随机，状态跳跃变化，不是连续变...
2019-09-24 19:52:40
352
原创 【面试一个个啃】Java面试：Java基础面试 ：说说ArrayList,StringBuilder,HashMap为啥线程不安全？
问：说说ArrayList,StringBuilder,HashMap为啥线程不安全？面试官心里：考察面试者对常见问题的深入理解程度以及是否有看源码的习惯。答：1，翻开Vector,StringBuffer,Hashtable的源码，第一个印象就是synchronized这个关键词不要钱的，往上堆就行了，所以，这几个类肯定是线程安全的了。2，但是这些类完成的功能是否都需要在...
2019-09-23 18:25:53
377
原创 【面试一个个啃】Java面试：Java基础面试 ：hashcode存在的意义是啥？
问：hashcode存在的意义是啥？面试官心里：考察面试者研究技术的深度，探究精神很重要，这是个好问题，后续还有连环问答：hashcode的存在主要是用于查找对象的快捷性，如HashSet，HashMap等存储对象的结构中，hashcode是用来在hash存储结构中确定对象的存储地址的。Java中比较两个对象是否相等，会调用object.equals方法，如果两个对象相同，...
2019-09-20 18:37:43
461
1
原创 @PathVariable中有特殊字符如何处理？
上代码： @GetMapping(value="/user/{useraccount}") public void getUserAccount(@PathVariable("useraccount") String userAccount) { logger.info("useraccount ：" + userAccount); } 正...
2019-09-20 14:53:12
3736
3
原创 【面试一个个啃】mysql面试：基础面试：count(1),count(*),count(列)区别是啥？
问：mysql中 count(1),count(*),count(列)区别是啥？面试官心里：考察面试者MySQL基本调优思路,是否有查看执行计划的习惯答：在数据量达到10万以上的级别我们讨论这个问题才有意义. count(*)包括了所有的列，相当于所有的行数，在统计结果的时候，不会忽略列值为NULL的行数统计，理论上会比较慢 count(1) 中1代表第一列，在...
2019-09-20 10:34:32
580
1
原创 【面试一个个啃】Java面试：基础面试：char型变量中能不能存中文汉字？
问：char型变量中能不能存中文汉字？面试官心里：考察面试者字符处理基本功答：char 类型可以存储一个中文汉字，因为Java中使用的编码是 Unicode，标准编码中文就是2个字节，一个char 类型刚好占 2 个字节（16 bits），所以放一个中文是没问题的。...
2019-09-19 20:43:54
186
原创 maven jar包依赖解决方案
1，用idea maven 插件 mavenrunhelper检测2，项目结构中的 External Libraries 是否有同名包，在项目Project Structure - Modules -Dependencies 中检查，通过增删Library来达到统一3，在父工程中统一冲突的jar包到最高版本...
2019-09-06 18:00:15
166
原创 cdh安装-hdfs,yarn,zk,hive,impala
简介Cloudera hadoop 是众多hadoop 开源发行版中较为活跃与稳定的版本，在hadoop生态各个组件的版本兼容上做了一部分的优化，适合在生产环境中使用，以下简称cdh。其自带了web管理系统，方便部署角色，监控角色状态，称为Cloudera manager，以下简称cm。基础组件版本： 组件 版本 os ...
2019-05-28 11:34:21
761
原创 maven-assembly-plugin 插件多模块打包实例
参考了较多资料，踩了不少坑，总算是打包成功了，记录如下：1，项目结构：父工程：hdpetl子模块：assembly，genhttp，telecomdata文件(夹)：logs文件夹，README.txt文件如下：其中assembly 是用来打包的模块，没有任何代码，就两个文件。其他模块为正常业务数据模块2，pom文件hdpetl.pom <mo...
2019-04-26 18:45:09
4718
5
原创 impala分区表用insert into...select插入数据
1，两张表，ta，tbcreate table ta(id int,name string) partition(year int,month int);create table tb(id int,name string) partition(year int,month int);2,insert ta select tb一，插入ta的静态分区insert into ...
2019-04-25 14:44:21
14351
转载 ceph运维2
全文转载自:https://cloud.tencent.com/developer/article/1167138Q13. ceph -s 的全称以及报错原因开开心心过了mon create-initial，这个时候执行ceph -s，如果你恰好在monitor节点执行，那就会显示正常的信息，但是如果你在别的节点执行ceph -s，很有可能会报下面的错，但是有的节点又不会，所以这里花一点篇...
2019-03-20 15:02:29
1441
转载 ceph运维1
全文转载:https://cloud.tencent.com/developer/article/1159507Q1. 环境预准备绝大多数MON创建的失败都是由于防火墙没有关导致的，亦或是SeLinux没关闭导致的。一定一定一定要关闭每个每个每个节点的防火墙(执行一次就好，没安装报错就忽视)：CentOSsed -i 's/SELINUX=.*/SELINUX=disabl...
2019-03-20 14:14:13
505
原创 idea编写java sparksql ,部署模式为standalone,
1,Hadoop2.9.02,spark2.2.1_2.113,java代码: import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.function.Function;import org.apache.spark.sql.SparkSession;/** * 开启spark程...
2019-01-12 13:06:26
503
原创 spoolingdir-kafka-hive典型日志收集flume配置
1,准备工作hive 添加分区信息,orc表,分区,分桶,字段小写ALTER TABLE http add PARTITION (day=20181228,hour=18);hive metastore服务开启hive --service metastore2,flume kafka sink# Name the components on this agent# ...
2019-01-07 18:10:06
220
原创 flume导入hive
选型:hadoop 2.9.0hive 2.3.4flume 1.8.01,创建hive表分区分桶压缩事务支持create table if not exists radiusc(UserName string,PublicIP string,PrivateIP string,BeginPort string,EndPort string,Onli...
2019-01-03 17:59:07
404
原创 kafka_2.11-1.1.1 远程一键启停
kafka_2.11-1.1.1 这个版本自带的stop脚本有问题，需要重新再broker上写一个stop.sh#!/bin/sh pid=`jps | grep Kafka | awk '{print $1}'` echo $HOSTNAME $pid kill -9 $pid统一启停：#!/bin/bashcommand=$1config=/home/hadoop...
2018-12-15 16:19:27
244
原创 sparksql 结果写入txt文件，支持多个字段
下列函数完成功能：1，rdd类型转换 ：Row2String2，结果支持多个字段写入txt ：coalesce(1)3，分隔符由默认的，换成|4，map中支持传入接口和lambda表达式private static void joinCompute() { String sql="select s.sid,s.sname,s.snum,c.cname,c.te...
2018-12-12 19:12:03
4841
原创 flume hbase sink 分隔符为竖线|
##########agent1 conf##$ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console#agent1agent1.sources = filesrcagent1.channels = filechanagent1.sinks =...
2018-05-22 13:49:56
1250
1
原创 centos7 sftp多用户配置与java客户端连接
知识背景SFTP 为 SSH的一部分。在SSH软件包中，已经包含了一个叫作SFTP(Secure File Transfer Protocol)的安全文件信息传输子系统，SFTP本身没有单独的守护进程，它必须使用sshd守护进程（端口号默认是22）来完成相应的连接和答复操作，所以从某种意义上来说，SFTP并不像一个服务器程序，而更像是一个客户端程序。SFTP同样是使用加密传输认证信息和传输的数据，...
2018-05-18 11:49:38
733
1
原创 java和HTTPS那些事儿
0,知识背景 HTTPS本质上就是HTTP+SSL,作为服务端提供安全服务的一种加密协议1,java作为客户端请求HTTPS 一般采用HTTPClient作为客户端来请求有两种做法: 一,绕过证书检查 java client请求的服务端一般都是相对较固定的几个url,完全可以设置信任所有的服务端,直接略过证书验证继承X509TrustManager,对证书验证部分直接ret...
2018-05-16 10:55:02
320
转载 centos7配置vsftpd/ftp
1,关闭防火墙,selinux=disabled,重启生效2,安装yum install -y vsftpdyum install -y ftp3,修改配置文件/etc/vsftpd/vsftpd.confanonymous_enable=NOanon_upload_enable=NOanon_mkdir_write_enable=YESchown_uploads=NOasync_ab...
2018-05-15 17:38:45
267
原创 linux 修改时区后crontab任务失效问题
1,脚本文件中记得使用绝对路径2,修改时区后需要重启两个服务service crond restartservice rsyslog restart重启机器都不行...
2018-05-08 18:03:15
1333
原创 hdfs的9000和8020端口
1,这两个端口都是hdfs的rpc端口2,当在hdfs-site.xml中配置一个后,在其他组件的配置中也要对应才行,例如hbase中<configuration> <!-- 指定hbase在HDFS上存储的路径 --> <property> <name>hbase.rootdir</name> ...
2018-05-08 09:49:53
24414
原创 zookeeper配置与启动
1,关闭firewalld,配置datas文件夹及myid文件服务器有公网地址记得修改server为本机地址,如果是内网则直接用域名或者ip地址zoo.cfgserver.1=master:2889:3889server.2=etl:2889:3889server.3=0.0.0.0:2889:3889 2,用脚本统一启停时注意设置环境变量(脚本不会去读/etc/prof...
2018-05-07 16:52:44
456
原创 redis集群方案
1,客户端集群即客户端自己计算数据的key应该在哪个机器上存储和查找，此方法的好处是降低了服务器集群的复杂度，客户端实现数据分片时，服务器是独立的，服务器之前没有任何关联。多数redis客户端库实现了此功能，也叫sharding,这种方式的缺点是客户端需要实时知道当前集群节点的联系信息，同时，当添加一个新的节点时，客户端要支持动态sharding.，多数客户端实现不支持此功能，需要重启redis。...
2018-05-04 08:47:13
94
javautils工具类
2018-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人