- 博客(33)
- 收藏
- 关注
RSS订阅
原创 分布式微服务系统所带来的技术问题
如题，目前，不管是包含Spark、Flink等分布式计算框架的大数据Hadoop生态圈，还是以SpringCloud为服务治理主体的微服务，还有炒得火热的区块链平台，都是分布式下的智慧结晶，那今天来说说在分布式系统下所能遇到的一系列经典的技术问题，程序员要保持学习，今天，把此技术问题做一个理论汇总，具体的解决方案，等本人亲自动手证明之后，再把成果做分享。分布式下所遇到的技术问题有如下几种：（一...
2020-01-16 15:30:51
635
原创 Centos里安装MySQL，以及可能遇到的两个大坑
Centos里安装MySQL，以及可能遇到的两个大坑1.前提，本服务器是否安装过mysql，有的话自己查查命令删干净。2.快速安装mysql的前提是安装专门安装mysql的yum命令资源包，命令如下下载yum：wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm3.用yum命令安装MySQLyum...
2020-01-11 11:08:41
267
转载 kubernetes yaml文件字段解释（包含pod、deploy、service等）
https://blog.csdn.net/duanbaoke/article/details/119813814
2024-02-07 14:17:46
42
原创 golang中的闭包（小元丹境的理解）
释义：在golang中，闭包等于环境变量+函数，此处的函数一般皆为匿名函数。引用传递中的闭包：func Add(x int) func(int) int{ return func(y int) int{ x += y return x }}func main() { res:= Add(1) res(100) }//Add（）函数返回值为一个匿名函数，x变量为闭包环境变量，main函数中Add函数接收参数1执行并赋值给了res变量，res变量作为Add返回
2022-04-12 21:50:22
374
原创 golang 匿名函数func(){}() 最后括号是干啥的？
上代码： func(name string) { fmt.Println("Your name is", name) } (str) //这里的(str)是？解答：其实，这就是在调用这个函数，这种写法等同于：f := func(name string) { fmt.Println("Your name is", name) } f(str) //看吧，就是把函数复制给变量，变量（函数）传参以下两段代码执行结果等同：代码一：pack
2022-04-10 22:07:21
3146
1
原创 三：虚拟机，jdk，hadoop配置
1.环境选定：centos7，三节点，内存8-3-3，硬盘主节点大于50G，其他的最好也是几十G，网络nat模式，固定ip，测试是否ping通互联网。2.组件版本，apache版本，虽然麻烦，但是cdh收费之后，有实力的地方绝对是自己搭建apache。3.hadoop搭建：...
2020-11-07 19:48:56
193
1
原创 Flink word count demo
如题。工程目录hello文本文件是给wordcount的批处理用的数据源，流处理的StreamWordCount的数据源为socket实时发送过来的数据源。放代码<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
2020-11-06 14:56:08
256
原创 二：假前端埋点数据生成的maven项目
一：项目结构二：pom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.ap
2020-11-04 16:30:00
163
原创 一：技术选型
技术选型的主要考虑因素：数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，总成本预算。数据采集传输：flume，kafka，sqoop，logstash，dataX数据存储：mysql，hdfs，hbase，redis，mongoDB数据计算：hive，tez，spark，flink，storm数据查询：presto，druid，impala，kylin数据可视化：echarts，superset，quickBI，dataV任务调度：azkaban，oozie集群监控：zabbix
2020-11-02 12:08:41
499
原创 linux下docker安装mysql并开启mysql允许外部访问
确定好服务器安装好docker并启动。docker从dockerhub搜寻mysql镜像：docker拉取mysql镜像：可跟版本号，不带版本号默认下载最新的docker查看本docker已有镜像：docker依据mysql镜像跑起来一个mysql容器，mysql密码是123：docker查看正在运行的容器：进入mysql容器内部修改用户访问限制：* 修改用户访问限制并...
2020-04-12 14:28:42
3027
2
原创 linux下安装docker
注意事项：linux比如centos必须是7及以上，检查linux版本命令：然后查看本机是否已经安装docke：执行docker安装命令：安装成功：启动docker，然后查看docker状态是否为active：成功。...
2020-04-12 10:53:55
233
原创 如何设计接口的幂等性
如题，出现需要是否保证接口幂等性的场景，主要是insert和update，因为这两种会对数据库资源造成变动，而select本身只是读取，本身具有幂等性，delete之后再去删，也不会对数据库造成影响，也为幂等的，所以主要设计接口幂等性方面是对insert和update所做的：那如何设计接口的幂等性呢？对于insert：1.全局唯一的id，抛弃传统自增id，用唯一生成的比如雪花算法，生成唯一...
2020-04-06 13:47:14
850
原创 Java中为什么要重写hashCode()和equals()两个方法
如题，首先明确，这两个方法都是Object类的方法，超类Object类中定义的equals()方法是用来比较两个引用所指向的对象的内存地址是否一致；hashCode()是根据对象在内存中的地址所计算得到的值。为何要重写hashCode()和equals()两个方法：我们在写一些项目时，经常会希望两个不同对象的某些属性值相同时、就认为他们两个对象相同，但是重写equals()之前他们是不同的地...
2020-03-19 15:19:35
445
原创 kafka体系以及它的一些重要的机制阐释
如题，在windows和linux的安装之后，我们能在自己的微服务项目的重要服务数据传输之间用上kafka此类的中间件，特别是像秒杀抢购等一些并发场景下，可以高流量削峰，现在对kafka的一些基本理论理解做下记录。...
2020-03-09 15:19:16
132
原创 SQL编写能力练习，通关之后就不再是小学生
如题，个人记录的SQL练习，内容很基础，适合初中级javaweb之类的岗位开发日常，上代码：这是我在NavicatForMySQL里面练习的，如有错误留言，代码如下：USE demoforstudy;#1.查询student表中的所有记录的sname，ssex，和class列。select st.sname,st.ssex,st.class from students st #2....
2020-03-01 19:25:55
280
原创 聚合查询（SQL）
如题，聚合查询-释义：对于统计总数、平均数这类计算，SQL提供了专门的聚合函数，使用聚合函数进行查询，就是聚合查询，它可以快速获得结果。常见聚合函数：sum(列名) 求和 max(列名) 最大值 min(列名) 最小值 avg(列名) 平均值 first(列名) 第一条记录last(列名) 最后一条记录count(列名) 统计记录数...
2020-02-29 17:27:38
1510
原创 Java中的：static、final、组合static final三种关键字说明和用法
static：含义： static意思为静态的，被static修饰的变量或方法等，就说这些被修饰的变量或方法属于类，不属于此类的对象。加载时机：static在类加载时初始化（加载）完成。可修饰的：方法、全局成员变量、代码块、内部类。不可修饰：static不可修饰外部类、局部变量（static属于类的，局部变量属于其对应的方法，不属于类）。注意：static修饰的静态方法不能兼容this关...
2020-02-23 15:30:22
445
原创 Mybatis动态SQL中使用foreach标签遍历集合、字符串入参
如题，foreach就是迭代遍历，和你我在spring里面面对集合对象、数组对象写for系列遍历的时候作用一样；而在SQL中，foreach遍历通常用在in这个关键词后面。如果是mybatis动态SQL，那就在in关键字后面用的标签，既然是标签，那就有它这个标签内置所需要的参数，也就是foreach元素的属性，主要有item、index、collection、open、separator、clos...
2020-02-22 16:53:55
4515
转载 MySQL面试问题包含答案仅参考
①：引擎MyisAM与innodb：MyISAM:默认表类型，它是基于传统的ISAM类型，ISAM是Indexed Sequential Access Method（有索引的顺序访问方法）的首字母缩写，它是存储记录和文件的标准方法，事务不安全，不支持外键，适合执行大量的select和insert。此引擎已不常用，且外键也不常用了。InnoDB：支持事务安全，支持外键，支持行锁。适合执行大量的...
2020-02-21 14:09:35
10920
原创 阿里云linux服务器安装配置nginx并使用nginx反向代理访问springboot项目jar包(并配置http或https)
如题，今儿个，已经有了阿里云上的申请域名、安全组配置和ssl证书密钥，并且通过ip+端口号能访问服务器上跑的项目，所以接下来需要把此服务器上ip+端口跑的项目与申请好的域名相绑定，分为以下几个大步骤：1.服务器安装好nginx2.配置nginx里面的配置文件，主要是为了配置证书和代理项目那么，开始吧：第一大步：linux下安装nginx：这里是用的yum命令（yum是linux软件包管...
2020-02-10 20:32:38
1866
1
原创 Linux操作MySQL报错ERROR 1018 (HY000): Can't read dir of '.' (errno: 13 - Permission denied)
如题，本人的一次真实场景，在一次重启阿里云Linux服务器之后，在这个服务器运行的javaWeb项目调用接口500报错SQLexception，提示读取不到数据库的数据，然后我进到服务器进入mysql看看是不是有问题，然后以下对mysql的命令操作，输入命令show databases; 列出所有数据库,然后 use studentdatabase; 然后输入show tables;这时报错E...
2020-02-08 20:29:27
1988
1
原创 为什么要用时间戳？以及Java时间戳(Long)和Date类型的关系、转化与简单使用
首先，我们要明白，为什么要用时间戳？因为在数据库系统中，不同的数据库对时间类型有不同的解释：在字段类型方面，流行的关系型数据库Oracle和MySQL的date就不能直接兼容转换；字段记录的值方面，也就是数据，可以用数据迁移工具进行转换，但是类型怎么迁移，不同数据库工具有自己的类型定义，是不，所以呢，为了实现跨平台在应用系统中记录时间的时候，我们可以就可以使用记录UNIX时间戳的方法，以此来做到...
2020-01-19 15:08:25
5259
转载 关于Kafaka的配置文件server.properties解析
如题，Kafka的安装和配置在这就不说了，以前啊，因为kafka的broker相当于一个kafka服务，但是这个broker啊，不可能只用一个，所以，kafka本身设计的也是集群式的，所以安装启动kafka之前必须要安装启动zookeeper，用它来管理kafka集群元数据。现在啊，去Apache Kafka官网kafka下载之后有自带的zookeeper，只需去bin目录先依照zookeeper...
2020-01-18 10:39:22
619
原创 SQL查询between value1 and value2 之间的值(value1和value2可以是时间、文本、数字、日期等)
如题：遇到这么一个需求，需要根据数据库表中的字段（时间）来查找这一范围的数据（比如yyyy-MM-dd）。释义：between and操作符作用：操作符 between and 会查询出介于两个值之间的数据范围，这两个值可以是时间、文本、数字、日期等。举个示例:查询学生表中的分数(范围：90~100分)select st.scorefrom student stwhere st.sco...
2020-01-16 11:29:32
1563
原创 解决JSON parse error: Cannot deserialize value of type `java.util.Date` from String
如题，这个错误是因为前端传的日期到后端之后不能解析解决办法：在你的实体类中的 Date类型的变量上面加两个自动解析的注解，比如：由此传时间变量的时候前后端同事就可以开心的玩耍了~但是这是Date这个老类型，那JDK8之后的新日期类型LocalDate和新时间类型 LocalTime，会是什么效果？不知道，没试~...
2020-01-15 15:00:15
26638
5
原创 为什么MySQL里的id字段通常设置成long类型而不是int？
如题，int型的取值范围是-2147483648~2147483647.在MySQL里的id字段通常设置成long类型而不是int型，是为了后续的使用兼容，随着业务增长，大数据的部署，还有第三方的接入使用，比如微信支付宝，它们返回的值。...
2020-01-14 13:51:58
6035
2
原创 maven lifestyle 下的clean，package，install等命令作用及区别
如标题，下面放图：這就是一个pom对应的maven操作命令，那这些命令中，最常用的打包项目的命令是什么？两种最常用打包方法：1.先 clean，然后 package2.先 clean，然后install下面详细介绍它们：clean：翻译：打扫清理，最直接的就是作用于橙色的target目录。在进行真正的构建之前进行一些清理工作，移除所有上一次构建生成的文件。执行该命令会删除项目...
2020-01-14 08:55:46
12915
原创 Linux系统，部署项目时遇到org.apache.catalina.LifecycleException: Protocol handler start failed
这是因为协议处理程序启动失败，但！此项目的端口依旧使用，所以失败解决方法：关掉java进程，重新启动项目linux命令：查看所有java进程的命令： ps -ef | grep java停止特定进程号的某个java进程： kill -9 进程号停止所有java进程命令：pkill - 9 java如图：图标①处查看所有java进程，图标②处横线是进程号转载注明出处，谢谢！...
2020-01-13 15:07:27
2189
原创 Linux服务器中把打包的jar项目不间断运行
我们进到jar文件的目录后，用什么命令呢运行这个jar项目呢？方式一：java -jar XXX.jar这个命令，就是运行jar的命令，但是当我们关闭了连接这个服务器的xshell6窗口的时候，再次访问服务器的这个项目，就会发现，项目停止了，，，，看来，这个命令，启动的项目，关闭会话之后，项目进程也会关闭。特点：当前ssh窗口被锁定，可按CTRL + C打断程序运行，或直接关闭窗口，程...
2020-01-11 16:24:28
591
原创 win10下Kafka的下载安装和测试
下载kafak是多节点broker集群式的程序组件，所以需要zookeeper来管理集群原数据，这里只需开启kafka就行。点击进入kafka下载页需要注意的是，新版本的kafka里面自带zookeeper，所以只需要下载kafka就行，进到kafka目录里先启动zookeeper，再启动kafka，如果有单独的zookeeper，一样先启动zookeeper就行，但是kafka自带的z...
2020-01-11 15:10:37
882
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人