- 博客(85)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 git 生成 patch的命令
git diff commit-id-new commit-id-old --name-only|xargs tar cjvf xxxxx-patch.tar.bz2 可以根据提交按照目录树快速生成补丁文件.git diff branchname --cached > patch //branch 之间差分生成patch文件。git diff > patch //本地变更 git diff 的内容，生成patch文件。git format-patch 节点A 节点B //两个节点之间的patch。
2023-04-15 09:11:15
926
原创 【无标题】solidity的内存分配（mload 0x40）
在某些情况下，我们希望在solidity中构造一个buffer，首先我们应该为这个buffer分配内存。在solidity中，只有bytes这样的结构给我们用，但是现在切片和替换对应位置的数据的操作在bytes上不容易实现。我们只好借助于assembly来完成，首先就是为buffer分配内存。直接上代码：struct buffer { bytes buf; uint capacity;}function init(buffer memory buf, uint capacity)...
2021-12-02 12:09:57
14434
转载 golang反射框架Fx
一、概述Fx是一个golang版本的依赖注入框架，它使得golang通过可重用、可组合的模块化来构建golang应用程序变得非常容易，可直接在项目中添加以下内容即可体验Fx效果。import "github.com/uber-go/fx"Fx是通过使用依赖注入的方式替换了全局通过手动方式来连接不同函数调用的复杂度，也不同于其他的依赖注入方式，Fx能够像普通golang函数去使用，而不需要通过使用struct标签或内嵌特定类型。这样使得Fx能够在很多go的包中很好的使用。接下来会提供一些Fx
2021-09-28 10:34:12
1532
转载 Golang 选项模式（Option模式）
Golang 选项模式（Option模式）Option模式的专业术语为：Functional Options Pattern（函数式选项模式）Option模式为golang的开发者提供了将一个函数的参数设置为可选的功能，也就是说我们可以选择参数中的某几个，并且可以按任意顺序传入参数。比如针对特殊场景需要不同参数的情况，C++可以直接用重载来写出任意个同名函数，在任意场景调用的时候使用同一个函数名即可；但同样情况下，在golang中我们就必须在不同的场景使用不同的函数，并且参数传递方式可能不同的人写出
2021-09-28 10:11:21
1417
转载 goland fx 依赖注入
package mainimport ( "context" "fmt" "log" "net/http" "os" "time" "go.uber.org/fx")// 这里把main函数放到最前面，可以清晰的先了解代码调用方法，具体函数定义，自行跳跃过去查看func main() { // 整个fx包执行的顺序是 // 1. 先执行fx.Invoke中的函数列表，按顺序一个一个执行 // 2. fx.Provide中构造函数，.
2021-09-27 18:23:49
278
转载 myBase7 mark
myBase7是一个很好的记录笔记的工具，但它是收费的，但是，任何一个收费的东西，咱们都能给他找到破解的方法！废话不多说，请看下方步骤：first of all: 请保持你的myBase7是关闭的1、找到myBase7的安装目录(myBase.exe的目录)；2、右键编辑打开myBase.ini；3、找到 App.UserLic.FirstUseOn，并在确保myBase关闭的情况下将其删除； 4、重启myBase，这样就可以正常使用了。很简单的几步就完成了破解！—...
2021-08-13 09:58:38
315
原创 java 计算时间差
public static void test(String endDate,String newDate) throws ParseException { long nd = 1000 * 24 * 60 * 60; long nh = 1000 * 60 *60; long nm = 1000 * 60; SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");..
2021-06-18 14:25:11
91
原创 java 执行 shell
importjava.io.BufferedReader; importjava.io.InputStreamReader; publicclassRunShell{ publicstaticvoidmain(String[]args){ try{ Stringshpath="/home/felven/word2vec/demo-classes.sh"; Process...
2021-06-16 14:59:30
74
原创 lotus api 调用
lotushttps://github.com/filecoin-project/lotuslotus 基本文档https://docs.lotu.sh/两个Lotus节点+矿工APIhttps://github.com/filecoin-project/lotus/blob/master/api/api_common.goLotus节点APIhttps://github.com/filecoin-project/lotus/blob/master/api/api_full.goLotu
2021-06-01 14:41:02
420
原创 OPC UA 信息模型
信息模型(Information model)OPC UA 使用了对象（objects）作为过程系统表示数据和活动的基础。对象包含了变量，事件和方法，它们通过引用（reference）来互相连接。这个概念和面向对象程序设计方法非常相似。OPC UA 信息模型是节点的网络（Network of Node,），或者称为结构化图（graph），由节点(node)和引用(References)组成，这种结构图称之为OPC UA 的地址空间。这种图形结构可以描述各种各样的结构化信息(对象)。节点(n.
2020-09-13 13:11:35
1555
转载 基于CoAP协议客户端/服务端的demo（Java版）
CoAP是为物联网而生，短小精悍，它底层基于UDP协议的，其它具体参考百度百科，本例子是基于Californium框架。1、先决条件java环境eclipse工具Maven插件（有最好，不需要手动下载jar引入，没有的话手动引入）2、下载Californium框架核心jarcalifornium-core.jar ： 包括CoAP核心部分element-connector.jar 包括适用于UDP和DTLS的java套接字抽象层scandium.jar: 包括DTLS.
2020-09-12 12:21:43
885
转载 LWM2M，MQTT与CoAP区别和联系
文章来源：企鹅号 - 物联前沿一、MQTT1、概述：MQTT（Message Queuing Telemetry Transport，消息队列遥测传输）是IBM开发的一个即时通讯协议，有可能成为物联网的重要组成部分。该协议支持所有平台，几乎可以把所有联网物品和外部连接起来，被用来当做传感器和制动器（比如通过Twitter让房屋联网）的通信协议。2、主要特征：MQTT协议是为大量计算能力有限，且工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议，它具有以下主要的几项特性：
2020-09-12 12:03:17
977
转载 SpringBoot集成Mybatis(零配置注解版)
Mybatis初期使用比较麻烦，需要各种配置文件、实体类、dao层映射关联、还有一大推其它配置。当然Mybatis也发现了这种弊端，初期开发了generator可以根据表结构自动生成实体类、配置文件和dao层代码，可以减轻一部分开发量；后期也进行了大量的优化可以使用注解了，自动管理dao层和配置文件等，发展到最顶端就是今天要讲的这种模式，mybatis-spring-boot-starter就是springboot+mybatis完全注解不用任何配置文件，就可以简单配置轻松上手。mybatis-spri
2020-06-27 16:24:30
416
转载 Sharding-JDBC:垂直拆分怎么做？
经过读写分离的优化后，小王可算是轻松了一段时间，读写分离具体的方案请查看这篇文章：Sharding-JDBC:查询量大如何优化？可是好景不长，业务发展是在太快了。数据库中的数据量猛增，由于所有表都在一个数据库中，导致服务器本地存储快满了。从上图我们可以看的出来，由于表的数量较多，每个表的数据量也较大，但是还没到水平拆分的地步。目前遇到的问题是服务器的存储不够了，短期内还不用水平拆分，那么方案呼之欲出了：垂直拆分。解释下什么是垂直拆分？我们都知道，一个数据库它是由N张表构成，每个表存储的数
2020-06-27 01:50:05
189
转载 深入理解Java双冒号(::)运算符的使用
Jdk8中有好多新的特性，比如引入Lambda，简化代码的书写等等我们先看一个关于Lambda的使用/*** 输出list*/@Testpublic void test() { String[] array = {"aaaa", "bbbb", "cccc"}; List<String> list = Arrays.asList(array); //Java 7 for(String s:list){ System.ou...
2020-06-02 17:27:12
343
原创 LineBasedFrameDecoder
LineBasedFrameDecoder 和LineEncoder采用的通信协议非常简单，即按照行进行分割，遇到一个换行符，则认为是一个完整的报文。在发送方，使用LineEncoder为数据添加换行符；在接受方，使用LineBasedFrameDecoder对换行符进行解码。1 LineBasedFrameDecoderLineBasedFrameDecoder采用的通信协议格式非常简单：使用换行符\n或者\r\n作为依据，遇到\n或者\r\n都认为是一条完整的消息。LineBasedFram
2020-06-02 11:25:19
834
转载 LengthFieldBasedFrameDecoder/LengthFieldPrepender
大多数的协议（私有或者公有），协议头中会携带长度字段，用于标识消息体或者整包消息的长度，例如SMPP、HTTP协议等。由于基于长度解码需求 的通用性，Netty提供了LengthFieldBasedFrameDecoder/LengthFieldPrepender，自动屏蔽TCP底层的拆包和粘包问题，只需要传入正确的参数，即可轻松解决“读半包“问题。发送方使用LengthFieldPrepender给实际内容Content进行编码添加报文头Length字段，接受方使用LengthFieldBasedFr
2020-06-02 11:21:14
793
转载 数据结构之Redis-跳表(zset)
数据结构之Redis-跳表 在前面说Redis的文章里，提到了Redis的有序集合zset底层是依赖跳表实现的，当时没有展开讨论，内心认为还是需要一个专门的篇幅来介绍它。 先想一想为什么有序集合需要用跳表实现？回忆一下有序集合的几个关键词：是SortedSet和HashMap的结合；value具有唯一性；多了一个score；支持范围查询，结构如下：zset.png下面我...
2020-05-03 16:36:52
558
转载 Redis缓存穿透、缓存雪崩、redis并发问题分析
把redis作为缓存使用已经是司空见惯，但是使用redis后也可能会碰到一系列的问题，尤其是数据量很大的时候，经典的几个问题如下：(一)缓存和数据库间数据一致性问题分布式环境下（单机就不用说了）非常容易出现缓存和数据库间的数据一致性问题，针对这一点的话，只能说，如果你的项目对缓存的要求是强一致性的，那么请不要使用缓存。我们只能采取合适的策略来降低缓存和数据库间数据不一致的概率，而无法保证两者...
2020-05-03 16:31:47
151
原创 AtomicReferenceFieldUpdater
一个基于反射的工具类，它能对指定类的指定的volatile引用字段进行原子更新。(注意这个字段不能是private的)通过调用AtomicReferenceFieldUpdater的静态方法newUpdater就能创建它的实例，该方法要接收三个参数： 包含该字段的对象的类 将被更新的对象的类 将被更新的字段的名称下面是例子:Java代码...
2020-02-29 15:41:39
244
转载 SparkStreaming教程
SparkStreaming教程概要Spark流是对于Spark核心API的拓展，从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP接口，同时可以使用由如map，reduce，join和window这样的高层接口描述的复杂算法进行处理。最终，处理过的数据可以被推送到文件系统，数据...
2020-02-05 21:00:25
464
原创 取消亚马逊EC2虚拟机自动续费
亚马逊EC2虚拟机就是个坑，刚开始不收费，过一年自动扣费，下面的操作是如何停掉虚拟机1.进入实例，操作--实例状态--终止2.进入https://console.aws.amazon.com/billing，下载账单3.发邮件要求退费，进入支持中心，创建case最后，亚马逊会发邮件确认并退回预扣费Hi there,Le...
2020-02-05 15:13:30
5792
1
原创 Spark Sql 加载json文件
package spark.demo.sqlimport org.apache.spark.sql.{ SparkSession}import org.apache.spark.{ SparkConf, SparkContext }object SqlJsonDemo { def main(args: Array[String]): Unit = { val conf = ...
2020-02-01 20:50:12
197
原创 Spark以反射方式创建DataFrame2
package spark.demo.sqlimport java.io.Serializableimport org.apache.spark.sql.{Dataset, Row, SparkSession}import org.apache.spark.{ SparkConf, SparkContext }object RDD2DataFrameReflectionDynamic...
2020-01-18 11:02:01
137
原创 Spark以反射方式创建DataFrame
package spark.demo.sqlimport java.utilimport java.util.{ArrayList, List}import org.apache.spark.sql.types.{DataTypes, StructField, StructType}import org.apache.spark.sql.{RowFactory, SparkSessio...
2020-01-18 10:47:14
187
转载 Java Scala 相互调用
Java语言的重要性自不必说，Scala运行在JVM上，运行时也会翻译成class字节码文件进行执行，所以两种语言本质上是同源的，互相之间的调用在编程时就显得很重要了。多两种语言都有所了解的兄弟来说，调用很简单，贴出代码，已做记录Scala代码/** * 伴生对象，与类共享名字，可以访问类的私有属性和方法 * 在object中一般可以为伴生类做一些初始化等操作 */obj...
2020-01-17 00:15:28
407
转载 Spark基础 DAG
为什么使用spark的原因是早期的编程模式MapReduce缺乏对数据共享的高效元语，会造成磁盘I/O 以及序列号等开销，spark提出了统一的编程抽象---弹性分布式数据集（RDD）,该模型可以令并行计算阶段间高效地进行数据共享。spark处理数据时，会将计算转化为一个有向无环图(DAG)的任务集，RDD能够有效的恢复DAG中故障和慢节点执行的任务，并且RDD提供一种基于粗粒度变换的...
2020-01-15 20:47:06
190
原创 spark MLlib KMeansExample
简介sparkMLlib官网：http://spark.apache.org/docs/latest/ml-guide.htmlmllib是sparkcore之上的算法库，包含了丰富的机器学习的一系列算法。你可以通过简单的API来构建算法模型，然后利用模型来进行预测分析推荐之类的。它包含了一些工具，如：1）算法工具：分类、回归、聚类、协同等2）特征化工具：特征提取、转换、降...
2020-01-14 23:37:03
187
转载 logstash 条件判断语句
logstash 条件判断语句使用条件来决定filter和output处理特定的事件。logstash条件类似于编程语言。条件支持if、else if、else语句，可以嵌套。比较操作有：相等: ==, !=, <, >, <=, >=正则: =~(匹配正则), !~(不匹配正则)包含: in(包含), not in(不包含)布尔操作：and(与)...
2020-01-13 21:06:59
3148
原创 SpringBoot logback 的 MDC
Logback的设计目标就是审计、调试复杂的分布式应用。在分布式应用中，为了区分不同客户端的日志输出，往往为每个客户端实例化一个单独的logger。但是这样将导致大量日志的产生，而且增加了日志管理的负担。为此，Logback采用了更轻量级的技术，为一个客户端的每一个日志请求打上唯一识别的时间戳，而这是通过SLF4J的MDC实现的。为了给每个日志请求打上唯一识别的时间戳，必须利用请求的上下文...
2020-01-13 21:02:17
919
原创 Logstash To HDFS & 嵌套json拆解
下载插件：#git clone https://github.com/heqin5136/logstash-output-webhdfs-discontinued.git#lslogstash-output-webhdfs-discontinued安装logstash-output-webhdfs插件#cd logstash-output-webhdfs-discontinu...
2020-01-13 20:44:23
337
转载 事务四大特征：原子性，一致性，隔离性和持久性(ACID)
Transaction 也就是所谓的事务了，通俗理解就是一件事情。从小，父母就教育我们，做事情要有始有终，不能半途而废。事务也是这样，不能做一半就不做了，要么做完，要么就不做。也就是说，事务必须是一个不可分割的整体，就像我们在化学课里学到的原子，原子是构成物质的最小单位。于是，人们就归纳出事务的第一个特性：原子性（Atomicity）。我靠，一点都不神秘嘛。特别是在数据库领域，事务是一个非常...
2019-12-18 22:32:52
233
转载 spring aop底层原理ProxyFactoryBean的具体使用过程--FactoryBean深入理解
实际的spring使用aop的过程，配置好ProxyFactoryBean，给ProxyFactoryBean设置一个bean id然后通过ac.getBean(bean id),就取得被ProxyFactoryBean代理的对象，不是ProxyFactoryBean因为这个bean id虽然代表ProxyFactoryBean对象，直接getBean获取的是ProxyFactoryBea...
2019-12-08 14:01:28
382
原创 动态注册Bean
1.获取ApplicationContext ，通过ApplicationContext 可以获取BeanFactory@Configurationpublic class MyConfig implements ApplicationContextAware { private static ApplicationContext applicationContext=null...
2019-12-08 13:09:38
103
原创 SpringCloud 自定义ribbon路由实现灰度发布
整合nacos（Euraka 类似）实现灰度发布在一般情况下，升级服务器端应用，需要将应用源码或程序包上传到服务器，然后停止掉老版本服务，再启动新版本。但是这种简单的发布方式存在两个问题，一方面，在新版本升级过程中，服务是暂时中断的，另一方面，如果新版本有BUG，升级失败，回滚起来也非常麻烦，容易造成更长时间的服务不可用。什么是灰度发布呢？要想了解这个问题就要先明白什么是灰度。灰度从字面意...
2019-12-03 20:34:41
2793
1
转载 cloud server ribbon 自定义策略配置
虽然ribbon默认为我们提供了多钟负载均衡策略，但有时候我们仍然需要自定义符合自身业务逻辑的规则使用配置文件的方式：我们只需要在配置文件中添加配置serviceId.ribbon.NFLoadBalancerRuleClassName=自定义的负载均衡策略类其中 serviceId 为具体服务名这样在调用对应服务时候，就会使用我们自定义的负载策略，很方便对于该配置...
2019-12-01 14:22:57
158
转载 【SpringCloud】Ribbon如何自定义客户端配置和全局配置
起因事情的起因是这样的，公司内部要实现基于Zuul网关的灰度路由，在上线时进行灰度测试，故需要配置业务微服务向Eureka注册的metadata元数据，和自定义Ribbon的负载规则达到只访问灰度服务的目的。这样就需要自定义Ribbon的IRule，实现灰度请求只会负载到带有灰度标签元数据的业务微服务上，当自定义IRule规则开发好后，问题是如何将这个IRule规则配置给某个Ribbon Cl...
2019-12-01 12:35:19
338
原创 nacos 使用简介
什么是 Nacos？ 服务发现和服务健康监测 Nacos 支持基于 DNS 和基于 RPC 的服务发现。服务提供者使用原生SDK、OpenAPI、或一个独立的Agent TODO注册 Service 后，服务消费者可以使用DNS TODO或HTTP&API查找和发现服务。 Nacos 提供对服务的实时的健康检查，阻止向不健康的主机或服务实例发送请求。Nacos 支持...
2019-11-27 22:59:51
645
转载 spring cloud-zuul的Filter详解
在前面我们使用zuul搭建了网关http://blog.csdn.net/liuchuanhong1/article/details/59056278关于网关的作用，这里就不再次赘述了，我们今天的重点是zuul的Filter。通过Filter，我们可以实现安全控制，比如，只有请求参数中有用户名和密码的客户端才能访问服务端的资源。那么如何来实现Filter了？要想实现Filter，需要以下几...
2019-11-26 22:50:35
119
原创 springcloud 自定义元数据
如果你的注册中心是基于eureka# Eureka config for discoveryeureka.instance.metadataMap.group=a-service-groupeureka.instance.metadataMap.version=1.0eureka.instance.metadataMap.region=deveureka: instance:...
2019-11-24 23:40:12
2935
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人