- 博客(42)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 遗传算法基本方法和流程
1.轮赌盘选择:按适应度值来计算选择概率比例，随机选择组成一定数量组成种群，同一个个体可能会被多次选中。5.锦标赛选择:随机选则一组个体进行对比选择适应度值最高个体放入种群，比赛规模越大优秀个体入选概率越高。2.计算适应度值:对每个个体计算适应度值包括后续经过选择、交叉和变异算子后新一代种群个体，2.随机抽样:按适应度值计算选择概率比例一次性选择一定数量组成种群。3.基于排序选择:按适应度值先进行排序，按排序再选择组成种群。4.适应度缩放:通过固定计算方法对适应度值进行映射，然后再选择。
2024-01-04 05:13:38
616
原创 随机森林算法原理及应用方法
方法：使用sklearn的随机分割数据集模块做数据集合分割，通过构造随机森林训练预测结果并使用sklearn计算预测准确率模块计算实际测试结果对比预测的准确率。是一种有监督学习算法，目的是降低方差，相比决策树能避免模型太大时过拟合，会小幅增加偏差和损失部分可解释性为代价，3.按照普通生成决策树方式进行构建决策树，如基于信息增益，信息增益率，基尼指数等方式。4.异常检测，对正常样本和异常样本进行区分，如发现信用卡欺诈，网络入侵等。1.随机森林由多棵决策树组成，可用于分类，回归和其他任务集成学习方法。
2023-12-15 06:23:32
502
原创 经典决策树算法
1.CART算法同时支持分类和回归问题处理，分类问题时使用基尼指数或基尼增益作为选择特征及分割点依据，对回归问题时CART使用均方误差或平均绝对误差作为特征选择和分割点依据。2.ID3算法生成为多元树，如S集合以属性A作为分割点，A属性值决定子集个数，主要作为分类决策树，不保证最优解，可能收敛于局部最优解。4.熵为衡量数据集不确定性大小，熵越高数据越混杂，信息增益为分割前后熵差指标，训练决策树时通过最大化信息增益选择最爱分割。输入训练数据和停止计算条件，递归分类切割生成完整二叉CART分类决策树，
2023-12-09 20:25:15
400
原创 ChatGPT基本原理及应用场景
GPT：生成式预训练Transformer模型，是一种自然语言NLP模型，包含多个编码器和解码器对输入文本进行编码和生成。2.模拟人类偏好，标注者对大量SFT模型输入投票，创建一个比较数据组成新数据集。ChatGPT使用Transformer结构，在OPENAI的GPT3.5大模型基础上使用监督和强化学习进行微调。3.chatGPT使用PPO近端划策略强化学习算法在训练回报模型上训练进一步调优SFT(有监督调优)1.有监督调优，ChatGPT在预训练语言模型使用少量已标注的数据进行调优(给定提示下响应)
2023-12-09 18:33:14
464
原创 spring boot定时任务方式
定时任务实现的几种方式：Timer：这是java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务。使用这种方式可以让你的程序按照某一个频度执行，但不能在指定时间运行。一般用的较少。ScheduledExecutorService：也jdk自带的一个类；是基于线程池设计的定时任务类,每个调度任务都会分配到线程池中的一个线程去执行,也就是说,任务是并发执行,互不影响。Spring Task：Spring3.0以后自带的task，可以将它看成一个轻量级的
2022-03-22 20:46:47
798
原创 数仓分层理论和应用
一、数据分层概念及用途1.数据运营层：ODS(Operational Data Store),数据来源经过ETL存入hive后就是ODS层。2.数仓：ODS经过按照主题建立各种数据模型，细分如下：1）数据明细层：DWD（Data Warehouse Detail），按照业务处理方式将各个专业数据进行集中，保证数据完整性和质量。2）数据中间层：DWM（Data WareHouse Middle），对DWD层的生产数据进行轻度综合和汇总统计，面向分析型应用对数据进行细粒度沉淀，保留的维度较多。3）数据
2021-07-29 21:21:43
299
原创 ts与js区别
typescript与javascript区别typescript与javascript关系typescript必须声明变量类型函数声明不同基本数据类型不同：ts增加的语法typescript与javascript关系typescript是javascript的超集，扩展了javascript的语法。typescript必须声明变量类型如：var message = “article”; //javascriptvar message:string = “article”; //types
2021-07-24 21:34:35
1099
1
原创 rust核心语法
一、强类型语言，自动判断定义的变量类型let a = 323; //不可变整形变量let mut a =323; //可变整形变量变量声明方式： let a: u64 =323; //不声明会被默认二、表达式1.可以在一个用 {} 包括的块里编写一个较为复杂的表达式，可包含函数，最后一行为表达式，注意没有分号2.条件表达式条件不需要（），并可以用来表达三元条件如：let x = if a > 0 { 1 } else { -1 };3.循环语句只支持while不支...
2021-04-30 18:04:45
199
1
原创 rust所有权
一、所有权规则1.Rust 中的每个值都有一个变量，称为其所有者。2.一次只能有一个所有者。3.当所有者不在程序运行范围时，该值将被删除。二、变量和数据交互方式1.移动：赋值移动后原有变量会消亡2.克隆：克隆clone()会赋值值，会存在两份三、函数所有权机制1.变量当作函数的参数传给其他函数：和移动效果一样2.函数返回值的所有权机制：被当作函数返回值的变量所有权将会被移动出函数并返回到调用函数的地方，而不会直接被无效释放。四、引用和租借1.引用...
2021-04-30 14:49:09
187
原创 安装mysql 和hive
1.下载mysql wget 'https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm'2.安装mysql rpm -Uvh mysql57-community-release-el7-11.noarch.rpm yum install -y mysql-community-server3.设置免密登录mysql vim /etc/my.cnf skip-grant-tables=1 system...
2021-02-28 00:08:55
89
原创 redis与memcache区别
1）性能对比：由于Redis只使用单核，而Memcached可以使用多核，所以平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起 Memcached，还是稍有逊色。2）内存使用效率对比：使用简单的key-value存储的话，Memcached的内存利用率更高，而如果Redis采用hash结构来做key-value存储，由于其组合式的压缩，其内存利用率会高于Memc
2020-12-30 11:18:11
3597
原创 rpc和grpc通信
2、RPC框架原理当客户端的应用想发起一个远程调用时，它实际是调用客户端的 Stub。它负责将调用的接口、方法和参数，通过约定的协议规范进行编码，并通过本地的 RPCRuntime 进行传输，将调用网络包发送到服务器。服务器端的 RPCRuntime 收到请求后，交给服务器端的 Stub 进行解码，然后调用服务端的方法，服务端执行方法，返回结果，服务器端的 Stub 将返回结果编码后，发送给客户端，客户端的 RPCRuntime 收到结果，发给客户端的 Stub 解码得到结果，返回给客户端。1、对于
2020-12-29 23:54:03
581
1
原创 区块链账户模型
一、UTXO 模型1.概念： 未花费的交易输出2.特点：无状态，它记录的是交易事件，而不记录最终状态3.优点：节点只做验证记录交易，不做交易结果计算，也没有额外的状态存储。 交易的 Input 始终是链接在某个 UTXO 后面，交易无法被重放，并且交易的先后顺序和依赖关系容易被验证，交易是否被消费也容易被举证。 UTXO 模型是无状态的，更容易并发处理。 对于 P2SH 类型的交易，具有更好的隐私性。4.缺点：无法实现一些比较复杂的逻辑，可编程性差。对于复杂逻辑，或...
2020-12-13 00:44:12
1352
原创 C++内存分配管理
内存分配方面：堆： 操作系统有一个记录空闲内存地址的链表，当系统收到程序的申请时，会遍历该链表，寻找第一个空间大于所申请空间的堆结点，然后将该结点从空闲结点链表中删 除，并将该结点的空间分配给程序，另外，对于大多数系统，会在这块内存空间中的首地址处记录本次分配的大小，这样代码中的delete语句才能正确的释放本内存空间。我们常说的内存泄露，最常见的就是堆泄露（还有资源泄露），它是指程序在运行...
2020-09-27 19:05:49
107
原创 golang goroutine的调度
1、什么是协程？ 协程是一种用户态的轻量级线程。2、进程、线程、协程的关系和区别： * 进程拥有自己独立的堆和栈，既不共享堆，亦不共享栈，进程由操作系统调度。 * 线程拥有自己独立的栈和共享的堆，共享堆，不共享栈，线程亦由操作系统调度(标准线程是的)。 * 协程和线程一样共享堆，不共享栈，协程由程序员在协程的代码里显示调度。 ...
2020-03-07 10:54:36
252
原创 centos安装k8s集群
一、集群方式机器配置：centos 4.4内核以上，cpu大于1核1.主机配置 配置 规格 内存配置 2G CPU配置 2核 系统版本 Centos7.7 kubelet版本 1.5.1 ...
2020-03-06 18:14:52
277
原创 布隆过滤器
一、布隆过滤器原理原理：当一个元素被加入集合时，通过K个hash函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在。作用：布隆过滤器（bloom filter）可以用于检索一个元素是否在一个集合中。优点：1.比起一般的算法如数组、链表...
2019-12-15 22:49:00
122
原创 mysql分库分表
一 概述 分库分表的顺序应该是先垂直分，后水平分。单个库太大 如果是因为表多而数据多，应使用垂直切分，根据业务切分成不同的库。 如果是因为单张表的数据量太大，需要用水平切分，即把表的数据按某种规则切分成多张表，甚至多个库上的多张表。二、分库当单库太大，业务上可能会遇到如下问题：1.单个数据库处理能力有限；2.单库所在服务器上磁盘空间不足；3.单库上操作的IO瓶颈...
2019-12-14 21:09:11
87
原创 网络编程—epoll
一、原理epoll使用mmap减少复制开销。 并且epoll使用“事件”的就绪通知方式，通过epoll_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll_wait便可以收到通知。二、最大连接数虽然连接数有上限，但是很大，1G内存的机器上可以打开10万左右的连接，2G内存的机器可以打开20万左右的连接三、效率因为epoll内核中实...
2019-11-30 22:02:33
250
原创 P2P通信算法
一、比特币P2P网络：1.架构：比特币采用了基于互联网的点对点（P2P：peer-to-peer）分布式网络架构。2.协议：基于 TCP 构建，主网默认通信端口为 8333。3.网络拓扑：比特币全节点组成的网络是一种全分布式的拓扑结构，节点与节点之间的传输过程更接近“泛洪算法”，即：交易从某个节点产生，接着广播到临近节点，临近节点一传十十传百，直至传播到全网。4.节点发现：从邻...
2019-08-16 16:01:13
1181
原创 区块链分片方案
一、概念分片是一种水平分区，是一种广泛使用的数据库设计原则，将大型数据库中的数据划分成很多数据分片（shard），再将这些数据分片分别存放在不同的服务器中，以减小每个服务器的数据访问压力，从而提高整个数据库系统的性能。区块链引入它是为了解决可伸缩性和延迟问题。二、区块链分片的种类按技术划分为网络分片（network sharding），交易分片（transaction sharding...
2019-08-15 14:10:52
1525
原创 加密算法
一、ECDSA:全名是Elliptic Curve DSA，即椭圆曲线DSA。它是Digital Signature Algorithm (DSA)应用了椭圆曲线加密算法的变种。椭圆曲线算法的原理很复杂，但是具有很好的公开密钥算法特性，通过公钥无法逆向获得私钥。二、GM国密算法GM国密算法实现方式与PKCS11一致。中间层提供SM2进行签名与验签，SM3进行哈希，SM4实现加密。...
2019-08-15 13:51:22
410
原创 零知识证明
一、概念：证明者能够在不向验证者提供任何有用的信息的情况下，使验证者相信某个论断是正确的。零知识证明(Zero—Knowledge Proof)起源于最小泄露证明。设P表示掌握某些信息，并希望证实这一事实的实体，设V是证明这一事实的实体。假如某个协议向V证明P的确掌握某些信息，但V无法推断出这些信息是什么，我们称P实现了最小泄露证明。不仅如此，如果V除了知道P能够证明某一事实外，不能够得到其他...
2019-08-13 15:17:07
364
原创 二叉树问题
建立一个二叉树，求其高度，首先前、中、后序遍历，求叶子数，求数的深度并且判断是否为平衡二叉树。#include<stdio.h>#include<stdlib.h>#define ERROR {puts("Error");return(1);}// ERROR用于处理程序的运行错误typedef struct BiTNode // 二叉树要用的结构体{...
2019-08-10 17:28:07
105
原创 字符串处理
1.输入一段英文文本，用程序统计出现频率最高和最低的两个单词;#include<stdio.h>#include<string.h>#define WORD_MAX 100 //最大单词书#define LETTER_MAX 500//最大字符数#define WORD_LETTER_MAX 20//一个单词的最大字符数void WordStat(const...
2019-08-10 17:27:51
146
原创 链表处理
1.链表逆序#include<iostream>usingnamespacestd;structnode{intvalue;node*next;};node*make_link(void);node*reverse(node*);voiddisplay(node*);...
2019-08-10 17:27:30
186
原创 Fabric加密算法
BCCSP(Blockchain crypto provider)即区块链加密提供商，用于定义选择使用的密码学实现库。负责摘要生成，非对称密钥的签名与验证，根据证书查找私钥等。该模块提供了一系列的接口，这些接口定义了摘要的生成方法，签名，验证，加密，解密等。所有自定义的密码学实现库都需要实现这些接口，以此达到密码学算法的可插拔。目前fabric BCCSP模块的接口有三种实现类，如下图所示：...
2019-08-10 17:24:45
2813
原创 负载平衡策略
负载平衡软件解决方案有LVS、HAProxy、Nginx等以Nginx为例负载均衡有以下几种策略：1.轮询：Round Robin，根据Nginx配置文件中的顺序，依次把客户端的web请求分发到不同的后端服务器，如果后端服务器down掉，能自动剔除。upstream backserver {server 192.168.20.15;server 192.168.20.16;...
2019-06-22 23:09:05
152
原创 STL标准模板库
STL标准模板库包含常用数据结构和算法，把数据和操作分离，迭代器在容器和算法间充当粘合剂。STL序列容器：vector、string、deque和list常用函数：在最后添加一个元素 push_back()移除最后一个元素 pop_back()插入元素 insert()删除指定元素erase()template<class _Ty,class_A =allocator...
2019-06-22 12:10:49
84
原创 Fabric架构及功能接口
Hyperledger Fabric实现了完备的权限管理，支持Kafka和PBFT等模块化共识算法，是基于数字事件、交易调用、不同参与者共享的分布式总账技术。Fabric区块链是一种由多个相互通信的节点组成的分布式系统，上面运行链代码（chaincode），或者称为智能合约（smart contract）的程序，这段程序主要功能是保存状态和账本数据，执行交易。一、整体框架如下图： 整个...
2018-08-21 22:27:28
3775
原创 搭建运行Go容器
使用官方golang镜像方法一：直接启动Go语言交互环境docker run -it golang /bin/bash方法二：基于Dockfile构建自定义镜像第一步在新建文件夹新建Dockerfile，第二步新建自定义go程序go-sample.go，第三步使用docker build指令构建镜像docker build -t golang-image .最后使用doc...
2018-08-18 16:52:27
698
原创 Solidity数据类型
简单数据类型：bool值true或者false 整形uint无符号整数，int有符号整数，ufixed和fixed代表分数 address可以存储最大20字节值（十六进制表示），用于存储以太坊地址。属性balance检测地址余额，send用于向地址发送以太币。数组类型：gener...
2018-08-18 11:56:28
1000
原创 Mina框架及接口开发
Mina是NIO实现的一个架构，可以通过它快速开发网络通信，中间件等服务端程序。IOService接口：描述服务端和客户端接口，子类是connector和Acceptor分别用于描述客户端和服务端。IOproceser 多线程环境来处理我们的连接请求流程，ioFilter提供数据的过滤工作，包括编解码，日志等信息过滤。Handler就是我们的业务对象，自定义Handler需...
2018-08-05 10:13:39
666
原创 Java NIO通信编程
NIO即非同步非阻塞式IO，有如下几个特点：1.创建一个线程负责处理IO事件和IO事件的分发2.事件驱动机制，事件到达之后触发3.线程之间通过wait、notify等方式通信，减少线程间切换NIO客户端和服务端需都维护一个管理通道的对象selector，该对象能检测一个或多个通道channel上事件，服务端线程轮询selector，事件到达再处理。服务端例程package ...
2018-07-30 00:00:35
93
原创 Go tcp通信
一般的网络通信socket编程过程按照建立socket使用socket（）函数，绑定socket使用bind（）函数，监听端口使用listen（）函数或者连接使用connect（）函数，接收使用receive（）函数或者发送使用send（）函数这样一个过程。Go语言对此过程进行了封装只需要调用net.Dial()即可。Dial（）函数原型：func Dail（net，addr string） ...
2018-07-27 00:37:03
618
原创 Go实现简单IPC框架
简单IPC封装通信报的编码细节，使用channel来实现模块间数据传递，这里使用json数据包。server端：package ipcimport （“encoding/json”"fmt"）type Request struct { Method string 'json:"method"' Params string 'json:"Param...
2018-07-26 23:26:12
2310
转载 Go编码实现区块链
原blog：https://blog.csdn.net/han0373/article/details/80450825 1、环境准备创建block.go文件。除了Go语言环境、开发工具（Goland）的配置、安装之外，本文涉及的代码依赖还需要： package main import ( "crypto/sha256" "encod...
2018-07-26 11:05:39
506
原创 区块链中hash算法及go支持
（1）.散列表（Hash table，也叫哈希表），是依据关键码值(Key value)而直接进行訪问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来訪问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。MD5和sha系列算法是应用最广泛的hash算法。hash算法最重要的特点是不可逆和无冲突，在信息安全方面的应用如下几个方面：1.文件校验2.数字签...
2018-07-26 10:53:51
427
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人