caoqh-CSDN博客

原创 Cardinality_estimate

Cardinality estimate in short基数计数（cardinality counting）是实际应用中一种常见的计算场景，在数据分析、网络监控及数据库优化等领域都有相关需求。精确的基数计数算法由于种种原因，在面对大数据场景时往往力不从心，因此如何在误差可控的情况下对基数进行估计就显得十分重要。目前常见的基数估计算法有Linear Counting、LogLog Counting、HyperLogLog Counting及Adaptive Counting等。这几种算法都是基于概率统计理

2021-12-09 17:35:35 312

原创 Sketch初见之QF

目录1.Quotient filter是什么1. Algorithm description[^2]2. Example for Quotient filter3. QF与BF的比较Paper2参考链接1.Quotient filter是什么Quotient filter是一种空间利用高效的基于概率的数据结构(probabilistic data structure PDS)，它可以验证一个元素是否在集合S中，使用近似成员查询滤波器(approximate member query filter AM

2021-12-09 17:31:22 284

原创 Sketch之初见BF

目录3.1 Sketch 数据的存储3.2 Bloom filter 数据的查询3.2.1 Bloom Filter的分析3.2.2 拓展CounterBloom Filter3.2.3 拓展Compressed Bloom Filter3.2.4 pybloom_live中BloomFilter的实现3.3 ComparisonPaper 1参考链接3.1 Sketch 数据的存储A sketch is composed of HHH hash tables of size MMMnetwork

2021-12-09 17:25:15 184

原创 pytorch笔记47-49 logistic regression与交叉熵

文章目录logistic regression交叉熵二分类问题logistic regression其实它是一个分类算法regression与classification：优化目标不同regression：minimize(pred,y)classification：minimize dist (Ptheat,Preal)为何不是maximize accuracy？当预测值与实际值不等，但概率从0.3上升到0.4，ACC值并未改变（这时未达到阈值，判定预测错误），但是概率趋近，

2021-02-02 19:48:10 183

原创 pytorch笔记34-45随机梯度下降(反向传播算法)

文章目录激活函数的梯度loss的梯度感知机的梯度推导激活函数的梯度sigmoid/logistica = torch.linspace(-100,100,10)torch.sigmoid(a)RELU/Rectified Linear Unit# 两种调用，F.relu/torch.relufrom torch.nn import functional as Fa = torch.linspace(-1,1,10)torch.relu(a)F.relu(a)loss的梯度

2021-01-30 14:25:03 204

原创 pytorch笔记24-33数据进阶操作

文章目录合并与分割数据的运算数据的属性统计进阶操作合并与分割cat合并操作a = torch.rand(4,32,8)b = torch.rand(5,32,8)torch.cat([a,b],dim=0).shape# torch.Size([9, 32, 8])stack合并：create new dim创建一个新的维度，要求两个tensor.shape完全一样a = torch.rand(32,8)b = torch.rand(32,8)torch.stack([a,b],dim

2021-01-28 14:25:16 91

原创 pytorch笔记18-23数据操作（维度变换4）

文章目录索引操作维度变换数据转置索引操作索引操作a = torch.IntTensor(4,3,28,28)# 对第一张和第二张图片索引a.index_select(0,torch.tensor([0,2]))#第一个参数为哪一个维度第二个参数要求为tensor类型的list# ...代表任意维度a[...].shape# torch.Size([4, 3, 28, 28])a[0,...].shape# torch.Size([3, 28, 28]) 第一张图片# sel

2021-01-27 11:53:54 112

原创 pytorch笔记14-17创建tensor（数据类型）

文章目录1. 基本数据类型2. 创建tensor3. type-check1. 基本数据类型Dimension 0/rank 0 ，0维数据（标量）torch.tensor(1.0)# out:tensor(1.)torch.tensor(1.3)# out:tensor(1.300)# 查看数据类型a = torch.tensor(2.2)a.shape # 注意这里是shape没有括号，不是一个成员函数，与size()区分# out:torch.Size([])len(a.s

2021-01-23 16:52:26 402 2

原创数据库小结

文章目录第一章绪论第二章关系数据库第三章关系数据库标准语言SQL第四章数据库安全性第五章数据库完整性第六章关系数据库理论第七章数据库设计第八章数据库编程第十章数据库恢复技术第十一章并发控制第一章绪论数据库的四个概念：数据、数据库、数据库管理系统、数据库系统数据管理技术经历了：人工管理、文件系统、数据库系统3个阶段数据库系统的特点：数据结构化（这是与文件系统的本质区别）数据共享性高、冗余度低易扩充数据独立性高数据独立性：包括物理独立性和逻辑独立性(模式的两级映像结构)数据的

2021-01-12 21:40:34 397

原创传感器小结

目录1. 传感器的组成、特性及指标1.1 传感器的组成1.2 传感器的特性及指标2. 应变传感器的核心元件、工作原理、分类方法及应用2.1 核心元件及工作原理2.2 分类方法及应用3. 光纤传感器的分类、工作原理及典型应用例子3.1 分类及工作原理及典型例子4. 压电传感器的分类、测量参数及优缺点4.1 分类测量参数及优缺点5. 光电效应的分类、光电元件的原理5.1 光电效应分类，原理6. 光栅传感器的工作原理及细分技术6.1 工作原理6.2 细分技术7. 分析智能家居、手机的传感器7.1 智能家居中的传感

2021-01-10 21:29:35 4444 3

转载 pycharm调试

pycharm的调试功能写在前面：文章转载自：点击此处，阅读原文前言Debug调试，是一项学习编程人员的重要技能。只有当你学会 debug 了以后，才可以正确的知道程序的走向流程是如何的，今天就来给大家介绍一下 pycharm 中的 debug 功能！debug的前世在正式讲解之前，先来了解下 debug 这个词的由来，就像我们初学Python 时，先要了解下它历史的由来。1937年，美国青年霍华德·艾肯找到IBM公司为其投资200万美元研制计算机，第一台成品艾肯把它取名为：马克1号（ma

2020-12-24 16:08:01 240 1

原创 python创建二叉搜索树（附源码，带树结构可视化）

写在前面：树的可视化（代码2）需要借助一些包，请提前安装（代码1不需要，只要python环境即可）from collections import Iterableimport networkx as nximport matplotlib.pyplot as plt1.创建二叉树class TreeNode: '''二叉搜索树节点的定义''' def __init__(self, val): self.val = val self.left.

2020-12-18 17:16:05 1642 1

原创制作数据集，你可能会用到的小代码（python）

目录1、原始图片重命名2、修改xml文件的路径3、修改xml文件的folder4、抽取训练集和测试集写在前面大家在制作数据集遇到需要批处理的，可以留言私信，俺会及时更新的（白嫖）1、原始图片重命名拍的图片名称乱七八糟，别担心，有了这个小代码，吗妈妈再也不用担心图片命名啦！import osclass BatchRename(): ''' 批量重命名文件夹中的图片文件 ''' def __init__(self): self.path

2020-11-27 22:51:13 329 1

转载一文读懂傅里叶（不可能）

目录一、什么是频域二、傅里叶级数(Fourier Series)的频谱三、傅里叶级数（Fourier Series）的相位谱四、傅里叶变换（Fourier Transformation）五、宇宙耍帅第一公式：欧拉公式六、指数形式的傅里叶变换七、学累了，吃点瓜八、小结写在前面傅里叶无论在信号与系统还是数字信号处理等主干课程，都是绕不过的坎！教学效果大家都懂，（曾经）已经放弃傅里叶，不巧看到这篇博文，虽然谈不上醍醐灌顶，但也是清楚了不少，尤其配图精美，分享大家，一起学习！转载自：链接:原作者知

2020-11-27 22:09:21 605

原创 2020中国机器人大赛视觉项目总结

2020中国机器人大赛赛后总结1：赛前准备1.0：确定目标1.1：认清自己1.2：数据的准备1.3：必要的知识储备1.4：阅读比赛文件2：赛场注意事项2.0：规划好时间2.1：前一天的调试2.2：正式比赛3：赛后反思3.0：结果3.1：展望1：赛前准备1.0：确定目标参加比赛的出发点有很多，一定想清楚自己为什么要参加这个比赛，是否有可靠的队友陪伴，是否是学院学校认可的比赛，是否可以报销比赛开支等。如果单纯为了加分----请找一个大佬，抱紧大腿如果想提升实力----请继续看下去1.1：认清自己

2020-11-23 08:11:14 3328 6

原创创建一棵决策树

创建一颗决策树1. 决策树是啥树？2. 决策树的构造2.1 信息增益文章安排：（1）先从信息论的角度分析如何划分数据（2）将数学公式运用到实际的数据集（3）画出一颗决策树（4）一个实战例程1. 决策树是啥树？决策树，见字如面。一棵可以做出决策的树。比如常见的垃圾邮件检测(朴素贝叶斯也可以)（检测邮件发送的域名地址，识别邮件中的中的信息，找到垃圾邮件经常出现的词语如：discount,free,buy)，进而做出决策是垃圾邮件，还是正常通信邮件。为何选择决策树优点：计算复杂度不高

2020-11-10 22:37:36 544 1

原创路由器管理：为已知设备分配固定IP，设置连接人数限制

学会路由器管理1.登录路由器管理界面2.为已知设备分配固定IP2.1查看已知设备的MAC地址2.2为设备分配固定IP3.设置路由器可分配IP范围1.登录路由器管理界面目前市面常见的路由器管理员界面主要非为两种，192.168.0.0和192.168.0.1，可以通过路由器底部查看。注意，当且仅当你连接到路由器的网络时，才可以登录路由器管理界面2.为已知设备分配固定IP2.1查看已知设备的MAC地址假设你有两台已知的设备，他们一定要连接指定WIFI。在登录到路由器管理界面时，查看当前连接设备

2020-11-01 11:43:21 13068

转载【conda】解决 An HTTP error occurred when trying to retrieve this URL.问题

问题描述conda安装第三方包，出现网络报错信息如下Collecting package metadata (current_repodata.json): failedAn HTTP error occurred when trying to retrieve this URL.HTTP errors are often intermittent, and a simple retry will get you on your way.原因是conda源加入了不知名的URL，现在不能使用了（或

2020-10-14 18:01:34 4417 2

原创 DBSCAN聚类算法

DBSCAN聚类算法介绍1. DBSCAN是什么？1.1初见美人1.2算法参数介绍1.3样本点的分类2. 算法流程3. 算法的优缺点3.1它哪里好？3.2 它哪里不好4.代码实现5. 一个算法可视化的网站1. DBSCAN是什么？1.1初见美人基于密度的噪声应用空间聚类(DBSCAN)是一种无监督的ML聚类算法。无监督的意思是它不使用预先标记的目标来聚类数据点。聚类是指试图将相似的数据点分组到人工确定的组或簇中。它可以替代KMeans和层次聚类等流行的聚类算法。与KMeans算法不同，它不需要确定聚类

2020-10-11 16:51:06 831 2

原创 matlab计算离散信号的卷积

数字信号处理计算离散信号的卷积1.默认序列从0开始1.matlab代码2.运行结果2. 当卷积序列起始位置不为0时1.matlab代码2.运行结果1.默认序列从0开始1.matlab代码%# 复制下面的代码，粘贴在命令行中运行；或者复制到m文件中，按F5运行。x = [1]; %# 序列x,可理解为代表离散的输入信号h = [1 2 3]; %# 序列h,可理解为系统的冲激信号y = conv(x,h) %# 对x,h进行卷积stem(y,'fill') %# 绘制离

2020-10-08 16:57:57 16400 2

转载解决opencv代码补全问题

opencv中代码无补全提示1.问题描述：在pycharm中opencv函数的补全很方便，ctr+左击可以查看源代码，但是opencv的补全经常异常，这里提供一种实测有效的解决方法2.环境windows10，opencv4.4，pycharm，anaconda33.解决办法1.安装opencv2. 修改配置文件3.实测效果踩坑无数，特此记录原文来自：https://blog.csdn.net/qq_36735489/article/details/821109721.问题描述：在pycharm中

2020-10-02 09:58:04 916 3

caoqh的博客