Sober-C-CSDN博客

原创数据处理（2）用户点击数据world2vec词向量处理处理-

本篇文章主要讲解对于用户点击广告的行为，如何根据用户的点击，将点击的广告解析为词向量，再根据广告的词向量转化为用户的词向量一、导入包from gensim.models.word2vec import Word2Vecimport pandas as pdimport numpy as npimport gc包版本for module in gensim,pd,np: print(module.__name__,module.__version__)gensim.

2020-11-25 20:26:47 496 1

原创算法设计-Python编程 (2) 数组,哈希表,动态规划(字符串翻译，风景评分)

主要做一些想法的总结1. 两数之和哈希表传送门:哈希表① 暴力解法用两层循环,循环获取数据,但会重复读取数据,所以我们需要从第一个和第二个数据开始,并且不要直接读取列表用下标作为循环的变量,依据下标循环读取列表在第二个循环使用第一个循环的下标值+1 作为标准,就能很好的契合我们一组一组比对过去的需求记得在得到数据后,输出 return i,j 并且 break .若没找到,使用 else: continue 进行再循环class Solution: def ..

2020-09-15 17:48:54 305

原创 TensorFlow2.0 (6) 自构建神经网络层—— transformer 实例讲解

有些网络结构，在子类 layer 中并没有定义，这时就需要我们自己来进行编写，为了更灵活的构建自己想要的神经网络层，我们可以自己来创建网络结构类，当然，构建之前先看一眼官方 API 文档，省得白费功夫那是最好。tensorflow2 官方 API 文档注意：__init__() ，__build__() ，__call__() 均继承自tf.keras.layers.Layer一、初始化属性、初始化输入、向前运算不多说，先挂个最简单的官方例子class MyDenseLaye...

2020-08-05 11:59:13 2608

原创数据处理（3.0）-python 动态新建变量与动态调用动态变量

为了实现全自动数据处理，但数据的维度又在不断的改变，为了不用每次操心修改代码，会使用到动态新建变量和动态调用动态变量，但网上的资料很含糊，或者不好用，被逼无奈写了本篇文章一、动态创建动态变量1. locals()调用该函数names = locals()新建变量names['ReImf' + str(0)] = 2在这之后，就可以直接使用 ReImf0 或者变量，这里我们可以将 0 这个数变成一个变量值，来动态新建变量for i in range(len(imfs.

2020-08-03 15:33:21 708

原创 TensorFlow2.0 (5) 实现 GAN 对抗网络

GAN 神经网络对于某些实践项目上会比 CNN 等网络有更好的实际效果,虽然 loss 不一定会比普遍的神经网络低.但更具有实践意义,特有此文章作为大家的编码 demo一、 GAN 入门示例import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersimport matplotjlib.pyplot as pltimport numpy as npimport globi.

2020-07-09 17:33:47 1376

原创数据处理（1.2）-python 正则表达式-量词与贪婪

学习极客时间的学习笔记一、正则模式种类正则有不同的匹配模式，有三种模式，第一：贪婪匹配，第二：非贪婪匹配，第三：独占模式主要区别在于匹配是一次还是多次，长度尽量长还是尽量短看到这个次数次数的，我们回顾一下量词的定义：...

2020-06-29 20:53:53 378

原创数据处理（1.1）-python 正则表达式通俗易懂讲解

写一些数据结构时，发现有些地方光靠代码逻辑写有点费劲，还是回来复习一下正则表达式，写文章加深一下理解学习参考：报名参加了极客时间（正则入门），以此做一下学习笔记应用场景示例：正则表达式实现模式匹配一、正则功能校验数据有效性手机号，邮箱等限定格式查找符合要求的文本内容对文本切割替换等操作二、元字符元字符指正则表达式中特殊用途的字符分类1. 特殊单字符在匹配数字的时候，可以写成 \d{11} 匹配 11 位数字。其他也相同...

2020-06-23 17:23:35 311

原创服务器ubuntu18.04 Python 开发环境搭建

电脑出了点问题，改用服务器来做，太久没在服务器上做，把环境搭建写下来，方便下次使用本文用的是 Ubuntu 和 docker 来进行部署docker 搭建笔记Python3.6的对应的是 Anaconda 5.2,5.3以后的都是python 3.7的不要看错了”一、 Ubuntu 软件安装1. 下载并安装常用软件包首先是 apt-get 的清华源替换官方教程还有其他 gedit，vim，sudo 可以自定下载2. 安装 anacodaPython3.6 对应的 a..

2020-06-23 10:37:41 434

转载 Docker 服务部署和使用

docker 的部署与快速使用,首先，容器是每个用户个人使用的，镜像是提前部署好的，用户根据镜像，建立自己的容器进行开发使用。容器内部是独立的1. 阅读须知本文档介绍了如何在宿主机系统上进行 Docker 服务的部署，以及如何创建 Docker 镜像、如何创建并运行 Docker 容器等，本文档的测试环境所用的宿主机系统是 Ubuntu16.04，具体信息如下。$ uname -aLinux ubuntu 4.10.0-28-generic #32~16.04.2-Ubuntu S.

2020-06-19 14:41:45 1402

转载 Ubuntu 16 升 18

总体流程　　1. sudo apt update (更新软件源)　　2. sudo apt upgrade (更新内核相关的包)　　3. sudo apt dist-upgrade　　4.sudo apt-get autoremove　　5. sudo apt install update-manager-core　　6. sudo do-release-upgrade遇到的错误② 步骤错误：...

2020-06-18 09:19:02 181

原创 GitHub -实战使用指南

以前也初次学习 GitHub 也写过类似文章，不过重点在于原理，而本篇文章主要记录一些一个项目进行时的常用命令图形界面内操作打开 git-base ，在空文件夹 clone 远程仓库git clone https://github.com/Sober-Chen/caffe-python3-face-detection.gitcd 进入目录1. 分支基于当前分支创建分支并切换到该分支git checkout -b <branchname>添加修改文件或者全部.

2020-06-09 15:31:34 193

原创数据处理（2.1）点击数据处理-lgb 训练实战

这篇文章主要将上一篇文章中的 lgb 训练函数列出来，上一篇主要详细讲解预处理和后处理。import lightgbm as lgbimport numpy as np1. 输入参数介绍输入参数主要有：训练集的特征列训练集的标签列验证集的特征列验证集的标签列cate_cols 指明类别特征任务的类型 job=“classification”def base_train(x_train, y_train, x_test, y_test, cate_cols=..

2020-06-08 17:57:29 3802 2

原创数据处理（2）点击数据处理-设置输出格式、日志模块、读取、矩阵空值处理，数据集分割，数据合并，列处理等

特征工程操作丰富而繁琐，记一下编写时的代码，以便日后重复调用1. 设置输出格式、logging 日志模块实例：np.set_printoptions(formatter={'float': lambda x: "{0:0.3f}".format(x)})logging.getLogger().setLevel(logging.INFO)1.1 设置输出格式①x: "{0:0.3f}".format(x)format 部分# -*- coding: cp936 -*-..

2020-06-05 11:42:41 786

原创算法设计-Python编程 (1)总体整理

算法程序设计主要分为以下几种(并举例几个比较重要的难点)[力扣]1. 数据结构 1.1 数组 (单双向链表,跳舞链) 1.2 堆,队列,栈 (大小堆,可并堆) 1.3 树和图 (构建哈夫曼树,最近公共祖先,并查集) 1.4 集 1.5 哈希,映射 1.6 字符串 (字典树,后缀树)2. 算法 2.1 时间复杂度 2.2 搜索 (回溯,递归,剪枝技巧) 2.3 排序 (快速排序,归并排序,计数排序) 2.4 图 (最短路,最小生成树,...

2020-06-04 22:27:33 222

原创机器学习算法原理（一）机器学习算法汇总

1、分层聚类2、KNN3、基于密度的聚类DBSCAN4、K-means5、自组织映射SOM6、PCA7、LDA8、MDS9、朴素贝叶斯10、数据降维11、感知机12、GMM13、EM14、LVQ15、HMM16、熵，条件熵17、决策树18、CART算法19、梯度下降20、logistics回归21、Adaboost22、SMO23、随机森林分类1、分...

2020-06-04 12:17:33 858

原创华为海思 AI 芯片 (Hi3559A V100) 算法开发（六）基于 caffe 人脸识别项目 Python 实现

前面我们搭建好了相关环境和最麻烦的 caffe 环境，接下来我们用 python 训练出来基于 caffe 的人脸识别 caffemodel。成功后我们再将它转化为海思开发板可以使用的 wk 文件。这里我们先整理下我们的思路，首先 caffemodel 文件可以转化为海思可以读取的 wk 文件，但只是读取 caffemodel 文件中的网络参数，所以我们最好使用 YOLOv3 来进行人脸识别，方便后续的算法修改。我设定的流程为先用 PC 端的 python 进行人脸识别的开发，在PC 端实现完整的人..

2020-06-02 10:15:56 4667

原创华为海思 AI 芯片 (Hi3559A V100) 算法开发（五）在 Hi3559 上运行 YOLOv3

又到了最麻烦的嵌入式环节，这里将教大家如何在 Hi3559 上运行 YOLO v3 。废话不多说NFS 文件系统我使用的是 VM player 虚拟机，虚拟机装的 Ubuntu 16.04第一步编译 uboot 和 kernel这一步我建议是跟着 <WM_Hi3559A╱C V100 SDK 安装及升级使用说明> 走就行，有疑问的话也可以参考下面的博客编译 uboot与kernel这一步我的同仁做了，物品主要负责算法部分。直接拿过来用，就不过多废话，有问题也可以评论问.

2020-06-02 10:07:26 5601 8

原创视觉算法原理-LBPH 特征用于人脸检测

人脸识别分为两部分，一部分是检测到人脸，一部分是将你的人脸匹配到身份。而人脸身份匹配算法就有一下几种算法:基于PCA降维、基于LDA降维、基于LBPH特征在前面的人脸识别实战文章中，我们使用了 LBPH 作为人脸身份识别的算法，接下来我们详细介绍一下 LBPH 到底是什么原始的 LBP 算子原始的 lbp 算子定义为 3*3 的窗口，以窗口中心像素为阈值，将八个相邻像素的灰度值与之相比，若大于等于，标记为 1 ，否则为 0，这样领域内就产生了8位二进制数（通常转化为十进制数即 LBP 码，.

2020-05-29 17:06:25 4224 2

原创数学原理-高等数学复习笔记 ——2.0 MLE最大似然估计，最大后验概率估计，交叉熵代价函数，softmax

最大似然估计挂上知乎链接，再说点自己的理解知乎专栏-搞懂似然估计

2020-05-28 14:11:50 657 1

原创数据处理（1）-python 正则表达式汇总

正则表达式 Regular expression 缩写 regex 或 regexp。正则函数正则表达式在 python 中主要放在 re 库中。 re.match(pattern,string,flags=0)：尝试从字符串起始位匹配一个模式，如匹配不成功，返回 none。 pattern：正则表达式 string：匹配的字符串 flags：标志位，用于控制正则表达式的匹配方式，如是否区分大小写，多...

2020-05-22 13:56:52 3017

原创华为海思 AI 芯片 (Hi3559A V100) 算法开发（五）搭建 windows caffe python 开发环境 windows10 + anacod + cuda10

这篇文章就不讲的太过详细，因为遇到的 BUG 太多，首先网上没有 VS 2019 的版本的环境搭建，并且不向下兼容，驱动也遇到了问题，BUG 简直就是为每个人量身定做，本篇文章的环境基础是vs2019 +windows10+ python2.7 + cuda10 + cudnn因为翻过的文章太多，这里只放记得的一部分的环境搭建命运就是这么颠沛流离，刚刚还失败，在这个周六加班的夜晚，突然又成功了，这里简单写一下各个环境的搭配吧，以及应该按照哪个博文进行搭配。1. VS 版本 ...

2020-05-18 10:04:24 1679

原创视觉算法原理-YOLOv1 v2 v3 算法解析

摘要在另一篇关于华为的博文中已经介绍了 YOLO 的原理，想了解的可以通过传送门在 PC 仿真库使用 YOLOv3 进行图片目标检测以及 NMS、YOLO 讲解翻到 YOLO 标题下了解。本篇博文主要讲解 YOLO v1 v2 v3 的变化YOLOv2原文下载：https://arxiv.org/pdf/1612.08242v1.pdf工程代码：htt...

2020-05-07 16:45:24 1858

原创华为海思 AI 芯片 (Hi3559A V100) 算法开发（四）在 PC 仿真库使用 YOLOv3 进行图片目标检测以及 NMS、YOLO 讲解

摘要经过上一篇文章，大家编译运行 PC 仿真后，可能觉得有点迷惘，实际上你已经在后台完成了图像识别，保存结果，绘制识别框等一系列过程。这篇文章就教教大家怎么看识别的结果已经如何手动将识别框绘制出来。仿真代码浅析为了方便实际操作，这篇文章使用 VS 来快速运行，我觉得 vs 运行比 Ruyi 稍微快一点为了速度再快一点，我们修改我们要运行的文件夹下...

2020-05-06 18:50:45 4522 7

原创数学原理-高等数学复习笔记 ——1.2 泰勒公式罗尔中值定理与拉格朗日中值定理（附加多个实战题目）

微分中值定理罗尔（Rolle）微分中值定理设 f(x) 在闭区间[a,b]上连续，并且f(a)=f(b).又假设 y=f(x) 在(a,b)内可导，则必存在一点 c∈(a,b)，使得 f'(c)=0 简单来说就是一个连续且可导的函数，在两个相等的端点中间必存在一条水平切线。拉格朗日（Lagrange）微分中值定理函数在闭区间 [a,b]...

2020-04-27 10:16:58 9373

原创华为海思 AI 芯片 (Hi3559A V100) 算法开发（三） PC 仿真运行

摘要因为是操作性的文章，不是原理性的文章，我就写的简单点，大家要是遇到问题可以评论或者私信我，前面我们搭建好了基础环境，接下来我们使用 ruyi 来运行他提供的简单 demo仿真我们使用 Ruyi Studio 来快捷的实现仿真运行。导入范例：选择 workspace选择范例文件夹最后点击 finish 进行编...

2020-04-24 15:38:39 3078 1

原创华为海思 AI 芯片 (Hi3559A V100) 算法开发（二）RuyiStudio安装

摘要上篇文章已经对一系列的名词进行了讲解，接下来我们将寻找 NNIE 的软件包，其中，有以下工具链： ① mapper（location：tool\nnie\linux\mapper），这个工具主要是可以将我们训练的模型转化成 Hi35xx 芯片或者仿真库可以加载的文件（.wk 后缀名） ② 仿真库（location：...

2020-04-21 16:59:34 3717 7

原创华为海思 AI 芯片 (Hi3559A V100) 算法开发（一）资料以及术语介绍

摘要最近着手在海思的 AI 芯片上实现算法，本次项目主要是实现智能门锁的人脸识别，不过我们不着急，先把与算法关系不大的部署工作完成，才能更好的进行后续的工作。工作开始前，日常在网上找资料，发现一位博主在一年前也同样进行了海思 AI 芯片的开发（只是型号不一致，博主的内容主要以 Hi3519AV100 为主），本着不重复造轮子的原则，会参阅该博主的许多内容，如果介意可...

2020-04-20 15:44:48 15729 12

原创 TensorFlow2.0 (4) dataset 使用

在第一章我们学会了用 TensorFlow2 来构建模型，第二章又学习了超参数搜索，第三章学会了 TensorFlow 基础 api 的实现。但想要训练出更好的模型，还有一步极其关键的步骤，数据的输入与处理，在实际工作项目中，数据的处理与输入甚至可能占用 60% 的时间。

2020-04-16 12:04:25 1331

原创 TensorFlow2.0 (3) 基础 API 讲解

一、 @tf.function 引入

2020-04-16 11:53:32 1617

原创 TensorfFlow2.0 (2) 超参数搜索代码实战

一、概念在神经网络中有许多参数，而超参数就是神经网络训练过程中不变的参数，也就是在训练之前设置好的参数，而不是训练得到的参数。比如说，神经网络结构：层数，宽度，激活函数、训练参数：batch_size，学习率，学习率衰减算法。而超参数搜索就是让机器自己选择合适的...

2020-03-23 17:46:08 468

原创 TensorFlow2.0 (1) wide and deep 模型多输入代码详解

一、 wide and deep 1. 引入资源库import matplotlib as mpl # python 绘图库import matplotlib.pyplot as plt # python 2D 绘图库import numpy as np # 数学库，矩阵数组等import sklearnimport pandas as pd # 大数据处理模...

2020-03-09 09:24:49 1803

原创项目讲解-AVM 3D 全景泊车-畸变矫正（1）

1. 简介AVM 项目是为汽车的视野死角而设计的 360 °全景系统，让人可以观察到汽车的任意一个角落，在停车，狭小过道行驶，低障碍物较多的路面行驶等场景有丰富的作用。让司机可以轻松的避免意外与危险。目前项目已差不多完结，因内容较多，大体拆分为两部分来进行讲解，畸变矫正以及全景拼接。本文主要讲解软件部分，硬件可各自修改移植。...

2019-12-30 15:45:08 10541

原创 BUG 修复-关于安装 OpenGL ES3.0 + VS2019 +windows10出现的模块计算机类型“x86”与目标计算机类型“X64”冲突的解决办法

按照网上的大部分的教程跑是没有问题的，但他们可能因为版本原因，在 CMake 中不需要多一步设定，我们使用新版本就会出现错误，因此，到这一步时需要多点击一下设定，（会节省半天时间）要将第二个框设定为 WIN32...

2019-12-02 10:32:58 778

原创数学原理-数学原理链接

数学常识链接库：拉格朗日乘子法：https://www.matongxue.com/tags/47/泰勒公式：推荐这个https://www.zhihu.com/question/25627482/answer/313088784 （ https://www.zhihu.com/question/2...

2019-09-19 15:23:35 230

转载视觉算法原理-SIFT算法解析

尺度不变特征变换匹配算法详解Scale Invarian Feature Transform本文大量引用了文章：https://blog.csdn.net/zddblog/article/details/7521424 ，十分感谢数学常识链接库：拉格朗日乘子法：https://www.matongxue.com/tags/47/泰勒公式：https://www....

2019-09-19 14:57:08 624

转载数学原理-高等数学复习笔记 ——1.1 泰勒公式泰勒展开式

（注：需理解有限增量定理即拉格朗日中值定理：https://www.zhihu.com/search?type=content&q=%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B8%AD%E5%80%BC）第一次见到泰勒展开式的时候，我是崩溃的。泰勒公式长这样：好奇泰勒是怎么想出来的，我想，得尽量还原公式发明的过程才能很好的理解它。...

2019-09-19 14:14:38 9012

原创 NLP-数学原理-关于NLP流程与word2vec大白话详解(为什么会有词向量真实讲解)

思维导图:https://www.processon.com/diagraming/5c6e214ee4b056ae2a10eb9c本文争取以最短的文字,最简单的语言来描述NLP流程与w2v,详细原理会提供相应的链接.写到一半发现还是有很多地方省略过去= =写的不够详细1.NLP流程详解1.1数据清洗不感兴趣的、视为噪音的内容清洗删除，包括对于原始文本提取标题、摘要、正文等...

2019-02-28 00:30:48 1500

原创数学原理-逻辑回归通俗易懂版(二分类与多分类)

思维导图：https://www.processon.com/view/link/5c6e214fe4b03334b523f836Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。经典的二分类算法，也可转换为多分类：机器学习算法选择:优先选用逻辑回归，性能比较差再使用深度学习算法。逻辑回归决策边界:可以为非线性1.算...

2019-02-21 14:00:30 6316

原创项目小工具-python文件名读取，将txt中每行的最后一个字符提取放入另一个txt中，python批量转化tif文件为jpg

把需要的部分注释回来就好# ===============读取文件夹内文件并输出文件名到某txt上========================# rootdir = "./test"## file_object = open('test1.txt','w')## for parent,dirnames,filenames in os.walk(rootdir):# ...

2018-07-20 08:44:37 2352 2