- 博客(50)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 爬虫中遇到的JSON问题
帮朋友爬一个政府公告文件，整个流程挺简单的，但下了两个文件之后在第三个文件卡住了。经过排查原因，发现是在调用 json 库中的方法 loads 时发生了错误。简单描述一下流程，首先，爬取一个链接可以得到一个 response，response 中的 text 属性也就是我们想要提取的内容，类型是一个字符串，同时也是一个 json 文件。何谓 python 中的 json 对象呢？我...
2020-01-13 22:08:02
1662
原创 pytorch模型训练流程中遇到的一些坑(持续更新)
要训练一个模型，主要分成几个部分，如下。 数据预处理 入门的话肯定是拿 MNIST 手写数据集先练习。pytorch 中有帮助我们制作数据生成器的模块，其中有 Dataset、TensorDataset、DataLoader 等类可以来创建数据入口。之前在 tensorflow 中可以用 dataset.from_generator() 的形式，pytorch ...
2019-12-29 23:34:25
11751
1
翻译 论文笔记——ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation
作者提出了一种基于残差连接和深度可分离卷积的语义分割网络，旨在不降低准确率的同时提高处理的帧数，可以满足自动驾驶中对于实时性的要求。一句话就是，我全都要！单元组成 简单地说，网络中主要使用了残差连接，这种捷径可以使得低维的特征可以往后流动而不是被网络完全转化，同时也在训练时减少了梯度消失等情况。另外使用了深度可分离卷积，可以减少网络中的参数数量，提高训练效率和...
2019-12-16 15:57:24
3263
1
翻译 论文笔记——ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation
论文地址。 相比 SegNet、FCN 等以 VGG 作为特征识别部分的网络，作者提出了一个更加轻量级、运算量和参数量都较小的网络，来提高语义分割在实际使用中的推断时间和减轻对设备的要求。网络的名字叫做 ENet，即 efficient neural network。网络结构 在了解网络结构之前，通常都是看看网络的组成单元 block。EN...
2019-12-13 15:49:21
533
原创 tensorflow 的 image segmentation 的准确率指标如何构建
上周在做一个 GCN 语义分割模型的过程中，遭遇了挺多麻烦的，一一记录一下，为自己以后遇到相似问题时提供一些解决的思路。以下是我自己在做的项目的代码地址， Label 以往的分类问题很简单，label 就是一个稀疏向量。但是语义分割问题不同，它的 label 就是一张图片，我们再根据这张图像中每个像素点的颜色，查表之后证实每个像素点分属什么类别，...
2019-10-28 17:09:12
488
原创 Opencv: 将 YUV 格式的图片转化成 JPG 保存
昨天刚和同事一起去采集一些场地数据，用板子拍摄然后实时传到电脑上，得到的是 NV21 的 YUV 格式的照片，然后暂时需要将他们批量处理成 jpg 的文件方便在 windows 上面看。参考同事的代码，写了一个 c++ 的脚本，简简单单的一个程序写了我半天，哎 c++ 的知识还是太不扎实。#include <iostream>#include <io.h&...
2019-10-22 16:13:14
8819
原创 学习 hisi3516 过程中的琐碎笔记(1)
拿到一块板子，对于我这个只学过一点 c++ 和对 linux 粗浅的了解的人来说，一方面感觉很神奇，另一方面又感到有点吃力。因为对其中的原理理解起来比较困难，尤其是视频流，自己试着看了一下其中 mpp/sample 下的一些范例文件，系统给出的编译好的 sample_venc 无法跑通，一直都是报错，在网上找了一份开发文档，600+页，慢慢看慢慢学习，其中有很多概念性的东西需要学习...
2019-10-20 13:35:16
1213
2
翻译 论文笔记——Agnostic Lane Detection
这是一篇也是车道线检测的论文，文章的地址可以点击这里，标题是 agnostic lane detection，不可知(?)的线检测。相比我自己第一次翻译的那一篇论文，这一篇读起来的感觉比较松散一些，难以捕捉到文章的中心，所以也需要借助逐步翻译来帮助理解。网络结构 有人说看论文先看图，图的水平一定程度上可以反映作者的水平。怎么说呢，下面这张图看起来稍微比较抽象，...
2019-09-29 18:07:47
468
翻译 论文笔记——End to End Video Segmentation for Driving:Lane Detection For Autonomous Car
之前有试过边读论文边整理，后来发现逐个chapter翻译理解的效果不是很好。一方面和我自己的理论基础不够扎实有关，虽然不是在校研究生的身份，但是学什么事情都要重视基础重视理论呀；另一方面，如何概括一篇文章这种抽象的工作也是我不擅长的，所以才要硬着头皮来做来学习呀~ 这是比较新的一篇文章，地址是https://arxiv.org/abs/1812.05914，标题是端...
2019-09-29 10:20:19
603
原创 关于灰度拉伸的一点思考
最近在做项目，涉及到车道的检测。由于在日光下，原本就是白色或者是黄色的车道线会比较得很不清晰，于是很自然的想到了灰度拉伸的方案，从少量数据来看的结果，是好的。以下图为例，左图是三通道图，中间是利用opencv的cvtColor函数转换的灰度图，可以看到在右侧日光照射下的车道显得很不清晰，所以对高灰度值区域进行灰度拉伸，可以得到有图，显然车道清晰了很多。虽然由此左侧的车道没有原本那么...
2019-09-28 10:10:31
3403
原创 tensorflow.keras.datasets.imdb 中 load_data 函数的解析
开始接触一点 NLP，一边看 2017 年的 CS224n课程，因为里面的作业似乎是要求用 tensorflow，而 2019 年新的课程是用 pytorch。从 IMDB 数据集开始试试，简单的解析了之后可以看到评论的内容和正负两种评价标签，然后就要对词向量做一个词嵌入(Embedding)的处理，因为网络结构不是用 ANN 而是用循环神经网络 RNN 来做，所以不可以用稀疏向量(...
2019-08-04 14:09:13
8268
原创 数字图像处理的python实践(13)——频域高通高斯滤波和拉普拉斯滤波
图像的锐化可以通过衰减图像频谱中的低频成分来实现，这建立起了空间域图像锐化和频率域高通滤波之间的对应关系。我们想要实现和上一章中高斯低通滤波相反的效果，即高斯高通滤波，实现的方法和上一章的代码基本一致，就是滤波函数有所不同，形式为 实现的代码如下，图像还是那熟悉的动漫女头，处理后边缘显得很清晰很突出，而除了边缘外其他的区域的颜色都是浅色。当sigma的数值越大，边缘提...
2019-07-15 15:08:58
6548
原创 数字图像处理的python实践(12)——频域低通滤波器和高斯低通滤波器
上一章中学习了一维离散傅里叶变换的概念和实现。但在具体的图像中实现还是有点不足，首先我们需要输入图像的尺寸都是2的整数次幂，这个条件太过苛刻了，如果使用Resize又会损失信息。目前还是以熟悉为主，所以选择用numpy自带的方法来进行频域的转换。 那么很简单的，首要就是试一下把一张图片从空间域转换到频域上，然后在频域上分解成幅度谱和相位谱，然后再反过来利用幅度谱和相位...
2019-07-14 19:42:42
10025
1
原创 数字图像处理的python实践(11)——傅里叶变换和快速傅里叶变换
前面接触了空间域图像增强，现在要来学习频率域的图像增强。 对于一维的连续函数，定义域为整个时间轴的非周期函数f(t)，它的傅里叶变换为 对应的逆傅里叶变换为 一维的离散函数 (其中x=0，1，2，...，M-1) 的傅里叶变换和逆变换为 对于二维的情况，二维连续函数f(x,y)的傅里叶变换...
2019-07-08 13:52:34
7337
1
原创 数字图像处理的python实践(10)——高提升滤波
回忆下我们之前使用的一阶微分的Robert、Sobel算子或者是二维的拉普拉斯算子，其中各个系数之和都为0。说明了算子在灰度恒定的区域的响应为0，这就导致了我们在锐化之后的图像中，除了边缘处之外的区域都变成了黑色，只有高灰度值的边缘、细节和灰度跳变点作为黑背景中的高灰度部分突出显示。我们更加希望，在基于锐化的图像增强中，可以保留原图像中的信息，所以可以将原图像和锐化后的图像相加来得到...
2019-07-06 06:45:38
1342
2
原创 数字图像处理的python实践(9)——图像锐化
图像锐化是和平滑相反的操作，目的是为了使模糊的图像变得清晰。既然是相反的目的，那么操作应该也是相反的，平滑使用的是图像邻域的加权求和或者是积分运算，而锐化则是使用求导数(梯度)或有限差分来实现。基于一阶导数的图像增强——梯度算子 对于二维的连续函数，在点(x,y)处的梯度为 其中两个偏导数的计算公式为 梯度的幅值作为...
2019-07-04 20:21:24
28877
3
原创 数字图像处理的python实现(8)——中值滤波
无论是平均平滑还是高斯平滑，在处理图像噪声时，都或多或少会对图片产生一定的模糊，损失部分信息。较为理想的情况，是可以选择性地进行滤波，只在噪声区域进行平滑，而在无噪声区域不进行平滑，将模糊的影响降到最低，这就是自适应性滤波的思想。通常噪声的存在，可能会使得附近邻域内，极值的上下差距较大，或者是方差较大，我们可以设置一定的阈值来判断该点是否需要进行平滑。不过这个不是该章节的内容，这一...
2019-07-04 13:56:53
31095
17
原创 数字图像处理的python实践(7)——图像平滑和高斯平滑
滤波是信号处理中的概念，指的是将信号中特定波段频率滤除的操作。在图像处理中，和通过傅里叶变化实现的频域下的滤波是等效的，所以也称为滤波。首先要学习的是空间域滤波，主要是基于邻域(空间域)对图像中的像素执行计算，这个术语用来区分之后会学习的频率域滤波。 所谓平滑，主要目的是为了减少和抑制图像中的噪声，在空间域中使用邻域平均的方法来实现。最最简单的就是平滑模板，是下方公式...
2019-07-02 16:13:15
5911
2
原创 数字图像处理的python实践(6)——双线性插值算法
该章节的目的是讨论双线性插值在图像旋转中的效果。基本引用上一篇文章中的旋转的代码，其中使用的是最近邻插值，取而代之。 线性插值，一维情况下，即我们有两个点，，现在要用线性插值求的数值为 那么双线性插值也是一样的思维，从下图中可以看出，现在一个方向上做插值，然后再在另一个方向上做插值，得到的结果即使我们点所要取的数值。图片引用自百度百科 ...
2019-07-01 14:51:55
1874
原创 数字图像处理的python实践(5)——图像缩放、旋转
图像缩放是我们在进行图像处理时非常常用的一个手段，例如进行机深度学习时都需要将训练集中的图片调整到相同的尺寸大小。通常描述图片缩放有两种方式，第一种是PIL.Image.resize(height, width)，输入调整后的尺寸；另一种是给出在x方向和y方向的缩放比率，我们先讨论第二种。 假设在x方向上的缩放比率是，在y方向上的缩放比率是。用矩阵来描述映射关系，下...
2019-06-30 20:47:21
2887
原创 数字图像处理的python实践(4)——几何变换之平移、镜像、转置
几何变换是图像处理中的重要模块，标题中所涉及的内容都是很简单的，不多说明直接上代码了。首先是平移，因为像素点都是离散的，如果出现不是整数的平移矢量，需要进行一些其他的判断，我们暂时不讨论这种比较复杂的情况，在之后的缩放中再看当处理后的图像的点在原图中的对应位置并不落在像素点上的处理方法。from PIL import Imageimport numpy as npimpor...
2019-06-28 20:50:13
1365
原创 数字图像处理的python实践(3)——直方图均衡化
直方图均衡化又称为灰度均衡化，指的是通过某种灰度映射规律，来将输入图像转换成灰度直方图中每个范围内的像素点数目都基本一致的输出图像。这种情况下的输出图像，由于图中的不同数值的灰度数量分布是均匀的，图像也会拥有较高的对比度和较大的动态范围，不会出现直方图中集中在低值区域或者是集中在高值区域，对我们后续其他操作也有一定的帮助。 虽然现实中的图像都是离散的，均衡化的对象也...
2019-06-28 14:39:11
1588
1
原创 数字图像处理的python实践(2)——灰度线性、对数、指数变换
我们目前比较好处理的对象是灰度图，因为它只有一个通道，也就意味着很多计算我们减少了一个维度，自然轻松一些。对于灰度图，首先要了解的是灰度直方图，也就是整体的图像中，灰度值的分布情况，通过直方图的形式来显示图片中是高灰度值的区域偏多还是低灰度值的区域偏多或者是其他情况，来指导我们后续的其他操作。以我们的之前转灰度的图片为例，结合matplotlib.pyplot库绘制归一化直方图的代...
2019-06-27 16:02:57
11793
1
原创 数字图像处理的python实践(1)——RGB转灰度
之前接触过PIL(Python Image Library)这个python很方便的图像处理的库，其中封装了不少与图像处理相关的内容。最近在从零开始学习数字图像处理，了解了许多处理的数学原理，凡是数学相关的东西，如果没有自己动手算个几次，称不上对这个内容有所了解。 首先是RGB转灰度图，原理自然是将三个通道的数值计算后得到一个通道的数值。PIL.Image对象有一个...
2019-06-26 14:22:27
1808
2
原创 leetcode(5) 最长回文字串
最长回文子串问题的描述很简单，给定一个字符串 s，找到 s 中最长的回文子串。例如我们的字符串是 babd，那么最长的回文子串就是 bab，也就是正反两个方向都是一致的。 我写的算法是中点拓展法。长度为 n 的字符串我们可以看成 2*n - 1 个点，即字符本身和字符中间的位置都是我们拓展的点。显然这种算法的复杂度是 O(n^2)，还是属于该复杂度中计算量较大的。因...
2019-01-16 14:11:33
242
原创 leetcode(3) 无重复最长子串
暴力计算法。 class Solution: def lengthOfLongestSubstring(self, s): """ :type s: str :rtype: int """ max_length = 0 for i in range(len(s)): ...
2018-12-24 21:47:25
111
原创 分治策略解决“最大子数组”问题
分治策略，大致可以理解为，我们遇到一个规模比较大的问题，可以考虑将其划分为若干个规模较小的问题，然后规模较小的问题可以再继续分，知道问题变得显然容易解决。听起来和递归有点相似，严格上讲，分治是一种思想，递归是对自身的调用，二者是不同层次的概念，但是他们都是在降低需要处理的规模。 最大子数组问题，给出一个数组，其中有实数若干，我们要找到一个子数组(连续的)，使得该子数组...
2018-12-24 08:56:33
2072
1
原创 leetcode(1) 两数之和
给定一个整数数组 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。 例如给出一个 target 为 9，nums为 [2, 7, 11, 17] ，那么结果应该返回 [0, 1]。 对于一个算法，我们需要考虑的是它的...
2018-12-21 00:44:35
246
原创 有加密的m3u8视频下载以及解码方法
突然心血来潮想着，之前爬虫学习也可以爬取一些数据和图片了，那么视频呢？是不是也是找到一个 url 然后直接写入文件保存就可以呢？事实证明没那么容易，四处查资料还是折腾了一天，最后终于可以了。在众多博文中帮助最大的就是如下这篇，非常感谢。https://blog.csdn.net/a33445621/article/details/80377424 总的来说，根...
2018-12-15 17:21:22
114808
33
原创 用爬虫搭建自己的行情数据库
我所选择的网址是证券之星，首先想做的第一个函数的功能是爬取 A 股的股票名单和代号。下面的图片是第二页，ranklist_a_3_1_2 中的 2 很显然表示的是第二页，通过一个循环就可以获取所有的 html 内容。 这里使用一个新的库 bs4，用它可以很轻易地把一个 html 对象转化成 xml 对象，也就是一个树状的由很多节点组成结构，我们可以用获取某...
2018-12-05 21:23:39
1523
原创 创建一个进度条来展示执行的过程
我们想象中的进度条，就是在一行的，然后会动态的刷新。例如一共有 20 个格，一开始都是 "-"，当进度多完成了 5% 我们就将一个 “-” 转变成 "*"，最好的在这一行的结尾还有一个数字，可以以百分比的形式进一步展示。实现这个功能，查了一下发现需要两个函数，sys.stdout.write 和 sys.stdout.flush。 sys.stdout.writ...
2018-12-02 13:55:29
901
转载 pandas 常用内置函数整理
pct_change() 计算百分比变化。cov() 计算协方差。其中用到了内置函数 concat，它是以 Series 对象组成的列表为输出，当参数 axis 的值为 1 的时候把他们一行一行从左到右的组合成一个 DataFrame 的对象，。然后使用方法 cov 得到这三个行之间的一个相关矩阵。import pandas as pdimp...
2018-10-29 10:47:05
4951
3
转载 Matplotlib 在金融分析中的使用
记录学习过程，深化理解。 在 jupyter notebook 中 plt.show 无法显示图像，需要在代码最前面加上以下内容。#matplotlib inlineMatplotlib.pyplot.hist 直方图matplotlib.pyplot.hist(x, bins=None, range=None, density=None, wei...
2018-10-28 16:10:22
1700
原创 Django 1.8.2 学习笔记4
之前做的内容都是与数据库的交互，回忆 django 的整体思想 MVT，之前做的就是 Model 模型，接下来来学习 V views 视图。M 负责与数据库进行交互，V 负责与 web 请求进行交互。 首先我们在 booktest/views.py 中导入 HttpResponse 类来产生响应，定义了一个函数 index。这就是 Views 视图的意义所在，储存我...
2018-09-29 09:28:43
136
转载 Pandas、Numpy、Talib 的小知识点
做笔试题的时候发现 pandas 没怎么学过，很久之前很潦草地看过而已，现在把金融分析里面常用的方法整理一下。 pandas 中有若干个常用的数据类型，先来看 Series，是 pandas 中的一维数组，常用于时间序列分析。创建 Series 可以传入一个数组，也可以是字典(以键作为索引)，import pandas as pd# ...
2018-09-29 08:55:10
3632
原创 Django 1.8.2 学习笔记3
上一章我们的进度到了管理员界面中，成功创建了管理员，然后在 booktes/admin/py 中导入了我们创建的模型类，就可以在浏览器中查看到我们定义的模型类和它的实例们。以 ClassInfo 为例： 此处展示的界面是系统默认的展示界面。我们可以自己定义管理界面，需要创建一个类，继承自 admin.ModelAdmin。把创建的类写进去 booktest/admi...
2018-09-26 23:32:13
133
原创 Django 1.8.2 学习笔记2
今天还另外学习了 Django 框架的搭建，主要的内容不多，就是数据库的操作。因为搭建起一个后台，我们希望在使用，尤其是非编程人员在管理的时候更简单明了，所以涉及 SQL 语句之类的是很不理想的情况；所以我们用 Django 中的 MVT 模型中的 M 即 model 模型来管理。 我所使用的 python 是 3.6，django 是 1.8.2。 安...
2018-09-26 23:32:07
214
原创 Django 1.8.2 学习笔记1——数据库 pymysql 和装饰器
最近深感上课学的东西比较多，对于一些框架学得不深刻，甚至到只能够照着老师的代码写，稍微一点修改都会导致失败，例如之前的 jquery 就给我这种感受，这两周学 tensorflow 也会。知其然不知其所以然着实让人心里没底，还是要设法往深处研究更好。在开始学习 Django 之前半学习半温习地补充了一些内容。 首先明确，后台需要和数据服务联系在一起，所以首先需要了解的...
2018-09-26 23:32:01
250
原创 计算机三级数据库技术备考知识点总结：第4~5章
第四章 数据库应用系统功能设计与实施4.1 软件体系结构与设计过程 4.1.1 软件体系结构 软件体系结构/软件架构 = {构件，连接件，约束}。前面两章以及完成了概念和物理结构上的设计，已经到了把关系图完成的地步，接下来就是从代码的角度上去审视之前所做的工作，包括需求分析的结果以及关系图。 4.1.2 软件设计过程 概要设计，建立软件...
2018-09-13 02:54:58
6880
原创 计算机三级数据库技术备考知识点总结：第1~3章
(黑色为普通内容，蓝色备注，红色重点)第一章 数据库应用系统开发方法 数据库系统 DBS 主要提供应用数据的组织、存储、维护、访问等数据管理功能，数据库应用系统 DBAS 不仅为用户提供数据管理功能，还根据具体应用领域业务规则，通过应用程序实现更为复杂的数据处理功能。数据库 DBS 就是基本的操作，在之上根据具体需要调整结构，优化使用体验，就是应用系统 DBAS考虑的。1...
2018-09-12 02:48:27
7494
lane-and-obstacle-detection-based-on-fast-inverse-perspective-ma.pdf
2019-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人