- 博客(37)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 爬虫：selenium解析动态网页
之前对于ajax动态网页还是采用的是重新加载网址的方式，但是在很多场景下还是无法解决，为解决此类问题，直接采用selenium库，这个库相比于beautifulsoup是直接模拟浏览器的操作。selenium的部署分两步：首先pip install selenium，然后需要部署浏览器内核http://npm.taobao.org/mirrors/chromedriver/，在这个镜像网站找到合适的内核，然后下载后放入python的script的文件夹下*script文件夹的作用就如同名字
2021-01-22 16:15:37
634
原创 蒙特卡洛搜索树
对于多选择任务时，采用蒙特卡洛搜索树是一个很好的选择。推荐论文：A Survey of Monte Carlo Tree Search Methods一、蒙特卡洛树搜索从字面解释分为蒙特卡洛方法和树搜索。树搜索比较好理解，就是利用树形结构定位目标；蒙特卡罗方法则是以概率统计理论为指导的数值计算方法。是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。最恰当的例子就是井字棋游戏，虽然一共有9个格子，但是对于井字游戏构建的游戏树也有一定规模。当对于围棋、象棋、麻将之类的游戏树，在复杂条
2021-01-04 17:54:55
1587
原创 fiddler抓取app数据
最近需要出一个AI APP产品，分三个部分，1. 手机数据抓取；2. 算法实现（蒙特卡索搜索树）；3. 封装成安卓APP；开发周期大概就是两个月之内，所以时间紧急，记录遇到的问题以便日后解决。安装第一次使用Fiddler这个软件，记录一下学习以及使用过程。https://docs.telerik.com/fiddler-everywhere/get-started/configuration?_ga=2.196124591.241700265.1607686148-1..
2020-12-11 20:04:20
640
1
原创 旧电脑搭建分布式数据库
旧电脑再利用一下，用来搭建数据库，系统选择ubuntu，数据库选择mysql首先配置ssh更换中科大源，apt-get updatesudo apt-get install openssh-server在 /etc/ssh/sshd_config中设置端口port = 22连接...
2020-11-04 17:46:21
308
原创 gitlab使用记录
最近要求使用gitlab和svn，项目服务器需要使用gitlab，产品服务器需要使用svn。svn比较简单，上手很快，gitlab相对来说需要一些指导会好一点。下载：可以根据官网安装，但是我一直卡住，这里推荐直接下载清华源的deb安装包wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/ubuntu/pool/xenial/main/g/gitlab-ce/gitlab-ce_10.7.2-ce.0_amd64.deb安装..
2020-09-25 17:19:39
575
原创 SVN和git
公司目前开发要求使用SVN，我一直使用git，主要是利用分支功能，而且对于github的御用客户端也有非常好的可视化UI界面。SVN主要的优势是对于私密性代码项目有很好的保护性，对于每个用户而言，只能从服务器端下载代码。SVN和git的提交差不多...
2020-09-09 13:45:42
85
原创 一些重要的数据统计函数
import numpy as npfrom scipy.stats import pearsonrimport matplotlib.pyplot as pltfrom scipy.stats import normdef data_analysis(data,type): ''' :param data: 输入数据 :param type: 算法名称 correlation p_value baseInfo std quartile percentile con.
2020-09-04 15:06:37
312
原创 ocr随机字符串识别
前言：项目的主要内容是对于随机字符串进行识别，随机字符串来源于电子文件，而非照片，环境字符。并且电子文件中的字符来自一种特殊字库，所以麻烦就在于如何将这种特殊字库的字体进行识别达到99%左右的正确率？一开始的思路：经过调研，主要的ocr识别分为光学直接识别的tesseract，和加入了神经网络的算法（densenet\crnn）。虽然说tesseract加了lstm增强了语义方面的识别，但是从1995年raySmith开始在hp研发tesseract，这个算法就是针对光学方法识别，这..
2020-08-06 18:00:05
293
原创 移动硬盘在macbook pro上读不出
原因可能就是电压不够，由于macbook pro 2017以后都是用type-c口，所以拓展usb以后电压可能会不足，这时候需要将移动硬盘连接线的第二个口接在另一台电脑上给他供电，供电后拔掉，让硬盘有足够电压读取后就能识别了。...
2020-07-27 17:07:02
2536
原创 GitHub for Mac 记录（二）建立自定义仓库
tutorial repository有便捷的优势，但是主要是利用GitHub desktop客户端远程构建repository在GitHub的云端或者说网站，这就相当于是专属GitHub的repository。自定义仓库主要是构建在本地，并且也能上传到GitHub。create a new repository on your hard drive这个选项就是在本地构建仓库。点开后一些基...
2020-05-03 09:46:22
222
原创 GitHub for Mac记录（一）建立tutorial仓库
以前都是用一点查一点，始终都是Git的门外汉，所以系统记录一下git的搭建和使用，主要以GitHub为载体进行，考虑到网上Git攻略版本各异且都有不同，所以本文还是参考官方document比较稳定。GitHub官方文档：https://help.github.com/en/github/getting-started-with-github/set-up-git一、安装GitHu...
2020-04-22 12:41:31
798
原创 语义分割进阶之路之回首CVPR2016（三）
Gaussian Conditional Random Field Network for Semantic Segmentation.Raviteja Vemulapalli, Oncel Tuzel, Ming-Yu Liu, Rama Chellapa这篇论文很有意义的，我们知道2015的cvpr对语义分割的方法局限于，场\概率、超像素、FCN这三种本文就是在“场”这个方...
2019-09-03 16:31:59
254
原创 语义分割进阶之路之回首CVPR2016（二）
Hierarchically Gated Deep Networks for Semantic Segmentation.Guo-Jun Qi本文结合了LSTM+CNNs，在CNNs中加入了分级结构判断是否是同一尺度。可以看出从2015到2016的语义分割发展方向，多尺度问题一直是多篇论文的方向，本片解决的问题也是多尺度问题。AbstractSemantic ...
2019-09-03 16:19:49
652
原创 语义分割进阶之路之回首CVPR2016（一）
最近一直在研究足彩预测和爬虫，对语义分割的研究搁置一边。然后这段时间过了以后还想学学fd抓包。这周还是准备努努力把CVPR2016的所有语义分割过一遍。在开始的部分先总结一下CVPR2015的语义分割：CVPR2015的语义分割属于图像分割的初级阶段，算法模型几乎是基于以前的调整，除了FCN意外，没有完全创新的语义分割算法。主要的语义分割思路分为三类，1、以FCN为主的卷...
2019-08-26 21:16:45
411
原创 爬虫入门之网页动态（二）
上一篇大概学习了如何解析网站，通过一些简单的find_all\get函数已经能够从html中获取一些跳转的网址。再通过一轮新的request能够进入新网站进行解析，所有模型写好以后做一个for循环就能批量下载数据了。理想是美好的，现实是残酷的，完成第一步获取网址以后，正准备下载数据，发现需要登录才能获取数据。这一篇就准备来学习如何解决爬虫过程中需要登录才能爬数据的问题。...
2019-08-23 23:17:56
111
原创 语义分割进阶之路之回首2015cvpr（六）
Semantic Object Segmentation via Detection in Weakly Labeled Video[full paper][ext. abstract]从标题就很能看出本篇论文是针对两个点，video和weakly label。我个人对于video的语义分割并没有了解，停留在先将video转成图像，然后通过图像分割的阶段。abstract...
2019-08-16 00:58:00
364
原创 工作总结
其实每一段工作经历都是一段进步空间。有技术上的进步空间、有经历上的进步空间，但是最重要的是情商方面的进步空间。其实任何一位IT从业者都应该明白这个行业变幻莫测，十年前做APP的大佬们如果今天出门找工作，“神经网络用的什么模型？”、“TF和CAFFE您会哪个”直接甩一脸，今天选择了图像检测，谁知道十年以后NLP那么火，谁知道无人驾驶开始崛起？所以技术永远是上升的途径，要学会做大、做深，要...
2019-08-08 10:33:23
115
原创 单片机基础原理2----接口
摄像头上的接口是SCCB（PCLK,XCLK）的，用uart是肯定读不出的，其实SCCB接口就是向当时I2C接口，所以现在了解一下I2C然后实践一下怎么把这个I2C的数据读出来。I2C是两根线的，分别时SDA和SCL，开漏输出。I2C的传输是有起点和终点的，当SDA在下降沿的时候信号开始传输，当SDA在上升沿的时候信号结束传输，期间SCL都是保持高电平。所有的起始和终止信号都是由...
2019-08-08 09:42:44
404
原创 语义分割进阶之路之回首2015cvpr（四）
Deep Hierarchical Parsing for Semantic Segmentation[full paper][ext. abstract]Abhishek Sharma, Oncel Tuzel, David W. Jacobs摘要：This paper proposes a learning-based approach to scene parsi...
2019-08-05 17:54:40
376
原创 语义分割进阶之路之回首2015cvpr（三）
Weakly Supervised Semantic Segmentation for Social Images[full paper][ext. abstract]Wei Zhang, Sheng Zeng, Dequan Wang, Xiangyang Xue因为这些文章并没有许多人有深入研究，所以就没有什么直接参考，所以我打算以边翻译边总结的方式学习这个算法。abst...
2019-08-05 17:09:13
461
原创 单片机基础原理2-----初始化模块
自以为稍微明白单片机以后，一编程就发现一个大问题，哪些乱七八糟的变量被赋值0x00030之类的十六进制值还真不是全是地址。原来是一种初始化。打个比方，学完基础的知识以后，虽然知道scon，计时器计数器干什么的，但是它冷不防给你一个 TMOD=0x20;//timer work SCON=0x50;这是啥？难道是让计时器在0x20的位置上干活吗？难道是SCON存储位置在0x50的位...
2019-08-05 13:56:36
2526
原创 keil与仿真电路的学习（二）
本篇直接实战，没办法领导催得紧，没时间细枝末节学习什么代码、结构体、类型了，直接上代码吧。本次接触的代码是ov7670摄像头的keil驱动。拿到资料包的时候里面有两个程序，分别是ov7670 keil的驱动程序以及在stm32上面直接跑的ov7670程序。我先从第一个驱动程序开始看。我准备一段一段看，所有看的过程都记录下来。let's go!!!!#incl...
2019-08-02 15:21:21
525
原创 （四）单片机程序语言---地址怎么用
我们先上一个最普通的跑马灯：用p1来控制void delay(void){ unsigned char i; for(i=0;i<1000;i++);}void main(void){ while(1) { P3 = 0xFE; delay; P3 = 0Xfd; ...
2019-08-02 15:00:03
680
原创 （三）单片机程序语言----头文件
学习单片机的过程中，会看到很多main.c与各种头文件相互飞来飞去，对于c语言功底不扎实的我来说就像是灾难。c语言的头文件有两种写法，我们所熟知的是那种将函数实现以后统一起来，制作成.h然后直接拿来用就能调用.h文件里面的函数。然而，我目前接触的项目里面几乎所用人都不用这种方法，他们使用的头文件里面只有声明，没有实现，所以我很看不懂。首先，头文件的写法很讲究，一般是以#...
2019-07-31 14:11:55
1915
原创 （二）单片机程序语言学习
单片机主要是汇编，当然，利用keil可以将c\c++编译成hex以供单片机程序使用。对于C语言的半架子，懂得还只是语法、指针、变量这种，结构体深入进去都不懂，更别说地址了，而单片机的编程全部的全部都是围绕着地址展开的，这就是硬件和软件的区别吧。本篇包括简单单片机程序代码解析。一、标准51单片机头文件解析对于所有学习51单片机的人而言，在编程之前一定会有这样一个包需...
2019-07-31 10:02:34
829
原创 keil与仿真电路的学习（一）
最近学的真的很杂，没办法，毕竟要恰饭。keil和proteus从没用过，本篇博客用于记录两个软件的学习过程以及嵌入式编程学习过程。本篇包括：安装过程新手村任务keil的使用proteus的使用一、安装过程：我之前的博客提到过keil怎么安装，并且附带了地址，可以破解。proteus也很简单，直接下载然后破解即可二、新手村任务keil不...
2019-07-30 17:21:57
3127
原创 opencv 学习记录（一）
最近学的东西很杂，因为项目是在公司开发的单片机上识别二维码，又要弄单片机，又要弄图像处理，还要弄ui还要学怎么在单片机上编程，所以分散着学吧。本次项目需要用到opencv的许多方法，而且需要裁减opencv库，这就是难点，为此，我准备初步学习一些够用的方法，然后到源码里面看看怎么把这些方法裁剪出来。项目所有相关代码将会在github上同步更新：（一） MatMat很简单，就是...
2019-07-29 15:40:18
222
原创 使用git连接github做项目
最近做项目，项目很杂，涉及软硬件，为了更方便随时查看进度以及完成情况，准备使用git。1、 安装git就很普通的教程就行了2、 用git连接githubhttps://blog.csdn.net/midnight_time/article/details/83960843参考这个教程，使用git bash操作首先建立文件夹，然后add，commit，push就行...
2019-07-29 15:38:29
356
原创 CVPR2019 图像分割论文阅读（一）
因为主要是学习图像语义分割，所以针对cvpr中的语义分割论文。DFANET：https://arxiv.org/abs/1904.02216是旷世公司的作品摘要：This paper introduces an extremely efficient CNN architecture named DFANet for semantic segmentation under resour...
2019-07-24 11:32:36
4731
原创 51单片机二维码识别
现在在做一个硬件项目，主要是用“高端的”51单片机连一个摄像头完成二维码识别的问题。目录：一、解决方案二、详细分析一、解决方案：现在的需求是：给出二维码（可能存在图像偏移、旋转等问题），输出一个解码的字符串解决方案目前是这样设计的：这里有几个点：1. 选什么摄像头2. 摄像头怎么连开发板3. 开发版上面怎么编程？怎么获取io信息...
2019-07-23 10:05:39
7728
3
原创 LeetCode No 3 求字符串中最长的不重复子串
给定一个字符串，找出不含有重复字符的最长子串的长度。示例：给定 "abcabcbb" ，没有重复字符的最长子串是 "abc" ，那么长度就是3。给定 "bbbbb" ，最长的子串就是 "b" ，长度是1。给定 "pwwkew" ，最长子串是 "wke" ，长度是3。请注意答案必须是一个子串，"pwke" 是 子序列 而不是子串。 一开始我想的很
2018-07-25 20:36:12
388
原创 LeetCode No 2 两数相加（链表操作）
作为一个已经弃坑c/c++的人来说，链表是个鸡毛啊算了，既然题目要求用链表，本大爷也不会用c和c++，就是这么硬气回顾一下链表是什么吧，俩东西构成，一个指针一个值那么我们先构建一个链表类，题目已经给出了：# Definition for singly-linked list.# class ListNode:# def __init__(self, x):# ...
2018-07-23 22:42:47
142
原创 leetcode No1 两数之和
给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1] 一开始遇到这个题目的想法就是笨方法：遍历，一个一个加呗。反正c++ 忘得差...
2018-07-22 20:59:42
139
原创 tensorflow 安装日志
win篇：习惯了anaconda的安装，于是先下载anaconda然后配置相关的python版本这里有一个很重要的常识，一直会犯错，如果直接用anaconda安装tensorflow会出现很多意料之外的事，因为直接安装就是安装在默认环境中，我们需要为tensorflow 专门配置一个环境，无论以后做项目还是以后调算法，每一种类的tensorflow或者不同python版本的tens
2017-11-16 10:55:17
198
原创 openface 训练自己的训练集
采集了一些数据集，现在需要做的是将它统一尺寸剪裁这一步让我踩了很多坑，其实同一尺寸的英文应该是Align the dataset这一步的py文件是align_dataset.py我这里用的是align_dataset_mtcnn.py先解读：def main(args): sleep(random.random()) output_dir = os.path
2017-09-11 14:19:56
1078
3
原创 关于任何路径中存在空格的问题
真的烦，csdn搜了一大片，一群大神说一堆看不懂的，然后没什么解决办法。继续搜了一堆一堆，尝试了r''这个办法。之前我的程序是这样的：import ospath='C:\Users\Alex lee\Pictures\test\train\cai\\'f = os.listdir(path)n=0然后说我的path有问题，于是我改成了import
2017-09-11 11:13:42
790
原创 记录搭建openface的路
用公司的服务器，python的所有包都打好了。网址：https://github.com/davidsandberg/facenet/wiki/Train-a-classifier-on-own-images开始一步一步，都很顺利。该下的都下了。现在就在Train a classifier on LFW这一步出了问题。tensorflow.p
2017-09-05 17:18:14
1827
1
空空如也
matlab怎么输出一个参数的值
2017-05-31
目标追踪detection文件夹里的txt文件里的数据代表啥呢？我大概明白前五个的意义
2017-05-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人