- 博客(52)
- 收藏
- 关注
RSS订阅
原创 马蜂窝评论爬取
分析网址https://w.mafengwo.cn/sfe-app/cmt_list.html?busi_type=customize&mdd_id=10183网址返回的评论数据是json格式。但是返回的数据进行了字体加密，我们需要对它进行破解。字体反爬的详细步骤我在猫眼电影反爬中有所介绍。查看器搜索woff：第一次找到的是带woff的图片，我们需要按enter键继续搜索，直到...
2020-02-23 21:16:55
1499
原创 字体反爬（猫眼电影）四 完成爬取（附源代码）
获取原始数据：3e983e35f4c5ff7f92fe911dd2273ca52280.woff获取网址：http://vfile.meituan.net/colorstone/3e983e35f4c5ff7f92fe911dd2273ca52280.wofffrom urllib import requestfrom fake_useragent import UserAgentimpo...
2020-02-21 20:38:09
523
1
原创 字体反爬（猫眼电影）三分析规律
从上篇文章中我们得到的规律进行分析。from fontTools.ttLib import TTFontocr = '5810427369'font1 = TTFont(r'D:\PycharmProjects\untitled\爬虫\3e983e35f4c5ff7f92fe911dd2273ca52280.woff') # 打开本地字体文件01.ttfobj_list1 = font1...
2020-02-17 19:35:26
414
原创 字体反爬（猫眼电影）二woff转xml查看规律
woff转xmlimport osimport requestsfrom fontTools.ttLib import TTFontbase_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))url = 'http://vfile.meituan.net/colorstone/87ecd1ab347b1c...
2020-02-17 17:11:52
624
原创 字体反爬（猫眼电影）（一获得.woff文件）
评分加密后看不出来，这里怀疑是字体加密了，我们在源码中搜索woff，找到网址：vfile.meituan.net/colorstone/87ecd1ab347b1c9e14b52b83a04f5a872288.woff打开网址下载.woff文件下载之后我么需要想办法把它打开，这里使用工具FontCreator，官网下载地址：https://www.high-logic.com/font...
2020-02-17 16:49:15
534
原创 python实现svm对鸢尾花进行分类（附带鸢尾花数据）
鸢尾花分类鸢尾花数据链接：http://bj.bcebos.com/v1/ai-studio-online/93e8a07d6624465c943f60a0b4ec5fd959d44b5e5453410a8b2452ed3720c32f?responseContentDisposition=attachment%3B%20filename%3Diris.data&authorizati...
2020-02-14 10:44:50
6446
原创 svm分类和回归的区别
分类问题类别是固定的，假设有3类，更改输入得到类别在这三类之间：import numpy as npimport matplotlib.pyplot as pltfrom sklearn import svma = np.array([[0, 1], [2, 3], [4, 5], [6, 7] ...
2020-02-14 10:06:30
1057
原创 canny边缘检测python实现
canny边缘检测原理canny边缘检测共有5部分组成，下边我会分别来介绍。1 高斯模糊（略）2 计算梯度幅值和方向。可选用的模板：soble算子、Prewitt算子、Roberts模板等等;一般采用soble算子，OpenCV也是如此，利用soble水平和垂直算子与输入图像卷积计算dx、dy：进一步可以得到图像梯度的幅值：为了简化计算，幅值也可以作如下近似：角度为：如下...
2019-11-07 14:15:00
2213
1
原创 np.arctan() math.tan() math.atan()
numpy和math中arctan()和math.atan()是得到的弧度值。import numpy as npfrom numpy import *import mathprint(np.arctan(1))print(math.atan(1))print(math.tan(45 * np.pi / 180))结果是，0.78539816339744830.78539816...
2019-11-06 11:19:42
2940
原创 np.dot()和*的区别
from numpy import *b = array([[1, 3, 4], [7, 6, 5], [8, 9, 1]])c = array([[1, 0, -1], [2, 0, -2], [1, 0, -1]])print(c*b)结果是[[ 1 0 -4] [ 14 0 -...
2019-11-05 21:21:19
1529
1
原创 sobel算子详解
原理sobel算子是根据图像灰度值的突变或者结构信息的突变获取到边缘信息。假设一个图片的像素矩阵为从矩阵红框中可以看出像素值发生了突变，应该为边缘信息。怎么获取到这个边缘信息呢，这就需要用到sobel卷积因子。GX用来获得横向的边缘信息，GY用开获得纵向的边缘信息。为什么卷积因子一边为正一边为负。如果图片的颜色一样或者无结构突变的信息那么像素值差别就会很少。假如IMG与GX进行卷积运算后红...
2019-11-04 17:23:48
5524
原创 python djamgo 实现网页注册登陆（二链接数据库）
1 打开settings.py更改配置：DATABASES = { 'default': { 'ENGINE': 'django.db.backends.sqlite3', 'NAME': os.path.join(BASE_DIR, 'db.sqlite3'), }}更改为：DATABASES = { 'defau...
2019-09-21 17:17:13
217
原创 python django 实现网页注册登陆功能（一 新建项目）
开始之前先介绍下运行环境：pycharm社区版：ubuntu 18.01:python3.6:django1.9:命令行创建项目：django-admin startobject mysite另外我们还需要链接数据库，因此需要创建运行模块：django-admin startapp online...
2019-09-21 16:13:42
476
原创 python 识别出自己得人脸（二训练得到得人脸数据，得到训练模型）
上一节中我介绍了怎么得到自己得人脸数据，那么得到数据以后我们肯定要进行训练，训练得话我们就需要用到神经网络得一些框架，这里我使用现在比较流行得基于geogle下的tenserflow框架来训练得到模型。看代码：import tensorflow as tfimport cv2import numpy as npimport osimport randomimport sysfrom...
2019-06-14 13:23:34
2509
8
原创 python 实现人脸识别，识别出你自己得人脸（一获得人脸数据）
要想实现识别自己得人脸，我们首先需要有自己得人脸照片。这就需要用到库opencv。看代码：# 导入opencv库import cv2def CatchPICFromVideo(window_name, catch_pic_num, path_name): cv2.namedWindow(window_name) # 视频来源，可以来自一段已存好的视频，也可以直接来自U...
2019-06-14 12:22:23
4614
原创 python 爬取 网易云音乐（赵雷）
首先分析网页：点击F2查看网页信息：点击左上角箭头：选中歌曲名：每一首歌曲都是这种形式：看程序：texts = driver.find_elements_by_class_name('sn')每一首歌曲里都有个所以这里用 driver.find_elements_by_class_name定位到这个元素注意elements是找到一组元素。继续分析：我们只需要再往下寻找...
2019-06-13 09:07:47
373
原创 python +Selenium 爬取淘宝商品评论
第一步现在淘宝防爬取做的比较好，如果直接爬的话总是出现登陆界面。从而获取不到信息。解决办法，新建 淘宝.pyimport jsonfrom selenium import webdriverfrom selenium.webdriver.firefox.options import Optionsoptions = Options()dirver = webdriver.Firef...
2019-06-12 14:53:39
3054
1
原创 python+opencv实现人脸识别笔记四（识别出人脸）
我们需要调用保存的训练模型来识别人脸，话不多说直接上代码。新建 识别出我.pyimport tensorflow as tfimport cv2import numpy as npimport osimport randomimport sysfrom sklearn.model_selection import train_test_splitmy_faces_path = ...
2019-05-07 20:39:58
10238
2
原创 python+opencv实现人脸识别笔记三（训练模型+保存模型）
一在进行训练之前，我们首先需要对图片进行修改，使其长宽相等。新建 训练模型.pyimport tensorflow as tfimport cv2import numpy as npimport osimport randomimport sysfrom sklearn.model_selection import train_test_splitmy_faces_path ...
2019-05-07 20:26:58
6928
2
原创 python+opencv实现人脸识别,人脸检测 笔记二（获得人脸模型）
import cv2import sysfrom PIL import Imagedef CatchPICFromVideo(window_name, catch_pic_num, path_name): cv2.namedWindow(window_name) # 视频来源，可以来自一段已存好的视频，也可以直接来自USB摄像头 # 注意这里要进行修改，改成你...
2019-05-07 20:11:40
1618
原创 python+opencv实现人脸识别笔记一（检出人脸框）
因为我没有自己的摄像头，这里只是实现读取本地视频实现人脸检测，视频是抖音上下的。import cv2import sysfrom PIL import Imagedef CatchUsbVideo(window_name): cv2.namedWindow(window_name) # 视频来源，可以来自一段已存好的视频，也可以直接来自USB摄像头 cap =...
2019-04-19 16:59:44
5137
3
原创 卷积神经网络（CNN)mnist手写字python源代码详解
首先介绍下卷积神经网络输入层我就不讲了，我主要根据代码讲下卷积层，池化层，全连接层。（一）卷积层'''-1代表着矩阵行不确定我这里用n表示,[-1,28,28,1]的意思是n行28列，它的子元素是一个28行1列的矩阵，例如[[[[1]], [[1]], [[1]], [[1]]], [[[1]], [[1]], [[1]], [[1]]]]可以表示为【2，4,1,1】它的子元素...
2019-04-15 09:11:55
7758
3
原创 ubuntu+ apache2+cgi配置（自己摸索了两天）解决（空白页，forbiden， internal server error )赠于python初学者
一 第一步安装 apache2sudo apt install apache2检查是否安装成功二在浏览器地址栏输入http://localhost，查看Apache服务器默认网页是否运行正常,网页图如下：三 更改目录只需要对apache2在/etc/apache2和/etc/apache2/sites-available下的两个配置文件apache2.conf和000-defaul...
2019-03-19 17:53:39
1064
原创 pyCharm之改变源码（输出）字体大小，
网上找了很多都没实现，自己摸索了好久才找到的，直接上图（一）源码字体大小设置打开File>Settings>Editor>Font，更改size的大小即可（二）输出台字体大小更改打开File>Settings>Editor>Color Scheme>Console Font 更改字体即可，这里一定要注意打开的是Console Font...
2019-03-15 15:27:43
1739
原创 Ubuntu安装python3之删除python link文件
因为Ubuntu很多底层采用的是Python2.*，Python3和Python2是互相不兼容的，所以此时不能卸载Python2，需要将默认Python的指向Python3。刚才的Python3是被默认安装带usr/local/lib/python3.2目录中，如下首先，删除usr/bin/目录下的默认python link文件。网上找了很多方法直接运行都不能删除，因此自己摸索了好久，我采用以...
2019-03-14 15:40:46
1049
原创 linux（windows）操作系统下android studio获取（SHA1）超简单
第一步创建Keystore点工具栏的bulid/Generate signed Bundle/APK，如下图出来如下的窗口选中APK点击next接下来我们需要点击Create new keystorepath你需要设置在jdk目录下，我的jdk位置是home/dong/Android/Sdk/sources/android-28/jdk每个人的文件位置不同这里只是借鉴。建议passw...
2019-03-13 18:06:52
241
原创 酷派天气学习笔记（六）后台自动更新天气
新建类AutoUpdateService继承Serviceimport android.app.AlarmManager;import android.app.PendingIntent;import android.app.Service;import android.content.Intent;import android.content.SharedPreferences;im...
2019-03-12 13:45:17
433
原创 酷派天气学习笔记（五）（将天气显示到界面上）
编写WeatherActivityimport android.content.Intent;import android.content.SharedPreferences;import android.graphics.Color;import android.media.Image;import android.os.Build;import android.preference...
2019-03-12 13:15:25
434
原创 酷派天气学习笔记（四）（编写天气界面）
新建一个title.xml作为头布局<?xml version="1.0" encoding="utf-8"?><RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android" android:layout_width=&am
2019-03-12 13:14:06
284
原创 酷派天气学习笔记（三）（遍历省市县数据）
在res/layout目录中新建choose_area.xml代码如下<?xml version="1.0" encoding="utf-8"?><LinearLayout xmlns:android="h
2019-03-12 07:33:14
272
原创 酷派天气学习笔记二（获取全国省市县数据）
连接到服务器获取数据在这里我给出两种方法方法（1）新建接口HttpCallbackListener,用于回调。代码如下public interface HttpCallbackListener { void onFinish(String response); void onError(Exception e);}新建类HttpUtil用于和服务器进行数据交互im...
2019-03-11 20:21:27
1345
1
原创 酷派天气学习笔记一（建表）
<fragment android:id="@+id/choose_area_fragment" android:name="com.coolweather.android.ChooseAreaFragment" android:layout_width="match_pa
2019-03-11 20:20:41
412
原创 Linux CentOS环境下安装图像识别工具Tesseract教程
https://blog.csdn.net/wanght89/article/details/78329546
2020-09-23 13:49:56
217
原创 window10安装mysql最新教程
1、安装包下载。下载地址：https://dev.mysql.com/downloads/mysql/点击下载之后，可以选择注册Oracle账号，也可以跳过直接下载。下载完成后，选择一个磁盘内放置并解压。2020年2月14日，mysql官网进不去了，好吧那就来个镜像，总没问题了吧。如果官网龟速下载，建议使用下面镜像巨快。相对的Mysql国内镜像：http://mirrors.soh...
2020-02-26 19:09:43
941
原创 字体反爬之FoontTools的使用
https://blog.csdn.net/Obgo_6/article/details/101169682
2020-02-22 18:59:43
226
原创 python （xlrd, xlwt, xlutils实现读写excel,xls,xlsx）
1 xlrdimport xlrdrb = xlrd.open_workbook('1.xls')sheet1 = rb.sheet_by_index(0)rows = sheet1.nrows #获取行数cols = sheet1.ncols #获取列数names = data.sheet_names() #返回book中所有工作表的名字value = sheet1.cell...
2020-02-21 18:40:32
745
原创 python url解码编码
url编码解码测试网址https://www.cnblogs.com/jessicaxu/p/7977277.htmlurl编码解码详解https://www.cnblogs.com/jessicaxu/p/7977277.html
2020-02-19 14:37:01
161
转载 numpy.stack(arrays, axis=)
本文为转载，原博客地址：https://blog.csdn.net/qq_17550379/article/details/78934529numpy.stack(arrays, axis=0)沿着新轴连接数组的序列。axis参数指定新轴在结果尺寸中的索引。例如，如果axis=0，它将是第一个维度，如果axis=-1，它将是最后一个维度。参数： 数组：array_like的序列每个数组必须...
2020-02-13 19:39:25
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人