wangler2333-CSDN博客

原创 Scrapy - bilibili视频信息爬取，使用scrapy-redis分布式，b站抓取速度约为16核服务器2500万条/天

bilibili_video_stathttps://github.com/Wangler2333/bilibili_video_stat爬取b站视频信息，供大数据分析用户喜好。使用scrapy-redis分布式，在16核服务器上实现抓取2500万条/天。可长期部署抓取，实现视频趋势分析1.提供代理ip池2.提供user agent池3.使用scrapy-redis分布式4.使...

2018-06-07 19:18:11 2564

原创 Python - 康威生命游戏Conway's game of life

使用python实现康威生命游戏Conway's game of life 参考《python极客项目编程》游戏规则：任何四周邻居存活数少于两个的存活网格将死亡，因为人口稀少。任何四周邻居存活数多于三个的存活网格将死亡，因为过度拥挤。任何四周邻居存活数等于两个或三个的存活网格将在下一代中继续存活。任何已经死亡的网格，如果周围邻居存活数为3个，将重新复活。实现效果：Con...

2018-06-07 16:33:00 8078 1

原创 Django - 03、从零开始制作仿CSDN博客的网站（将Markdown编辑器整合进前端，并编写视图）

仿CSDN博客网站结构，制作博客系统。实现文章展示、文章管理、文章在线编辑。点击访问网站；主要功能已完成，一些细节还需完善网站前端使用jQuery+amaze ui完成后端使用Django+uwsgi+nginx完成底层使用MySQL+Redis+FastDFS+Celery完成特别感谢amaze ui和editor.md的开源！一、使用自定义后台管理1...

2018-05-05 21:27:09 2568 1

原创 Django - 02、从零开始制作仿CSDN博客的网站（建立项目，设计模型）

仿CSDN博客网站结构，制作博客系统。实现文章展示、文章管理、文章在线编辑。点击访问网站；主要功能已完成，一些细节还需完善网站前端使用jQuery+amaze ui完成后端使用Django+uwsgi+nginx完成底层使用MySQL+Redis+FastDFS+Celery完成特别感谢amaze ui和editor.md的开源！一、建立项目1、使用虚拟...

2018-05-04 16:04:27 1185

原创 Django - 01、从零开始制作仿CSDN博客的网站（项目完成度记录）

仿CSDN博客网站结构，制作博客系统。实现文章展示、文章管理、文章在线编辑。点击访问网站；主要功能已完成，一些细节还需完善网站前端使用jQuery+amaze ui完成后端使用Django+uwsgi+nginx完成底层使用MySQL+Redis+FastDFS+Celery完成特别感谢amaze ui和editor.md的开源！已实现功能：1、后台Mark...

2018-05-04 14:09:56 379

原创 owncloud在centos7上的服务端与客户端安装和使用

owncloud是一个提供Webdav服务的可假设在私人服务器的网络硬盘。由于本人需求在多个服务器同步Django代码，记录一下架设过程。 owncloud的同步十分方便，比使用git在多个服务器间同步代码快捷很多当然owncloud的最大用途还是作为一个私人网盘，其提供了所有常见设备的客户端1、docker安装owncloud服务器# 需要服务器安装并启动docker服...

2018-04-29 14:50:33 1007

原创数据结构(基于python实现)02-算法复杂度分析

计算机基本的构造模块：数据结构和算法所以提到数据结构，那么就不得不提算法。而如何评价一个算法的质量呢？第一个层次就是正确性、第二个层次就是可读性和易维护性、最后就是分析一个算法的复杂度算法复杂度：1、空间复杂度 2、时间复杂度1、空间复杂度：空间复杂度的计算需要计算程序运行所需的资源，一个显著的评价标准就是程序运行时的内存使用量。2、时间复杂度:运行...

2018-03-22 14:47:30 402

原创数据结构(基于python实现)01-集合的概念

集合是保存0个或多个其他对象的对象。集合具有访问对象、插入对象、删除对象、确定集合大小、遍历集合的操作。集合的主要分类：1.线性集合（列表、队列、栈、字符串）、2.层级集合（二叉搜索树、堆）、3.图集合、4.无序集合（包、字典、集）。1、线性集合：线性集合按照位置来排列其子项。除第一项，其余子项有且只有一个前驱；除最后一项，其余子项有且只有一个后继2、层级集合：除顶层子项外，其...

2018-03-22 13:00:10 172

原创 PyQt5 - 05 逻辑与界面分离使用pyqt5+socket实现TCP/UDP通信

运用逻辑与界面分离的思想，使用pyqt5+socket模块编写图形化TCP/UDP/WEB通信工具。实现效果如图：强制关闭线程的脚本stopThreading.py:import ctypesimport inspectdef _async_raise(tid, exc_type): tid = ctypes.c_long(tid) if...

2018-03-10 19:14:28 25895 18

原创 PyQt5 - 04 逻辑与界面分离并用sqlite3+hashlib实现登陆界面

使用pyqt5+sqlite3+hashlib模块实现带数据库的加密登陆界面，并使逻辑和界面分离。数据库生成生成一个sqlite数据库，这里使用sqlite的原因是简单、无需部署，大家可以根据自己的情况酌情替换数据库和相应的模块生成代码如下：import sqlite3conn = sqlite3.connect("user.db") # 在此文件所在的文件夹打开或创...

2018-03-09 21:58:06 2888 1

原创 PyQt5 - 03 使用代码编写基于pyqt5的gui程序

前两篇博文是使用qt creator来创建pyqt5界面，这篇博文主要讲自己编写代码实现GUI界面并重写closeEvent()方法。实现过程：继承QDialog类或其他窗体的类->定义需要控件->设置控件属性->将控件添加到布局->将布局添加到窗体->重写closeEvent(方法)与自动生成的py文件的不同： - 直接继承QDialog类，那么在main...

2018-03-08 13:41:02 2215

原创 PyQt5 - 02 对closeEvent()重写，添加关闭窗口触发的事件

对《PyQt5 - 01 使用qt creator创建第一个pyqt5界面程序》中的程序进行修改，通过重写closeEvent()方法实现退出时给出提示框对.ui文件生成的代码修改：《PyQt5 - 01 使用qt creator创建第一个pyqt5界面程序》中的源码：# -*- coding: utf-8 -*-# Form implementation generat...

2018-03-08 09:55:54 47033 13

原创 Mysql - 01 mysql数据库基础命令

数据库的操作-- 链接数据库mysql -uroot -pmysql -u用户名 -p密码mysql -uroot -p12345-- 退出数据库exit/quit/ctrl+d-- sql语句最后需要有分号;结尾-- 显示数据库版本select version();-- 显示时间select now();-- 查看所有数据库show databases...

2018-03-06 18:49:53 187

原创 Mysql - 02 mysql数据库"查询"select相关命令

数据库的准备：-- 创建一个数据库create database python_test charset=utf8;-- 使用一个数据库use python_test;-- 显示使用的当前数据是哪个?select database();-- 创建一个数据表-- students表create table students( id int unsigned prim...

2018-03-06 18:27:03 283 1

原创 PyQt5 - 01 使用qt creator创建第一个pyqt5界面程序

1. 安装Qt Creatorqt creator下载点我2. 利用Qt Creator创建界面点击文件 -> 新建文件或项目选择Qt -> Qt设计师界面类选择一个模版，创建一个界面之后一路下一步，进入主界面将左面的控件拖入主界面，如图保存界面文件为.ui格式，如下图 3. 将.ui文件转换为python代...

2018-03-05 15:29:53 17465 6

python狗刨笔记