qq_41949802的博客

原创 使用Vmware Workstation创建虚拟机

原创 创建虚拟环境并在项目中使用

一.创建虚拟环境执行命令 python -m venv  项目文件activate  pip install ipython  二.在项目中使用1.方法一  2 .方法二   

原创 Django安装与使用

一.Django介绍Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。Django是一个开放源代码的Web应用框架，由Python写成。Django遵守BSD版权，初次发布于2005年7月, 并于2008年9月发布了第一个正式版本1.0 。Django采用了MVC的软件设计模式，即模型M，视图V和控制器...

原创 更换pip源到豆瓣源

C盘user文件下创建pip.ini，写入如下命令:[global]index-url =https://pypi.douban.com/simple 

原创 bootstrap安装与使用

下载地址：http://www.bootcss.com/    下载的文件解压后，内部有三个文件夹打开链接 https://jquery.com/download/ctrl+A全选后复制，新建一个名为jquery.js的文件，把刚才复制的粘贴进去，然后把jquery.js文件拉到js文件夹中   然后在bootstrap空白项目中新建一个index.html文件...

原创 将单机爬虫修改为分布式爬虫

将单机爬虫jobbole修改为分布式爬虫伯乐在线爬虫如下：blog.py# -*- coding: utf-8 -*-import scrapyfrom ..items import JobboleItemfrom ..items import ArticleItemLoaderclass BlogSpider(scrapy.Spider): name = 'blo...

原创 node.js实现注册和登录

一.Window 上安装Node.js32 位安装包下载地址 : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x86.msi64 位安装包下载地址 : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x64.msi步骤 1 : 双击下载后的安装包 v0.10.26，如下所示：步骤 2 : 点击以上的...

原创 爬虫使用selenium和PhantomJS获取动态数据

创建一个scrapy项目，在终端输入如下命令后用pycharm打开桌面生成的zhilian项目cd Desktopscrapy startproject zhiliancd zhilianscrapy genspider Zhilian sou.zhilian.commiddlewares.py里添加如下代码：from scrapy.http.response.html im...

原创 Python发送电子邮件

1. 要想实现代码控制邮箱发邮件，需要先开启邮箱的POP3/SMTP服务，打开QQ邮箱，点击设置，然后点击账户 2.朝下拉 ，看到POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务，点击第一个开启POP3/SMTP服务（代码控制发邮件的前提），然后点击生成授权码获取授权码，下面的代码会用到 3.代码实现，如下：# smtp simple mai...

原创 Redis安装

一.简介什么是分布式爬虫？1.默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的其他的电脑无法访问另一台电脑上的内存的内容。2.分布式爬虫用一个共同的爬虫程序，同时部署到多台电脑上运行。这样就可以提高爬虫速度，实现分布式爬虫。分布式爬虫的前提：1.要保证每一台计算机都能够正常的执行scrapy命令，能够启动...

原创 Git bash安装（windows）

下载地址：https://www.git-scm.com/download/  下载好双击即可安装，图中红框内的打上勾，一直点next即可完成安装 安装好以后将以下路径添加到环境变量：D:\Git\cmd 打开终端试下是否安装成功,输入以下命令：git --version,出现版本号说明安装成功输入以下命令可以从github上克隆项目到本地cd Desktop...

原创 Xpath教程

from lxml import etreeimport requests # urllib urllib2 urllib3url = "https://www.qidian.com/free/all"response = requests.get(url=url)response.encoding = response.apparent_encodingroot = etree....

原创 Sqlite3数据库使用

sqlite特点:(1) 轻量级(2) 跨平台,可以在手机上使用(3) 功能够用但是不多(4) python环境内置sqlite import sqlite3# connect:连接# database:数据库, 简称db# 如果数据库不存在,会自动创建再连接# 如果数据库存在则直接连接# 和文件操作的open比较像con = sqlite3.connect("stud...

转载 MySQL可视化工具navicat 连接 mysql 出现Client does not support authentication protocol requested by server

一.打开mysql终端二.输入以下命令即可，‘123456’处输入自己的密码。注意：每句命令后都有分号。 然后再打开navicat即可可连接成功，如果仍然不行就更新可视化工具和mysql...

原创 Phantomjs下载与安装

PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。下载地址http://phantomjs.org/download.html下载后解压，解压完成后进入bin文件夹，双击phantomjs.exe出现以下图片说明安装成功了。然后把...

原创 Scrapy框架学习 - 爬取数据后存储为xml，json，csv格式

存储为表格scrapy crawl 爬虫名 -o 爬虫名.csv存储为Excelscrapy crawl 爬虫名 -o 爬虫名.xml存储为json并且转码为中文scrapy crawl 爬虫名 -o 爬虫名.json -s FEED_EXPORT_ENCODING=utf-8 ...

原创 Scrapy框架学习 - 使用内置的ImagesPipeline下载图片

代码实现打开终端输入cd Desktopscrapy startproject DouyuSpidercd DouyuSpiderscrapy genspider douyu douyu.com然后用Pycharm打开桌面生成的文件夹douyu.py# -*- coding: utf-8 -*-import scrapyimport jsonfrom ....

原创 Win7 终端不能选中命令行的解决方法

原创 MySQL下载与安装

MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。一.下载地址https://dev.mysql.com/downloads/mysql/二.安装             ...

原创 Scrapy框架学习 - Scrapy框架的安装与使用

一.安装(1) 如果你已经安装Anaconda了，打开终端，输入conda install scrapy安装后输入scrapy检测是否安装成功，出现如下页面说明成功(2)如果没有安装Anaconda安装lxml最好的安装方式是通过wheel文件来安装，http://www.lfd.uci.edu/~gohlke/pythonlibs/，从该网站找到lxml的相关文件。假如...

原创 Selenium下载与安装

selenium在python中的应用:1.selenium可以完全模拟浏览器操作，对动态数据进行获取。动态数据由代码生成，在页面初始化的过程当中是没有的，也无法获取，但是可以通过selenium来获取。2.有些数据是需要进行登录以后才能获取的，比如好友列表，评论，消费记录。。。登陆以后获取cookie才能进行以上的操作，但是使用selenium以后可以避免人工登录，只需要登录账号密码即可实现...