- 博客(7)
- 收藏
- 关注
RSS订阅原创 scrapy构造请求实现腾讯招聘网岗位爬虫
scrapy是一个常用的爬虫框架，使用之前需要先新建一个项目，然后再构建爬虫，数据处理入库先来一张爬虫入库后的数据吧一、创建项目当然了创建之前肯定是需要已经安装了scrapy模块的，这里不再赘述，默认已安装了scrapy、MongoDB1、创建项目和爬虫#创建scrapy爬虫项目scrapy startproject tencent#进入项目文件夹cd tencen...
2018-12-30 18:52:40
369
原创 多线程实现糗事百科爬虫学习记录
糗事百科爬虫记录~#!/usr/bin/python3#coding=utf-8import requestsfrom lxml import etreeimport jsonimport timeimport threadingfrom queue import Queueclass QiuBaiSpider: def __init__(self):...
2018-12-10 23:38:09
154
原创 anaconda的安装和卸载及安装完成后无法使用conda解决办法
一、镜像的下载1、可以在anaconda官网找到对应产品下载2、在清华开源镜像站下载，下载链接：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/推荐第二种下载方法，服务器在国内，下载速度杠杠的，产品提供windows、linux、mac三个系统对应的32位和64位包，并且和官网下载的文件没有区别。以方法二为例：...
2018-11-30 13:45:33
20021
3
原创 vim 编辑器和 sed 命令的字符串替换
一、vim编辑器字符串替换1、打开需要编辑的文件2、执行如下命令#oldstring 为需要被替换的字符串#newstring 用来替换的新字符串#替换是替换全部oldstring为newstring%s/oldstring/newstring/g二、sed 命令进行字符串替换1、sed替换的基本语法#替换单个字符串sed 's/oldstring/newst...
2018-11-30 13:41:26
741
原创 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)总结
##停止mysql服务# /etc/init.d/mysql stop# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &##进入mysql# mysql -u root mysql#重新设置root的密码mysql> UPDATE user SET Password=PASSWORD(“n...
2018-11-29 23:52:59
12896
原创 Xshell设置护眼色和舒服的字体
护眼色设置方法：（1）双击打开Xshell，找到配色方案按钮如图红色方框所示：（2）点击配色方案按钮会弹出如下窗口（3）点击新建，然后自定义名字（方便自己记得），如下左图：（4）点击编辑，选择背景，点击下方other...（5）点击规定自定义颜色，设置好色调、饱和、度亮度，点击添加到自定义颜色，点击确定0-（6）护眼色即设置完成如下图======...
2018-11-29 23:52:30
12837
原创 python实现调用百度词典接口实现英译汉、汉译英
话不多说，直接上贴代码。#!/usr/bin/python3# coding=utf-8import requests#import sysimport json# query_url = "https://fanyi.baidu.com/extendtrans"# langdetect_url = "https://fanyi.baidu.com/langdetect"...
2018-11-29 23:50:24
1433
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人