- 博客(7)
- 收藏
- 关注
RSS订阅原创 python 连接redis
连接Redis安装redis-py pip install redis 连接redis import redis r=redis.StrictRedis(host='127.0.0.1',port=6379,db=0) String的操作 import redis class TestString(): def __init__(self): self.r=redis.StrictR...
2020-07-21 14:52:36
217
原创 scrapy 创建项目流程
一.创建项目1.先cd到项目放置的文件夹 # pycharm 或者cmd都可以2.执行命令 scrapy startproject Novels2 # Novels2 表示项目名字3.cd Novels2 # 进入到项目文件夹4.scrapy genspider example example.com # example 就是爬虫的名字 example.com需要爬取的网站的域名二.配置settings.py1.第20行 ROBOTSTXT_OBEY = False # 默认true，
2020-07-21 14:13:22
221
原创 Scrapy框架架构---学习笔记
Scrapy框架架构Scrapy框架介绍：写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。Scrapy架构图：流程图（1）：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img
2020-07-21 14:10:31
262
原创 scrapy导出数据到mongodb
# -*- coding: utf-8 -*-import jsonimport pymongofrom scrapy.exporters import JsonItemExporter,JsonLinesItemExporter# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/la
2020-07-21 14:02:53
125
原创 java Set集合类
Set集合类1. 基本使用 特点: 无序无重复、建-值 方式存储、key不重复，重复时以最后一次修改为准、value可以重复 map key-value index-object put(objcet) 添加,当key值相同时相当于修改 get(key) 得到 remove(index) 删除 size() 长度 toString() 可视化package unit_o...
2019-03-18 11:07:38
135
原创 java List接口
List接口添加 add删除 remove(index)修改 set(index, object)长度 size得到 get(index) 从零开始返回对象索引 indexOf(object)List可视化 toString()
2019-03-18 11:06:41
160
原创 Django中不同view视图的交互
一.某个事件发生的起因（可跳过）在给朋友写一个 selenium 简单脚本时，考虑到客户角度来讲，绝对不能丢给他一个cmd终端，让他在一个黑呼呼的窗口进行交互设置。但是博主又没有学过pyqt5，重新学的话又需要一些时间。想到 jupyter notebook 可以用web网页可以进行控制，博主也会用html+css+js做一些简单的交互，也许可以用web做一些简单的交互页面！博主做的脚本并...
2019-03-10 14:44:56
1403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人