云裳容-CSDN博客

原创 Python之Scrapy爬虫实战--爬取妹子图

前言想必最近大家和我一样都是待在家里吧！反正闲着也是闲着，不如来学习啊，你过来啊!花了点时间在某度的帮助下学习了scrapy，然后自己写下了第一个爬虫作品，好开心呀，嘻嘻。PS：代码可能不堪入目，希望能得到各位大牛的指导！不废话了，上码代码完整代码放到GitHub了，有兴趣的可以看看，顺便star一下哦（手动狗头）https://github.com/chenmg2020/scrapy_...

2020-02-22 08:03:01 6360 8

原创 Python之Scrapy爬虫实战--新建scrapy项目

C:\Users\chenmg>workon spider(spider) C:\Users\chenmg>cd C:\Users\chenmg\PycharmProjects\spider(spider) C:\Users\chenmg\PycharmProjects\spider>scrapy startproject scrapy_testNew Scrapy p...

2020-02-22 07:54:24 1366

原创 Python之Scrapy爬虫实战--绕过网站的反爬

设置随机UA修改middlewares.pyfrom fake_useragent import UserAgentclass RandomUserAgentMiddleware(object): def process_request(self, request, spider): ua = UserAgent() request.heade...

2020-02-22 07:53:59 2022

firewall-cmd --zone=public --remove-port=5672/tcp --permanent #关闭5672端口。firewall-cmd --zone=public --add-port=5672/tcp --permanent # 开放5672端口。PS:centos7默认没有 netstat 命令，需要安装 net-tools 工具，yum install -y net-tools。2、查看防火墙所有开放的端口。6、检查端口被哪个进程占用。7、查看进程的详细信息。

2023-08-15 15:28:34 1443

原创 MySQL 5.7版本不支持ROW_NUMBER()函数

在这个语句中，我们使用了一个变量@row_number来模拟生成序号。每次遍历一条记录，@row_number的值加1，并将其作为row_num的别名返回。your_table是你要查询的表名，column1, column2, …你可以根据需要自定义排序规则和返回的序号列名。MySQL 5.7版本不支持ROW_NUMBER()函数。但是，你可以使用变量来手动实现这个功能。请注意，在使用变量的情况下，查询结果的序号仅仅是一种显示效果，并不会对表的实际数据进行修改。

2023-08-02 08:59:01 1678 1

原创 var、let、const之间的主要区别

"var"和"let"或"const"之间的主要区别

2023-07-20 15:28:20 122

原创判断字段是否需要加索引？

索引的选择性是指索引列中不同值的数目和表的记录数的比值。假如表里面有1000条数据，表索引列有980个不同的值，这时候索引的选择性就是980/1000=0.98。索引的选择性越接近1，这个索引的效率很高。性别可以认为是3种，男，女，其他。如果创建索引，查询语句性别=‘男’的数据，索引的选择性就是3/1000=0.003。索引的选择性值很低，对查询提升不大，所以性别建索引意义不大。这个可以用索引的选择性来回答。

2023-07-18 09:00:10 286

原创项目同时需要使用新版本的easyExcel和旧版本的poi

1、使用不同的依赖管理工具：如果你使用的是Maven，可以考虑使用Apache Maven Shade Plugin或Apache Maven Dependency Plugin来解决依赖冲突。4、修改源代码：如果以上方法都无法解决依赖冲突，你可能需要修改easyExcel或poi的源代码，使其与不同版本的依赖项兼容。2、使用不同的类加载器：将easyExcel和poi分别放到不同的模块或项目中，使用不同的类加载器来加载它们。这样可以避免两个不同版本的依赖项之间的冲突。

2023-07-17 16:12:13 1748

原创泛型使用场景和例子

这些只是使用泛型的一些常见例子，泛型还有很多其他的用法，例如泛型限定、通配符和通配符上下界等。泛型使得代码更具可读性、可维护性和类型安全性，能够提高代码的重用性和扩展性。泛型是Java中的一种机制，它允许我们在编写类或方法时使用参数化类型。通过使用泛型，我们可以编写更加通用和类型安全的代码。自定义容器类：我们可以编写自己的泛型类来创建容器类，以存储各种类型的数据。集合类：Java的集合框架中使用了泛型来增加类型安全性。泛型方法：在方法中使用泛型可以使其更加灵活和通用。

2023-07-06 16:51:09 259

原创使用virtualenvwrapper指定python版本创建虚拟环境

在系统环境变量中添加 WORKON_HOME ，用来指定新建的虚拟环境的存储位置，如过未添加，默认位置为 %USERPROFILE%\Envs。-p: 指定根据哪个python创建新的虚拟环境，一般是期望python的exe可执行文件的路径。5、进入当前虚拟环境的包目录(site-packages)env_name: 是创建虚拟环境的名字。6、直接显示当前虚拟环境下所有包。一、添加环境变量（可选）1、退出当前虚拟环境。2、查看现有虚拟环境。

2023-04-09 01:58:05 539

原创利用Set特性判断重复元素

利用Set特性判断重复元素

2023-03-09 11:55:15 132

原创 Java8根据流中某个属性值修改其他值

Java8根据流中某个属性值修改其他值

2023-03-08 16:31:35 200

原创 Java8 stream、List forEach 遍历对象 List 对某一字段重新赋值

Java8 stream

2023-03-08 15:17:55 4582

原创新版idea没有import project选项的解决办法

新版idea根本没有import project键！！！

2022-07-28 14:39:06 1420

原创 Centos 7更换清华、阿里yum源

一、使用清华yum源1、备份cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak2、编辑CentOS-Base.repo文件vi /etc/yum.repos.d/CentOS-Base.repo3、编辑后的CentOS-Base.repo文件# CentOS-Base.repo## The mirror system uses the connecting IP address of the

2021-03-25 10:22:11 381

原创 Xshell连接报错：WARNING! The remote SSH server rejected X11 forwarding request.

解决方法：修改Xshell的属性，如下图，取消勾选：解决！

2020-02-18 22:37:53 1822

转载 Python之Scrapy基础知识--Request详解

介绍Request类是一个http请求的类，对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个请求，在Downloader中执行这样的一个请求。同时也有一个子类FormRequest继承于它，用于post请求。在Spider中通常用法： yield scrapy.Request(url = ‘请求的网址’)类属性和方法有：urlmethodheadersbodymet...

2020-02-17 10:29:24 2381

原创 Linux下的Python3.6报错ModuleNotFoundError: No module named '_ssl'

在python3中导入ssl模块时报错：(py3) [root@localhost Python-3.6.3]# python3Python 3.6.3 (default, Nov 19 2018, 14:18:18)[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linuxType "help", "copyright", "credits" or ...

2020-02-13 19:46:07 3796

原创线性顺序表的创建与使用

#include<stdio.h>#include<stdlib.h>#include<string.h> #define TRUE 1 #define FALSE 0 #define OK 1 #define Error 0typedef int Status; typedef int Boolean; typedef int Elem...

2020-02-10 17:46:00 1502 1

原创单链表的创建与使用

#include<stdio.h>#include<stdlib.h> #define OK 1 #define Error 0 #define TRUE 1 #define FALSE 0typedef int Status;typedef int ElemType;typedef struct LNode{int data;struct...

2020-02-10 17:45:30 963

原创函数计时器

#include<stdio.h>#include<time.h>clock_t start,stop;double s;void cs1 (int n){ int i ; for(i=0;i<=n;i++) printf("%d ",i); printf("\n");}main(){ int n; scanf("%d",&amp...

2020-02-10 17:45:12 1660

原创队列（链式）

#include<stdio.h>#include<stdlib.h>#define TRUE 1#define FALSE 0#define OK 1#define ERROR 0typedef int Status;typedef int QElemType;typedef int SElemType;typedef struct QNode...

2020-02-10 17:44:47 1325

原创顺序栈

#include<stdio.h>#include<stdlib.h>typedef int Status;typedef int SElemType;#define MAXSIZE 100#define STACKINCREMENT 10#define OK 1 #define ERROR 0#define OVERFLOW 0typedef...

2020-02-10 17:44:19 1474

原创 jsp页面中文乱码问题

问题描述:JSP页面的中文乱码问题产生的原因非常之多，下面给出解决思路和解决办法。解决思路:JSP的流程是:页面->Servlet->数据库->Servlet->页面，所以一旦出现页面乱码，我们需要一步一步的判断。1、首先是判断从页面到Servlet后乱码是否已经出现，怎么判断?很简单，在Servlet中获取页面参数后打印输出看一下。2、如果Servlet中取到...

2020-02-10 17:42:43 1515

转载 references non-existing project XXX, launch configuration问题的解决办法

转载：https://blog.csdn.net/yyzyyx/article/details/51544065

2020-02-10 17:39:50 6944

原创 sql 中 limit 与 limit，offset连用的区别

① select * from table limit 2,1; //含义是跳过2条取出1条数据，limit后面是从第2条开始读，读取1条信息，即读取第3条数据② select * from table limit 2 offset 1; //含义是从第1条（不包括）数据开始取出2条数据，limit后面跟的是2条数据，offset后面是从第1条开始读取，即读取第2,3条...

2020-02-10 17:32:24 35557 1

原创访问不到Linux里的web项目

检查Linux防火墙是否已经开放项目对应的端口1、查看已经开放的端口firewall-cmd --list-ports 2、开启端口firewall-cmd --zone=public --add-port=80/tcp --permanent 命令含义:–zone #作用域–add-port=80/tcp #添加端口，格式为：端口/通讯协议–permanent #永久生效，...

2019-07-19 17:34:45 1495

原创 Anaconda 修改镜像源

来源：https://mirrors.tuna.tsinghua.edu.cn/news/restore-anaconda/修改镜像源：通过 conda config 命令生成配置文件在CMD命令行输入以下两条命令：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/f...

2019-06-23 19:05:16 1409

原创 Arduino开发板使用超声波传感器HC-SR04进行测距实验

HC-SR04超声波传感器简介：HC-SR04超声波传感器使用声纳来确定物体的距离，工作原理类似与蝙蝠。它提供出色的非接触范围检测，高精度和稳定的读数，以及易于使用的封装。测量范围从2厘米到400厘米或1英寸到13英尺。它的工作过程不受太阳光或黑色材料的影响（虽然布料之类的声学软材料很难检测）。它配有超声波发射器和接收器模块。主要特征：● 电源：+ 5V DC● 静态电流：...

2019-06-19 10:11:51 5467 1

原创 Windows中使用conda activate激活环境

就是这么简单！

2019-06-04 18:16:39 25376 2

原创 Linux下安装anaconda后再安装virtualenvwrapper

pip install virtualenvwrapper安装后还需进行环境变量的配置vim ~/.bashrc在文件最后加上export WORKON_HOME=~/Envssource ~/anaconda3/bin/virtualenvwrapper.sh注意：virtualenvwrapper.sh的路径用下面命令查找which virtualenvwrapper.s...

2019-05-10 08:51:37 1342

原创 Linux里修改环境变量

永久性变量，对所有用户都生效在/etc/profile文件中添加，如下：然后使用source /etc/profile使修改立即生效

2019-05-09 12:39:12 1638

原创 Python创建虚拟环境

先安装virtualenv，Windows下要加winvirtualenvwrapper是virtualenv的扩展管理包，用于更方便管理虚拟环境pip install virtualenvwrapper-win然后就可以创建虚拟环境了，如下C:\Users\robot>mkvirtualenv test1Using base prefix 'c:\\programd...

2019-01-18 10:37:18 2431

原创 pip下载速度慢?更换成国内镜像

Linux，修改 ~/.pip/pip.conf (没有就创建一个）文件内容如下：[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple[install]trusted-host=mirrors.aliyun.comWindows，在user目录你对应的用户文件夹下创建一个pip目录，如：C:\Users\che...

2019-01-18 10:23:10 2219

原创 pip升级出错PermissionError: [WinError 5] 拒绝访问。

PermissionError: [WinError 5] 拒绝访问。: 'c:\\programdata\\anaconda3\\lib\\site-packages\\pip\\basecommand.py'可能是因为权限不够，修改文件夹权限

2019-01-18 10:13:39 1788

原创 Win10 64位 hosts文件的默认内容

2018-08-17 19:56:09 35114 1

原创新建maven项目报错？需要修改这些地方

在 pom.xml 添加&amp;amp;lt;build&amp;amp;gt; &amp;amp;lt;finalName&amp;amp;gt;xxxxxxx&amp;amp;lt;/finalName&amp;amp;gt; &amp;amp;lt;plugins&amp;amp;gt; &

2018-08-08 17:31:54 922