吃胡建人的小黑-CSDN博客

原创 python 爬虫出现乱码解决办法

第一步，先print(response.encoding)，看网页返回的字符集类型得到网页的字符集类型后（假设字符集类型是ISO-8859-1），encode decode两个步骤text = response.text.encode('ISO-8859-1').decode('utf8')两个步骤即可解决...

2020-08-16 10:38:50 316

原创 sqlalchemy.exc.InvalidRequestError: Can't reconnect until invalid transaction is rolled back

用flask写的web项目，放在服务器上边跑，第二天就挂了，发现是sqlalchemy.exc.InvalidRequestError: Can't reconnect until invalid transaction is rolled back解决方法：app.config[“SQLALCHEMY_DATABASE_URI”] = “mysql+pymysql://root:asim...

2019-11-22 11:47:22 1118 1

①配置完nginx和uwsgi，这两个配置启动之后就可以正常运行项目了。之前看千峰教育的视频，里边启动了nginx和uwsgi后还python manege.py runserver 了一下，害我陷入了这个误区。其实只要配置正确，启动uwsgi即可。至于如何检查是否是用uwsgi而不是flask自带的werkinx和uwsgi，这两个配置启动之后就可以正常运行项目了。之前看千峰教育的视频，里边启...

2019-11-20 21:40:43 1013

原创 puttygen.exe 生产密钥，配置SSH登陆linux服务器

先在puttygen.exe里边生成一对公私钥保存私钥，复制公钥。cd .ssh/将公钥写到authorized_keys里边。接下来就是用putty远程连接。输入服务器主机号，点击Data输入用户名，点击SSH。再点开Auth，browser找到刚才保存的私钥即可。...

2019-11-12 12:41:53 1339

原创当你按下了killall -u root，本地链接不上服务器解决办法

之前在公司的时候，因为是普通用户，习惯性的使用killall -u user来结束当前用户的所有进程。然后最近在自己的服务器上测试的时候，成功玩漂了，输入了killall -u root，然后putty和filezilla就都链接不上服务器了。检查了一下发现是SSH服务没开，于是乎systemctl start sshd.service成功恢复正常。...

2019-11-12 10:27:04 1389

原创本地navicat连接百度云服务器的坑

①要先在百度云控制台给服务器绑定一个入站 3306端口的安全组②服务器上边安装的mysql是禁止远程访问的，可以通过下述方法。改表法。可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 "mysql" 数据库里的 "user" 表里的 "host" 项，从"localhost"改称"%"mysql -u root...

2019-11-09 23:41:57 349

原创 crontab+scrapy+linux普通用户实现定时爬虫

crontab+scrapy+linux普通用户实现定时爬虫第一步：创建一个可执行的linux脚本，后缀为.shvim /home/luochuangjie/test.sh(你自己的工作路径)第二步：在test.sh里边编写脚本命令#run spider/home/luochuangjie/anaconda3/bin/python3 /home/luochuangjie/test.py ...

2019-08-06 15:50:53 187

原创 Exception: HTTP 599: OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 0

在用爬虫框架pyspider请求猫途鹰的过程中，前两步都可以返回结果，就是到了解析网页详情内容的时候就会出现这个SSL 0号错误。但是有时候却能返回成功（极少）。请问大家这个问题是不是网络有关的问题，我找遍了百度，翻墙出去找也没能找到解决办法！...

2019-04-09 11:30:37 1461 9

原创 python中.location和.size的返回值

今天在学习如何识别极验验证码的时候遇到了关于location和size两个属性，由于之前学习python的时候没有接触过，一时没能理解其中的意思。后来回想起之前的QT学习，有了一定的感悟，也推到出了这两个属性的返回值。先看一下代码img = self.wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'geetest_canva...

2019-03-04 22:18:08 4845 1

原创 pip is configured with locations that require TLS/SSL, however the ssl module in Python is not avail

anoconda 安装Python下pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available解决办法重装anoconda，在advanced option 高级设置时，勾选两个选项，这样就可以直接将anoconda添加到系统环境变量中，亲测有效！...

2019-02-28 00:27:57 527

原创 UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 1: illegal multibyte seque

最近学习到selenium的时候想用驱动模拟浏览器获取信息的时候遇到了一个问题。UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xbb’ in position 0: illegal multibyte seque问题的编码print(browser.current_url) print(browser.get_coo...

2019-02-24 14:43:31 1496

原创关于chromedriver的问题，跪求爬虫大神解答

跪求爬虫大神答疑：本来下载了个chromedriver想做爬虫用，奈何连一个初级阶段的测试都出现问题。代码如下：from selenium import webdriver browser=webdriver.Chrome() browser.get('www.baidu.com')错误如下：`Traceback (most recent call last):File “D:\Pytho...

2019-02-12 10:01:01 1843 11

weixin_41792971的博客