- 博客(34)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Laravel oauth2 访问oauth/token取token 无响应
Laravel oauth2 访问oauth/token取token 无响应场景是laravel 使用了php artisan serve, 由api发送到后端, 后端发送guzzle请求到oauth/token并返回token. 本想测试一下能否连上,就不需要再配置apache了. 结果登录获取token这里卡住. 如果你遇到了与我相似的问题, 请确认自己使用的是laravel自带的serve而不是配置了nginx(no single-thread), apache.错误的原因 由前端发送的请求到后端
2020-09-07 14:34:19
1438
原创 php使用curl发送https请求(验证书、host方式)
php使用curl发送https请求(验证书方式)要给xx健康写接口和对接接口，xx要求https请求……已经能在度娘找到很多如何让curl发送https的帖子了，但是我找着的全都是说要关掉VERIFYPEER和HOST的（也存在我没找着的可能），为什么不建议我们直接把这页代码删掉更简便呢？这也是为啥写这篇的原因（在写的时候还没有进行测试，因为对方什么时候给我们联调测试还不清楚）1，打开需要发送https请求的网站我使用的是ubuntu下的chromium，使用火狐和chrome步骤相似。点击网站左
2020-07-09 10:07:09
1116
原创 husky，防止格式有害代码上传工具及新版本变动
源自 https://www.npmjs.com/package/husky#upgrading-from-014husky，防止格式有害代码上传工具及新版本变动husky，防止格式有害代码上传工具husky，主要目的是在commit, push, merge等 前/后对文本进行格式筛查（其实就是创建了一些shell 在你push commit前执行脚本进行eslint，就怕你还没在自己环境上run起来就push的东西），原理听起来很简单，但是他给你写了一堆脚本就不简单了。因为你自己创建这一堆脚本.
2020-06-20 23:43:31
380
原创 laravel清理缓存(config:clear)后导致程序崩溃
laravel清理缓存(config:clear)后导致程序崩溃前情提要：导致这个错误的可能性有很多，如此不人性化的提示是因为在config:clear后laravel重载出错，然后尝试从log输出错误，但是错误先于创建log文件被产生，导致程序崩溃了且没有log文件可以输出错误，所以才输出这个报错。还有许多诸如env文件配置错误可能会导致这个提示。报错：PHP Fatal error: Uncaught ReflectionException: Class log does not exist i
2020-05-27 20:57:22
1229
2
原创 数据库添加索引导致前端页面异常/加载不出来的神奇情况
数据库添加索引导致前端页面异常/加载不出来的神奇情况今天在优化mysql，看到一个主要的select联合其他表的patient_id没有索引，先在线下测试过后没有问题，跑到线上数据库加索引，加完了，页面加载不出来了----->wtf？？？报错显示type_id有null值？？我加个索引怎么把值搞没了？前面上答案，解析在下面线上存在逻辑上不应该为空的值，只不过加载的时候mysql通过o...
2020-05-08 15:54:07
712
原创 Laravel联合表查询使用left join造成的性能问题
Laravel联合表查询使用join造成的性能问题Laravel联合表查询使用join造成的性能问题具体问题然后是join那该怎么做？意外的学习：paginate导致的性能问题最终结论Laravel联合表查询使用join造成的性能问题问题背景：公司某单个页面查询速度缓慢，一次查询8～12秒一次，被拉去做优化，优化之后2s具体问题项目使用了4个join和查询了一堆用不到的数据，首先先把不需要...
2020-04-30 18:14:30
1808
原创 django test里objects.create创建失败（多线程）问题
django test里objects.create创建失败（多线程）问题学django时候遇到的问题，明明在test库里创建了一个数据，但是总是返回500，看了test库里也没有，看了大神的帖子才明白问题是这样产生的： 你的class里继承了TestCase，而testcase中对数据库的改动不会立即commit，所以在另一个线程去查数据库的时候就没有这条数据，解决：所以替换成djang...
2020-01-16 15:55:35
983
原创 关于破解类、激活类文章发布被禁止了。。。
我枯了，去找公众号问了才知道是这样的情况，作为在搞爬虫的我，只能把这些字眼全部删除掉了。。。等我有时间把代码传到github上再看吧T.T 没了这些文章我的pycharm我的navicat。。。...
2020-01-10 17:07:49
326
原创 破解b站登陆的极验滑块验证码3.0
破解b站登陆的极验滑块验证码对这个一天消费我四五个小时的破站不搞一搞说得过去吗? 编程这个东西，即使你拿着别人现成的code去写一遍也不代表你的就能跑起来，但是你遇到问题才能学习到，如果没问题反而是最差的结果。 这个代码我参考了崔庆才的网络开发爬虫实战（但说实话里面实用的有点少。我第一本花钱买的实体书就这样的。。。）但还是感谢大佬给出了标准答案源码在最下面，可以直接拿走imp...
2019-12-29 23:14:28
1673
6
原创 Python selenium使用ActionChains/move_by_offset卡顿，滑动不流畅的问题
@TOCPython selenium使用ActionChains/move_by_offset卡顿，滑动不流畅的问题真的被这个东西搞死了，别人的电脑没问题，我的就有问题，为了破解滑块这个气死我了，我的代码轨迹都没问题，就是当初滑动的时候一卡一卡的，十秒可能才能拖完，根本不能正常破解，下面是解决方法：如果你有我这个问题，你就知道我在说什么，就不多赘述了在解释器里找到selenium/web...
2019-12-22 15:30:35
2783
2
原创 windows端远程腾讯云部署Python项目并在后台运行
腾讯云上部署Python项目并在后台运行在大佬的github上找到了一个免费IP池的项目，拿来有很多问题，兼容性啊和很多坑，修改好了之后想要部署在云服务器上用，写一写遇到的坑项目上云安装xshell首先你需要一个xshell（比起打开网页一步步登陆方便多了）学习版，然后连接服务器，下面是教程https://blog.csdn.net/betty2017/article/details/...
2019-11-25 14:07:26
1475
原创 云服务器Centos7系统部署mongodb和redis并远程链接及图形化界面推荐
云服务器Centos7系统部署mongodb和redis并远程链接云服务器双十一买了一年的腾讯云的 真便宜啊，50硬盘1核2G才80好像（腾讯打钱）mongodb创建yum源文件：vim /etc/yum.repos.d/mongodb-org-3.4.repo添加以下内容：[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https:...
2019-11-16 10:49:14
185
原创 把py文件打包成exe可执行文件
@TOC实习写了个能查询每天工作量的py文件，突然想把他打包成exe变成能直接点开用的，就不用再每次pycharm去运行一下了1、安装pyinstallerpip3 install pyinstaller如果安装速度太慢或者运行不下去的话，可以百度去找国内镜像这里给一个pip install -i https://pypi.douban.com/simple pyinstall2、p...
2019-11-03 16:21:18
180
原创 python 破解验证码之三：用自己训练的数据跑tesseract识别验证码，最后附上正确率
@TOC用自己训练的数据跑tesseract识别验证码，最后附上正确率1、使用现成的工具jTessBoxEditor，和tesseract，都是已经写好的工具，不需要再造轮子（尤其是从头学深度学习让你造一个神经网络写完就已经半年后了，还不排除从入门到放弃）首先要安装JDK，训练数据的机器依赖JAVA环境JDK8：http://www.oracle.com/technetwork/java/...
2019-11-03 15:34:47
1846
1
原创 python 破解验证码之二：OCR tesseract识别验证码
@TOCOCR tesseract识别验证码首先，自动生成验证码的code在破解验证码1，如果想要自动生成不想自己一点点保存图片的可以去看然后是正题，pip3 install tesserocr之前先要安装一个tesseract，这一方面可以百度，但是要小心很多的坑，pip的时候最好有一个镜像，tesserocr你直接在pycharm里安装是进行不下去的，安装了tesseract之后去下载w...
2019-11-02 13:41:03
1720
原创 python 破解验证码之一：PIL生成不同难度的验证码
@TOCPIL生成不同难度的验证码今天开始要学搞搞验证码，先一点点入手，先从自动生成验证码开始哈哈，直接上代码，前面的会有很全的注释，后面就不写了首先def getRandomColor(): # 获取一个随机颜色(r,g,b)格式的 c1 = random.randint(0, 255) c2 = random.randint(0, 255) c3 = r...
2019-11-02 12:13:39
268
原创 'tuple' object does not support item assignment
@TOC‘tuple’ object does not support item assignment很简单的问题，今天遇到的，tuple里的数据不允许修改， 如果你想写 tuple[x] = xx就要报错，如果你是想把里面的数据修改一下，可以引用一下， a = tuple[x] 然后去改a，然后在需要用到tuple[x]的地方用a替代。感觉基本功还是很差。。这shadiao错...
2019-10-31 17:33:33
4692
原创 python爬虫遇到crypto加密
@TOC爬虫遇到crypto加密这几天疯狂加班么的时间写blog，今天处理的快，写一写之前无意见到的很厉害的网站，看了看还是网易易盾写的呢好像?全国建筑市场监管公共服务平台里的企业数据（话说这些都是公开的应该不会是面向监狱编程吧？）企业数据及详情页被加密前情提要：如果你还不知道requests或者getpost或者n多基础知识你还是先学学别的，不要老想着一步到胃 想啥呢得到的数据是这样婶...
2019-10-31 11:26:51
4645
8
原创 scrapy的start_requests无法运行
终极沙雕错误今天犯了一个终极沙雕的错误，沙雕到不能再沙雕，scrapy写的爬虫无法运行下去，到了start_requests就跳过了，最后发现是start_requests写成了start_request，我的老妈啊我几个小时就因为一个s嗝屁了ORZ...
2019-10-23 17:41:47
1407
原创 xpath抓不到东西之网页结构与检查的不一样和tbody问题
我的爬虫学习xpath抓不到东西之网页结构与检查的不一样tbody我怀疑是狗贼前端故意的答案xpath抓不到东西之网页结构与检查的不一样今天遇到了个更神奇的操作，xpath找不到东西！我在用scrapy的时候.xpath死活都抓不到东西，而且我的xpath绝对没写错（与检查的一致），我今天就不用正则，老子非要把你用xpath抓出来不行tbodytbody 在response里没有，这是浏览...
2019-10-22 17:13:25
976
原创 for循环结束触发else
我的python学习for循环结束触发elsefor循环结束触发else今天发现了一个惊天大咪咪for循环结束后会如果有else会触发else，惊了 是只有我不知道吗还是bug哦code like below：for i in range(1, 5): print('i')else: print('啊 我被触发了')—> 1—> 2—> 3—> 4...
2019-10-14 17:05:27
366
原创 Python爬虫是用多线程还是多进程
我的爬虫学习Python爬虫多线程多进程多线程多进程Python爬虫多线程多进程多线程自己的爬虫一直在用多进程，以前一直没了解过多线程，只知道多线程适合IO密集型场景，感觉自己的也不太需要，所以就一直用Multiprocessing，昨天经理让我们写多线程的爬虫，我就去学习了一下，了解到了Python有一个终极黑科技：GIL锁（global interpreter lock）任何Pyth...
2019-10-12 09:21:23
1322
原创 json.decoder.JSONDecodeError: Expecting value
我的爬虫学习json.decoder.JSONDecodeError: Expecting valuejson.decoder.JSONDecodeError: Expecting value今天在爬数据的时候遇到一个沙雕问题，得到的明显是个json格式的用json.loads却失败了，百度了下是因为json里必须是双引号而不是单引号(这个沙雕问题做网站的就不会出错的吗。。。),用replac...
2019-10-09 15:51:03
676
原创 requests遇到的各种疑难post类型
我的爬虫学习自从用了requests，头也不疼了，腰也不酸了，唯一的问题就是遇到的post格式各种各样，简直是五花八门，今天把它列出来解决一下，前提你已经会了f12分析网页一个key对应多个value表单post是一个jsonpost被加密，在里面看到csrftoken除了post里有csrftoken，还有另一个信息被加密自从用了requests，头也不疼了，腰也不酸了，唯一的问题就是遇到的p...
2019-09-27 17:37:50
561
原创 xpath找不到东西
我的爬虫学习xpath找不到东西xpath找不到东西上午刚出现了个xpath+text（）找不到东西，下午就遇到了xpath找不到东西，这整的。。。xpath是这个/html/body/div[4]/div[2]/div[2]/ul/li[3]/table/tbody/tr[2]/td[3]/a/@href在浏览器的xpath插件也试过了没问题，问了问同事也说不知道，最后百度了一会发现...
2019-09-26 14:12:27
1092
原创 xpath使用text()失效
我的爬虫学习xpath使用text()失效xpath使用text()失效今天分析网页的时候，想用xpath获取一下一页里每一个二级url的标题，发现xpath写的没错，不写xpath之前也能得到标题，当然是用谷歌里的xpath插件（非常好用），然后发现加上text()之后就显示不出来了，变成了然后就百度各种答案，再分析了下网页源码，发现竟然是这么写的网页源码竟然是这么写的，这程序员是...
2019-09-26 09:01:47
2040
1
原创 requests爬取网页遇到json(response乱码)
我的爬虫学习requests爬取网页遇到jsonrequests爬取网页遇到json当你用post去获取一个网页的源码，有时候会遇到post得到的response是一堆乱码，如下{"controls":[],"custom":"{\"RowCount\": 20,\"Table\" :[{\"categorynum\":\"004001001001\",\"lbname\":\"\u5DE5...
2019-09-23 17:53:09
591
原创 requests爬取get\post网页及二级链接网页
我的爬虫学习requests爬取网页及二级链接网页requests获取网页requests爬取网页及二级链接网页相对于scrapy+selenium，真正上班了才发现requests是真的好用，简便快捷，不需要配置一大堆的东西，即写即用，但是有些被设置了很复杂的反爬虫网页的时候，selenium的click（）方法是真的好用T.Trequests获取网页#首先importimport r...
2019-09-23 13:35:49
1295
原创 正则表达式匹配中文及匹配目标中文的首部
我的python学习正则表达式匹配中文及匹配目标中文的首部正则表达式匹配中文及匹配目标中文的首部如题 直接进入正题，在一个小项目上遇到需要用正则表达式匹配一段文字如下中标人 xxxx公司中标人 xxx1公司如何用正则表达式把大量的这样的公司爬取下来，代码如下import re #这是肯定的content = '中标人 xxxx公司'pattern = re.complie('中...
2019-09-17 11:18:28
566
原创 Xpath使用
我的Python学习19/9/9Xpath学习Xpath节点XML实例文档XMl实例文档Xpath学习爬虫，避免不了使用Xpath工具，Xpath是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历。所以在学习之余发一篇博客加深印象。Xpath节点在Xpath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（又称为根节点）<?x...
2019-09-09 15:30:38
277
原创 我的python面试遇到的笔试题和惨痛经历。。。
我的python学习19/9/6我的python面试遇到的笔试题和惨痛经历我的面试经历面试题我的python面试遇到的笔试题和惨痛经历决定把这几次寻找python实习时遇到的笔试和经历写出来，个人觉得贼有意思我的面试经历就把两次最印象深刻的面试经历说出来吧。1：我们这二十号人，两个老板是北大博士，所有员工要么就是海归名校，要么就是北大清华，你这是啥学校？当我听到这句话的时候瞬间无话可说...
2019-09-06 17:40:30
1053
原创 列表生成式
我的python学习19/9/6列表生成式列表生成式列表生成式新的一天继续学习列表生成式即List Comprehensions，是python内置的简单强大的创建list的生成式。举个栗子：要生成list[1,2,3,4,5,6,7] 可以用list(range)函数l(range(1,8))print(l)>[1,2,3,4,5,6,7]如果要生成[1x1,2x2,...
2019-09-06 13:14:38
134
原创 dict和set
我的python学习19/9/5使用dict和setdict字典set最后再说一个好玩的使用dict和set小小白第一次开始更新blog，用来督促自己学习~，学习资料来自于各大网站，学习的地址会po到网页上，基本上都是开源的地方学来的知识，可能要过一段时间才有能力自己产出代码嘿嘿。大四学生，新手一枚，如有错误，请多指教dict字典python内置了字典：dict的支持，在其它语言也称为ma...
2019-09-05 20:14:38
325
空空如也
django如何在model导入已经存在的mongo数据库?
2020-01-13
爬虫遇到网页传的是payload且payload是一个list后带一串数字
2019-10-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人