- 博客(7)
- 收藏
- 关注
RSS订阅原创 关于python中kafka的producer和consumer推送消费失败问题
用的公司电脑，之前在公司的时候用本机搭建了一个kafka的服务，之前用的一直好好的，今天在家用本机测试的时候，发现producer往kafka推送任务的时候失败，在删除了kafka的log文件之后再从新启动，log文件又回来了，但是就是不能推送，zookeeper正常，kafka服务正常，就是不行，后来在调整了kafka的配置文件中的允许ip之后服务可以正常了。...
2022-05-13 20:41:47
881
原创 关于scrapy-redis Ctrl+c 不管用问题
在一次执行完scrapy解析完数据之后想要结束的时候，使用Ctrl c竟然不管用，之后查找了下，发现是本地的redis未响应，r刷新了下redis之后scrapy得到redis响应之后就可以结束了。
2022-04-12 15:35:22
1032
原创 ‘latin-1‘ codec can‘t encode characters in position 5-17: ordinal not in range(256) 在请求数据的时候提示报错
'latin-1' codec can't encode characters in position 5-17: ordinal not in range(256) 编码问题
2021-12-15 10:39:05
2647
1
原创 爬虫获取东方财富基金持仓情况
获取一些基金的信息1.fund_stack(max_page=26) max_page自己固定了最大页码数是26页，这个没有做成自动获取页码数，反正是为了获取优秀的排名靠前的，获取靠后的也没什么意义。通过改变页码获取http://fund.eastmoney.com/data/rankhandler.aspx 当前页面的股票型的基金数据，通过xpath解析后将数据写入到数据库中。2.通过1获取到的基金id，之后将这些基金id的列表进行遍历，请求指定的URL获取数据。3.请求http://fu
2021-09-26 15:02:18
1755
原创 关于微信小程序爬虫关于token自动更新问题
现在很多的app都很喜欢在微信或者支付宝的小程序内做开发，毕竟比较方便、安全、有流量、不需要再次下载app，好多人会因为加入你让他下载app他会扭头就走不用你的app，毕竟做类似产品的不是你一家。 之前做过很多微信小程序的爬虫任务，今天做下记录，防止很久不用后就会忘记，微信小程序分为两大类： 1、是不需要登录的（这种的话不做分析，毕竟没什么反爬） 2、需要登录的 2.1 登录一次之后token永久有效 2.2 登录一次token几分钟内到几小时内失效
2021-09-26 14:53:29
3819
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人