- 博客(6)
- 收藏
- 关注
RSS订阅原创 编写自己的scrapyd实时监控api
写爬虫很简单，写出高可用的爬虫就不容易了，scrapyd是官方的scrapy管理工具，但是还是不能满足实时监控和告警的需求。为此做了些改造，可以监控爬虫爬取速率，各种类型exceptions的个数，这样就可以对接其他系统进行实时监控和告警了，离着高可用又近了一步。先看效果，参数接收jobId，返回spider stats：爬虫刚启动时访问api:爬虫运行过程中访问api：爬虫结...
2019-05-02 21:20:19
902
原创 周志华《机器学习》第二章 模型评估与选择 笔记及习题解答
第二章 模型评估与选择 笔记笔记经验误差与泛化误差过拟合评估法留出法交叉验证法留一法自助法性能度量笔记经验误差与泛化误差 学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”过拟合 学习器把训练样本自身特点当做所有潜在样本都会具有一样的性质，导致泛化能力下降，这种现象叫做过拟合评估法留出法 用“分层抽样法”将数据集D划分为两个集合：训练集SS...
2019-04-20 11:10:30
2937
原创 周志华《机器学习》第一章 绪论 笔记及习题解答
第一章 绪论 笔记基本术语假设空间版本空间数据集(训练集)习题解答1.1 表1.1中若只包含编号为1和4两个样例，试给出相应的版本空间.1.2 与使用单个合取式来进行假设表示相比，使用“析合范式”将使得假设空间具有更强的表示能力。若使用最多包含k个合取式的析合范式来表达表1.1的西瓜分类问题的假设空间，试估算有多少种可能的假设。1.3 若数据包含噪声，则假设空间中可能不存在与所有训练样本都一致的假...
2019-04-14 20:41:22
886
原创 不使用内置函数，将字符串转换为整形
记一面试题：不使用内置函数，如何将字符串转换为整形 def convert_to_int(str): s = 0 for i in str: s *= 10 tmp = ord(i) - ord('0') s += tmp return s val = con...
2019-03-11 16:54:16
393
2
原创 js逆向分析实战之七麦数据
1.介绍： 要分析的网站是：https://www.qimai.cn/rank 难度：中 ①当你打开网站，打开控制台的时候，网站有debugger检测,会陷入一个死循环，让你无法调试，如下图： ②在解决掉debugger问题后(稍后介绍如何解决)，点击到你想爬取的数据页面如：https://www.qimai.cn/rank/index/brand/paid/device/iph...
2018-11-11 23:49:21
6971
8
原创 Python使用smtplib在线校验邮箱真实性，有效性
找现成的没有找到，自己写了一个脚本https://github.com/Tzeross/verifyemail
2018-09-30 10:03:23
4938
13
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人