fanfan家园

原创 猜猜我的上半年在哪儿

【上半年浑浑噩噩，一直期待、一直失望，到最后绝望，离开】“331、领导在努力、本周五、下周五、月末会有答复、ST、某团拒绝、竞调、程序正在走、重新走程序、40w商户和团队都是价值”就这样拉开了上半年苦逼生活的序幕，上面这组词语连起来怎么像个老赖一样，下周还、月底还、下月发了工资肯定还...由于领导们的推来推去，为了讨薪成功率高些，也做了一些功课，查了CEO、CFO、CTO、人事总监这些术语...

原创 pw终端密码管理工具

pw使用文档pw诞生背景'''面向对象：程序员随着各种平台的诞生，我们需要管理的密码有很多，我们往往使用记事本、备忘录等一些工具进行保存，个人觉得这些记事本和备忘录都不安全，只要手机联网就不会很安全，所以自己用python简单写了个终端代码管理工具pw，pw是离线工具，不具备联网功能，所以大家可以放心使用，其次一些程序员习惯使用终端，在连接mysql、redis、服务器等其他设备时...

原创 很有用

curl -XPUT "http://localhost:9200/snapshot/backup" -H 'Content-Type: application/json' -d'{ "type": "fs", "settings": { "location": "/dev/es", "compress": true, "maxsnapshotbytesperse...

原创 懂这些技术能月入多少呢？？

语言方面c、c++（曾经热爱过）、java（只是了解，大学时候接触过）、php（简单会写脚本，但反感使用这门语言，没有任何意见，只是个人不喜欢）、python（熟练使用，非常喜欢）技能web方面（正在从事）Django、Flaskmysql、redis、ElasticsearchZMQ爬虫方面（从事过爬虫工作）scrapy、selenium、chrome插件开...

原创 19回首-20展望

2.27(日期)我是一名毕业于山西大学2019届毕业生，在2月27号之前，由于学校的教学模式和其他专业有些不同，我们还没有从学校毕业，可是早已离校，出来找工作，当时由于在外边学习的原因，错过了学校前一年的秋招和第二年的春招，于是只能自己在一些招聘平台上自己去投简历，然后去面试。起初对于面试毫无经验，处处碰壁，当然在面试的过程中也是不断进步的，从最初的问答模式变成了后来的聊天模式，自己感觉有了很大...

原创 19回首-20展望

2.27(日期)我是一名毕业于山西大学2019届毕业生，在2月27号之前，由于学校的教学模式和其他专业有些不同，我们还没有从学校毕业，可是早已离校，出来找工作，当时由于在外边学习的原因，错过了学校前一年的秋招和第二年的春招，于是只能自己在一些招聘平台上自己去投简历，然后去面试。起初对于面试毫无经验，处处碰壁，当然在面试的过程中也是不断进步的，从最初的问答模式变成了后来的聊天模式，自己感觉有了很大...

原创 没有下载按钮视频就不能下载了么，教你这种骚操作。

1、使用工具介绍chrome浏览器（或者其他浏览器）安装chrome浏览器或者其他浏览器都可以，目的是要打开视屏链接。复制代码ffmpeg工具ffmpeg简介FFmpeg是一个自由软件，可以运行音频和视频多种格式的录影、转换、流功能，包含了libavcodec——这是一个用于多个项目中音频和视频的解码器库，以及libavformat——一个音频与视频格式转换库。 **主要参数** ...

原创 《将博客搬至CSDN》

进军csdn

原创 在线文章提取工具推介

项目地址：github.com/fandsimple/…使用：项目readme中有详细的使用说明项目使用效果

原创 加密的m3u8、ts文件合并

加密后的ts文件不能直接合并或播放，需要使用key对每个ts文件进行解密。分为两种情况：(1).如果ts文件已经全部下载好，则可以直接在本地通过ffmpeg快速解密合并。(2).如果ts文件没有下载好，则可以通过vlc直接下载整个视频，或者通过ffmpeg下载并转换。无论是哪种情况，都要去视频源地址下载m3u8文件。如果可以下载key(有些网站加密方式比较严谨，不那么容易获取到key)，把...

原创 chrome浏览器开发解决csp问题

问题1：解决：将外部需要引入的js文件或者其他资源下载下来，放在chrome扩展中进行引入，问题方可解决。例如：问题2：解决javascript中内联写法的不支持（inline）解决：参考：developer.chrome.com/extensions/…例如：...

原创 mitmproxy实战

抓取某宝所有分类'''操作说明： 1、mitmdump -s /Users/fanding/spiderCode/spider-python/po_taobao/taobao_category.py 2、手动点击分类 3、执行cat category.log | grep category: | awk -F ':' '{print $4}' > category...

原创 mysql多版本并发控制MVCC

事务隔离级别设置set global transaction isolation level read committed; //全局的set session transaction isolation level read committed; //当前会话复制代码修改事务提交方式（是否自动提交，mysql默认自动提交）SET AUTOCOMMIT = 1; //自动提交，为0手动提交...

原创 shell脚本中使用外部定义的alias

Linux shell有交互式与非交互式两种工作模式。我们日常使用shell输入命令得到结果的方式是交互式的方式，而shell脚本使用的是非交互式方式。shell提供了alias功能来简化我们的日常操作，使得我们可以为一个复杂的命令取一个简单的名字，从而提高我们的工作效率。在交互式模式下，shell的alias扩展功能是打开的，因此我们可以键入自己定义的alias别名来执行对应的命令。但是...

原创 http转socket5

app.yinxiang.com/fx/be69c4e3…

原创 mitmprox基本快捷键

基本快捷键b 保存请求 / 返回头C 将请求内容导出到粘贴板，按 C 之后会有选择导出哪一部分d 删除 flow 请求E 将 flow 导出到文件w 保存所有 flow 或者该 flowW 保存该 flowL 加载保存的 Flowm 添加 / 取消 Mark 标记，会在请求列表该请求前添加红色圆圈z 清空 flow list 和 eventlog/ 在详情界...

原创 selenium特征值

webdriver__driver_evaluate__webdriver_evaluate__selenium_evaluate__fxdriver_evaluate__driver_unwrapped__webdriver_unwrapped__selenium_unwrapped__fxdriver_unwrapped_Selenium_IDE_Recorder_sele...

原创 scrapy源码级别了解

scrapy 中间件介绍阅读须知先来总的看scrapy默认都有哪些downloadmiddlewares以及他们的注册顺序，如下图*注意：序号越大的越后执行。复制代码UserAgentMiddleware中间件作用：设置useragent的系统中间件，源码如下图简单描述：在开启spider的时候，读取setting中的USER_AGENT，然后设置成为默认的userAgent，代码...

原创 python爬虫学习指引

需要有python基础官方中文文档：docs.python.org/zh-cn/3/入门的话看菜鸟教程就好python爬虫相关网络请求包urllib库requests库两者区别：urllib出来比较早，比较原生，而requests在urllib基础上封装的，一些方法更好用。两者可以实现的功能差不多相同。curl简单去学习curl，在模拟请求的时候可以用curl去调...

原创 怎么学习pyecharts

最好是先看官方文档pyecharts中文文档https://pyecharts.org/#/zh-cn/intro复制代码github上克隆pyecharts源码https://github.com/pyecharts/pyecharts复制代码有能力的可以翻看源码，要是单纯使用的话看几个例子就好了，如上图圈住的example文件中是一些常用图的列子。例子代码非常简单，有点pyth...

原创 布隆过滤器python实现

说明可以pip install pybloom,使用pybloom中的BloomFilter进行实现>>> from pybloom import BloomFilter>>> f = BloomFilter(capacity=1000, error_rate=0.001) # capacity是容量, error_rate 是能容忍的误报率>&g...

原创 scrapy中添加cookie点坑点

cookies_enabledcookie_enabled默认是开启着的1、默认cookie引擎自动开启2、在scrapy自动跟踪cookie是想要添加几条cookie的操作(自己构造request，request默认接受cookies字典作为参数进行构造)，这种情况scrapy会将自定义添加的和系统自动跟踪的cookie进行合并。3、完全自定义cookie，不需要scrapy中自定义的...

原创 scrapy和headless完美结合

scrapy_headless（作者：fandsimple）git地址：github.com/fandsimple/…scrapy和headless完美结合问题描述我们平时能够使用scrapy的时候绝大多数情况是不会使用headless+selenium的，因为那些无头浏览器的抓取速度和scrapy直接抓取速度是相差太远的，可是有些页面的访问需要配合相应的cookies才能正确访问，可是在...

原创 解决tmux下连接远程机器不支持汉字问题

原创 mysql、mongdb傻瓜式操作

mysql基础知识数据库简介'''数据库的诞生： 人类在进化过程中，创造了数字、文字、符号等进行数据较多记录，但是随着认知能力和创造能力的提升，数据量越来越大，对于数据的记录和准确查找称为一个重大难题。计算机诞生后，数据开始在计算机中存储并计算，并设计出了数据库系统数据库解决了的问题： 1、持久化存储 2、优化读写 3、保证数据的有效性为什么要使...

原创 python语言基础(傻瓜式文档)

python语言基础数据存储思考思考：为什么使用计算机？为了存储数据、处理数据思考：数据存在哪里？数据存储在内存中思考：内存是怎么存储数据的？首先要弄清楚怎么存储数字复制代码内存内存：是计算机存储数的介质抽象内存：一个开关，有两种状态，开启和关闭，一种对应1，一种对应0。把8个开关放到一间房子里，可以称这间房子为“一个字节”，一个开关代表的是一位。每个房间都有门牌号，看做...