- 博客(140)
- 收藏
- 关注
RSS订阅
原创 Eclipse/IDEA快捷键汇总
快捷键* 1.补全代码的声明：alt + /* 2.快速修复: ctrl + 1 （帮助添加变量类型，补全、声明变量名等）* 3.使用单行注释：(选中多行)ctrl + /同时取消多行的单行注释：(选中多行)ctrl + /* 4.使用多行注释： ctrl + shift + / * 5.取消多行注释：ctrl + shift + \* 6.复制指定行(也可选中相邻几行)的代码：ctrl + alt + down(↓) 或 ctrl + alt + up(↑)* 7.删...
2020-06-14 17:21:55
367
原创 Scrapy数据库异步插入的坑
重要参考:将爬虫数据插入SQL数据库是为什么出现重复？重要参考:scrapy爬虫，数据入库后一直有重复数据，百思不得其解！！求指导这是跟我遇到相同问题找到的两个参考，看了下他们的解释，大致原因如下：因为数据库柄插入操作是次线程的，与主线程不同步，但是你传递给数据库柄的item 是引用传递，如果主线程中改变item的值了，那么次线程中的item也会改变，所以当数据库真正要插入第...
2019-10-23 09:58:21
1566
2
原创 在windows安装frida环境碰到问题
windows直接安装frida-tools成功后，import frida会导入失败，即会报错误：ImportError: DLL load failed: 找不到指定的模块。后来翻了下往上的信息，大意就是讲Python版本和frida的版本不匹配导致这个错误的，然后解决方案是升级Python就好了。所以我就去frida下载页面瞅了下啊，发现当前版本的的frida支持的Python3.7，如...
2019-08-12 13:24:01
4474
原创 爬虫提交form表单中含有(unable to decode value)解决方法
记录一个昨天下午踩到的坑在一次抓取网站的过程中，使用chrome调试时，发现一个参数为:(unable to decode value),解决方案：content=“text/html;charset=GBK”这里只需要使用python的encode方法将编码转换即可demo: btnLogin = "登录" btnLogin = btnLogin.encode("GBK")搜了...
2019-07-23 08:47:15
1803
转载 各浏览器对 navigator 对象中几个与语言相关的属性的返回值存在差异
标准参考无问题描述各浏览器对 navigator 对象中几个与语言相关的属性（language、userLanguage、browserLanguage、 systemLanguage）的返回值存在很大的差异。造成的影响由于不同浏览器对这几个属性的返回值有很大差异，同时返回的有效值的大小写也有差异。若在获取当前浏览器语言的时候没有考虑到这些差异则可能造成兼容性问题。受影响的浏览器所有...
2019-07-11 14:14:56
1018
转载 [效率算法]计算两百万以下质数的和
这个题两段代码：第一段我自己写的，电脑差点炸了。垃圾 第二段网友写的，1.7s得出答案。流弊啊将两段代码贴在这里，供自己日后学习研究这种效率算法代码的超一流思路# 电脑都快爆了，还没算出答案def isfrime(x): # if x == 2: # return True for k in ran...
2019-07-04 14:50:11
411
原创 某盾的一些简单分析
最近遇到某控的一个检测机制，很奇怪，不知道为什么在网上找不到任何关于他家的分析。不知道是不是太小众化了。说下遇到的奇怪点吧。但是是做一个注册第一次遇到，然后可能估计因为分析了很久吧，网页刷新了很多次，最后导致本机的浏览器的设备信息被拉黑了吧，导致手动注册都注册不了。登录遇到同样的问题。直接上一段分析吧QQOoQQ['forEach'](function (ooO00o, Q0Q000) {...
2019-06-27 15:17:12
514
转载 如何在string.Format方法中输出大括号（{}）
在string.Format参数中，大括号{}是有特殊意义的符号，但是如果我们希望最终的结果中包含大括号（{}），那么我们需要怎么做呢？是”{”吗？很遗憾，运行时，会给你一个Exception的！正确的写法是{{和}}。对，double {{ 或}}即可输出{或}.DEMO:static void Main(string[] args){Console.WriteLine(string.F...
2019-05-20 17:13:54
6380
转载 mysql left join中on后加条件判断和where中加条件的区别
left join中关于where和on条件的几个知识点：1.多表left join是会生成一张临时表，并返回给用户2.where条件是针对最后生成的这张临时表进行过滤，过滤掉不符合where条件的记录，是真正的不符合就过滤掉。3.on条件是对left join的右表进行条件过滤，但依然返回左表的所有行，右表中没有的补为NULL4.on条件中如果有对左表的限制条件，无论条件真假，依然返回左...
2019-05-16 14:52:04
9226
转载 Node 调试工具记录
启动开发者工具要开始调试了。一共有两种打开调试工具的方法，第一种是在 Chrome 浏览器的地址栏，键入 chrome://inspect或者about:inspect第二种进入调试工具的方法，是在 http://127.0.0.1:3000 的窗口打开"开发者工具"，顶部左上角有一个 Node 的绿色标志，点击就可以进入。调试工具其实就是"开发者工具"的定制版，省去了那些对服务器脚本没...
2019-05-08 10:13:07
209
转载 _pickle.UnpicklingError: the STRING opcode argument must be quoted
传送门：https://stackoverflow.com/questions/2613800/how-to-convert-dos-windows-newline-crlf-to-unix-newline-lf-in-a-bash-script/19702943#19702943最后用的 dos2unix成功解决了问题，这么看好像是文件格式的一个问题...
2019-05-05 13:40:08
1459
转载 python3.6 和python 2.7版本安装pycrypto过程及问题（不需要安装vs）
python安装pycrypto真的是踩到很多坑，说起来一把辛酸泪，好在最后成功解决了，总结了一下遇到的问题，写出来与大家共享首先要明白的是crypto和pycrypto是两个不同的模块，小伙伴们不要去安装crypto问题一：unable to find vcvarsall.bat在网上下载pycrypto的包，进入包目录，使用python setup.py install命令安装，报错如...
2019-05-05 11:55:41
2277
转载 python之celery的使用
内容预览：前段时间需要使用rabbitmq做写缓存，一直使用pika+rabbitmq的组合，pika…~简单介绍 Celery 是一个异步任务队列~最常用的代理就是 RabbitMQ 和 Redis~前段时间需要使用rabbitmq做写缓存，一直使用pika+rabbitmq的组合，pika这个模块虽然可以很直观地操作rabbitmq，但是官方给的例子太简单，对其底层原理了解又不是很深，...
2019-04-18 10:18:05
417
1
原创 celery:not enough values to unpack (expected 3, got 0)
celery -A your_app_name worker --pool=solo -l info可以解决传送门https://github.com/celery/celery/issues/4178
2019-04-17 11:35:46
671
转载 JS AST的使用
直奔主题qS抽象语法树是js代码另一种结构映射，可以将js拆解成AST，也可以把AST转成源代码。这中间的过程就是我们的用武之地。 利用 抽象语法树(AST) 可以对你的源代码进行修改、优化，甚至可以打造自己的编译工具。其实有点类似babel的功能。AST高深的狠吓人？AST很简单，并没有你想象的那样高深。很多地方都把这个技术给夸大了，什么编译原理，抽象语法树 光看这名字就觉得吓人。当然一项...
2019-04-16 09:53:00
4202
转载 登录加密算法破解
0x00 前言在日常WEB登录的用户/口令破解中，我们多使用burpSuite针对明文传输、base64加密、MD5加密等进行暴力爆破；查看Burp支持的playload加密方式中包括:URLencode、Base64、SHA、MD5、MD2等：但在日常渗透测试中对WEB系统进行用户或密码暴力破解时，常常会遇到譬如这样的情况：userName=3633756E89341C6CBEF6...
2019-04-15 16:09:36
2073
1
转载 ffmpeg的安装与使用
一、ffmpeg的简介FFmpeg是一个自由软件，可以运行音频和视频多种格式的录影、转换、流功能，包含了libavcodec——这是一个用于多个项目中音频和视频的解码器库，以及libavformat——一个音频与视频格式转换库。主要参数-i——设置输入档名。-f——设置输出格式。-y——若输出文件已存在时则覆盖文件。-fs——超过指定的文件大小时则结束转换。-t——指定输出文件的持续...
2019-04-14 12:25:03
583
转载 TLS 握手优化详解
随着 HTTP/2 的逐渐普及，以及国内网络环境越来越糟糕（运营商劫持和篡改），HTTPS 已经开始成为主流。HTTPS 在 TCP 和 HTTP 之间增加了 TLS（Transport Layer Security，传输层安全），提供了内容加密、身份认证和数据完整性三大功能，同时也给 Web 性能优化带来新的挑战。上次写的「使用 BoringSSL 优化 HTTPS 加密算法选择」一文中，我介绍...
2019-04-12 11:22:23
426
转载 TypeError: this is not a Date object
questions:Any idea why this does not work in Chrome?var foo = (new Date).getDate; foo();I get a TypeError: this is not a Date object. However (new Date).getDate() worksanswer:in JavaScript, th...
2019-04-11 13:55:30
882
转载 CentOS 设置开机自启动服务的两种方法
方法一：ln -s 建立软连接在CentOS中总共有7种运行级别，可以在/etc/inittab 文件中进行设置，7种运行级别对应着 /etc/rc.d/rc[0-6].d 这七个目录ps: 你可能也发现了在/etc下也有同样的7个文件夹即 /etc/rc[0-6].d ，通过查看发现/etc/rc[0-6].d其实就是/etc/rc.d/rc[0-6].d的软连接，只是为了保持和Unix的...
2019-04-10 10:16:57
2136
转载 脚本定制 tmux 环境
在项目上工作时，你可能需要运行一大堆的工具和程序集。如果你在做一个 web 应用，你可能需要一个命令窗口，一个文本编辑器，一个数据库命令窗口，和一个运行着你的自动化测试套件的窗口。这样就有大一堆的窗口需要管理，一大堆的命令需要输入。想象一下你来到了你的工作站前刚坐下，准备开始为你的项目添加新的特性，然后只需要一个简单的命令就可以把这些程序运行起来，每个程序都运行在一个的 tmux 会话中，拥有它...
2019-04-09 10:38:31
997
转载 在nodejs里定义全局变量
如果你正在使用一系列node模块，或许是一个像Express.js一样的框架，突然需要使用几个全局变量。怎样在nodejs里创建全局变量呢？ 对此最常见的建议是“不使用‘var’关键字声明一个变量”或“给object对象添加一个变量”或“给OBJECT对象添加一个变量”。你会使用哪种方式呢？ 首先，让我们分析下global对象。打开一个终端，启动一个node命令提示界面：$ no...
2019-04-03 11:01:24
2319
转载 javascript中function前面的符号的意思!
作为前端，我们经常会遇到这种函数写法：!function() {do something...}()~function(){do something...}()这样的写法是什么意思呢？众所周知，在js中可以这样创建一个匿名函数：(function(){do something...})()//或(function(){do something...}())匿名函数后面的小括号(...
2019-04-03 10:38:29
470
转载 python运行js---execjs 使用
execjs 使用有了selenium+Chrome Headless 加载页面为什么还要用execjs来运行js？ selenium+Chrome Headless 必然是爬虫的一大利器，可是缺点依然存在， 性能问题不可忽视。 但这构不成舍弃它而不用的理由。我认为舍弃包括Chrome Headless、PhantomJS在内的无头浏览器 的原因主要有以下几点： 1. 页面结构改变、弹窗(一些...
2019-04-02 22:11:54
16815
转载 使用Fidder修改https请求，替换本地js文件
步骤：下载Fidder 设置抓https和解密https 由于知乎采用的是https连接，所以要先设置抓https和解密https 这样就安装了根证书。 安装好根证书后，就可以抓取https了。清除浏览器缓存，并且清除fidder的请求列表。使用浏览器进入知乎登录页面。ctrl+F 搜索 main.app. 关键字 找到后在右边点击AutoResponder...
2019-04-02 22:05:51
560
转载 js2py的使用
基本使用:import execjsimport js2pyun ='''function sample(x){ return func2(x)}'''print(js2py.eval_js(un)("Hi"))import js2pyjs = """function escramble_758(){var a,b,ca='+1 'b='84-'...
2019-04-02 21:51:24
2940
转载 那些年绕过的反爬手段
无反爬裸站现在一个网站或多或少都会配置一定的反爬措施，毕竟现在一台笔记本的性能比某些小站的服务器都强，如果不加以限制，分分钟就能把你的资源耗尽。前两年的工商网站有个省份没有限制，没多久就把服务器抓瘫了(只能说服务器配置太太太次了)；如果你服务器能抗那就更好了，用不了多久就能把你全站数据抓下来。记得两年前收集企业名录，一个网站几百万条用了不到两个小时就抓完了。但现在心态变了，如果遇到一个没有验证...
2019-04-02 21:46:11
489
转载 逗号操作符 & (0, function)()
相关链接mdn - Comma_Operatorstackoverflow - Why does babel rewrite imported function call to (0, fn)(…)?概述逗号操作符对它的每个操作对象求值（从左至右），然后返回最后一个操作对象的值。var 语句中的逗号不是逗号操作符，因为它不是存在于一个表达式中。下面的代码，只有最后一个表达式被返回...
2019-04-02 11:30:33
996
转载 python3 unicode列表转换为中文
查了很多很多的资料无果，果然知乎牛逼，知乎，完美解决。爬取网站时，最终得到list内容，编码为unicode，想让其转换为汉字并输出。需要提取的为下图中unicode部分：保存为列表，然后使用for循环：text为获取的网页。pat = '"group": {"text": "(.*?)"'text_list = re.compile(pat).findall(text)for i...
2019-04-01 14:40:09
1433
转载 如何突破网站对selenium的屏蔽
使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹，因此无法被网站直接识别和拦截。这是不是就意味着selenium真的就无法被网站屏蔽了呢？非也。selenium在运行的时候会暴露出一些预定义的Java...
2019-04-01 08:48:41
3066
转载 selenium：解决页面元素display:none的方法
在UI自动化测试中，有时候会遇到页面元素无法定位的问题，包括xpath等方法都无法定位，是因为前端元素被设置为不可见导致。这篇博客，介绍下如何通过JavaScript修改页面元素属性来定位的方法。。。1、具体问题常见的页面元素不可见导致的不可定位，都是由于下面的问题：通过查看相关文档，可以看出display:none方法是设置元素不可见，这就是导致为什么通过定位页面元素无...
2019-03-29 11:01:31
5419
转载 javascript的调试
javascript作为一种普适性的脚本语言，广泛应用于网页端、移动端。而本文将要讲述的是javascript的调试。1. 调试工具1.1 javascript内置命令调试javascript作为一种脚本语言，内置了大量的输出函数。这里主要讲述的是alert/prompt/confirm、console.log、document.write。其实上面的"、"已经为我们分好类的。...
2019-03-28 13:11:42
797
转载 python来操作redis详解
1、redis连接redis提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。redis连接实例是线程安全的，可以直接将redis连接实例设置为一个全局变量，直接使用。如果需要另一个Redis实例（or Redis数据库）时...
2019-03-28 09:41:56
192
转载 linux下杀死进程（kill）的N种方法
转载一篇，最原始的出处已不可考，望见谅！常规篇：首先，用ps查看进程，方法如下：$ ps -ef……smx 1822 1 0 11:38 ? 00:00:49 gnome-terminalsmx 1823 1822 0 11:38 ? 00:00:00 gnome-pty-helpersmx 1824 ...
2019-03-27 13:36:30
304
转载 Centos6安装安装node.js
install node v7.xcurl --silent --location https://rpm.nodesource.com/setup_7.x | bash -#设置镜像npm config set registry=http://registry.npm.taobao.org#安装nodejssudo yum install nodejs#验证安装情况node -...
2019-03-19 10:39:14
337
转载 Linux 下执行定时任务 crontab 命令详解
1、先来一个小小的例子查看当前路径：[root@root test]# pwd/home/admin/test [root@root test]# crontab -l查看当前用户的定时任务 也可以 crontab -uroot -l查看指定用户的定时任务。千万不要忘了中间的sh表示用户拿什么来执行命令00 02 * * * sh /home/admin/optba...
2019-03-19 09:23:41
775
转载 Python 的异步 IO：Aiohttp Client 代码分析
Python 的异步 IO：Aiohttp Client 代码分析Aiohttp是 Python 的一个 HTTP 框架，基于 asyncio，所以叫 Aiohttp。我主要是看源码，想理解它的设计，所以附上了类图与时序图。不可避免的，可读性会比较差。想找教程的话，请移步官方教程，写得还是挺不错的。一个例子下面这个例子，通过 HTTP GET 列出 GitHub 的publ...
2018-07-09 10:24:54
909
转载 虚拟环境jupyter notebook使用
有两种方式创建虚拟环境，分别是anaconda和virtualenv，本文根据创建虚拟环境的两种方式，分别实现jupyter notebook的应用1. Anaconda + jupyter notebookAnaconda 安装 a. 官网下载Anaconda-latest-Linux-x86_64.sh （根据pc选择具体下载版本） b. 终端输入 ： bash Anaconda-...
2018-07-06 14:49:36
6826
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人