- 博客(45)
- 收藏
- 关注
RSS订阅原创 javaweb入门阶段可能遇到的问题
本文集合了一些新人在javaweb入门阶段可能遇到的问题，持续更新。问题一：idea控制台中文日志乱码解决方法1：在菜单栏找到HELP->Edit Custom VM OPtions中加 -Dfile.encoding=utf-8-Xms128m-Xmx2032m-XX:ReservedCodeCacheSize=240m-XX:+UseConcMarkSweepGC-XX:SoftRefLRUPolicyMSPerMB=50-ea-XX:CICompilerCount=2-.
2021-04-25 21:27:50
214
1
原创 VIP品会密码加密解密与登录
上班都快一周了，一直想更新，奈何小伙还没有从假期的快乐中缓过来，今天终于耐下心来更新一小篇。抠一下某品会的JS代码，接着使用抠取的JS代码加密密码进行登录。友情提示：为避免不必要的纠纷，本文中所有网址都进行了一定隐藏。看完本文觉得有帮助关注一下知识图谱与大数据公众号吧，有大量抠JS代码的文章，当然不关注也无所谓，完整代码点击文末阅读原文。如有侵权，联系删除。目标标题已经阐明了本文的目的：密码加密解密；利用第一步加密方法加密后进行登录；完整代码中尝试了多账号号批量登录（由于篇幅有限，移动到了.
2020-12-30 16:41:58
9539
原创 每日爬虫JS小逆5分钟之旅游网MD5一锅端
来吧骚年，每天花5分钟锻炼一下自己的JS调试也是极好的，对后期调试滑块验证码还原、拖动很有帮助，坚持下去，我们能赢。建议亲自试试哦，如果对大家有帮助的话不妨关注一下知识图谱与大数据公众号，当然不关注也无所谓，有问题随时私信。完整JS代码参考从今天开始种树-同程MD5从今天开始种树-驴妈妈MD5从今天开始种树-途牛MD5从今天开始种树-搜狐视频MD5开始本次涉及同程旅游、驴妈妈、途牛、还有“买三送一”的搜狐，方法重复性虽高但并不阻碍大家亲自尝试哦。同程旅游打开同程旅游登录界面:输入错误的.
2020-09-22 21:43:31
279
原创 你还为没有数据测试而发愁吗？介绍一个专业Fake的python库,什么个人信息、IP、UserAgent统统搞定
小编经常需要批量测试一些数据，有时候测试环境又暂时没数据，特意找了一下，发现有一个可批量生成数据的python库----faker,现在就介绍一下它的使用方法，如果你不想一行一行输入代码，那小编页提供了完整测试代码从今天开始种树。安装pip install faker使用简单使用本库可生成姓名、地址、电话、邮箱、公司等等一系列数据。首先导入库，实例化：from faker import Fakerfake = Faker()先看看正面生成一个人的姓名地址吧： for _ in.
2020-09-01 20:26:54
580
原创 爬虫必看，每日JS逆向之爱奇艺密码加密，今天你练了吗？
本次目标是抠出爱奇艺passwd加密JS代码，如果你看到了这一篇，说明你对JS逆向感兴趣，如果是初学者，那不妨再看看我之前的一些文章，可能对你的学习路有些帮助，跟着一起调试，对JS加密方法理解会更深点。如果调试不出来，可以参考我的代码，本期JS代码放在从今天开始种树准备本期抠爱奇艺passwd加密JS代码，传送门，登录界面如下(我已经尝试了一次):老老方法(输入错误账号密码)找到提交url和提交的参数(即FormData里的值)：FormData提交的参数：可以看到passwd已经被某种.
2020-08-27 21:19:31
455
原创 怎么用python检测图片中是否包含二维码？
前言因为一直在几个平台发文章，发现有些平台并不会检测文章中的图片是否会包含二维码，但是其中也有平台会去检测，所以就去研究了一下python如何去检测。搜了一下大概有两个库可以使用：一个是zbar,这个库是挺牛的，不过只支持python2.7，再者也没有继续维护，什么年代了，应该没人使用python2.7了吧(2020年1月以后连python2.7都不再维护了，有还在使用的童靴该跟上时代了)。一个是pyzbar，基本上传承了zbar的功能。安装顺便把Pillow库也安装了，安装时候最好加上豆瓣源
2020-08-25 21:51:11
1684
原创 兄弟们，我打算抠100个网站JS加密代码召唤，一个也跑不掉，这次轮到小虎牙
本次研究虎牙登录密码加密JS代码，难度不大，依然建议各位读者参考文章独自完成，实在抠不出来再参考这里的完整代码：从今天开始种树准备打开网站虎牙，点击登录标签，跳到登录界面：按下F12，输入错误的账号密码，查看发送的网络请求，从名字就能确定是哪个请求，看下图：看一下都提交了哪些参数，查看Formdata,可以看粗来password已经被加密了：好了，那就通过调用栈进去直接查找password关键字，查看调用栈：依然通过名字来判断点到哪个js文件。进去以后查找password，我找的适合p.
2020-08-23 22:02:17
312
原创 “赶快上车，会调用你也可以当鉴黄师了”说罢，老司机转眼间将车门焊得死死的！
起因本人在某平台发布文章时封面用了几张美女图片，内容里都是正常的流程图之类的，却被这个平台告知如下内容，大家评评理这图片违规么：屡次申诉无果，想想这么大的平台不应该全靠手工审核吧，每天几十万上百万稿件那不得累死人，遂着实想看看是不是有这样的接口供调用，一百度果然有，这里分享一下。准备创建应用本次使用的百度开放平台的图文审核功能传送门，去控制台新建一个内容审核应用：标星号的填完即可保存。下载SDK如下图点击左侧SDK下载，右边是你刚刚新建的应用信息，AppID、APIKey、Secret
2020-08-22 20:17:10
370
原创 这个爬虫JS逆向加密任务，你还不来试试？逆向入门级，适合一定爬虫基础的人
这次选择苏宁易购登录密码加密，如能调试出来代表你具备了一定的JS逆向能力，初学者建议跟着内容调试一波，尽量独自将JS代码抠出来，实在抠不出来参考这里从今天开始种树。传送门前言最近都在研究一些网站的登录密码加密JS代码，都比较简单，非常适合有一定爬虫基础准备进阶的童靴，只有这些做好了下一步才能开始着手滑块验证码这个大坑，废话不多说，直接开整。准备打开苏宁易购登录网址点这里:是不是一阵熟悉的赶脚。老规矩，输入错误的账号密码点击登录，看看提交链接：可以看出登录账号密码被提交到了https:/.
2020-08-21 20:33:56
210
原创 兄弟，你爬虫基础这么好，需要研究js逆向了，一起吧（有完整JS代码）
这几天的确有空了，看更新多快，专门研究了一下几个网站登录中密码加密方法，比起滑块验证码来说都相对简单，适合新手js逆向入门，大家可以自己试一下，试不出来了再参考我的js代码。篇幅有限，完整的js代码在这里：从今天开始种树前戏今天要碰的是汽车之家，关于这个网站网上大多都再研究其字体反爬，如果想研究字体反爬的话直接搜一下就有很多。今天主要是研究汽车之家在登录时的password加密方法，并通过python调用js的方式运行出加密结果。开始老规矩，打开登录页面，长下面这样，与大多网站一样的布局，切.
2020-08-16 21:11:42
525
2
原创 兄弟，别再爬妹子图了整点JS逆向吧--陆金所密码加密破解
好久没有写爬虫文章了，今晚上得空看了一下陆金所登录密码加密，这个网站js加密代码不难，适合练手，不废话，直接开整。前戏热身打开陆金所网站，点击到登陆界面，长这样：按F12打开工具，再登录随便输入一个号码和密码，点击登录按钮，查看发送的请求:一共有3个，从请求名称上也看的出来哪个是登录请求（看不出来的话一个一个点击），拉下来，看看提交的FormData:我输的密码是123，可以看出来这里把password加密了，既然加密了那我们就去js文件里找找加密方法呗。激战开始切换到Sources.
2020-08-15 14:31:59
605
1
原创 亲测centos下mysql安装，不行锤我
步骤均亲测可行，放心食用，没有废话，直接复制语句运行即可。更多内容请访问从今天开始种树下载资源可以登录https://dev.mysql.com/get/Downloads/选择你需要的安装包，我这里使用mysql-5.7.24-linux-glibc2.12-x86_64，建议与我的一样。wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz安装解压资源ta.
2020-08-11 21:19:08
156
原创 懂王一定懂nginx系列(二)：nginx封禁恶意请求，没有人比我更懂
标题纯属开玩笑哈，不要介意，更多nginx内容请访问从今天开始种树前言恶意请求实属烦人，几分钟都能请求几百次，对于小站而言无疑增加了大量负担，辛辛苦苦原创的内容，几分钟被这些恶意请求白嫖个干干净净，泪目。所以针对性的搜集实验了一些方法来尽可能避免这些恶意请求的访问，希望能帮助各位需要的懂懂们。直接开整封禁一些特有请求头作为一个爬虫小手，对毫不限制的请求次数是深恶痛绝，而且大部分人应对基本反爬还会伪造个请求头什么的，但是下面这个ip真是把流氓精神体现得淋漓尽致。它的访问次数没有截全，一秒钟大.
2020-08-10 22:32:07
1001
原创 懂王一定懂nginx系列(一)：墨西哥墙只允许域名访问，禁止ip方式访问
最近迁移网站从今天开始种树到新的华为云服务器，通过nginx转发，发现可以用ip直接进行访问，故去百度了一下只可用域名访问的方式，找到了若干方法，记录一下。前言今天登录百度统计时候发现有一些请求是用ip访问的，不用说了，这些肯定是恶意请求，也怪自己当初没注意配置禁止IP方式访问。上网搜了一下，发现还真有必要禁止IP访问，因为这样做可以避免别人把未备案的域名解析到自己的服务器IP而导致服务器被断网，现在居心叵测的人实在太多了，天天扫描小服务器，实在受不了。几种方法总结如下，亲测可用。如果您对返.
2020-08-09 21:33:43
165
原创 基于表示学习方法的异源监督关系抽取方法
搬运自本人知识图谱与大数据公众号，这是一篇 2018-04-17的文章，可能已过时，仅供参考，更多内容关注公众号或者访问从今天开始种树。发展有监督学习–概念学习无监督学习–聚类远程监督–将已有知识库对应到非结构化数据中生成大量训练数据，训练关系抽取器（人工标注耗时耗力；种子或人工定义的模板经过若干迭代产生语义漂移/错误传递；特定领域远程监督能覆盖的<25%）问题海量数据下多来源（已有知识库，特定领域/环境）带来的关系不确定性。动机现有的关系抽取方法严重依赖于人工标注的数据，为了克.
2020-07-26 21:28:13
257
原创 知识图谱的架构及关键技术概述
搬运自本人知识图谱与大数据公众号，这是一篇 2018-01-15的文章，可能已过时，仅供参考，更多内容关注公众号或者访问从今天开始种树。知识图谱的架构知识图谱的架构包括自身的逻辑结构以及构建知识图谱所采用的技术（体系）架构。1） 知识图谱的逻辑结构知识图谱在逻辑上可分为模式层与数据层两个层次，数据层主要是由一系列的事实组成，而知识将以事实为单位进行存储。如果用(实体1，关系，实体2)、(实体、属性，属性值)这样的三元组来表达事实，可选择图数据库作为存储介质，常见开源的Neo4j、Twitter的.
2020-07-24 21:29:11
4299
原创 知识图谱小白入门
搬运自知识图谱与大数据公众号，这是一篇 2017-12-30的文章，可能已过时，仅供参考，更多内容关注公众号或者访问从今天开始种树。认识知识图谱先看百度百科对知识图谱的解释：知识图谱（Knowledge Graph/Vault）又称为科学知识图谱，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方.
2020-07-21 20:49:18
2688
原创 WEB开发、爬虫中常见HTTP状态码大全，绝对有你没见过的（建议收藏）
http状态码不管在web开发和爬虫中都会遇到，故将各类状态码含义收集如下。更多爬虫内容请访问从今天开始种树各大类含义http协议状态码一共有五种类别，分别是1XX，2XX，3XX，4XX，5XX。1XX类状态码：临时的响应。客户端在收到常规响应之前，应准备接收一个或多个1xx响应。2xx类状态码：服务器成功地接受了客户端请求。3xx类状态码：客户端浏览器必须采取更多操作来实现请求。例如，浏览器可能不得不请求服务器上的不同的页面，或通过代理服务器重复该请求（在爬虫中很常见的页面重定向）。4x.
2020-07-18 13:43:57
2368
原创 python面试48题(附答案)：语言特性与数据类型篇
本文内容均收集自互联网，并对内容不恰当地方进行适当修改。更多请访问从今天开始种树正文1. 谈谈对 Python 和其他语言的区别答：Python 是一门语法简洁优美,功能强大无比,应用领域非常广泛,具有强大完备的第三方库，它是一门强类型的可移植、可扩展，可嵌入的解释型编程语言，属于动态语言。拿 C 语言和 Python 比： Python 的第三方类库比较齐全并且使用简洁,很少代码就能实现一些功能，如果用 C 去实现相同的功能可能就比较复杂。但是对于速度来说 Python 的运行速度相较于 C 就.
2020-07-16 22:03:57
1454
原创 爬虫学习(5):豆瓣、Steam账号PC端登录(登录篇一)
登录后才能获取数据也是现在反爬的一个重点，所以计划接下来的几期内容都是关于登录各大站点。由于js代码过长，所以只截取了部分，完整代码移步从今天开始种树，直接拷贝运行即可。啰嗦两句各大网站登录提交数据的方式不太 一样，有些只需要POST明文的账号密码、有些网站POST的密码是经过加密的(RSA、BASE64、AES、SHA1等等)，还有些网站增加了一些其它的参数，而这些网站的统一特点就是均可以从JS文件中提取加密代码复现出来，获得这些代码则完全依靠数据提取师父们个人的调试能力了，下面就尝试去登录两个不.
2020-07-08 10:55:04
843
1
原创 爬虫学习(4):自动保存百度云盘资源
完整代码移步从今天开始种树开始在上一文中，我们保存了百度云盘的地址和提取码，但是这种分享链接很容易被屏蔽，最好的做法就是保存资源到自己的网盘，不过采集的链接有上万个，人肉保存并不现实，所以本文尝试了批量保存资源，如您还没看过上文，这里可以跳转。爬虫学习3:搭建自己的电影资源网保姆式教学观察请求以下面资源链接为例：https://pan.baidu.com/s/1tHSxZQueF-Wsa2T0NlT3vQ在浏览器中输入以上链接，会自动跳转到https://pan.baidu.com/sh.
2020-06-28 19:59:07
2430
原创 爬虫学习(3):搭建自己的电影资源网(保姆式教学)
本文所涉及的资源均采集自互联网，如有侵权，即刻删除。背景随着版权意识的增强，以前在网上“广为流传”的资源版权均已被几大视频网站购买，有些时候不得不去开所有网站的会员才得以一睹芳容，甚至有些冷门和年代较老的电影还没有。想看还得靠双手来采集，由于某些原因，本文中不会出现这些网站的网址，如想了解，请移步从今天开始种树。思路与流程总体流程与涉及技术如上所示，选定的几个网站采集都很简单，属于baby级，主要还是找到这些网站。选定目标经过四处搜索，发现有几个网站资源均已某度网盘形式保存，固选定了这几家.
2020-06-26 10:17:12
2854
原创 爬虫学习(2):贴吧之骑马与砍杀2，愿它长寿？
前言爷爷，你的骑砍2发售了！！！骑马与砍杀2:霸主 抢先体验版于2020年3月31日发售，到今天砍友们已经畅砍了一周，从中文站快速更新版本的消息来看，目前体验版还存在很多bug，希望经过这段时间的完善能让正式版更加具有可玩性。当然，今天不是来做游戏试玩，我们还是希望能通过爬取骑砍吧的一些评论看看发售前和发售后大众的态度，不废话了，开始。准备工作工具mongdbxpath库reques...
2020-04-07 20:09:43
538
原创 Centos下python3和virtualenv的安装
前言最近买了个云服务器，Linux自带python2.7，都快出python4了,这至少怎么说也得换个python3.6以上的玩玩啊，刚好记录一下安装过程,顺便安装了极其好用的virtualenv，希望对正在安装的人也有帮助。安装步骤python31.备份python2cd /usr/bin/mv python python.bak2.更改yum配置把/usr/bin/yum和...
2020-03-30 23:26:29
238
原创 爬虫入门------从数据看奥斯卡陪跑健将到底是谁？学院派评委都热衷于哪类电影？
前言奥斯卡颁奖季虽已过去有些日子，《寄生虫》夺得最佳影片，不过《1917》也不拉下风，全片的长镜头的确震撼，不过这不是今天要蹭的过气热点。作为一个电影死忠，当然还是想通过数据看看谁是奥斯卡男主最优陪跑员，谁又是白给先锋，奥斯卡派评委都热衷于哪类电影，以前总是听说小李子一直在陪跑（不过他在16年就凭借《荒野猎人》中的出色表现夺得最佳男主，还记得大众网友烧香拜佛来保佑他夺冠），今天就通过爬取一些历年...
2020-03-29 20:04:55
986
原创 深入浅出图神经网络：GNN原理解析（一）
前言 最近在学习图神经网络相关知识，一起来拆书:《深入浅出图神经网络：GNN原理解析》，这本书从原理、算法、实现、应用四个维度详细讲解了图神经网络。接下来打算结合书本内容和相关知识做个专题记录分享，今天先跟大家聊聊关于图的一些基础知识。为什么要研究图？ 很多数据都是图结构，例如社交网络、经济网络、生物医学网络、信息网络（互联网网站、学术引用）、互联网、神经网络。而网络是它们的通用语言，...
2020-03-29 17:39:19
15492
11
原创 MongoDB快速学习
前言这几天准备爬取某网站的一些评论数据，爬取代码都已写完，只剩下存储过程，思前想后还是考虑使用mongdb，毕竟比较适合这种非结构化的数据，以前作过一些了解，不过都基本忘完了，今天正好上官网跟着教程走一遍，记录一下。创建与删除操作1.创建数据库语法MongoDB 创建数据库的语法格式如下：use DATABASE_NAME如果数据库不存在，则创建数据库，否则切换到指定数据库。实例...
2020-03-20 20:01:46
142
原创 Celery的使用（2）---从配置开始
前言上文中我们将配置直接设置在了tasks.py中：tasks.pyfrom celery import Celeryapp = Celery('tasks', broker='redis://:password@host:port/database_num',backend='redis://:password@host:port/database_num')#第一个次数‘tasks’...
2020-03-14 23:01:44
1238
1
原创 Celery的使用（1）---简单配置与初次运行
前言celery是一个基于python开发的简单、灵活且可靠的分布式任务队列框架， 是一个分布式队列的管理工具, 可以用 Celery 提供的接口快速实现并管理一个分布式的任务队列.。它采用了典型的生产者-消费者模型，主要由三部分组成：消息队列broker：broker实际上就是一个MQ队列服务，可以使用Redis、RabbitMQ等作为broker；处理任务的消费者workers：...
2020-03-10 21:54:35
214
原创 10分钟快速安装Redis
获取redis资源wget http://download.redis.io/releases/redis-4.0.8.tar.gz解压tar xzvf redis-4.0.8.tar.gz编译安装 cd redis-4.0.8 make（有Error报错请执行make distclean清除上次编译残留，可执行多次） cd src make install PREFI...
2020-03-10 21:51:05
81
原创 Django使用redis进行缓存
对于非经常更新的服务器数据，若每次都从硬盘读取一次，会浪费服务器资源、拖慢响应速度，而且数据更新频率较高，服务器负担比较大。若保存到数据库，还需要额外建立一张对应的表存储数据。一个更好的方法是在Django中使用Redis进行缓存。缓存配置首先安装django-redis:pip install django-redis在setting文件中设置CACHES:CACHES = { ...
2020-03-09 22:00:54
597
原创 docker安装mysql
最近在部署django，不想在手动安装一遍mysql，便尝试使用docker，总结了安装的心得，这些前提都是在安装了docker后：1. 查看mysql镜像； docker search mysql2.有镜像，直接拉取最新镜像docker pull mysqlv:latest3.启动mysql镜像docker run --name w-mysql -e MYSQL_ROOT_...
2020-03-03 21:48:21
120
原创 基于centos的Django+gunicorn+ngixn应用部署
准备工作----所需软件安装准备服务器，可以购买腾讯云、百度云、华为云等，本次部署采用了百度云，具体购买可以到官网去看看，很简单，这步就略过了；服务器准备以后就需要在上面安装所需的一些软件，这里用的是centos的，首先自带的python环境是2.7的，不满足本次部署需要，如果使用django2.0以上，建议安装python3； mysql、python3、virualen、supervio...
2020-03-03 19:11:33
324
原创 find命令中-mtime、ctime和atime
atime：访问时间（access time），指的是文件最后被读取的时间，可以使用touch命令更改为当前时间；寻找2019年1月5日00:00:00到2019年1月5日23:59:59被访问过的文件：时间单位是day，查找单位时间内的不带符号，当前无往前偏移，因此查询语句为：find . -atime 0ctime：变更时间（change time），指的是文件本身（权限、所属组、...
2019-02-01 16:18:19
1005
原创 python源码中的pass
这段时间在研究一些标准库代码，发现很多实现都是下面这样：@classmethoddef find_spec(cls, *args, **kwargs): # real signature unknown pass@classmethoddef get_code(cls, *args, **kwargs): # real signature unknown """ Re...
2019-02-01 15:58:36
1642
原创 Windows安装zabbix-agent
1、去https://www.zabbix.com/download_agents下载Windows安装包2、在C：\下新建一个zabbix文件夹，将下载好的安装包解压，从里面拷贝bin与conf到zabbix文件夹下，并且新建一个zabbix-agentd.log文件（这个文件可以建在任何盘，只要在zabbix_agentd.win.conf文件中配置其路径）。3、配置conf目录下的z
2018-02-07 15:53:20
1396
原创 linux被恶意登录ssh、vsftpd,解决小脚本
偶然登录zabbix监控时突然看见显示进程过多，随即登录服务器杀死进程，查看/var/log/secure发现这样的错误：Feb 5 20:42:42 instance-m63fnpbp login: pam_securetty(remote:auth): access denied: tty 'pts/2' is not secure !Feb 5 20:42:43 instance-m
2018-02-05 21:06:35
860
原创 zabbix [4] Interrupted system call错误
Get value from agent failed: cannot connect to [[0.0.0.0]:10050]: [4] Interrupted system call报了这个错误，找了很久原因，网上的解决办法就是1.检查端口，关闭防火墙，关闭seLinux；2.关闭ipv6。我试了都无效，telnet还是不通，最后发现我用的是阿里云服务器，默认10050/10051没有开放，需
2018-01-09 11:14:56
18926
1
转载 matlab中对表格和文本的一些简单操作
EXCEL里既有字母、汉字又有数据，在MATLAB中的读取excel中的格式如下Time Temp12 9813 9914 97命令格式如下：其中第一下参数是表（也可以是该表的路径），第二个参数为excel中的表名（通常为sheet1）[ndata, headertext] = xlsread('tempdata.xls',
2016-09-14 15:19:33
4624
转载 虚函数：虚函数的作用
我们知道，在同一类中是不能定义两个名字相同、参数个数和类型都相同的函数的，否则就是“重复定义”。但是在类的继承层次结构中，在不同的层次中可以出现名字相同、参数个数和类型都相同而功能不同的函数。人们提出这样的设想，能否用同一个调用形式，既能调用派生类又能调用基类的同名函数。在程序中不是通过不同的对象名去调用不同派生层次中的同名函数，而是通过指针调用它们。例如，用同一个语句“pt->displ
2016-09-02 18:26:51
335
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人