- 博客(57)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 苏宁易购书城爬虫（重点：价格请求的url的构造分析）【Scrapy+Mongodb】
下载方式提供两种：github下载腾讯微云下载【密码：54250p】苏宁易购书城爬虫抓取的内容图书价格图书标题图书购买详情页链接图书分类图书作者图书出版社以及出版日期直接切入正题，重点是图书价格的构造，所以，开始就先解决图书价格请求的url构造：这里先列一下分析的本文里分析的页面分别是那几个（如下）：（1）初始分析页面【图书类别分类页】（2）图书目录页面【这里拿其...
2020-02-09 11:09:02
1583
2
原创 【2020-1-28更新(多进程版本)】Python爬虫爬取Blibili视频
即上次写完整个爬虫程序到现在以及有3天左右的时间了，今天拿出上一次的爬虫程序接着跑，就跑不下来了。感觉很可惜，故此修改了原本的程序，可以再次抓取b站视频了。由于网速等众多原因，导致爬取速度极其缓慢，故此，另外加上了 多进程 来提高程序的运行速度，另外加上了注释。本程序唯一的一个不好的地方在于，加上多进程以后，进度条显示错乱，对于这个问题，我也没有深入去解决，所以，原谅本程序的缺点。（本程序只能抓取...
2020-01-28 15:55:09
1598
2
原创 Python爬虫：爬取Bilibili视频(.m4s)
本文仅作为学习笔记参考使用：哔哩哔哩视频抓取b站视频的抓取还是比较困难的，相对于其他的网站的视频获取相对难一些，也是因为我的好奇不怕死心理，打算拿b站视频好好分析分析，具体抓取流程如下：初始分析页面如下：这个页面有点养眼，就从这个开始。本页面的请求以及响应信息较为容易抓取分析，主要就是获取分页标记以及视频跳转到指定播放界面的url地址（如下图所示）我用的办法是把响应中的页面框架信息下载...
2020-01-26 19:06:05
11930
12
原创 python爬虫：批量抓取代理ip，进行验证，抓取豆瓣网站影视信息
本文作为学习笔记参考用：【1】批量抓取代理ip：找到第三方ip代理的网站，进行分析，并批量抓取，抓取程序放到Proxies_spider.py中，如下所示：import reimport requestsfrom retrying import retryclass proxies_spider: def __init__(self): self.url_t...
2020-01-21 12:22:55
53251
原创 Python爬虫实现百度翻译(手机版)，详解sign的构造方法
本文作为笔记学习用：从1.15号开始学习python通用爬虫的东西，去掉18号串亲戚，总共3天学习时长，刚学完request模块，准备去爬下百度翻译练练手，拟造一个翻译小程序给接下来的学习打打气。可是，这个程序进行的并不顺利，我在sign这个参数上卡了接近一天。下面是此参数的分析以及解决过程：【结尾有源码】分析过程：尝试不同的语句翻译，判断出 sign值是不断改变的：“我爱我的祖国” s...
2020-01-19 17:00:36
3394
7
原创 Minio文件共享踩的坑
报签名计算匹配错误，后来找了一大堆网络方案，巴拉巴拉一堆误导，下面是我的解决方案。搭建起来Minio以后，使用文件分享的功能分享视频，然后分享的链接是这样的。说明这个文件路径无法匿名访问，改一下桶的权限为公共就行了。然后我就直接放到内网其他机器浏览器中访问，出现这种情况。改成部署了Minio的机器的ip，我这里改成了。我要在内网其他机器访问这个链接，肯定需要先把。③ 我拼接的可直接访问文件的地址就是。① 我的Minio所在的ip是。，分享文件时指向的端口是。② 我的文件路径是这样。然后就可以正常访问了。
2024-03-28 15:25:38
316
原创 Jenkins+Docker+SVN实现SpringBoot项目半自动化部署
Jenkins+Docker+SVN实现SpringBoot项目半自动化部署
2022-11-19 16:47:35
841
原创 SpringBoot用MultipartFile.transferTo传递相对路径的问题
SpringBoot用MultipartFile.transferTo传递相对路径的问题
2022-11-17 13:43:32
1797
3
原创 Spring Data JPA问题汇总
刚进公司，发现都用的Spring Data JPA，一脸懵，知乎上遇到了一个大佬写的文章，非常详细，分享一下，我把大佬的文章整理了一下格式，比较好看了，原文链接：https://zhuanlan.zhihu.com/p/110024146，再次感谢大佬！！！
2022-10-20 18:03:37
897
原创 JPA使用原生SQL结果集映射的问题
JPA封装的原生方法无法满足复杂SQL的操作，而使用原生SQL导致结果集转换不到自定义对象上，报错，网络水军太多，记录一下
2022-10-11 16:57:09
2320
原创 Win10安装Tensorflow2.0.0遇到的坑
我的电脑没装NVIDIA的显卡，显卡是AMD的低端配置AMD Radeon R5 M430 (2G显存)，所以安装的Tensorflow-CPU版本的首先是安装命令pip install tensorflow==2.0.0 -i https://mirrors.aliyun.com/pypi/simple/然后安装结束，尝试导入tensorflow，输入 import tensorflow 以后会出现 ImportError: DLL load failed这样的的错误，以下是转载的某博主的
2020-05-27 00:02:12
1169
3
原创 抓取青果教务系统信息
加上分析JS，测试程序以及期间遇到360误杀爷的EXCJS模块以及其他巴拉巴拉一堆问题，共耗时一天多一早晨的时间，爬下了青果公司为XX学校用C#开发的教务系统（我还是第一次爬C#写的网站，拿小本子记下来），这里只介绍课程表的抓取思路，其他的什么教师评价啊，什么选课啊都很简单了，都差不多的思路，有耐心的小伙伴可以去写个抢课系统或者其他上商业价值的软件。起初猜想开始猜测，XX学校的管理系统肯...
2020-04-10 15:10:29
3923
4
原创 Ubantu下安装FastDFS和Nginx及其配置
安装过程中用到的所有文件下载：腾讯微云（密码：54250p）云盘里压缩包目录如下：完整安装过程如下——其中几个导致安装及运行报错的地方已经标注解决方法：【1】FastDFS安装安装fastdfs依赖包解压缩libfastcommon-master.zip进入到libfastcommon-master的目录中执行 ./make.sh执行 sudo ./make.sh...
2020-03-05 14:19:47
416
原创 Python爬虫 抓取“中国银行监督委员会”统计信息报告
本文仅用于学习参考：项目下载链接：下载方式一：腾讯微云【密码：54250p】下载方式二：github初始url，即如下所示页面目的：抓取网页中所有的文档标题以及doc，pdf下载链接，以及发布时间，发布日期等信息。分析流程：【1】初始页面抓包得返回信息得json请求地址【2】对数据进行提取过滤【3】信息整合，构造下一页url，继续重复前三个步骤本项目简单实现，就不多说了，可...
2020-02-14 19:49:22
1926
1
原创 windows下php-Apache环境的搭建以及配置的调试，及多站点虚拟主机搭建
【本文仅作为学习笔记用：】Apache + php 压缩包放在腾讯微云上了，需要的自取，密码（54250p）链接：https://share.weiyun.com/5by69zZ 密码：54250p本博文的目录：(1) Apache安装配置 (2) php安装配置你????炸了 你????炸了 你????炸了 你????炸了 你????炸了 你????炸了 你????炸了 你????炸了 你????炸了 你????炸了 你????炸了 你????炸了...
2020-02-05 15:41:44
508
原创 简单注册及登录逻辑的实现
我把整个过程大体分成了这几个部分完成，实现过程不算复杂：1.创建数据库 java04，数据表user： CREATE DATABASE java04 CHARSET=utf8; USE java04; CREATE TABLE USER( id INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(32) NOT NULL, ag...
2020-01-16 18:04:22
2818
1
原创 HTTP Status 500 – Internal Server Error
在完成Servlet跳转的时候发生报错：HTTP Status 500 – Internal Server ErrorType Exception ReportMessage Servlet execution threw an exceptionDescription The server encountered an unexpected condition that preven...
2020-01-16 11:27:40
19312
4
原创 对Druid连接池，JDBC，SpringTemplate，抽取JDBC及Druid工具的回忆练习
目录结构：Durid_p.java这是Druid连接池基本操作的回忆练习package com.Caiden.Durid_T;import com.alibaba.druid.pool.DruidDataSourceFactory;import javax.sql.DataSource;import java.io.InputStream;import java.sql.Con...
2020-01-15 15:56:26
484
原创 Servlet练习代码(笔记)
import javax.servlet.ServletException;import javax.servlet.annotation.WebServlet;import javax.servlet.http.HttpServlet;import javax.servlet.http.HttpServletRequest;import javax.servlet.http.HttpSe...
2020-01-14 17:31:14
413
原创 TomCat服务器软件的安装及IDEA集成集成TomCat以及Servlet配置
【1】TomCat安装及启动以及启动过程中出现闪退问题的解决：TomCat 8.5.50 服务器软件下载（下载地址）TomCat服务器软件的安装：在下载完成之后，将压缩包解压到一个不含有中文以及空格的路径下，此时TomCat安装完成。TomCat启动：进入刚刚解压的文件夹的bin文件夹目录，双击 startup.bat qi启动 TomCat服务器服务器启动截图当我们启动TomC...
2020-01-05 15:53:29
317
原创 对于XML的学习
XML： 1. 概念：Extensible Markup Language 可扩展标记语言 * 可扩展：标签都是自定义的。 <user> <student> * 功能 * 存储数据 1. 配置文件 2. 在网络中传输 * xml与html的区别 1. xml标签都是自定义的，html标签是预定义。 2. xml的语法严格，...
2020-01-01 19:18:52
236
原创 对于JavaScript的重新学习及期间遇到的问题
由于本身对于JavaScript的学习间断性，学的很不扎实，加上JavaScript对于今后学习的重要性，并且再加上本次又遇到期末复习，所以打算比较系统的重新学习一下JavaScript。下面就是通过两个简单的案例对于这几天已学习到的JS部分知识的练习：1. 动态表单（Node的添加删除，属性的动态添加）表格基本框架的和构建：<!DOCTYPE html><html la...
2019-12-30 17:36:52
642
1
原创 Mysql无root密码时如何登陆并修改root密码，以及用户权限的问题
【1】在无root密码的情况下如何登陆Mysql数据库？（1）以管理员权限打开cmd窗口，输入dos命令，结束MySQL服务： net stop mysql （2）cmd窗口中输入下列命令，跳过MySQL登录验证： mysqld --skip-grant-tables （3）保持此cmd窗口开启的情况下，打开另外一个cmd窗口，直接输入下列dos命令无需身份验证登录数据库 mysq...
2019-12-14 13:32:17
1102
原创 解决 IntelliJ IDEA占用C盘过大空间问题
问题描述：在保证其他软件缓存不影响C盘可用空间的基础上，当我们使用 IntelliJ IDEA时间久了，会发现C盘可用容量越来越小，主要原因在与C盘目录下的.IntelliJIdea2019.3文件夹下 plugins，log，system，config文件夹内容越来越大造成。这些文件夹默认保存在C:\Users\Administrator\.IntelliJIdea2019.3这个路径下。并且...
2019-12-02 17:51:17
26260
9
原创 redis数据库的安装及配置，以及期间遇到的错误的解决办法【随手笔记】
Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库Redis 与其他 key - value 缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，...
2019-10-09 18:14:18
504
原创 Django2中数据迁移的时候报错与Mysql版本不匹配的解决办法及推荐Django2的一个不错的中文使用文档
今天周六，在准备十月一号之后社团纳新开课我的第一次课讲的内容，以前因为内存太小只有4G想用但是不敢用Pycharm，现在好了，加了个8G的内存条，如愿以偿用上了Pycharm，装的是最新版本，从第一次学python到现在，算起来是第二次用Pycharm，用的特别生疏，但是不得不说的是这个软件代码提示功能确实强大的让我害怕，通过使用pycharm，我能明显的感觉出来，我落后时代了，我学的那套Djan...
2019-09-28 17:41:50
417
原创 Django开发中使用验证码（随手笔记）
在Django中使用图片验证码，需要以下几个步骤：【1】安装pillow: pip install pillow【2】需要找到一个图片验证码方便起见，图片验证码写在 views.py中，如图所示：方便测试复制，源码放在博客末尾【3】在urls.py配置url，并在主页面中开辟出一块空间来显示验证信息。【4】在 views.py文件中，配置验证信息 并 测试最后还有，Ubantu的字体文...
2019-09-24 18:05:02
394
原创 第一次备课，在社团里讲CSRF跨站信息伪造攻击，Django演示
老社长面临毕业，接下来社团负责人选择了我，社团叫MIIE移动互联，以参加省赛为初衷，但我并不想让他光为了参加省赛存活，选择
2019-09-24 09:43:09
292
原创 Django中遇到的问题汇总
这几天学校里的一些破事耽误了以下学习进度，不过从今天开始，就有所改观了，晚自习在工作室，环境没得说，效率没得说。接下来，就说一下前几天Django中遇到的问题：这几个问题中，有几个比较让人头疼的问题，比如说，然我最头疼的Django这个问题：CSRF校验的问题：这个问题呢，是由于Django自带的 CSRF校验 造成的，找了很多种解决办法，也走了很多弯路，也学到了不少的东西。接下来，就说一...
2019-09-24 08:13:43
536
原创 Django学习总结
以后的计划以及今天Django（基础/简单）学习的总结**今天呢，按照计划有条不紊的进行，我看看，幺喝，学Django已经三天了把，学习内容有限，也就学了那么几个可能皮毛都算不上的知识点，不难，也不多，做了一个比较全面的梳理。当作回忆性博文。今天呢，从 暑假开始到现在，能相对踏实的学习 Python已经有42天了，经历了漫长的转化时期——从C语言到Python的代码规范的转变。python...
2019-08-22 21:54:50
1240
4
原创 大后天就开学了，今天Django的学习总结一下
Django学习（2019 / 8 / 20）今天呢，简单学习了几个关于Django的知识，也算是正是学习的第二天了吧，算是挺充实。不过今天也收到一个不好的消息：说好的27号之前到校，结果23号就要开学了，马上就要步入大二学哥的行列了，有点激动，不知道遇见小学弟小学妹以后，他们会不会叫我学哥呢。不扯了，说今天的正事：在今天捣鼓Django期间呢，干了点别的事，把 Virtual Box虚拟机...
2019-08-20 15:58:38
292
1
原创 Django框架学习第二天总结（2019 / 8 / 18）晴
Django框架学习第二天总结（2018 / 8 / 18）晴对于python中的元类实现ORM的方法，我自己也做过一些简单的分析可以点击链接看一下我之前的博客 ，这里就不多说了，直接进入正题今天学到的东西不多，但也不少。今天是对于 Django学习第二天，在昨天 安装了 Django ，进行了简单的认识基础上，学习了 如何使用 Django中内置的 ORM 通过模型类来创建数据表，进行数据...
2019-08-18 20:12:25
234
1
原创 对于前几天学习的总结以及遇到的Django的问题的解决方法
对于前几天学习的总结以及遇到的Django的问题的解决方法简单说一说这几天在干什么——首先呢，用了 3 天的时间学了 JavaScript，花了 4天的时间勉强入门了 Java，也明白了两个道理：这第一个呢，就是 —— 通过这三天对 JavaScript的学习，我发现我是真的真的对前端 半点兴趣都没有，这三天的时间，就好像是度过了三年一样漫长，我是真的真的一点激情都没有。虽然它和我来到这个世...
2019-08-17 16:24:53
268
(2020.1.16更新) Druid / SpringTemplate / Mysql 的jar包（无需积分，免费！！！）
2020-01-16
Druid / SpringTemplate / Mysql 的jar包
2020-01-15
长连接单任务非堵塞web服务器.py
2019-07-24
epoll实现HTTP服务器.rar
2019-07-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人