- 博客(199)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 数据库课程设计
图书管理系统1.概述项目背景2．需求分析2.1 系统需求2.2 数据需求2.3 数据字典2.3.1 书籍信息表2.3.2 库存信息表2.3.4 顾客信息表2.3.5 管理员信息表2.3.6 图书类型信息表2.3.7 订单详细信息表3.数据库设计3.1 ...
2019-01-06 10:00:32
77644
18
原创 用户证书问题
用户证书目录/data/misc/user/0/cacerts-added、Android7后，系统只信任系统证书，需要把用户证书移动到系统证书目录。系统证书路径/etc/security/cacerts。使用MagiskCertificates模块来移动证书。
2022-06-30 21:43:53
1011
原创 大众点评woff反爬
一、调试发现字体是加密的，猜测试自定义字体。二、WTF woff？woff是一种网页采用的字体格式标准，……查看页面源代码，确认是woff加密三、绕过①获取woff文件随便选择一个属性，发现使用的是PingFangSC-Regular字体，全局搜索这个字体的来源，发现是由font-face引入。在这个css文件中引入了几个woff文件，把这几个woff文件全部保存下来。共有3个②如何与汉字映射？有两种办法可以查看woff文件，一是百度在线字体编辑，二是fon.
2022-01-12 23:33:13
1194
2
原创 使用Python获取系统相关信息
一、psutil模块psutil可以获取系统内存、磁盘、网络等信息。二、基本使用https://pypi.org/project/psutil/三、使用实例：获取一些系统相关信息import psutilimport pynvmldef get_gpu_info(): try: pynvml.nvmlInit() deviceCount = pynvml.nvmlDeviceGetCount() gpu_list = []
2020-07-20 15:45:45
626
原创 字典树
Trie树，即字典树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串(但不仅限于字符串)，所以经常被搜索引擎系统用于文本词频统计。 它的优点是:最大限度地减少无谓的字符串比较，查询效率比哈希表高。核心思想Trie的核心思想是空间换时间。利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。...
2020-02-15 21:20:12
263
原创 Python实现深度和广度搜索
class list_node(object): def __init__(self, val): self.val = val self.next = None# 建立邻接表def create_linjiebiao(data): all_head = [] for i in range(1, 9): all_he...
2020-01-02 19:11:08
340
原创 老鼠走迷宫问题
问题描述：给定一个二维数组，数组中1表示墙壁，0表示通路，由此数组可展示为一个迷宫图。给定入口位置和出口位置，判断之间是否存在通路并显示出走出迷宫的道路。class Node(object): def __init__(self, x, y): self.x = x self.y = y self.next = Nonecla...
2019-12-25 19:16:35
440
原创 redis学习记录（6）高效使用内存
内存回收策略一、删除到达过期时间的键对象1、删除过期键对象 Redis所有的键都可以设置过期属性， 内部保存在过期字典中。 由于进程内保存大量的键， 维护每个键精准的过期删除机制会导致消耗大量的CPU， 对于单线程的Redis来说成本过高， 因此Redis采用惰性删除和定时任务删除机制实现过期键的内存回收。①惰性删除 惰性删除用于当客户端读取带有超...
2019-12-24 21:53:56
227
原创 HTTP协议系统学习
目录一、了解HTTP1、浏览器背后的故事2、HTTP的起源3、通过TCP/IP看HTTP3.1、TCP/IP协议族3.2、TCP/分层管理3.3、TCP/IP通信传输4、各种协议与HTTP协议的关系二、熟悉HTTP1、HTTP协议特点2、迷之URL和URI3、HTTP报文结构分析3.1、常用报文头3.2、HTTP常用方法3.3、状态码...
2019-12-19 17:09:20
1650
原创 裂缝检测标记
闲来无事，做的一个小东西。效果图：既然能检测裂缝，那是不是……本来想开个车，奈何代码有bug，又不想改，就算了吧代码如下：srcImg=imread('3.jpg'); %图片读取 subplot(3,4,1);imshow(srcImg); title('原始图像');srcImg=rgb2gray(srcImg); %灰度图subplot(3,4...
2019-12-18 21:14:48
3528
4
原创 搜索引擎实验报告
一、实训内容搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上采集信息，在对信息进行组织和处理后，为用户提供检索服务，将检索的相关信息展示给用户的系统。网络中用于各种功能的搜索引擎非常多，在求职，找工作方面，智联招聘、拉勾网等也比较优秀，但数据都过于集中，却缺少重点。对于即将毕业的大学生，要花费大量的时间在多个网站投递简历，无疑增加了学生们的工作量。这次实训，我们想要实现的就是整合...
2019-12-12 13:56:18
5023
原创 redis学习记录（5）redis缓存
缓存的使用与设计加入缓存的流程一、缓存的收益与成本1、收益加速读写 因为缓存通常都是全内存的（例如Redis、 Memcache） ， 而存储层通常读写性能不够强悍（例如MySQL） ， 通过缓存的使用可以有效地加速读写， 优化用户体验。 降低后端负载 帮助后端减少访问量和复杂计算（例如很复杂的SQL语句） ， 在很大程度降低了后端的负载。...
2019-12-11 18:17:36
271
原创 redis学习记录（4）redis集群
一、Redis Cluster1、集群（1）单个redis存在不稳定性。当redis服务宕机了，就没有可用的服务了。（2）单个redis的读写能力是有限的。2、数据分布 分布式数据库首先要解决把整个数据集按照分区规则映射到多个节点的问题， 即把数据集划分到多个节点上， 每个节点负责整体数据的一个子集。常用的分区方式：顺序分区和哈希分区...
2019-12-07 18:18:04
211
原创 redis学习记录（3）redis高可用理解
一、主从复制存在的问题 一旦主节点出现故障， 需要手动将一个从节点晋升为主节点， 同时需要修改应用方的主节点地址， 还需要命令其他从节点去复制新的主节点， 整个过程都需要人工干预。二、高可用 redis sentinel1、概述： Redis Sentinel是一个分布式架构， 其中包含若干个Sentinel节点和Redis数据节点， 每个Senti...
2019-12-06 19:09:51
172
原创 redis学习记录（2）持久化&redis复制
目录一、redis持久化（1）AOF1、什么是AOF2、三种策略AOF重写？AOF重写配置：（2）RDB1、什么是RDB？2、触发机制（3）RDB和AOF比较二、redis复制的原理与优化1、什么是主从配置2、复制的配置3、全量复制和部分复制4、故障处理5、常见问题一、redis持久化持久化的作用：将数据从内存异步保存...
2019-12-05 20:39:51
190
原创 redis学习记录（1）
一、redis特性1、速度快 10w QPS数据存放在内存，C语言实现，单线程2、持久化Redis所有数据保存在内存中，但是对数据的更新将异步地保存在磁盘上。3、多种数据结构列表哈希集合有序集合字符串位图 ：BitMapsHyperLogLog:超小内存唯一值计数 12K 计算用户唯一值GEO：地理信息定位4、支持多种编辑语言Java...
2019-12-03 20:09:03
348
原创 使用scrapyd部署爬虫
一、scrapydpip install scrapyd需要两个东西：scrapyd是一个服务器，还需要一个client二、scrapyd-client：pip install scrapyd-client打包本地爬虫，传到scrapyd三、修改项目下的scrapy.cfg文件。[settings]default = zhisousou.settin...
2019-11-29 17:24:14
160
原创 Django+scrapy结合elasticsearch构建搜索引擎（一）
这个项目是大四上学期实习的一个项目。因为我正好也在学Scrapy，所以就以这个作为项目。也可能作为我的毕业设计。github地址：https://github.com/tianmingbo/scrapy-elastic一、elasticsearch使用https://blog.csdn.net/T_I_A_N_/article/details/103253975 elastic教...
2019-11-28 21:36:04
810
原创 搜索引擎搭建
一、java环境安装二、elasticsearch-rtf安装（github）https://github.com/search?q=elasticsearch-rtf三、elasticsearch-head安装（github）需要安装node.js更改安全策略，否则elassearch-head不能连接elasticsearchelasticsearch-rtf\conf...
2019-11-26 21:20:55
546
原创 自动化提交数据
工作需要，要往后台添加数据，我又太懒，不想一个一个点，所以写了一个自动提交工具，使用selenium+爬虫做的一个小工具。懒是我进步的阶梯。添加数据页面from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support...
2019-11-23 11:13:31
379
原创 selenium使用
目录1、使用示例：2、定位元素：3、操作表单元素：4、Cookie操作：5、页面等待：6、切换页面：7、设置代理ip：selenium教程：http://selenium-python.readthedocs.io/installation.html#introduction1、使用示例：首先需要有浏览器的驱动。from selenium import...
2019-11-23 11:06:25
254
原创 Scrapy使用MySQL
供以后写代码参考：一、同步执行import pymysqlclass CollectDataPipeline(object): def open_spider(self, spider): print('open' * 20) self.conn = pymysql.connect(host="127.0.0.1", user="root",...
2019-11-16 18:00:49
501
原创 Scrapy保存图片&自定义保存
一、爬取昵图网第一步：1、新建项目scrapy startproject nituwang2、新建爬虫scrapy genspider nituwang_spider nipic.com3、更改设置……第二步：1、爬虫启动文件from scrapy import cmdlinecmdline.execute("scrapy crawl --n...
2019-11-16 15:38:15
838
原创 CSS选择器&xpath语法
一、xpath语法 表达式 说明 article 选取所有article元素的所有子节点 /article 选取根元素article article/a ...
2019-11-15 22:07:11
249
转载 Scrapy 框架流程详解
框架流程图Scrapy 使用了 Twisted 异步非阻塞网络库来处理网络通讯，整体架构大致如下(绿线是数据流向)：简单叙述一下每层图的含义吧：Spiders(爬虫)：它负责处理所有Responses，从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器) Engine(引擎)：框架核心，负责Spider、...
2019-11-15 21:42:51
534
原创 基于用户的协同过滤算法
最近在做一个古诗推荐功能，以前只会根据点击量，收藏量进行排序，给用户展示点击量、排行量前几的数据。最近新发现一个算法——基于用户的协同过滤算法。原理：1、找到与目标用户兴趣相投的用户。2、根据找到的用户集合中，相似用户喜欢的，而目标用户没有听说过的物品，进行推荐。一、首先连接数据库获取数据import pymysqlimport json# 连接databaseco...
2019-11-08 16:05:08
1426
原创 使用selenium爬取拉勾网
__author__ = '田明博'__date__ = '2019/10/20 8:39'from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as E...
2019-10-20 20:06:27
995
原创 selenium报错
selenium定位时报错：selenium.common.exceptions.ElementClickInterceptedException: Message: Element <span class="pager_next "> is not clickable at point (635,697) because another element <div class...
2019-10-20 19:11:55
439
原创 表情包爬虫
一、同步爬虫import requestsfrom lxml import etreefrom urllib import requestimport osimport reimport timedef get_page_source(link): headers = { 'Referer': 'http://www.doutula.com/pho...
2019-10-12 20:25:18
397
原创 爬取古诗词网（使用正则）
一、正则使用正则表达式常用匹配规则：匹配某个字符串：text = 'hello'ret = re.match('he',text)print(ret.group())>> he以上便可以在hello中，匹配出he。点（.）匹配任意的字符：text = "ab"ret = re.match('.',text)print(ret.group())...
2019-10-11 14:25:20
643
原创 爬虫之全国天气最低的十个城市
__author__ = '田明博'__date__ = '2019/10/9 21:23''''获取所有城市的天气预报，按最低温度排名'''import requestsimport operatorfrom bs4 import BeautifulSoupimport matplotlib.pyplot as pltdef get_page(link): '''...
2019-10-10 13:54:29
596
2
原创 电影天堂爬虫
电影天堂会封IP，多次访问请使用代理池。__author__ = '田明博'__date__ = '2019/10/8 21:17'import requestsfrom lxml import etreeheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:69.0) Gecko/...
2019-10-09 11:57:31
1002
原创 热播电影推荐
练习xPath，爬取豆瓣正在放映电影，获取电影信息，按评分对电影排序。import requestsfrom lxml import etreeimport operatordef get_text(): # 把源代码爬取下来 headers = { 'Referer': 'https://movie.douban.com/', ...
2019-10-08 18:06:33
570
数据结构线性表
2018-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人