- 博客(104)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MySQL5.7.34二进制包安装教程（无默认配置文件my_default.cnf）
一、位置总结服务器系统：CentOS Linux release 7.5.1804 (Core)数据库版本：mysql-5.7.34-linux-x64安装包目录：/data/softwareMysql 目录：/usr/local/mysql数据库保存位置：/data/mysql日志保存位置：/data/log/mysql二、下载mysql下载mysql5.7.34，提取码：1024Tips：也可于官网自行选择版本下载。三、1、创建数据库目录：# mkdir /data# mkd
2021-11-30 16:16:15
1629
原创 如何正确地安装并配置epel
在《nmon脚本——对Linux服务器的监控》中，我第一次提到了nmon这一监控工具的神奇使用。然后，很多同学看完后表示：为什么安装nmon时总是报错？？？其实主要的问题，就是：epel没有安装配置好。又会有人问了：epel是神马东西？？？官方地说： EPEL (Extra Packages for Enterprise Linux)是基于Fedora的一个项目，为“红帽系”的操作系统...
2020-01-07 13:52:52
1174
原创 Python爬虫基础——XPath语法的学习与lxml模块的使用【CSDN】
XPath与正则都是用于数据的提取，二者的区别是：正则：功能相对强大，写起来相对复杂；XPath：语法简单，可以满足绝大部分的需求；所以，如果你可以根据自己的需要进行选择。一、首先，我们需要为Google浏览器配置XPath插件：请自行学习，效果如下：二、XPath的语法：注意：XPath的索引从1开始。三、XPath的案例：一级分类：//h3[@class="c...
2019-12-26 14:03:09
1093
原创 Python爬虫总结——常见的报错、问题及解决方案
在爬虫开发时，我们时常会遇到各种BUG各种问题，下面是我初步汇总的一些报错和解决方案。在以后的学习中，如果遇到其他问题，我也会在这里进行更新。各位如有什么补充，欢迎评论区留言~~~问题：IP被封，或者因访问频率太高被拦截？？？解决方案之一：使用代理IP即可。问题：正确使用XPath之后并没有输出？？？解决方案之一：XPath只能提取未注释的代码，改用正则表达式即可。...
2019-12-24 21:59:50
10605
原创 Python爬虫实战——反爬机制的解决策略【阿里】
这一次呢，让我们来试一下“CSDN热门文章的抓取”。话不多说，让我们直接进入CSND官网。（其实是因为我被阿里的反爬磨到没脾气，不想说话……）一、URL分析输入“Python”并点击搜索：便得到了所有关于“Python”的热门博客，包括 [ 标题，网址、阅读数 ] 等等，我们的任务，就是爬取这些博客。分析一下上图中曲线处的URL，不难发现：p为页数，q为关键字。注意：我们一...
2019-12-24 20:57:20
3138
4
原创 Python爬虫实战——反爬策略之模拟登录【CSDN】
在《Python爬虫实战—— Request对象之header伪装策略》中，我们就已经讲到：“在header当中，我们经常会添加两个参数——cookie 和 User-Agent，来模拟浏览器登录，以此提高绕过后台服务器反爬策略的可能性。”User-Agent已经讲过，这篇我们则主要讲cookie的使用案例。通俗地讲：User-Agent的作用是模拟浏览器，cookie的作用是模拟登陆，所以...
2019-12-23 20:38:49
1897
原创 Python爬虫实战——反爬策略之代理IP【无忧代理】
一般情况下，我并不建议使用自己的IP来爬取网站，而是会使用代理IP。原因很简单：爬虫一般都有很高的访问频率，当服务器监测到某个IP以过高的访问频率在进行访问，它便会认为这个IP是一只“爬虫”，进而封锁了我们的IP。那我们爬虫对IP代理的要求是什么呢？1、代理IP数量较多，可以减低被封锁的概率；2、IP生命周期较短，因为没钱o(´^｀)o。接下来，就讲一下从购买代理IP到urllib...
2019-12-23 16:28:33
1943
原创 Python爬虫实战—— Request对象之header伪装策略
在header当中，我们经常会添加两个参数——cookie 和 User-Agent，来模拟浏览器登录，以此提高绕过后台服务器反爬策略的可能性。User-Agent获取User-Agent可通过随机发送请求并进入开发者工具来提取。在这里，我也已经采集了一堆User-Agent，并写成一个能随机获取User-Agent的user_agent.py文件(可直接使用)：import rando...
2019-12-21 09:30:49
2835
3
原创 Python爬虫进阶——Request对象之post请求案例分析【百度翻译】
作为进阶的最后一篇，我们就讲个有意思点的案例吧——百度翻译。一、分析URL接口正如上一篇：《Python爬虫进阶——Get请求》讲到的：当我们进行爬虫开发的时候，首先要做的，就是分析URL接口。打开百度翻译;F12;开发者工具中点击“暂停”和“清空”；输入“python”，并选中如图的“sug”请求；点击“Headers”，可以查看到图中圆圈中的信息；...
2019-12-21 00:51:14
1344
1
原创 Python爬虫进阶——Request对象之Get请求与URL编码【英雄联盟吧】
在上一篇中，我们是通过urllib.request.urlopen直接访问的网页地址，但在实际应用中，我们更多地使用urllib.request.Request对象，因为其可以封装headers和data。一、Request类的参数class Request: def __init__(self, url, data=None, headers={}, ...
2019-12-20 16:31:18
1413
原创 Python爬虫进阶——urllib模块使用案例【淘宝】
很多时候呢，我们都是读取本地HTML文件来进行爬虫练手，但每次都要手打不同的HTML明显耗时耗力；还有些小伙伴不喜欢F12，偏偏喜欢在Pycharm中查看HTML的源代码；……难道每次都只能“复制——新建——粘贴——保存”一条龙服务吗？不不不，我们还有Python的第三方库——urllib。urllib模块是模拟浏览器去访问URL地址，然后拿到服务器响应回来的数据，也就是整个HTML文...
2019-12-20 15:22:20
792
原创 Python爬虫进阶——JsonPath使用案例
如果一个网站采用前端渲染，那么这个网站的前端会访问后端的一些接口，然后拿到后端向前端返回的数据（一般都是Json类型，Json对象的本质其实是一个bytes字节流，但我们可以通过转码的方式，把它转成str），再把Json数据交给JS，JS对其进行解析，最终渲染页面。这就是前端渲染的一个流程。很多商城网站都会这样做，因为可以减缓服务器的压力。那对于我们爬虫开发来说，如果我们拿到了后端向前端返...
2019-12-20 14:27:00
645
原创 Python爬虫基础——re模块的提取、匹配和替换
re是Python的一个第三方库。为了能更直观的看出re的效果，我们先新建一个HTML网页文件（可直接复制）：index.html<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title><...
2019-12-19 23:31:25
2169
原创 Python爬虫基础——正则表达式
说到爬虫，不可避免的会牵涉到正则表达式。因为你需要清晰地知道你需要爬取什么信息？它们有什么共同点？可以怎么去表示它们？而这些，都需要我们熟悉正则表达，才能更好地去提取。先简单复习一下各表达式所代表的意思：案例：定义密码的正则表达式：英文字母开头，可以包括数字、大小写英文字母、下划线，6-16位。表达式为：password_pattern='^[a-zA-Z]{1}[a-zA...
2019-12-19 22:39:42
869
原创 Python爬虫基础——HTML、CSS、JavaScript、JQuery网页前端技术
HTML介绍HTML是Hyper Text Markup Language（超文本标记语言）的缩写HTML不是一种编程语言，而是标记语言HTML的语法双标签：<标签名></标签名>单标签：<标签名/>元素和属性<标签名 属性名=属性值>元素</标签名><标签名 属性名=属性值/>HTML结构<！D...
2019-12-19 20:14:44
1680
原创 Python——面向对象的疑难点【类】
相信用Python写def函数大家都信手拈来了，但Python作为面向对象的编程语言，怎么能浪费呢？那问题来了。什么是类呢？什么是实例？什么是对象？方法是什么？？属性又是什么？？？继承？封装？多态？对于这些的疑问，在这里统统都不会讲到，~~毕竟你完全可以轻易 Google 到，~~如果有疑问就在评论区提出吧。在这里，我只总结涉及到类的一些偏僻小疑点：1、在Python3中，所有类都继承于一...
2019-12-19 11:36:16
342
原创 简单易懂的ftp脚本自动登录教程
我在上上篇《nmon脚本——对Linux服务器的监控》的脚本中，使用了ftp的自动登录。结果有人询问，遂决定专门写一篇简单易懂的博客，来说明如何解决ftp的自动登录问题。一、Windows在windows下非常简单，windows下的ftp客户端有一个-s参数可以带一个文件，用ftp -s去执行就可以。把所有在ftp命令行下要输入的内容照原样输入到autologin.txt中:...
2019-12-12 16:04:00
849
原创 如何完成述职报告或年终总结PPT
对于我们 打工仔 职场人士来说，年有年度总结，月有月度报告，指不定有些小伙伴还会有周报和日报，不仅枯燥，而且浪费时间，头都要炸了 ，简直太有趣了呢。所以，如何准确快速的写完述职报告呢？这是个好问题。下面便以最大头的年度总结为例：1、通过资料和月报，回顾工作内容和工作成果；2、确定年终总结PPT的整体构成和页面分配；3、挑选模版，搭建年终总结的PPT框架；4、写完PPT的第一...
2019-12-06 09:55:00
546
1
原创 nmon脚本——对Linux服务器的监控
继服务器被挖之后，我又开拓了另一个监控工具————nmon！Nmon可以很轻松的监控系统的CPU、内存、网络、硬盘、文件系统、NFS、高耗进程、资源和IBM Power系统的微分区的信息，还有专属的分析手段，并以图表的形式输出。把我深深折服，绝对是神器啊。 关于Nmon的使用介绍、下载安装，不再阐述，不懂的同学可以分别点击官方文档、分析工具、教程进行学习。 当然，为了方便统一管理，...
2019-11-26 10:45:00
258
原创 记——第一次服务器被挖矿
搭建了那么多台服务器，终于有人来搞我了。还有点小激动是怎么一回事 φ(>ω<*) 首先发现的，还是公司里一个主管网络的大佬。他盯着公司里每一个IP的上下行，然后发现：哎呀，这个机子有点不对劲啊。遂通知主管，然后就到我这里了。然后，由于本人的Linux知识还是太匮乏，书到用时方恨少，排查问题多弯路啊，ε=(´ο｀*)))唉。 然后我突然想到，不是还有前辈在嘛。我简直...
2019-11-25 16:49:00
390
原创 vsftpd超实用技巧详解
简介：vsftpd是“very secure FTP daemon”的缩写，是一个完全免费的、开放源代码的ftp服务器软件。 工作原理：vsftpd使用ftp协议，该协议属于应用层协议。它是典型的c/s架构，ftp服务端用来存储文件，ftp客户端可以通过ftp协议连接服务端实现上传和下载资源。ftp使用tcp的21端口进行命令传输，然后用tcp的20端口进行数据传输（主动模式）。...
2019-11-07 15:33:00
380
原创 RMAN详细教程(一)：基本命令代码
RMAN详细教程(一)：基本命令代码RMAN详细教程(二)：备份、检查、维护、恢复RMAN详细教程(三)：备份脚本的组件和注释RMAN详细教程(四)：备份脚本实战操作一、target——连接数据库1、本地：[oracle@oracle ~]$ rman target /2、远程：[oracle@oracle ~]$ rman target sys/oracle@orcl 二...
2019-11-05 16:12:35
331
原创 MySQL、Oracle、SqlServer的区别
鉴于和数据库打交道日益频繁，遂决定写一篇关于Oracle、SqlServer、MySQL区别的个人观点。 MySQL是大学时的主要学习对象，但刚参加工作时转到了SqlServer，现在主要接触的是Oracle，由于其他数据库（例如DB2等）我并没用过，就不提及了。 事先说明：不一定对，欢迎指正，不吹不黑，不要骂我。 所属公司： MySQL是由瑞典MySQL AB公司开发，...
2019-11-05 16:04:00
1368
原创 Oracle运行脚本：exp，hist 和 err
上一篇我们讲到：首次使用rman备份数据库时，为了安全起见，我们应将整个数据库exp出来。显而易见，每次都手敲exp代码是不可取的。————费时费力还不规范！ 为此，我们可以写一个exp脚本，之后的每次导出便只需敲写./exp_db_full.sh或者sh exp_db_full.sh，还能实现各参数的前后一致，如下：export NLS_LANG=AMERICAN_A...
2019-11-05 11:11:00
226
原创 RMAN详细教程(四)：备份脚本实战操作
RMAN详细教程(一)：基本命令代码RMAN详细教程(二)：备份、检查、维护、恢复RMAN详细教程(三)：备份脚本的组件和注释RMAN详细教程(四)：备份脚本实战操作 1、为了安全起见，先将数据库完全导出：exp 用户名/密码@ORACLE file=/backup/ecology_$(date '+%Y%m%d').dmp full=y; 2、因为是数据库操作，所以应切换成O...
2019-10-17 10:34:00
549
原创 RMAN详细教程(三)：备份脚本的组件和注释
RMAN详细教程(一)：基本命令代码RMAN详细教程(二)：备份、检查、维护、恢复RMAN详细教程(三)：备份脚本的组件和注释RMAN详细教程(四)：备份脚本实战操作 一、基本组件：1、Server session：服务器会话，服务器上的进程, 是真正用来干活的； 2、Channel：是一个通道, 用来连接数据库与备份的存储介质；通道配置选项：connect ...
2019-10-17 10:20:00
584
原创 RMAN详细教程(二)：备份、检查、维护、恢复
RMAN详细教程(一)：基本命令代码RMAN详细教程(二)：备份、检查、维护、恢复RMAN详细教程(三)：备份脚本的组件和注释RMAN详细教程(四)：备份脚本实战操作 一、创建增量备份增量备份级别为0-4，但为方便备份管理，oracle建议只限于0级和1级。1、差异增量备份(differential incremental backup)(默认)：每次备份至上一次备份级...
2019-10-16 10:57:00
323
原创 世界，你好！
“Hello World”，这大概是每个程序员最熟悉的一句话了吧。每每我们进入一种语言的世界，第一句话就是向它问好。仔细想来，也许这就是我们的一种态度，一种出于习惯的礼貌，或者说是一种出于礼貌的问候吧。“世界，你好！”。短短的一句话，意味着从那一刻起，我们便正式进入了某一种语言的世界，所以也可以说是一种庄严的仪式。我们带着满载的善意，于是我们也希望被这个世界善待。 话有点多了，然而**还...
2019-09-26 15:41:14
323
原创 Oracle中RMAN基本命令教程
一、target——连接数据库1、本地：[oracle@oracle ~]$ rman target /2、远程：[oracle@oracle ~]$ rman target sys/oracle@orcl 二、show——查看配置RMAN> show all //总配置参数，具体看configure模块CONFIGURE RETENTION P...
2019-09-26 10:01:00
1500
原创 centos6和centos7的防火墙基本命令
一、centos6：1.firewall的基本启动/停止/重启命令$查看防火墙状态：service iptables status(/etc/init.d/iptables status)$centos6启动/停止防火墙：service iptables start/stop$centos6重启防火墙：service iptables restart$永久开启/关闭防火墙 ：chkc...
2019-09-17 10:20:00
278
原创 如何在Centos服务器上搭建起Oracle10、VNC、以及FTP
一、重装和分区1.配置所需磁盘阵列（Raid）；2.正确分区；3.Centos安装：过于简单，请自行bd。 二、连网系统安装完成之后，我们需为其分配IP和DNS：“编辑连接”——“system eth1”——10.111.100.xxx 三、FTPFTP(文件传输协议)全称是：Very Secure FTP Server。Vsftpd是linu.........
2019-09-17 10:06:00
187
原创 配置服务器的磁盘阵列并正确分区
磁盘阵列，即独立磁盘冗余阵列RAID （ Redundant Array of Independent Disks ），其实就是一个将多块独立磁盘结合在一起，从而提高数据的可靠性和I/O性能的技术方案。常见的方案有：RAID0、RAID1、RAID5、RAID6、RAID10，具体介绍你们就自己去谷歌了。 一、配置磁盘阵列：1）启动界面点击F2；2）当界面出现“configu...
2019-08-08 10:12:00
4215
原创 配置VNC并远程控制服务器（电脑）
VNC (Virtual Network Console)是虚拟网络控制台的缩写，它是一款基于 UNIX 和 Linux 操作系统的优秀、免费、开源的远程控制工具软件。 安装配置：服务端环境：CentOS 6.7客户端环境：Windows 10 64位.........
2019-08-07 10:52:00
3840
原创 笔记本如何开热点？
手机时代，我们总会习惯性依赖WiFi，但有些地方没有WiFi怎么办？那我们就自己开一个！字数标识字数标识字数标识字数标识1、win+R打开笔记本的运行窗口；字数标识字数标识字数标识字数标识2、输入cmd，回车；字数标识字数标识字数标识字数标识3、netsh wlan start hostednetwork，回车。字数标识字数标识字数标识字数标识当你看到提示success...
2019-08-07 09:46:00
1142
2
原创 Jupyter Notebook默认工作路径的修改
相信每一个学习Python的童鞋，都尝试过Jupyter Notebook，所以我也就不多介绍，真的还不错哎这软件。不过美中不足的，就是它的默认工作路径，每次打开都是系统盘的Administrator目录，什么奇奇怪怪的都在里面。作为强迫症患者的我当然不允许这样子的事发生啦~！于是上网寻求帮助，但教程良莠不齐，或是一笔带过，或是挂一漏万，着实浪费了我一个小时。所以在这里，我记录下了完...
2019-04-12 17:53:00
184
原创 Python——pyHook监听鼠标键盘事件
pyHook包为Windows中的全局鼠标和键盘事件提供回调。底层C库报告的信息包括事件的时间，事件发生的窗口名称，事件的值，任何键盘修饰符等。而正常工作需要pythoncom等操作系统的API的支持。 先链上一篇《pyHook和pythoncom的安装》。 然后开始讲pyHook的使用。关于pyHook的使用，网上现存的大多教程如下：import pythonco...
2019-03-05 16:41:00
932
原创 pyHook和pythoncom的安装
pyHook包为Windows中的全局鼠标和键盘事件提供回调。Python应用程序为用户输入事件注册事件处理程序，例如鼠标左键，鼠标左键，按键等，并设置键盘和/或鼠标挂钩。底层C库报告的信息包括事件的时间，事件发生的窗口名称，事件的值，任何键盘修饰符等。 1、习惯性的——我们会直接在命令行敲下pip install pyHook进行安装，然而......报错了。。。。。红字说找不到匹配...
2019-03-05 14:52:00
590
原创 thread/threading——Python多线程入门笔记
1 什么是线程？（1）线程不同于程序。线程不能够独立执行，必须依存在应用程序中，由应用程序提供多个线程执行控制； 多线程类似于同时执行多个不同程序。（2）线程不同于进程。每个独立的进程有一个程序运行的入口、顺序执行序列和程序的出口。（3）线程的优点：可以把占据长时间的程序中的任务放到后台去处理； 用户界面可以更加吸引人，如弹出一个进度条来显示处理的进度等； 程序的运行速度...
2019-02-12 16:48:00
169
原创 tkinter——GUI设计实操
1、创建root：from tkinter import *root = Tk()root.title('GUI设计')# root.attributes("-alpha", 0.3)窗口透明度70 %# w, h = root.maxsize()# root.geometry('%dx%d+%d+%d' % (1675, 976, -14/2, 0/2)) # 初始大小和屏幕...
2019-01-29 15:47:00
414
jquery-3.3.1.min.js
2019-12-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人