- 博客(18)
- 收藏
- 关注
RSS订阅原创 记elasticsearch CPU负载100%问题
elasticsearch CPU100%负载问题解决。文件上传的问题。logtextstructurefinder
2024-01-31 17:21:26
1811
原创 我的个人博客上线啦
个人博客上线啦很久之前就一直想的自己的vps上部署一个个人的博客，奈何没时间也没技术。最近一段时间比较闲，于是就捡起之前的这个想法，开始操作。前前后后大约花了十天时间，准备环境啦，安装，搬运博客啦以及自定义部分博客的页面。总之，终于在今天，我的个人博客正式上线了，以此篇博文记录一下。以后这个网站主要更新一些技术的博客等。反正和我的CSDN博客同步更新就是了。个人博客地址：https://www.de009.top/欢迎参观...
2020-09-10 17:26:18
4693
3
原创 python多线程爬虫入门-进程与线程
python多线程爬虫序在编写python爬虫的过程中，有时会碰到数据量太大，python执行太慢的情况。众所周知啊，这正常程序的执行都是顺序执行的，在同一时刻中程序只运行一句语句，其实这是一种十分低效率的方法。那么是否能够让程序运行时同时执行多个任务呢？答案是肯定的，这也就是多线程编程的基本理念。一、线程与进程都是些啥？在学习多线程编程前，首先我们需要知道什么是线程，以及线程与进程的关系。进程进程：由程序,数据集,进程控制块三部分组成，它是程序在数据集上的一次运行过程。如果同一段程序在某个数
2020-08-10 18:36:14
731
原创 python多线程爬虫入门 - queue消息队列与守护进程
queue消息队列与守护进程序在上一篇博客中大致讲以一些多线程编程的入门概念以及如何创建启动线程。但是要讲多线程实际使用在实际任务中，我们需要了解一些更加深入的概念：queue消息队列与锁一、消息队列（queue）在使用多线程编程时，我们并不会将整个程序的功能都放入同一个线程中（曾经有位‘聪明’的学弟还真这么干过），因为这样一来不仅会让程序更易崩溃，排错难度增加，同时还失去了多线程的一个重要特点：多个线程可以同时执行不同任务，从而导致程序运行效率大大下降。所以，在使用多线程编程时，我们通常将不同功
2020-08-10 18:34:49
808
原创 大众点评反爬虫解析
记大众点评反爬虫解析首先声明：博客内容禁止用于商业用途，仅做学习交流。如果侵犯了您的利益和权益,请联系我，我将删除该博客。最近用大众点评网页版时，发现大众点评上所有的店家的信息都是无法复制的（后知后觉），老反爬虫了，十分好奇其原理，于是找了各种技术帖子，终于算是搞明白了，在此做一个笔记。一、原理解析当我们打开大众点评商店的页面时，我们是可以看到商店的地址与电话等信息的但是若我们选中这些内容复制粘贴到txt中时，信息就会消失查看html源码那么首先肯定是去查看html页面源码中的内容了首先
2020-08-10 18:34:22
2531
1
原创 cookie和session是什么？
一，cookiecookie是在http访问时保存在客户端一个由服务器设置的属性，用于储存客户在上一次请求后的必要数据，以便下一次访问时减少不必要的操作。cookie的运行流程：这里使用投票例子，为了防止客户重复刷票，限制每个用户只能投一票，所以在用户投完票后，将投票成功的信息储存在cookie中，在下一次该客户端访问时，服务器读取cookie后便回拒绝客户端的投票具体流程：客户端访问...
2019-10-30 17:57:04
213
原创 ssl加密原理
ssl加密原理一，对称加密对称加密是指服务器和客户端都使用相同的秘钥加密和解密数据，当用户和服务器建立加密连接时，用户会得到服务器唯一的数据加密的秘钥，所有的用户，包括服务器，都是使用这个唯一的秘钥加密自己的信息的，如：客户A在与服务器加密连接时，使用的秘钥和客户B是完全相同的。...
2019-10-29 14:42:52
4929
9
原创 linux切割与删除日志脚本分析
linux切割与删除日志脚本分析一，切割日志在服务器运行时，每天都会记录大量的日志文件，而有些软件会将所有的日志记录在一个文件中，导致故障排错十分麻烦，所以，这里使用shell脚本来方便每天切割日志date=`date "+%Y%m%d"` #使用此方式调用系统时间cp /var/log/******/access.log /var/log/****/access.log.$daterm...
2019-10-24 17:41:53
353
原创 使用mailx发gmail邮件
使用mailx发送gmail邮件安装mailxyum install -y mailx配置发送邮件vim /etc/mail.mc加入set [email protected] 发送使用的邮箱用户set smtp=smtps://smtp.gmail.com:465 gmail的smtp邮件服务器set smtp-auth=login验证方式，默认就是l...
2019-10-21 19:33:55
6145
原创 nginx配置apache服务器均衡负载出现400报错
nginx配置apache服务器均衡负载出现400报错配置文件如下配置双机均衡负载。user nginx;worker_processes auto;error_log /var/log/nginx/error.log;pid /run/nginx.pid;# Load dynamic modules. See /usr/share/nginx/README.dynamic.inc...
2019-09-18 20:15:37
1193
2
原创 dockerfile编写apache服务
dockerfile编写apache服务主要还是要在start.sh 不能用/usr/sbin/apache 而是要用/usr/sbin/apache -D FOREGROUND保持服务在前台运行，保持docker在运行后一直保持运行状态...
2019-08-20 00:41:22
794
原创 centos7安装docker
centos7安装docker，配置镜像源安装 Docker从 2017 年 3 月开始 docker 在原来的基础上分为两个分支版本: Docker CE 和 Docker EE。Docker CE 即社区免费版，Docker EE 即企业版，强调安全，但需付费使用。本文介绍 Docker CE 的安装使用。安装一些必要的系统工具：yum install -y yum-utils d...
2019-08-19 23:56:14
98
原创 配置NPS内网穿透
NPS内网穿透配置github项目地址：https://github.com/cnlh/nps原理服务器端配置- 准备工作一台拥有公网IP的VPS；安装nps软件包wget https://github.com/cnlh/nps/releases/download/v0.23.1/linux_amd64_server.tar.gztar -zxvf linux_amd64_ser...
2019-08-18 00:53:10
28328
15
原创 neutron配置openvswitch
网络拓扑Controller ens34 192.168.88.174(NAT) ens33 172.16.1.1(host-only)Compute ens33 172.16.1.2(host-only)配置控制节点安装ovs和其他网络组件yum install openstack-neutron openstack-neutron-ml2 \ openstack-neutro...
2019-08-14 15:52:47
1218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人