- 博客(28)
- 收藏
- 关注
RSS订阅原创 docker运行jdk8时区无法修改问题
问题描述：jdk8 使用了openjdk:8-jre-alpine 镜像 时区无法修改，导致定时器无法正常使用dockerfile 如下FROM openjdk:8-jre-alpineMAINTAINER "deyi <[email protected]>"#设置时区RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtimeRUN sh -c echo 'Asia/Shanghai' >/etc/timezone
2020-11-04 18:03:41
611
原创 openshift 3.11 集群安装
本次安装按照3 master和3 node 的架构来进行master1:192.168.15.235 centos 7.6master2:192.168.15.236 centos 7.6master3:192.168.10.237 centos 7.61.在Router上 安装ansible 方便3个master节点的批量安装#需要先安装pip工具方法1:yum inst...
2020-02-28 13:09:38
777
原创 openshift 增加一个node
基于目前的计算资源已经无法满足日益增长的业务需求，故手动增加一个node缓解一下集群资源紧缺问题进入正题1.确认你已经更新到了最新的ansible-palybook2.增加一个参数 new-nodes[OSEv3:children]mastersnodesnew_nodes3.增加一个新的模块，可以安装如下的内容格式[nodes]master[1:3].examp...
2019-11-25 15:56:35
438
原创 openldap密码策略，定期短信及邮件提醒用户修改密码（ldap自身密码策略无法使用前提下的妥协）
鉴于互联网公司越来越多的需求，各种自建以及第三方服务不断的被加入到公司的系统里。同时互联网公司的人员更替也是流水一般时刻不停，这时候对于员工的账户管理也就变成了一个非常有挑战的任务。这时候开源的账户统一管理产品就必须被用起来了。Openldap作为开源目录服务，也是大家首选的产品。优点很多，开源（免费用），用户量大（遇坑可以找出坑方法），功能强大，众多第三方的软件都加入了对openladp的支持。...
2019-11-14 11:43:05
2054
1
转载 使用Nginx自带的Realip模块获取用户真实IP（转发）
（一）简要说明 如果你的Web服务器前端有代理服务器或CDN时日志中的$remote_addr可能就不是客户端的真实IP了。比较常用的解决方法有以下三几种，本文将主要介绍如何使用Nginx自带realip模块来解决这一问题：1，用CDN自定义IP头来获取2，通过HTTP_X_FORWARDED_FOR获取IP地址3，使用Nginx自带模块realip获取用户IP地址 ...
2018-12-28 10:52:00
1721
原创 kubernets 集群 二进制安装
之前尝试了使用kubeadm工具来安装k8s集群，非常简单，傻瓜也会。那么，其中肯定有诈。所以就花了些时间使用二进制文件方式来安装k8s集群。说白了 ，二进制文件就是可直接执行的底层代码，这样的安装方式无非就是自己手动把kubeadm工具所做的事情做了。废话够多了，开始下一步吧。组织架构master：192.168.10.21 控制节点 安装etcd,kube-apiserv...
2018-09-25 14:38:27
1030
转载 centos 7 安装kvm虚拟机（转帖）
转自：https://www.centos.bz/2018/02/centos7-4%E5%AE%89%E8%A3%85kvm%E8%99%9A%E6%8B%9F%E6%9C%BA%EF%BC%88%E4%BD%BF%E7%94%A8virt-manager%E7%AE%A1%E7%90%86%EF%BC%89/之前介绍了使用WebVirtMgr或Openstack来部署及管理kvm虚拟机，下...
2018-09-04 15:26:50
527
原创 k8s 初体验
1.使用kubeadm工具快速安装Kubernetes集群准备工作关掉selinuxvi /etc/selinux/configdisabled关掉firewalld,iptablessystemctl disable firewalldsystemctl stop firewalldsystemctl disable iptablessystemctl stop ipta...
2018-08-27 15:28:07
56589
原创 scrapy 登陆5i5j
# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass wiwjSpider(scrapy.Spider): name = "wiwjSpider" allowed...
2018-04-27 16:12:20
279
原创 拉格朗日差值补偿法
from scipy.interpolate import lagrange #导入拉格朗日插值函数 #自定义列向量插值函数 #s为列向量，n为被插值的位置，k为取前后的数据个数，默认为5 def ployinterp_column(s, n, k=5): y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数 ...
2018-04-24 11:30:45
395
转载 zabbix 发送报警邮件
实验条件：Zabbix监控服务器、客户端都已经部署完成，被监控主机已添加完成，Zabbix监控运行正常。实现目的：Zabbix监控服务器设置邮件报警，当被监控主机宕机或达到触发器预设值进，会自动发送报警邮件到指定的邮箱。概念补充：什么是MTA？什么是MUA？通俗的说MUA就是用户使用的客户端，而MTA则是真正发送邮件的发送进程，MUA编写的邮件最终也交由MTA发送至目标端。mailx即为负责查看、...
2018-04-16 17:02:31
855
原创 mysql5.7安装后的密码相关问题解决
安装好mysql已经让我焦头烂额了，没想到mysql还给我来了一个密码上的坑。用yum安装好mysql以后，会在/var/log/mysql.log上面有一个默认密码。如下图这时候想要用update修改，会爆出一个错误# use mysql;# update user set password = password('newpassword') where use = 'root' and ho...
2018-04-16 10:09:33
622
原创 centos 6.9 安装mysql5.7
centos 6.9 默认使用yum命令安装的mysql数据库为5.1.*的，而开发同志告知希望使用5.7版本的。故需要自己想办法安装一个mysql5.7 供使用。1.yum安装mysql 默认情况的yum会安装mysql5.1此时可以选择到mysql官网去下载一个mysql的yum源，本人手头的系统为centos6.9 故选择下载好了rpm包以后，安装一下这个yum源# rpm -ivh m...
2018-04-12 11:03:02
296
原创 python 的wordcloud 做词云展示
from wordcloud import WordCloud import matplotlib.pyplot as plt import jieba # jieba做中文的分词 filename = '/Users/apple/Downloads/jin.txt' with open(filename) as f: mytext=f.read() #...
2018-03-14 16:41:24
692
原创 mac 下运行selenium 出错解决（selenium.common.exceptions.WebDriverException: Message: 'geckodriver' executab）
最近爬虫遇到很棘手的事情，就是遇到了动态网站。这种情况下，靠原来的抓包无法找到线索，并解决抓取问题。这时候selenium 便出现了在我的视野里面。首先是安装selenium,mac下很简单pip install Selenium==3.0.1 据说这个版本问题少安装好了 就开始学习使用它吧 1 # -*- coding: utf-8 -*- 2 from selenium import w...
2018-03-01 17:28:18
3821
原创 re正则在python爬虫的应用
爬虫爬多了，肯定会遇上一些需求不是在H5标签里面的东西。这时候，就只能硬着头皮去使用re正则提取东西了。import reimport urllib2from lxml import etreeins_url = 'https://www.instagram.com/ahmad_monk/'id = 22543622headers = {"User-Agent":"Mozilla/5...
2018-02-27 16:32:42
244
原创 scrapy 不使用ImagePipelines保存图片，并保持原图片名
除了使用自带的ImagePipelines方法外，还可以自己在pipelines写一个request，把图片保存下来。其它的都不在赘述，直接上pipelines。Pipelines.py# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the I...
2018-02-09 13:51:34
1432
原创 scrapy 通过ImagePipelines下载图片并以非hash值作为图片名字来保存（保留图片原文件名）
喜欢用scrapy来爬美女图片的朋友肯定有这样的一个困扰，爬下来的图片都是各种乱码 *****.jpg 看起来不舒服，而且利于套图的归类。我就是在爬完了几十万的图片后，实在是无法忍受了，故想办法解决这个问题。首先定位到ImagePipelines.pyfrom scrapy.pipelines.images import ImagesPipelinefrom scrapy.exceptions ...
2018-02-09 11:58:11
960
1
原创 scrapy使用mongodb作为存储（数据库）
mongodb 相对于关系型数据库mysql 有不少的好处，对我而言就是在配合scrapy使用时，配置非常简单，不需要预先建表，设定字段的属性类型。 只需要在settings.py文件里面简单的配置就可以了，如下 当然，作为数据处理中心的pipelines.py也是需要做一些配置
2018-02-01 17:01:55
1338
1
原创 FastDFS 上传正常，读取报错。报错：expect parameter token or ts in url
阿里云服务器由于系统配置更改，在某一个晚上的凌晨自动重启。而这个阿里云服务器上安装的是FastDFS，第二天早上就发现图片上传报错了，conneted refused。1.检查一下，发现是fdsf_storage没有启动，遂启动之。ps aux |grep fdfs/etc/init.d/fdfs_storaged start2.将fdfs_storaged 加入到开机自启动e
2018-01-29 14:00:14
1043
原创 docker基本操作
1.启动dockercentos系统：service docker startmac:可以通过图形化界面启动2.寻找需要的镜像docker search 镜像 （docker search django）3.下载镜像docker pull django4.运行并进入docker 容器docker run -i -t django /bin/bash run:启动一个容器-i：表示启动一个可交
2018-01-18 13:59:13
433
原创 mac 下安装awesome-slugify
因为django需要用到slugify 来处理url，mac 下需要安装awesome-slugify。1.先安装 xcode-select --install# xcode-select --install2.pip install awesome-slugify
2018-01-03 17:20:01
354
原创 Django初探
Django 学习笔记1把自己闲置了太久了，终于沉下心来学习一下知识了。一，简单的启动一个项目1.启动项目命令 django-admin startproject 项目名2.创建一个app python manage.py startapp app名3.到setting文件里面注册这个新app INSTALL_APPS = （）里面把app名
2017-12-15 15:45:37
159
原创 centos 6.8 下python2.6 升级python2.7,安装pip工具
一.安装python2.71.首先去官网下载python的2.7版本包# cd /usr/local/src/# wget https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tgz2.解压并进入安装包# tar -zxvf Python-2.7.14.tgz# cd Python-2.7.14/
2017-10-25 15:02:13
363
原创 scrapy 模拟登录
注意：模拟登陆时，必须保证settings.py里的COOKIES_ENABLED (Cookies中间件) 处于开启状态COOKIES_ENABLED = True 或 # COOKIES_ENABLED = False策略一：直接POST数据（比如需要登陆的账户信息)只要是需要提供post数据的，就可以用这种方法。下面示例里post的数据是账户密码：# -*
2017-09-18 16:16:31
1211
原创 uumnt美女图片爬虫
# _*_ coding:utf-8 _*_import urllibimport urllib2import refrom lxml import etree#遍历所有471个图片页面，从中拿到每一个美女的html页面def allurl(url,headers): for a in range(1,472): Newurl = url + s
2017-09-07 14:40:36
6179
原创 python爬虫，爬取蕾丝猫美女图
# _*_ coding:utf-8 _*_import urllibimport urllib2import refrom lxml import etreeimport randomimport sys#防止中文乱码reload(sys)sys.setdefaultencoding('utf-8')#获取所有需要爬取的美女html页面def al
2017-09-07 14:21:57
10452
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人