- 博客(119)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 源码搭建kafka集群
三台机器搭kafka集群一.基本概念一个典型的kafka体系架构包括若干producer、若干broker、若干consumer，以及一个zookeeper集群，其中zookeeper是kafka用来负责集群元数据的管理、控制器的选举等操作的。producer将消息发送到broker，broker负责将收到的消息存储到磁盘中，而consumer负责从broker订阅并消费消息。二.术语介绍producer：生产者，也就是发送消息的一方。生产者负责创建消息，然后将其投递到kafka中； c
2020-12-01 23:06:41
240
原创 真正的inotify+rsync实时同步 彻底告别同步慢
真正的inotify+rsync实时同步 彻底告别同步慢我们公司在用inotify+rsync做实时同步，来解决分布式集群文件一致性的问题。但当web文件越来越多(百万级数量html,jpg等小 文件)，同步就越来越慢，根本做不到实时，按照网上的调优方法都尝试过，问题根本没有解决。经过我一翻细致研究，终于把慢的核心问题研究明白，先总结一句 inotifywait响应不会有延迟，rsync也很快。大家同样有慢的烦恼，那是因为网上的inotify+rsync的教程都是坑。下面我们来分析。inotifyw
2020-12-28 20:25:58
269
原创 源码搭建svn
一、准备工作环境准备：服务器一台：192.168.1.116 subversion-1.6.1.tar.gz subversion-deps-1.6.1.tar.gz 包下载地址：4ajb将安装包上传到服务器：安装依赖包： yum install gcc openssl openssl-devel expat -y二、安装解压两个源码...
2020-04-07 16:02:51
488
原创 开源堡垒机jumpserver的搭建与使用
目录一. 准备 Python3 和 Python 虚拟环境二. 安装 Jumpserver三. 安装 SSH Server 和 WebSocket Server: Coco四. 安装 Web Terminal 前端: Luna五. 安装 Windows 支持组件(如果不需要管理 windows 资产, 可以直接跳过这一步)六. 配置 Nginx 整合各组件七.J...
2019-09-24 16:45:33
6247
3
原创 批量装机环境 配置PXE引导 kickstart自动应答
目录1 案例1：PXE基础装机环境2 案例2：配置并验证DHCP服务3 案例3：配置PXE引导4 案例4：验证PXE网络装机5 案例5：PXE+kickstart自动装机1 案例1：PXE基础装机环境1.1 问题本例要求为后续的PXE服务器构建提供RHEL7软件仓库，完成下列任务：在CentOS真机部署Web目录/var/www/html/rh7dvd ...
2019-05-09 16:07:02
289
原创 SVN RPM day06
NSD OPERATION DAY06目录1 案例1：Subversion基本操作2 案例2：使用Subversion协同工作3 案例3：制作nginx的RPM包1 案例1：Subversion基本操作1.1 问题本案例要求先快速搭建好一台Subversion服务器，并测试该版本控制软件：创建版本库 导入初始化数据 检出数据至用户本地副本 对本地副本进行增...
2018-12-26 19:01:46
194
原创 Tomcat day05
NSD OPERATION DAY05目录1 案例1：安装部署Tomcat服务器2 案例2：使用Tomcat部署虚拟主机3 案例3：使用Varnish加速Web 1 案例1：安装部署Tomcat服务器1.1 问题本案例要求部署Tomcat服务器，具体要求如下：安装部署JDK基础环境 安装部署Tomcat服务器 创建JSP测试页面，文件名为test.jsp，显...
2018-12-25 19:22:42
221
原创 Nginx day04
NSD OPERATION DAY04目录1 案例1：构建memcached服务2 案例2：LNMP+memcached3 案例3：PHP的本地Session信息4 案例4：PHP实现session共享1 案例1：构建memcached服务1.1 问题本案例要求先快速搭建好一台memcached服务器，并对memcached进行简单的增、删、改、查操作：安装...
2018-12-21 19:18:09
242
原创 Nginx day03
NSD Operation DAY03目录1 案例1：Nginx反向代理2 案例2：Nginx的TCP/UDP调度器3 案例3：Nginx常见问题处理1 案例1：Nginx反向代理1.1 问题使用Nginx实现Web反向代理功能，实现如下功能：后端Web服务器两台，可以使用httpd实现 Nginx采用轮询的方式调用后端Web服务器 两台Web服务器的权重要...
2018-12-20 19:15:08
217
原创 Nginx day02
NSD OPERATION DAY02目录1 案例1：部署LNMP环境2 案例2：构建LNMP平台3 案例3：地址重写1 案例1：部署LNMP环境1.1 问题安装部署Nginx、MariaDB、PHP环境安装部署Nginx、MariaDB、PHP、PHP-FPM； 启动Nginx、MariaDB、FPM服务； 并测试LNMP是否工作正常。1.2 方案L...
2018-12-19 19:08:10
193
原创 Nginx day01
NSD Operation DAY01目录1 案例1：搭建Nginx服务器2 案例2：用户认证3 案例3：基于域名的虚拟主机4 案例4：SSL虚拟主机1 案例1：搭建Nginx服务器1.1 问题在IP地址为192.168.4.5的主机上安装部署Nginx服务，并可以将Nginx服务器，要求编译时启用如下功能：支持SSL加密功能 设置Nginx账户及组名称均...
2018-12-18 19:40:51
363
2
原创 SHELL脚本07(简单项目)
NSD SHELL DAY07目录1 案例1：编写一键部署软件脚本2 案例2：启动脚本3 案例3：编写监控脚本4 案例4：编写安全检测脚本5 案例5：编写进度显示脚本1 案例1：编写一键部署软件脚本1.1 问题本案例要求编写脚本实现一键部署Nginx软件（Web服务器）：一键源码安装Nginx软件 脚本自动安装相关软件的依赖包 脚本自动判断yum是否...
2018-12-18 18:57:19
278
原创 SHELL脚本06
NSD SHELL DAY06目录1 案例1：使用awk提取文本2 案例2：awk处理条件3 案例3：awk综合脚本应用4 案例4：awk流程控制5 案例5：awk扩展应用1 案例1：使用awk提取文本1.1 问题本案例要求使用awk工具完成下列过滤任务：练习awk工具的基本用法 提取本机的网卡流量、根分区剩余容量、获取SSH远程失败的IP地址 格式...
2018-12-14 18:42:54
341
原创 SHELL脚本05
NSD SHELL DAY05目录1 案例1：sed基本用法2 案例2：使用sed修改系统配置3 案例3：sed多行文本处理4 案例4：sed综合脚本应用1 案例1：sed基本用法1.1 问题本案例要求熟悉sed命令的p、d、s等常见操作，并结合正则表达式，完成以下任务：删除文件中每行的第二个、最后一个字符 将文件中每行的第一个、第二个字符互换 删除文件...
2018-12-12 10:57:08
214
原创 SHELL脚本04
NSD SHELL DAY04目录1 案例1：字符串截取及切割2 案例2：字符串初值的处理3 案例3：expect预期交互4 案例4：使用正则表达式1 案例1：字符串截取及切割1.1 问题使用Shell完成各种Linux运维任务时，一旦涉及到判断、条件测试等相关操作时，往往需要对相关的命令输出进行过滤，提取出符合要求的字符串。本案例要求熟悉字符串的常见处理操...
2018-12-11 19:38:03
219
原创 SHELL脚本03
NSD SHELL DAY03目录1 案例1：使用for循环结构2 案例2：使用while循环结构3 案例3：基于case分支编写脚本4 案例4：使用Shell函数5 案例5：中断及退出1 案例1：使用for循环结构1.1 问题本案例要求编写一个Shell脚本chkhosts.sh，利用for循环来检测多个主机的存活状态，相关要求及说明如下：对192.1...
2018-12-11 19:13:15
350
原创 SHELL脚本02
NSD SHELL DAY02目录1 案例1：Shell中的数值运算2 案例2：条件测试操作3 案例3：使用if选择结构 1 案例1：Shell中的数值运算1.1 问题本案例要求熟悉Linux Shell环境的特点，主要练习以下操作：使用expr、$[ ]、let等整数运算工具：定义变量X=1234，然后计算X与78的四则运算及求模结果 使用bc实现小数运...
2018-12-11 18:56:32
175
原创 SHELL脚本01
NSD SHELL DAY01目录1 案例1：Shell基础应用2 案例2：简单Shell脚本的设计3 案例3：使用Shell变量4 案例4：变量的扩展应用 1 案例1：Shell基础应用1.1 问题本案例要求熟悉Linux Shell环境的特点，主要练习以下操作：切换用户的Shell环境 练习命令历史、命令别名 重定向标准输入/输出/错误输出 管...
2018-12-11 18:45:14
327
原创 python面试题汇总
第一阶段1.Python是如何进行内存管理的？答:从三个方面来说,一对象的引用计数机制,二垃圾回收机制,三内存池机制一、对象的引用计数机制Python内部使用引用计数，来保持追踪内存中的对象，所有对象都有引用计数。引用计数增加的情况：1，一个对象分配一个新名称2，将其放入一个容器中（如列表、元组或字典）引用计数减少的情况：1，使用del语句对对象别名显示的销毁...
2018-11-23 17:03:46
3511
1
原创 机器学习day07
6.特征值(描述)矩阵STAR特征点(位置，大小) SIFT(方向) \______________________/ | 特征值(描述)矩阵代码：desc.py# -*- coding: utf-8 -*-f...
2018-11-23 15:49:00
337
原创 机器学习day06
10.性别识别代码：见day05 gndr.pyage score phone25 80 11028 90 120.../ 25 80 110 \| 28 90 120 |\ ... /[{'age': 25, 'score': 80, 'phone': 110}, {'age': 28, 'score...
2018-11-22 17:38:56
358
原创 机器学习day05
5.轮廓系数好的聚类：内密外疏，同一个聚类内部的样本要足够密集，不同聚类之间样本要足够疏远。 电视机 皮夹克 电冰箱 羽绒服 好！ A : 电视机，电冰箱 B : 皮夹克，羽绒服 差！ A : 电视机，羽绒服 B : 电冰箱，皮夹克 针对样本空间中的一个特定样本，计算它与所在聚类其它样本的平均距离a，以及该样本与距离最近的另一个聚类中所有样本的平均距离b，该样本的轮廓系数...
2018-11-20 18:21:27
286
原创 机器学习day04
十二、支持向量机(SVM)1.原理寻求最优分类边界： 正确：对大部分样本可以正确地划分类别。 泛化：最大化支持向量间距。 公平：与支持向量等距。 简单：线性，直线或平面，分割超平面。 基于核函数的升维变换： 通过名为核函数的特征变换，增加新的特征，使得低维度空间中的线性不可分问题变为高维度空间中的线性可分问题。2.不同核函数的分类效果线性核函数：linear，不通过核函数进...
2018-11-18 17:13:23
206
原创 机器学习day03
2.划分训练集和测试集import sklearn.model_selection as ms ms.train_test_split( 输入集, 输出集, test_size=测试集占比, ramdom_state=随机种子) ->训练输入, 测试输入, 训练输出, 测试输出 代码：split.py # -*- coding: utf-8 -*-from __futur...
2018-11-16 09:29:48
524
原创 机器学习day02
七.决策树1.基本原理相似的输入导致相似的输出。年龄：青年-1，中年-2，老年-3学历：专科-1，本科-2，硕士-3，博士-4经验：缺乏-1，一般-2，丰富-3，资深-4性别：男-1，女-2薪资：1-低，2-中，3-高，4-超高年龄 学历 工作经验 性别 -> 薪资1 1 1 2 5000 ...
2018-11-15 09:18:59
480
原创 机器学习day01
机器学习一.概述1.什么是机器学习人工智能:通过人工的方法,实现或者近似实现某些需要人类智能处理的问题,都可以称为人工智能 机器学习:一个计算机程序在完成任务T之后,获得经验E,而该经验的效果可以通过P得以表现,如果随着T的增加,借助P来表现的E也可以同步增进,则称这样的程序为机器学习系统. 自我完善,自我修正,自我增强2.为什么需要机器学习简化或者替代人工方式的模式识别,易...
2018-11-14 09:49:53
464
原创 数据分析07
基于傅里叶变换的频域滤波 ____________________IFFT_____________________ | | v ...
2018-11-12 18:56:51
276
原创 数据分析06
18.矩阵numpy.matrix类类型的对象继承自numpy.ndarray,任何针对多维数组的操作,对矩阵同样有效,但是作为子类矩阵又结合其自身的特点,做了必要的扩充,比如:乘法计算,求逆等. 矩阵对象的创建可以通过以下三种方式: numpy.matrix(任何可被解释为矩阵的二维容器, copy=是否复制数据(缺省值为True,即复制数据)) ->矩阵对象 如果copy的...
2018-11-09 18:50:44
192
原创 数据分析05
11.线性模拟线性预测 线性拟合 kx + b = y kx1 + b = y1 kx2 + b = y2 ... kxn + b = yn / x1 1 \ / k \ / y1 \ | x2 1 | X | b | = | y2 | | ... | \ / | ... | \ xn 1/ ...
2018-11-08 18:46:57
321
1
原创 数据分析04
4.最值max/min：返回一个数组中最大/最小元素 argmax/argmin：返回一个数组中最大/最小元素的下标 maximum/minimum：将两个同维数组中对应元素中最大/最小元素构成一个新的数组 ptp：返回一个数组中最大值和最小值之差 代码： # -*- coding: utf-8 -*-from __future__ import unicode_literals...
2018-11-07 19:13:38
273
原创 数据分析03
19.热成像图用图形的方式显示矩阵1 2 34 5 67 8 9mp.imshow(矩阵,cmap=颜色映射,origin=纵轴方向)origin-> hight：缺省，原点在左上角origin-> low：原点在左下角代码：# -*- coding: utf-8 -*-from __future__ import unicode_literalsimport...
2018-11-06 18:59:50
306
原创 数据分析02
2.线型，线宽和颜色mp.plot( ..., linestyle=线型, linewidth=线宽, color=颜色, ...)代码：数据分析013.设置坐标范围mp.xlim(水平坐标最小值，水平坐标最大值)mp.ylim(垂直坐标最小值，垂直坐标最大值)代码# -*- coding: utf-8 -*-from __future__ import uni...
2018-11-05 20:05:52
328
原创 数据分析01
数据分析Numpy+Scipy+Matplotlib+Pandas 基础数值算法 科学计算 数据可视化 序列高级函数一.Numpy是什么？Numerical Python，数值的Python，补充了Python语言所欠缺的数值计算能力 Numpy是其它数据分析及机器学习库的底层库 Numpy完全标准C语言实现，运行效率充分优化 Numpy开源免费，二.Numpy的历史199...
2018-11-03 22:20:25
319
原创 项目部署nginx+uwsgi+django
1.概念Django项目（web应用） web服务 nginx：高并发处理的好 Apache：稳定 LAMP：Linux Apache MySQL Python/Php/Per1 LNMP：Linux Nginx MySQL Python/Php/Per1 uwsgi 是web服务器与web框架之间一种简单而通用的接口 2.单项目部署(nginx+uwsgi+...
2018-11-03 09:02:51
389
原创 python 基础 网络爬虫 day08
day071.response.xpath('xpath表达式')xpath表达式没有text()则结果为选择器对象xpath表达式加上text()则结果为选择器文本对象extract()将列表中所有元素序列化为Unicode字符串2.MongoDB持久化存储settings.py设置相关变量 MONGODB_HOST = 'localhost' MONGODB_PORT =...
2018-11-01 19:46:15
290
原创 python 基础 网络爬虫 day07
day061.多线程爬虫多进程线程应用场景 多进程：大量密集并进行计算 多线程：I/O密集(网络I/O,本地磁盘I/O) 多线程爬虫 URL队列：put(url) RES队列：从URL队列中get()发请求，put(html) 创建多个RES线程，发请求获取html 创建多个解析线程，解析html 2.BeautifulSoup:HTML/XML解析库使用...
2018-10-31 19:19:03
292
原创 python 基础 网络爬虫 day06
目录1.多线程爬虫2.BeautifulSoup3.Scrapy框架4.Scrapy框架5.pycharm运行scrapy项目day051.json模块json.loads() json格式(对象，数组) ->Python(字典，列表) json.dumps() Python(字典，元组，列表) -> json(对象，数组)2.Ajax动态加载...
2018-10-30 19:06:59
478
1
原创 python 基础 网络爬虫 day05
目录1.json模块2.动态网站数据抓取 - Ajax3.selenium + phantomjs 强大的网络爬虫组合day04lxml解析库 使用流程 from lxml import etree parseHtml = etree.HTML(html) parseHtml.xpath('xpath表达式') xpath匹配规则 获取节点对象：...
2018-10-29 19:31:12
544
原创 python 基础 网络爬虫 day04
目录1.xpath工具(解析)2.lxml库及xpath使用day031.requests模块方法get()参数 查询参数：params - 字典 代理：proxies - 字典 普通代理：{'协议':"协议://ip地址:端口号"} 私密代理：{'协议':"协议://用户名:密码@ip地址:端口号"} Web客户端验证：auth - 元组 aut...
2018-10-27 17:58:54
528
原创 python 基础 网络爬虫 day03
目录1.requests模块2.urllib.request 中Handler处理器day021.关于正则解析分组（想要抓取什么内容就要加小括号（）） 正则方法 p = re.compile('...') r_list = p.findall(html) 结果 ：[(),(),(),()] 贪婪匹配 ： .* 非贪婪匹配 ：.*?2.抓取步骤找URL 写正则...
2018-10-26 20:43:52
807
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人