- 博客(108)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 s3cmd工具使用
root@testserver01 ~]# s3cmd setpolicy ./policy.txt s3://abc （为指定桶设置policy）[root@testserver01 ~]# s3cmd put anaconda-ks.cfg s3://abc/ （往指定桶里面上传文件）[root@testserver01 ~]# s3cmd get s3://abc/pro_update.txt （从桶里面下载文件）1. 安装s3cmd工具。3. s3cmd使用。
2024-03-02 20:54:53
416
原创 centos7单节点部署ceph（mon/mgr/osd/mgr/rgw）
单节点部署ceph各组件，mon/mgr/osd/mds/rgw。提供块，文件，对象存储
2024-03-02 12:33:15
765
原创 linux系统内存used占用过高问题排查
系统used内存占用过高，top查看又比较低，综合排查系某脚本不断创建进程，每个进程占用较少，综合起来就消耗比较高了。
2022-08-25 18:33:44
9109
2
原创 shell脚本 查看kafka积压消息
#!/bin/bashn_dir=`pwd`# 每次执行前，先降临时文件清空>.x.log# 查看所有组，并挨个查看消费情况，将结果保存到文件cd /opt/kafka/binfor i in `./kafka-consumer-groups.sh --bootstrap-server 192.168.1.99:9092 --list`do ./kafka-consumer-groups.sh --bootstrap-server 192.168.1.99:9092.
2022-05-18 16:31:52
14852
原创 Cassandra 单机部署
下载cassandracd /optwget https://dlcdn.apache.org/cassandra/3.11.13/apache-cassandra-3.11.13-bin.tar.gztar xvf apache-cassandra-3.11.13-bin.tar.gzmv apache-cassandra-3.11.13-bin cassandramkdir /opt/cassandra/{data,commitlog,saved_caches,hints}创建cassa
2022-05-18 16:24:02
15163
原创 prometheus 部署
下载地址： https://prometheus.io/download/wget https://github.com/prometheus/prometheus/releases/download/v2.34.0/prometheus-2.34.0.linux-amd64.tar.gzwget https://github.com/prometheus/alertmanager/releases/download/v0.24.0/alertmanager-0.24.0.linux-amd64.tar
2022-05-16 16:03:16
14374
原创 Jmeter 实现mqtt协议压力测试
1. 下载jmeter，解压https://jmeter.apache.org/download_jmeter.cgi以 5.4.3 为例，下载地址： https://dlcdn.apache.org//jmeter/binaries/apache-jmeter-5.4.3.ziplinux下解压： unzip apache-jmeter-5.4.3.zip2. 下载mqtt-jmeter插件下载地址：https://github.com/emqx/mqtt-jmeter/releasesh
2022-05-16 15:41:05
20084
2
原创 python 自动识别图形验证码
本文以知网注册验证码为例1. 安装tesseract，并将路径加到环境变量中下载地址：https://digi.bib.uni-mannheim.de/tesseract/2. 安装pytesseractpip install pytesseract代码示例# coding = utf-8import timeimport pytesseractfrom PIL import Imagefrom selenium import webdriverdef.
2021-08-22 09:27:03
27952
原创 shell 格式化数据小脚本
shell处理文件，进行字符串格式化，添加单引号或者双引号#!/bin/bashif [ $# == 0 ];then echo "没有带文件"; exit 0;fi>.tempfilefunction for_in_file_two(){for i in `cat $1`do echo '"'$i'",'>>.tempfiledone}function for_in_file_one(){for i
2021-08-20 21:31:44
27304
原创 爬取csdn，排名前200作者的原创文章
1. 队列保存前200位作者用户名，每次取一个出来用独立线程取获取其所有的原创博客2. 使用线程锁，写csv文件，防止多线程写入错乱 （ with csv_writer_lock:）3. 每次最多运行5个线程，并行爬取5个用户的博客# coding = utf-8import csvimport jsonimport threadingimport timeimport osimport jsonpathimport requestsfrom queue impo
2021-08-20 21:24:46
27103
原创 python 爬取全国最新省市区数据，并存入表
本文通过调取高德行政区划查询接口，获取最新的数据信息（省、市、区、经纬度、行政级别、城市编码、行政编码等），并通过mysql.connector存入mysql数据库表结构设计如下：CREATE TABLE `districts` ( `districtId` int(11) NOT NULL AUTO_INCREMENT, `districtPid` int(11) DEFAULT NULL COMMENT '上级ID', `name` varchar(32) DEFAULT NULL
2021-08-08 23:08:04
29561
2
原创 python 之免费ip代理池
基于proxy_pool，部署了一个开放的免费ip代理池，提供出来供大家使用。数据有效性每2分钟更新一次。地址：http://proxy.linuxdba.ltd/all/开源项目地址：https://github.com/jhao104/proxy_pool
2021-08-06 22:26:55
31245
1
原创 python随机切换代理请求数据
# coding = utf-8import randomfrom time import sleep, ctimeimport timeimport requestsurl = 'http://linuxdba.ltd'proxies_list = [{'http': 'http://120.196.112.6:3128', 'https': 'https://120.196.112.6:3128'}, {'http': 'http://121.36.20.
2021-08-05 23:02:16
42440
原创 爬取站大爷的免费ip代理
coding = utf-8“”"Created by linuxdba at 2021/8/2mail: [email protected]“”"import requestsfrom lxml import etreebase_url = ‘https://www.zdaye.com’url = ‘https://www.zdaye.com/dayProxy.html’header = {‘User-Agent’: ‘Mozilla/5.0 (Linux; Android 6.0; Ne
2021-08-05 22:47:21
30019
原创 docker 部署gitlab 、设置初始密码及外部访问地址
docker pull gitlab/gitlab-cedocker run --detach \--publish 8443:443 --publish 8880:80 \--name gitlab \--restart always \--volume /xgj/gitlab/config:/etc/gitlab \--volume /xgj/gitlab/logs:/var/log/gitlab \--volume /xgj/gitlab/data:/var/opt/g
2021-07-20 21:36:06
22672
原创 python 生成6位随机验证码
# coding=utf-8import randomfrom captcha.image import ImageCaptchadef randomText(textArr): length = len(textArr) if length < 1: return '' if length == 1: return str(textArr[0]) randomNumber = random.randint(0, lengt.
2021-07-02 15:05:58
30565
原创 python 解析页面内嵌链接，并访问是否正常
import timeimport urllib.requestfrom bs4 import BeautifulSoupt = time.time()def scanpage(url, suburl): websiteurl = url t = time.time() n = 0 html = urllib.request.urlopen(websiteurl).read() soup = BeautifulSoup(html, "lxml") .
2021-07-02 14:57:22
29335
原创 telnet Connection refused 端口不通处理
telnet 不通1. 防火墙屏蔽，iptables等放开端口处理2. 没有启用对应端口的侦听，需有侦听进程，通过netstat -tlpn查看是否有侦听。如没有，可通过nc 启用侦听后再telnet没有启用8080端口，使用nc -lp 8080 & 命令开启8080的tcp侦听，在端口启用列表里面能找到了，再telnet就通了，说明8080端口正常可用。...
2021-05-28 22:52:26
21788
原创 脚本自动检测网站是否可用，异常时邮件提醒
# cataccess_cosmoplat.sh#/bin/bashcd /usr/local/scripts/cosmoplat>.real_log/usr/bin/curl https://www.cosmoplat.com | grep '沪公网安备31011702004474号' > .real_logfunction add_count(){count=`cat .count`b_count=$(($count+1))echo $b_c..
2021-05-17 22:51:25
31121
原创 apache benchmark 做接口压力测试
1. 安装压测工具包，httpd-toolsyum install httpd-tools2. post 请求将参数放在文件里面，159_root -->cat GetRsOrderInfo.txt{"method":"GetRsOrderInfo","orderId":2785629,"version":"v0.1.0","localHSFVersion":"8.2.574","localCKVersion":"9.1.498","nativeVersion":"ljck..
2021-05-16 23:18:35
31496
原创 iptables 经验总结，及实战实例
写防火墙一般写进来的防护INPUT，出去的OUTPUT不写防火墙先放行，再设置默认策略iptables -P INPUT ACCEPT先放行22，再放行其他的端口再设置默认策略为drop，这样非范围内的就不能上来了为安全起见，操作的时候，先看下input的默认策略，如果是DROP，执行-F， 就不可以再上去了。最好建一个crontab， 15分钟后自动执行，完事之后再停掉，写iptables -P INPUT ACCEPTiptables -F对...
2021-05-16 23:13:23
4159
原创 解决 group_concat 默认长度限制
原因：mysql的group_concat默认连接长度为1024字符，也就是说你需要连接后的连接超过1024字符，它只会显示这么长，其余部分都会被截取丢掉。解决办法：（1）GROUP_CONCAT有个最大长度的限制，超过最大长度就会被截断掉，你可以通过下面的语句获得长度： SELECT @@global.group_concat_max_len; show variables like "group_concat_max_len"; 使用以下语句设置： ...
2021-05-16 23:08:55
938
原创 postfix mailx发送邮件，telnet sina/163/126/qq等25号端口不通时，可走ssl 465、tls 587端口发送邮件
参考：https://blog.csdn.net/liuy5277/article/details/77097381，如果telnet smtp.sina.com 25 可通的话，可直接mail邮件即可一般情况下25是不通的，此时可以用465、587端口，做ssl 或者tls 加密，（465、587端口一般可以telnet连接）以163邮箱服务器为例：/etc/mail.rcset [email protected] smtp=smtps://smtp.163.
2021-05-16 23:04:18
4350
原创 Linux 之间 scp免密传文件
A、B两台linux机器A机器scp文件到B机器A机器上:ssh-keygen -t rsa cat .ssh/id_rsa.pub将内容追加到B机器上的.ssh/authorized_keys 里面
2017-08-11 14:47:40
2668
原创 postfix 实现自动发邮件
环境 CentOS 6安装postfixyum install postfixinet_protocols 修改为 ipv4inet_protocols = ipv4重启postfixservice postfix restart测试：echo "Mail Content" | mail -s "Mail Subject" linux
2017-08-11 14:42:29
2557
原创 Selenium 找不到元素的处理方法
1、 加默认等待时间，全局性，对每个查找元素都适用，最长等待10秒钟WebDriver wd;wd.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);2、对具体元素进行设置WebDriverWait wait = (new WebDriverWait(wd, 10));wait.until(new
2016-05-16 10:23:13
4876
原创 抓取微信群聊人数，并保存到excel表格
操作流程：1. 通过selenium调起微信web页面；2. 扫描二维码，登录；3. 遍历列表，并抓取群聊人数；4. 将结果写入excel表格。注：用到的selenium库，excel操作库，chromedriver请网上查找下载并添加到运行库里面或者放到指定目录（详见代码）代码：package com.yang.selenium;impor
2016-05-11 11:45:05
8259
原创 java 自动化测试小功能集锦
1. java 调用执行shell 命令http://www.mkyong.com/java/how-to-execute-shell-command-from-java/
2016-02-23 19:40:29
2136
原创 UiAutomator 测试环境搭建
1. 安装Centos 系统，镜像下载地址mirrors.163.com（请下载centos7， 安卓sdk里面的adb需要用到glibc，6里面的glibc版本已经不再受支持）2. 安装必要的编译包，gcc，make，java-jdk-devel3. 下载ant，解压，并加入到path里面去， 地址：http://ant.apache.org/bindownload.cgi4. 下载
2016-02-23 15:08:29
1292
原创 Selenium 获取web页面Textarea内的文本信息
通过getText() 方法返回为空，通过String req = wd.findElement(By.id("req")).getAttribute("value"); 解决
2016-01-12 19:06:16
9534
原创 UiAutomator实现打电话功能
测试代码：package com.yang.clicktest;import com.android.uiautomator.core.UiDevice;import com.android.uiautomator.core.UiObject;import com.android.uiautomator.core.UiObjectNotFoundException;import
2015-09-22 17:38:06
2939
原创 UiAutomator之删除在最近运行的所有app
package com.yang.clicktest;import com.android.uiautomator.core.UiDevice;import com.android.uiautomator.core.UiObject;import com.android.uiautomator.core.UiObjectNotFoundException;import co
2015-09-18 15:25:52
4054
原创 Java自动化测试之测试常用功能集集锦（UiAutomator、Selenium等）
生成当前时间： SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); System.out.println(df.format(new Date()));生成随机数： Random ra = new Random( ); int i = ra.nextInt( 10
2015-09-18 11:10:10
2316
原创 Appium junit之自定义多次执行部分case的次数以及顺序，仅运行rePublish()即可
@Test public void publishText(){ } @Test public void publishPicAndText(){ } @Test public void rePublish(){ for(int i = 0; i
2015-09-18 11:03:01
2940
原创 Appium junit测试之定义case执行优先级
@FixMethodOrder(MethodSorters.NAME_ASCENDING) // 按case名称字母顺序排序public class SahalaTest{@Before ...@After ....@Testpublic void T1_xxx( ){}@Testpublic void T2_yyy( )
2015-09-18 10:52:41
2204
原创 Appium 测试之setUP
@Beforepublic void setUp() throws Exception {File classPathRoot = new File(System.getProperty("user.dir"));File appDir = new File(classPathRoot, "apps/Sahala");File app = new File(appDir, "sah
2015-09-18 10:47:19
1840
原创 Appium 测试，实现上下左右滑动页面
SwipeTo swipeTo = new SwipeTo(); swipeTo.swipeToUp(driver, 1000);package SahalaTest;import io.appium.java_client.android.AndroidDriver;public class SwipeTo { public
2015-09-18 10:41:10
9564
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人