- 博客(54)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 yum快速安装docker-ce和docker-compose
docker-ce安装命令docker-compose安装命令修改docker的默认存储位置，日志大小，日志备份数量，daemon.json没有则创建一个/etc/docker/daemon.jsonPS：如果原来就有镜像和容器，想要保留下来，则如下
2022-06-16 01:04:32
3225
1
原创 kafka 数据拉取到本地文件脚本
#!/usr/bin/env python# -*- encoding: utf-8 -*-# here put the import libimport argparsefrom os import closeimport timefrom confluent_kafka import Consumerimport uuidif __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_a
2022-04-02 17:34:08
2498
1
原创 python elasticsearch 8.1
8.1版本和以前的版本是不同的，默认启用了安全配置，所以一些小细节还是需要修改的。代码如下：如何连接from elasticsearch import Elasticsearches_client = Elasticsearch( "https://localhost:9200", ca_certs="ca.crt", basic_auth=("elastic", "password"))说明：1. 需要使用https2. 不能使用127.0.0.1，关闭了校验的可以这么写
2022-04-01 01:36:44
2705
原创 docker-compose elasticsearch 8.1.1 集群、单节点实践
学习的官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/8.1/docker.html参照文档，实践了一遍，把遇到的问题记录在这escluster_es01_1 exited with code 137这个是内存不够用的问题，如果设置了如ES_JAVA_OPTS=-Xms1g -Xmx1g这种内存限制参数，可以取消试试，实际测试中，虚拟机加到了8G的内存，原本4G内存无法启动。目录权限问题官方文档中提到了下面的命令可以
2022-04-01 00:55:50
4438
1
原创 rsync 同步本地文件到远端
为了方便可以使用密钥登录：# 将公钥发给需要远程同步的机器上，只需要输入一次密码即可 ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]想要达到的同步效果：1. 某些文件不要同步过去2. 某些目录不要同步过去3. 远端删除本地删掉的文件4. 包括子目录在内的所有文件都同步过去同步命令如下：ROOT_DIR=$(cd `dirname $0`; pwd)DIR_NAME=$(basename ${ROOT_DIR})HOST_IP="x.x.x
2022-03-15 11:38:32
1744
原创 shell脚本获取当前脚本的文件名
参考链接：https://blog.csdn.net/qq_35921773/article/details/119670434做了一些优化：在做定时任务时，因为脚本使用的绝对路径，所以$0会出现不一样的变化，所以使用basename做一下处理。FileName=$(basename $0)echo "FileName:" ${FileName}NoSuffixFileName=${FileName%\.*}echo "NoSuffixFileName:" ${NoSuffixFileName
2022-01-21 09:04:31
2880
原创 paramiko判断连接状态
翻了下源码，目测没有看到相关的功能。大概的思路是自己构造socket，然后传递给paramiko，通过判断socket的状态来做连接健康检查。主要代码如下：client = paramiko.SSHClient()client.load_system_host_keys()client.set_missing_host_key_policy(paramiko.WarningPolicy())sock = socket.socket(socket.AF_INET, socket.SOCK_STR
2021-09-26 18:20:53
2498
原创 python写android的App（kivy框架）的实践（3）
前文的乒乓球弄完了，但还是缺少了很多东西，不知道该怎么做一个想要的App，所以，A Simple Paint App这一篇继续讲起了概念。文中问题：在创建应用程序时，您必须问自己三个重要问题：我的应用程序会处理哪些数据？如何直观地表示这些数据？用户如何与这些数据交互？基本概念：组件化，什么功能的实现都是一个一个组件组合起来的效果。知识点：通过with self.canvas来实现图形的绑定和渲染，后续对图像的更改也会影响canvas中的效果，如同例子中的Line通过
2021-08-21 19:26:43
429
原创 python写android的App（kivy框架）的实践（2）
在开始实现乒乓球游戏前，如果看过A Simple Paint App和Kv language可以跳过一些内容，当然了，肯定是没有看过的，所以得一步一步来。首先就是一个基本的实现代码了，运行之后是一个黑色的空窗口：main.pyfrom kivy.app import Appfrom kivy.uix.widget import Widgetclass PongGame(Widget): pass class PongApp(App): def build(self):
2021-08-17 20:37:17
313
原创 python写android的App（kivy框架）的实践（1）
首先：kivy官网概念：通过kivy这一套框架，可以使用python来开发一个安卓app，另外，这个框架是跨平台的，所以也是可以应用到ios上面的。怎么安装？python -m pip install kivy[full] kivy_examples注：full太大可以用base；下载太慢的话可以使用外部源当前版本为：kivy==2.0.0根据官网给的乒乓球游戏来作为实践的过程一开始需要知道怎么用kivy创建一个app，官网的quickstart介绍了很多基本的概念，需要仔细看。如果学过py
2021-08-10 23:46:55
2027
原创 docker镜像重命名
查看镜像名称docker imagesdocker.elastic.co/kibana/kibana 7.14.0 1c52b5264c4b 6 days ago 1.49GB重命名根据name和tag来定位镜像，如果不输入tag，则默认用latestdocker tag docker.elastic.co/kibana/kibana:7.14.0 kibana:7.14.0docker imagesd.
2021-08-05 10:59:31
290
原创 Windows10 安装qemu(6.0.0)和创建arm(aarch64)版CentOS7虚拟机
下载资源window10版本的qemu直接下载官网的exe安装包即可：https://www.qemu.org/download/CentOS镜像下载地址：http://mirrors.huaweicloud.com/centos-altarch/7.9.2009/isos/aarch64/QEMU_EFI.fd文件下载地址：http://releases.linaro.org/components/kernel/uefi-linaro/16.02/release/qemu64/OpenVPN
2021-07-29 21:59:45
4807
原创 一个json文件在pandas.DataFrame中占用多少内存
json格式为每行一个完整的json，pandas=="1.3.0"实测占用的内存约为：n*10也就是说如果是一个1G的json文件，要10G左右的内存才能读进pandas.DataFrame
2021-07-15 16:24:29
680
原创 关闭Linux网卡offload（负载）
为什么需要关闭，当前主要的原因是tcpdump抓的包，存在超大的帧，不想要。为什么这么大，原因就是网卡把接收到的数据包整合优化了，帮程序减轻了负担，这就是offload做的事情。需要用到一个工具，ethtool，CentOS7默认自带了查看网卡eth0都有哪些offload，ethtool -k eth0 | grep offloadtcp-segmentation-offload: onudp-fragmentation-offload: off [fixed]generic-segment
2021-07-09 17:58:31
3299
1
原创 yum update 意外中断，如何解决报错
记，一次yum update更新，结果ssh因为网络原因断开，造成更新失败，后续的yum的很多安装命令都会报错，造成困扰。报错的时候可能会提示你使用yum-complete-transaction命令清理一下这个命令可能需要另外安装，命令：yum install -y yum-utils执行命令：yum-complete-transaction --cleanup-only当然很多时候执行完后并没有顺利解决，提示包重复了查看重复的包：package-cleanup --dupes清理损坏
2021-06-11 12:22:02
2440
1
原创 Docker复制文件到容器中
找到需要的容器名字，或者容器ID也可以docker ps# 如果容器太多可以和grep搭配关键字找到想要的容器2. 复制文件docker cp
2021-06-11 12:01:29
4973
原创 VScode的python智能提示在windows下如何支持linux的库
原理：VScode会自动搜索python库，然后动态加载进来，达到边写代码边提示的目的。所以，一般库不存在都需要pip安装一下，让VScode可以加载信息。那么pip无法安装的，其实也可以直接把需要的模块整个放到python的库目录中去，这样就可以实现智能提示了。方法：找到python的库目录在哪，大体就是…\site-packages…>>> import pandas>>> pandas.__path__['C:\\Users\\user\\anacon
2021-05-24 11:00:59
186
原创 docker和nginx安装命令
docker#!/bin/bash# need by yum-config-managerif [ -z "$(rpm -qa | grep yum-utils)" ]; then yum install -y yum-utilsfi# help blog https://developer.aliyun.com/mirror/docker-cesudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-c
2021-05-11 17:33:07
110
原创 Arkime 2.7（原Moloch）docker镜像构建
准备：Elasticsearch首先，Arkime对数据库Elasticsearch有版本要求，这可以使用现有的docker镜像来提供，这里就不多说了，附上docker-compose配置：Arkime 2.7 requires ES 7.4+version: '2.2'services: elasticsearch: image: elasticsearch:7.8.1 container_name: elasticsearch_server environmen
2021-04-13 15:18:01
1648
3
原创 python adb 自动化测试
adb下载安装及使用通过python调用adb命令实现用元素名称、id、class定位元素因为懒得搭安卓的sdk环境，所以参考以上两位大佬的文章，用python配合adb实现了一个简单的玩具，要实现别的功能也挺简单的，主要还是要研究xml的元素位置定位，感谢感谢。目前功能：熄屏和亮屏（亮屏碍于锁屏功能没管）跳转到桌面（主屏）点击app打开import osimport reimport timeimport tempfileimport xml.etree.cElementTree
2021-03-11 00:16:36
600
原创 python dict 更新指定位置的值
会自动将嵌套的dict创建如果已经存在，原有的值会被覆盖def update(data, url, value): """ 根据指定的位置赋值 """ if not url: data = value return data point = data for k in url[:-1]: if k not in point: point[k] = {} i.
2021-02-24 16:52:05
755
1
原创 Windows10，Python3，Microsoft Visual C++14.0 is required
windows10上安装python依赖库时，出了这个问题。官方具体的解决方式备注：可能官网的内容会更新，目前只需要下载2019这个版本的构建工具安装器，然后打开安装器只选中这两个红框中说明的安装就解决另：如果没有必要，还不如在windows10官方支持的wsl（windows上的linux）上面搭建环境，就没这些问题了。并且安装wsl也不麻烦，网上很多文章都有介绍。...
2021-02-20 14:25:05
211
原创 find命令一些常用操作记录
有时间可以直接看一下man find文档找到更改时间为N天前的文件，并执行某些命令find /home/files/ -type f -mtime +7 -execdir file {} ;-type: 表示要找什么东西，常用的f普通文件、d表示目录、l表示快捷链接-mtime: 表示文件最近一次被修改的时间是什么时候，可以写正整数，也可以在数字前面加入+或-。类似的还有atime、ctime。要注意的是时间是以当前时间再往前推多少天这么计算的。只写正整数表示文件的最近修改时间是在之前第几天，0
2021-02-01 17:40:52
138
原创 k8s（kubernetes）安装
环境master：172.31.50.150node：172.31.50.145操作master：关闭selinux手动关闭：setenforce 0永久关闭：vi /etc/selinux/config...SELINUX=disabled...关闭swap手动关闭：swapoff -a永久关闭：vi /etc/sysctl.conf...vm.swappiness=0...关闭防火墙systemctl stop firewalldsystemctl disabl
2021-01-13 13:14:16
79
原创 python3 django input UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters
参考博客分享的解决方式问题的本质时一样的。过程：首先时创建超级用户时，提示了这个编码问题，以为的django的问题，搜索时，带上了django，没有找到想要的答案得认真看下报错的位置发现源码中是调用input时出了问题，好了，问题在python3上搜索，发现了类似的问题，解决...
2021-01-11 18:43:38
200
1
原创 lvm根分区扩容
环境原根分区大小20G，新加入100G硬盘，想要合并到根分区步骤：1、 首先对新硬盘做分区，获得一个lvm分区fdisk /dev/sdb: n # 创建新分区: p # 选择创建主分区: 1 # 选择分区号: # 直接回车，默认第一个，也可输入从哪里开始: # 也是直接回车，默认最后一个，也可输入从哪里结束: t # 选择分区类型: 8e # 选择Linux LVM类型: w # 保存修改2、 创建一个物理卷pvcreate /dev/sdb1 # 后面的数字可以递增pv
2020-12-30 13:13:49
2783
原创 Linux常用命令总结
文件同步命令：scp、rsyncscp命令一般都默认安装了的，可以直接用# 上传文件scp abc.txt [email protected]:/home# 上传目录scp -r /home/test_dir [email protected]:/home# 下载文件（和上传反过来）scp [email protected]:/home/abc.txt ./# 下载目录（和上传反过来）scp -r [email protected]:/home/test_dir ./如果同步目录，有重复上传，但又不想重复上传
2020-12-01 10:18:05
61
原创 写JS代码让自己头秃的点
写JS代码让自己头秃的点主要还是自己没系统学习js的锅吧，记录一下。匿名函数内用this匿名函数中，this指代的是window对象，不是直观理解中的，局部this，这就会产生undefine的问题。可以在匿名函数外使用另外的变量名表示。var vm = thisvar f = function () { vm.count = 1}匿名函数中赋值外部变量无效本质上是因为js是异步执行，按照同步的思路写代码会造成误以为没有赋值成功的错觉，其实是赋值成功了的，只不过是在后面的代码执行
2020-11-26 16:05:23
104
原创 nginx代理内部服务
官方文档设置简单的代理服务器nginx的一种常用用法是将其设置为代理服务器，这意味着服务器可以接收客户端的请求，将请求传递给代理服务器，并将结果发送给客户端。代理服务器配置，第一个localtion代理本地5000端口的服务。第二个location，参数是一个正则表达式匹配所有结尾为 .gif、.jpg或.png的URI。正则表达式应以~开头。相应的请求将被映射到/home/project/static/img目录。server { listen 80; location / {
2020-11-05 12:35:05
361
原创 pywinauto记录，启动、定位和模拟输入点击
首先丢官方文档然后有一个旧一点的中文翻译首先需要学习，最好看官方文档，这是最详细的，但有时候却又难以贯通上下，所以如果官方文档看不懂，就稍微看一下人家的博客再参考官方文档，或许是一个还行的方式。启动import pywinautofrom pywinauto.application import Application# 默认backend是win32，即Win32 API，另一种是MS UI Automation(uia)# app = Application(backend="uia").
2020-11-03 15:55:53
4940
1
原创 NetworkManager和network
一、 NetworkManager做了什么：NetworkManager确保网络连接正常。当检测到系统中没有网络配置但有网络设备时，NetworkManager会创建临时连接以提供连接。通过不同的工具（GUI，nmtui，nmcli）提供管理。NetworkManager可以配置网络别名，IP地址，静态路由，DNS信息和VPN连接，以及许多特定于连接的参数。重新启动后保持设备状态，并接管重新启动期间设置为受管模式的接口。未明确设置为不受管理但由用户或其他网络服务手动控制的设备。可以和netwo
2020-09-07 17:44:12
10022
1
原创 Python，zipfile模块压缩，目录问题记录
按照网上通用的做法很快就实现了压缩功能，不过却发现传入绝对路径会把目录结构也给打包了进去，这对于脚本不是在压缩目标所在目录的情况是一件比较麻烦的事情。解决方案修改目录：os.chdir("/target_dir_path")就是切换到需要打包的文件或者文件夹所在的目录，然后执行压缩即可，不过考虑到切换了目录可能会影响到脚本的其它的功能，可以搭配os.getcwd()把目录切换回来。import osimport zipfiletarget_dir = "/home/test"to_file
2020-08-10 11:00:30
796
2
原创 sed在匹配行的前面和后面添加内容
test.txtabcdefgaeeeeeeeaaafffffffaa行首添加的命令如下：sed 's/^.*aaa/# &/' test.txt###### abcdefga### # eeeeeeeaaa### fffffffaa###在匹配到的行，匹配到的位置前面插入#注释行末添加的命令同理：sed 's/ga/& end/' test.t...
2020-02-21 11:51:27
5930
原创 为go安装confluent_kafka库
安装依赖confluent_kafka需要pkg-config和librdkafka，confluent_kafka只能在linux用，顺便吐槽一下，windows上的go有点坑。首先安装pkg-configsudo yum install pkg-config然后安装librdkafka，需要导入confluent的源sudo rpm --import https://packages...
2019-12-31 17:41:39
1705
2
原创 Elasticsearch常用操作
问题硬盘满了，不能写入数据，如何解决清理硬盘，然后解锁索引，*表示针对所有索引，可写指定的索引名称curl -X PUT 'http://127.0.0.1:9200/*/_settings' -H "Content-Type: application/json" -d '{"index.blocks.read_only_allow_delete":null}'索引操作如何查看所有索引...
2019-10-12 19:08:45
121
原创 Linux 文件/目录权限修改参考
修改文件目录权限r : 读权限read，数字表示为4w : 写权限write，数字表示为2x : 执行权限execute ，数字表示为1首先直接实际操作看一下是什么样子。命令ll或ls -l，命令是一样的，结果如下：drwxr-xr-x 4 root root 42 9月 30 16:06 datadrwx------ 5 study study ...
2019-10-11 10:29:35
348
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人