- 博客(68)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 python怎样禁止对一个字符串变量进行转义解析
有一句话是从其他博客看来的，非常有用，理解了这句话基本这个问题解决转义只发生在代码字面量转换为python内部对象的过程中，已经是字符串了，则不会再次转义。言外之意是当我们得到的字符串在还没有绑定给Python变量时，这个时候我们对它进行操作，就不会发生转义下面时一个小demo,应该足以说明问题了： 我从前端windows传过来的路径是 [ D:\绝密\面试题\python面试题.docx]，但是...
2018-04-27 18:09:28
17440
2
原创 适配Dell R750xs server Broadcom BCM57412 NetXtreme-E 10Gb SFP+ 网卡
本次需求是处理 Dell R750xs 服务器上的 Scaler v8.2-385 (baf7f3a)，网卡是 Broadcom BCM57412 NetXtreme-E 10Gb SFP+。固件是最新的，但驱动程序不是。故障现象是只能识别一个端口或无法识别端口。打补丁后，Quad-Port 10GbE SFP+的所有端口都可以识别了。目前这是一种解决方法，需要手动安装。移植到 4.14 产品内核需要付出很大的努力。Broadcom。
2023-01-06 16:20:52
2415
1
原创 给Kylin iso中添加自定义rpm包
客户自己安装centos / ubuntu / kylin iso，然后我们把rpm包给到客户我们直接将rpm包封装到iso，给客户交付整体iso，这样不管是对于客户还是对于公司都是 最省心的，会避免很多因为系统包版本不一致导致的安装失败问题。
2023-01-05 13:57:28
1410
原创 重新build iso报错
ubuntu iso，我需要修改里面的部分deb包，所以需要重新打包iso并安装，在cp iso源内容的时候没有使用 cp -r参数，漏掉了.disk目录。
2022-09-13 16:01:11
291
原创 项目打包rpm包（rpmbuild）
在日常项目交付时，我们都需要把源码、依赖包打包成rpm, deb来进行部署，这里以python项目为例进行rpmbuild
2021-08-13 15:42:07
6804
原创 ubuntu python3.6 安装glances监控工具
坑位 安装好python3.6，glances后运行glances一直提示【Curses module not found. Glances cannot start in standalone mode】，可以看出当前环境缺乏curses模块，找了很多地方也没找到这个包，最终将python2.7环境下curses对应的两个包copy到了python3.6环境下即可系统环境ubuntu python3 glancesglances安装这里推荐通过pip来安装glance...
2021-07-01 15:54:44
732
1
原创 ubuntu16 python3.6 安装 jupyter
先把坑位留出来： 通过pip3 install jupyter完后通过jupyter notetook测试是否可用，发现提示缺乏sqlite3, 于是乎我们要先在python3安装sqlite3，然后再次启动jupyter发现可以正常访问前提条件python3.6 pip3 sqlite3 ipython直接开始安装jupyterpip3 install jupyter 启动jupyter运行jupyter发现未安装sqlite3 (有点环境会缺少这个)...
2021-06-25 18:41:14
517
1
原创 实时获取Linux命令输出 - python
使用场景数据湖 = 分布式存储 + 蓝光库（Panasonic, Sony）最近在做数据湖项目过程中，遇到一个这样的需求，需要实时更新任务进度给上层应用系统，从之前对蓝光库原生的api了解，并没有这样的API可以实时拿到它的进度，目前文件从共享存储到蓝光库盘匣应该大多都是通过开源的刻盘工具来进行的（growisofs），可能每个厂商都会在此基础之上进行修改，那目前为止核心的问题就是如何通过python实时获取growisofs的所有输出解决方案环境介绍 growisofs -- v7..
2021-06-08 16:44:52
719
2
原创 获取指定 ceph pool上 PG 分布
前言尽管ceph可以提供出多个pool，很多情况下，客户的所有的业务数据位于一个pool内。这种情况下，主要使用的pool的PG分布是否均匀，就决定了各个OSD的使用是否均匀。CRUSH算法让PG均匀地分布在各个OSD上，但这仅仅是概率上的平均，实际使用中，经常发生不均匀的情况，甚至出现非常不均匀的情况。我们以pg_num = 1024的双副本pool为例，对于该pool，一共有2048个PG，这2048个PG分布在OSD上。如果Pool中有10个OSD，那么平均每个OSD应该分到204～205
2020-12-11 11:46:18
1355
原创 创建ceph monitor
目录场景描述情况介绍操作步骤Monitor成功创建场景描述:最近客户线上一个三节点集群，由于raid卡故障导致一个存储节点宕机，可能是raid卡突然故障导致ceph mon数据库文件丢失，ceph-mon无法启动，只能删掉重新创建情况介绍：可以看到集群只剩两个monitor再次发生网络动荡的时候，两个monitor容易发生脑裂，所以需要尽快解决操作步骤：先随机生成五位字符来当作monitor IDimport random mon_id = ""...
2020-11-10 17:12:58
342
1
原创 SE实践手册
文章目录背景要求基础篇存储产品架构NAS相关块设备相关（ISCSI/FC）S3相关linux系统及其他磁盘及raid卡相关操作ceph相关故障排查进阶篇NASS3进阶篇NASS3背景本文旨在通过一系列的问题引导学习，这些问题都是从线上实践中选举出来的，为了达到循序渐进的效果，将问题分成了基础篇和进阶篇，目前文档还是初始阶段，后续还会陆续补充。希望SE可以通过这些问题的学习和实践，快速的了解和掌握我们产品。要求要求在解决这些问题的过程中，将自己的解决思路，探索过程留下文档，如果有自己的总结更好。基础
2020-10-22 17:03:35
192
原创 rsync daemon模式介绍
Rsync介绍rsync通常用于存储服务器节点内部，存储服务器节点之间文件、文件夹的拷贝和遍历等操作，使用方式大致分为两种：1. rsync基本使用2. rsync daemon模式使用这里着重介绍rsync daemon模式，第一种模式网上有好多示例比较简单，rsync daemon模式如果是存储节点之间做数据传输，无需每次输入密码Rsync daemon模式rsync daemon模式分为客户端跟服务端，如果客户端想要使用rsync，服务端必须启动rsyncrsync dae
2020-09-24 17:31:06
5731
原创 Ubuntu Upstart管理python scripts 触发的UnicodeEncodeError, Surrogates not allowed
python xxx.py并未出现编码问题，但是通过Upstart 管理python server会触发编码问题
2020-04-21 14:10:24
387
原创 flask使用pymysql无法实时查询到数据库中更新的内容
场景描述最近在使用python flask写一个项目，后台数据库可被多个client进行增删改查等操作，在后期联合测试的时候发现如果别的客户端【可视化工具】对数据做更改后，当前节点服务端获取到的数据依旧是之前的，无法实时获取更新内容，只有重启flask service后才可以获取到最新的内容，这种问题看起来是其他客户端对数据做了更改，但当前server没识别到导致的实例描述其他客户端修...
2020-03-27 23:29:46
1346
1
原创 ceph分布式存储基本运维技巧
查看近期集群中node有没有发生重启以及存储节点负载情况onnode all uptime系统当前时间 17：59：03up 389 days, 19:23 从上次启动开始系统运行的时间2 users 注意这里实际是连接数量load average: 7.60, 6.72, 6.12 这是重头戏，分别描述了1分钟5分钟15分钟内系统平均负载根据经验值通常只需查看最后一个参数 [1...
2020-03-27 11:45:57
1172
原创 ubuntu14.04上编译安装python3.7.4
安装包下载 在python官网www.python.org【在百度搜索python】下载python3.7.4的官方压缩包Python-3.7.3.tgz python download 安装步骤 先安装需要的包zlib1g,libffi apt-get update 【此步可选择性省略】apt-get install zlib1g-devapt...
2019-12-04 17:46:46
805
原创 linux中定期打包日志 — logrotate的用法
应用场景：一般来说，日志是任何故障排除过程中非常重要的一部分，但这些日志会随着时间增长。在这种情况下，我们需要手动执行日志清理以回收空间，我们可以配置 logrotate 程序，以便每个日志文件可以在每天、每周、每月或当它变得太大时处理，应该每个项目部署都会用到，这里只是简单记录供参考，logrotate最终通过cron定时任务来进行管理logrotate：/etc/logrot...
2019-09-03 18:15:18
1263
原创 Parallel :部署任务到多台linux机器
问题场景描述跑测试的时候，经常需要将任务部署到多个client端，发起对集群的测试。我们很熟悉xargs这个命令，这个命令可以10路并发创建100个文件，但是xargs对于单台Linux非常好用，但是无法部署任务到多台机器，如果需要部署任务到多台机器，则需要parallel来帮忙了，如果呢说多往remote client部署任务，执行指令，必须解决的一个问题是ssh 免密登陆，否则任务无法执行...
2019-07-10 17:03:58
819
原创 python -m json.tool的使用
问题场景：在通常的测试场景中，为了更加规范输出的结果，往往我们需要将其打印出来仔细检查，但是通过我们直接打印出来的结果很乱，没有换行，没有任何格式，看起来很复杂，如果想要格式化输出，需要花费很多的时间对结果进行处理，最近接触到了python的json.tool，直接将结果以json格式输出，看起来美观，飘逸python json.tool使用：1. 没有使用python json.to...
2019-05-15 17:44:22
14101
原创 网络初识 —— 子网划分
问题场景：同一vlan里的几台windows服务器想要能互相访问，ip分别是192.168.1.1, 192.168.2.1, 192.168.3.1对ip是否在同一网段的理解：我们平时只从ip本身去判断ip组是否在同一网段其实是错误的，要判断ip组中的ip是否属于同一网段，其实是将ip和子网掩码全部转化为32位的二进制数字，然后通过【位与】得到一个32位的二进制数字，如果所有的ip经...
2019-05-13 16:39:56
6656
原创 CentOS7安装Python3.6.4在交互模式下方向键乱码
场景：最近新装了一台Centos7，自带的python2.7在交互模式下不会出现乱码，但是新装了Python3.6.4环境在交互模式下使用方向键时出现乱码，很迷茫，网上试了好多都需行，如下是解决方案解决方案：1. 先下载readline包readline-devel-6.2-10.el7.x86_64.rpm链接：http://www.rpmfind.net/linux/RPM/...
2019-05-12 12:47:23
442
原创 Pycharm配置Git教程
1. 使用场景平时习惯在windows下开发，但是我们又需要实时将远方仓库的代码clone到本地，也许要将自己修改的代码push到远端服务器，有很多方法可以实现这个需求，但是所用的编辑软件不一样，应该设置也不同，下面是window下Pycharm的配置步骤2. 首先安装Pycharm -- 略过3. 安装git，并记住git的安装路径直接下载安装就好下载路径：链接：http...
2019-04-26 12:18:17
34089
12
原创 /bin/bash^M: 坏的解释器: 没有那个文件或目录
问题场景需要将python脚本部署为daemon，熟悉shell脚本编写这个应该不是问题，但是部署好后，通过/etc/init.d/blueray-agent start就报了此错误解决方法1. 出现上面的原因是我的这个脚本是在windows环境下编写的，所以换行符不一致导致错误发生 换行结尾符是\n\r，但是在linux下是\n，所以在每个换行的地方会多出来个\r2...
2019-04-01 16:26:32
1272
原创 CentOS下编译安装Apache2.4
场景描述：由于项目需求需要搭建一个HTTP服务，经过商讨决定选择Apache，首先需要下载Apache2.4的包，在安装Apache的过程会提示缺少一些依赖包，这里在开始就列出来，提前安好后续就会少好多事需要的包：1. httpd的包，这里选用【httpd-2.4.38.tar.bz2】 Apache源码包位置：http://httpd.apache.org/2. 依赖的包...
2019-03-14 18:28:03
2490
原创 Linux系统命令之ln
使用场景：文件备份【storage -> storage】、文件归档【storage -> blueray】的时候为了不对用户的源文件进行操作，但是我们又需要访问这些文件最终完成归档、备份操作，为了完成这个操作我们使用ln命令命令详解：ln的使用分为软链接和硬链接两种，其中软连接只是一个链接符号，源文件被删除后，link文件失效，硬链接的话是把源文件的磁盘位置增加了一...
2019-03-01 15:25:32
537
原创 Linux修改系统的hostname以及给网卡配置ip
1. 修改系统的hostname分为两步：1. 先修改/etc/hosts【IP在前，名称在后】2. 在/etc/sysconfig/network添加HOSTNEME=controller[hostname]3. 发现修改成功2. 给网卡配置IP1. 首先通过 [ ip a ]查看你当前的网卡型号，一般有一个lo和ethx在我这边是lo和etho2. ...
2018-12-07 19:04:55
3099
原创 通过boto/boto3去连接S3，遇到的问题
学习背景：目前公司打算验证存储是否支持对象存储【s3】的部分功能，所以就学习了一下，boto还好，没遇到太大的阻碍，但是boto3遇到一下问题通过boto/boto3去连接S3：如下操作的前提是你已经成功安装boto/boto3库，当然如果你用的是pycharm编译软件，如果你本地没有安装这两个库，会有提示。1. botoaccess_key = 'YI33V6NCDZLSW...
2018-11-30 10:47:21
6335
原创 Linux系统下删除当前目录下所有的link文件
问题的背景：写自动化测试用例，客户端与存储提供的iSCSI卷建立连接，之后又logout，虽然client端dm设备已经不在了，但是/dev/mapper/目录下还有可能残存失效的link文件，需要清理这些失效的link文件解决方法：1. 也就是一条命令，重点是命令中参数的详解先查看失效的链接：for f in $(find $1 -type l); do [ ! -...
2018-10-19 11:52:18
3310
原创 Linux系统资源与进程监控工具的安装 【Centos7.x】
在全速备份文件/目录时，需要检测Linux系统资源的使用情况，于是考虑用atop在centos下安装工具atop，通过yum -y install atop时显示不存在atop这个资源包 需要先安装第三方源：EPEL源，步骤如下： cd /tmpwget -c http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noa...
2018-09-21 10:19:22
981
原创 Linux下开机启动python脚本详解
应用场景：最近在服务器上部署一些脚本，需要让其随服务器开机启动，于是研究了一下，begin . . .解决方法：1. 先准备好需要开机启动的脚本 /root/test/qin.py2. 一定root权限编辑文件/etc/rc.local，在exit 0之前编辑开机启动脚本的命令/usr/local/bin/python3 /root/test/qin.py > /roo...
2018-09-12 11:50:54
14790
2
原创 1130, "Host 'xxxx' is not allowed to connect to this MySQL server"
问题描述：1. 在centos装好mysql后，在python3程序中通过pymysql远程连接mysql，但是报 Host '*' not allowed connect错误解决方法：1. 修改mysql权限表 update user set host='%' where user='root';2. 先查看原先数据库的权限信息，发现只有172.17.37.51 hos...
2018-09-05 17:23:14
55102
12
原创 Ubuntu16.04忘记用户登录密码以及管理员密码，重置密码的解决方案
1. 问题现象：由于自己想修改一下当前用户名，结果乱改了部分配置文件导致登陆时，原先的密码失效2. 问题原因问题原因，搞不懂，只是修改了/etc/shadow和/etc/sudoers这俩文件3. 解决方案在系统开机前常按shift键进入grub界面，如下：选择*ubuntu 高级选项按enter键进入如下界面通过up键和down键选中recovery mode...
2018-08-14 12:30:56
77502
55
原创 Red Hat 7.x版本的额Linux系统重置root密码的方法
1. 问题现象：在vsphere中导入之前做好的Red Hat 7.x版Linux系统模板时忘记了root用户的密码，导致进入不了系统，很尴尬，下面介绍如何重置密码2. 问题的解决步骤1. 在重启系统的时候通过不断按下上下选择键阻断系统进行入正常启动，而是进入启动选择界面，然后根据系统提示按下‘e’键去编辑选项，界面如下，我根据自己的系统选择第一个2. 找到如下图中标记中的那一...
2018-07-30 11:25:13
4648
原创 ubuntu 下sudo apt-get install <packagename> 失败 解决方法
1. 问题现象：在通过sudo apt-get install rpm时报了如下错误：应该时apt-get不是最新版本引起的错误，执行sudo apt-get update 但是报如下错误：2. 问题原因 ---- DNS配置错误3. 解决方案 ---- 配置DNS 1. 修改DNS，执行如下命令sudo vi /etc/resolvconf/resolv...
2018-07-17 11:46:52
12677
9
原创 ubuntu 解决unable to resolve host的问题
ubuntu：1. 如果ubuntu通过sudo apt-get install xx的时候一直提示：sudo：unable to resolve host sutai-6 2. 问题原因：/etc/hosts和/etc/hostname两个文件中的主机名不一致3. 主机名的获取:路径 --- vi /etc/hostn...
2018-07-14 14:37:05
8937
原创 一些比较好的文章链接
1. https://email.siliconmotion.com.tw/owa/2. https://www.cnblogs.com/changbo/p/5595030.html3. http://www.crazyant.net/1319.html4. https://www.cnblogs.com/xiaobaxiing/p/6639781.html5. http://172.17.59....
2018-06-29 10:39:40
1000
原创 解决MySQL ERROR 1130 (HY000): Host '172.17.37.51' is not allowed to connect to this MySQL server
1. 问题情景描述：mysql的数据库在另一台服务器上，现在用pycharm一台ip为172.17.37.51的连接这个mysql数据库，可是报了这个错误。2. 出现此问题可能是防火墙的事，不说废话直接上解决结果：GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.1.8' IDENTIFIED BY 'Qin0301..' WITH GRANT OPTI...
2018-06-26 18:13:15
8113
原创 在centos7.4定时任务执行python3脚本
概述1. 真是坑超级多，无力吐槽，在ubuntu不要过多操作，只要crontab -e 完了编辑你要定时执行的任务即可#!/usr/local/bin/python3* * * * * python3 /home/suzhoutai/qin.py>>/home/suzhoutai/qin.txt* * * * * echo "ni hao!">>/home/...
2018-06-21 18:20:21
5649
1
Broadcom netxtreme-bntx-en dirver
2023-01-06
Broadcom BCM57412 NetXtreme-E 10Gb SFP+ Driver
2023-01-06
将python项目打包加密为pyc
2020-11-17
blueray_sample_code
2019-02-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人