- 博客(172)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 tcpdump没有回包、内网地址和docker分配地址冲突问题排查和解决
1 引入起因是近期要开通某两个内网地址之间的网络策略。这里假定A机器的地址是172.17.1.100，B机器的地址是10.10.1.100，我们需要172.17.1.100访问10.10.1.100。往常来说，首先找网络部门开通这两个地址之间的硬件防火墙和软件防火墙即可。但是这次网工帮我开通了，我就是telnet不通。# 在172.17.1.100机器上执行telnet 10.10.1.100 80002 tcpdump使用tcpdump在B机器上抓包发现，接收到了数据包，但是没有回包：#
2022-03-02 00:59:06
2352
1
原创 flask使用jsonify序列化结果是报错：TypeError: Object of type float32 is not JSON serializable
1.引入使用flask jsonify返回序列化的结果时，提示TypeError: Object of type float32 is not JSON serializable。我返回的结果是paddle使用numpy直接产生的，格式类似这样：result = [ [ [ [372.0, 24.0], [780.0, 24.0], [780.0, 62.0], [372.0, 62.0] ], ['可行性研究报告一参考大纲', 0.95109123] ],
2022-02-21 16:04:25
1732
原创 Nvidia显卡重新安装解决方案
过完一个周末，原本可以运行的图像识别程序突然运行不了了，在调用GPU的使用一直卡住。具体表现例如：运行PaddleOCR时，到了调用GPU这一步，程序就一直卡着不动，关也关不掉，强行kill掉则会变成一个僵尸进程，过几十秒会被系统回收。测试了CUDA没有问题，测试cudnn时程序卡了很久。网上搜暂时没有很明确的答案，官网查了一下T4显卡驱动的最新版本是440.118.02，而我目前机器上的驱动版本是440.33.x，于是尝试安装新版驱动试一下。1.卸载驱动执行下述命令进行卸载。sudo /usr
2022-02-21 15:42:54
5891
原创 HTTP性能测试工具siege
0 引言siege是一款Web服务性能压力测试，通过siege的测试，我们可以知道上线的web服务能提供的并发调用能力。主要原理是通过多线程的http请求，将访问的性能数据进行统计。1 安装和使用官方文档地址：https://www.joedog.org/。安装很简单，执行下面的命令：sudo apt-get install siege使用命令如下，该命令代表对http://127.0.0.1:8080/进行100并发的请求。siege -c 100 -r 1 -b http://127.0
2022-01-23 23:20:43
8627
原创 开源内网穿透工具NPS使用指南-转发本地http服务到公网
开源内网穿透工具NPS使用指南0 引言1 服务端的安装使用2 客户端的安装使用3 转发本地的http服务0 引言NPS是一款带有Web界面的网穿透工具，之前叫 easyProxy，使用go语言编写，轻量级且功能强大，开源免费使用。支持 tcp、udp 流量转发，支持内网 http、socks5 代理，同时支持 snappy 压缩 (节省带宽和流量)、站点保护、加密传输、多路复用、header 修改等。同时还支持 web 图形化管理。据我所知有一些付费内网穿透工具，使用的就是NPS作为底层服务。gi
2022-01-22 17:55:35
6933
1
原创 ant-design高效的代码复用能力-区块
ant-design高效的代码复用能力-区块0 引言1 准备工作1.1 安装yarn和umi1.2 创建umi项目1.3 报错解决：create-umi 命令不存在1.4 报错解决：Plugin umi-plugin-react can't be resolved2 添加区块依赖3 区块的使用3.1 创建模板和区块3.2 报错解决：只有 pages 或 page 目录下的页面才能插入资产3.3 异常解决：添加区块后没有样式参考0 引言最近发现umi提供了区块的功能，可以直接把官方提供的页面模板、组件进行
2021-08-08 16:40:31
431
原创 使用微服务架构后，如何用jenkins搭建流水线（一）
0 引言自从使用微服务架构之后，子系统已经达到了七八个，按前后端区分，需要构建发布的项目达到了近20个。虽然大家各司其职的进行部署和发版，但是已经浪费了大家很多时间，于是抽空把jenkins搭了一套，帮大家节省时间。1 安装部署首先是准备机器，机器要求如下：机器要求： 256MB内存，建议大于512MB 10GB的硬盘空间（用于存放Jenkins镜像）需要安装以下软件： Java 8 (JRE或者JDK都可以) （centos：yum install -y java）在确保ja
2021-07-05 14:01:59
959
原创 解决node-sass安装失败问题
参考：https://www.cnblogs.com/it-Ren/p/13619189.html使用dart-sass替代node-sass由于npm6.9以上支持新功能package alias对包重命名可以既满足包名为node-sass，但实际是使用的dart-sass的效果npm install node-sass@npm:dart-sass参考：https://zhuanlan.zhihu.com/p/168018388为什么要使用dart-sass避免安装node
2021-06-15 19:56:18
426
原创 推荐系统-DeepCrossing模型
0 整体思路简单来说，DeepCrossing模型解决了特征工程、稀疏向量稠密化、优化目标拟合等推荐系统常见问题。我们依次对数据进行初步分析、预处理、特征拼接、输入到带残差的MLP、最后使用逻辑回归Scoring输出概率值。1 预处理拿到数据，先划分为数值型和类别型两类数据：我们拿到的数据比较清楚，I1-I13是数值型、C1-C26是类别型，不过有不少缺失值，可以在预处理进行填充，数值型填充0，类别型填充-1。此外I1-I13上，部分字段的数据大小差别甚大，可以把他们映射到对数范围，提高模型
2021-03-16 23:27:04
2316
转载 （转载）MySQL中MAX函数与Group By一起使用的注意事项
转自：https://blog.csdn.net/magicharvey/article/details/21372813mysql> select * from test;+----+-------+------+-------+| id | name | age | class |+----+-------+------+-------+| 1 | qiu | 22 | 1 | | 2 | liu | 42 | 1 | | 4 | zheng
2021-01-29 16:25:45
434
原创 MySQL报错没有详细信息只有错误编码问题解决
最近项目新建的MySQL，在执行SQL报错时不会抛出具体的报错信息。在/etc/my.cnf中增加了以下配置：lc-messages-dir = /usr/share/mysql/english/还是没有抛出具体的报错信息。查看/usr/share/mysql/english/目录，下面有一个errmsg.sys文件，里面记录的是错误码和报错信息的映射配置，大小是44kb。对比了云服务器上可以正常抛出错误的MySQL的errmsg.sys文件，大小是78kb。将云服务器上的errmsg.sy
2021-01-29 14:03:00
2122
原创 centos安装python mysqlclient包报mysql_config no found、Python.h no found、gcc error解决
如果是报OSError: mysql_config not found,则先使用yum list installed | grep xx检查如下包的安装情况。yum list installed | grep gccyum list installed | grep mysqlyum list installed | grep mariadbyum list installed | grep python支持mysql_config是需要安装下面的软件的：gccgcc-c++python3
2020-12-12 20:08:32
781
2
原创 centos初始化安装python3虚拟环境指南
0 设置yum下载源为阿里云# 备份原yum源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup# 下载阿里云的repowget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# 清理缓存sudo yum clean all# 生成新的缓存sudo yum makecache
2020-12-07 19:41:22
236
原创 理解dajngo ORM查询中select_related的作用
使用django select_related 一次性取出关联对象，节省了后续数据库查询时间和次数，优化了web性能。
2020-12-01 14:05:22
12657
1
原创 基于django-channel将redis发布的消息实时推送到前端
0 Redis发布与订阅模式订阅频道channel_01127.0.0.1:6379> SUBSCRIBE channel_01向指定频道发布127.0.0.1:6379> PUBLISH channel_01 "info1"发布消息后，订阅的命令行窗口会展示新的消息127.0.0.1:6379> SUBSCRIBE channel_01Reading messages... (press Ctrl-C to quit)1) "subscribe"2) "channe
2020-11-24 15:40:19
2224
2
原创 基于django-channel构建websocket的web应用、支持token校验
0 前期准备本文参考官方文档：https://channels.readthedocs.io/做了一定的修改，并加上个人的经验及理解搭建一个django项目，假定项目名称为mysite，应用名称为chat安装channels：pip install channels1 配置asgi文件asgi文件用于指向接收不同协议的请求要执行的代码。# mysite/asgi.pyimport osfrom channels.auth import AuthMiddlewareStackfrom
2020-11-24 13:09:25
1148
原创 n叉树结构的检索算法实现
使用python实现n叉树检索算法。n叉树结构基于现实业务，基本数据结构如下：[ { "id": "", "name": "公司1", "children": [ { "id": "", "name": "公司2", "children": [] } ] }]实现代码如下，使用了两个函数进行递归调用import jsondef find_text(obj, text):
2020-08-30 23:15:16
292
原创 bitmap算法的python实现
0 引入所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。本文使用python实现bitmap算法。由于算法储存数据的粒度到了位，因此代码中使用了很多位运算，先回顾一下python中的位运算操作。# 或运算>>> bin(10), bin(8)('0b1010', '0b1000')>>> bin(10 | 8)'0b1010'# 与预算&g
2020-07-31 17:42:01
2228
原创 使用阿里云docker容器镜像服务托管、自动构建镜像
使用阿里云docker容器镜像服务托管、自动构建镜像0 引入1 创建仓库2 远程构建2.1 手动构建2.2 自动构建3 本地操作3.1 登录3.2 拉取3.3 推送3.4 使用场景4 触发器5 版本信息5.1 扫描安全漏洞5.2 查看层信息5.3 同步6 部署应用7 其他功能0 引入现在越来越多的公司使用docker托管服务，大部分公司内部都搭建或者购买了容器平台。但开发或者运维人员在非内网环境试用的过程中，往往会遇到构建的很慢、频繁的手动构建、在客户那边没有镜像加速等情况。最近试用了阿里云的容器镜像
2020-06-15 00:35:00
2673
原创 常用工作资源加速方法：Linux镜像/pip/docker/npm&yarn等
Linux镜像加速、pip加速、docker加速1 Linux镜像加速1.1 Ubuntu 16.041.2 CentOS72 pip加速2.1 Linux&Mac2.2 windowns3 docker加速UbuntuCentosWindonws&Mac3 npm&yarn加速3.1 npm3.1.1 cnpm3.1.2 定义新命令3.1.3 直接修改源3.2 yarn4 python虚拟环境4.1 venv4.2 virtualenv&virtualenvwrapper
2020-06-05 19:50:57
753
原创 Mac上如何为VMware Fusion虚拟机设置共享目录
话不多说，进入正题，多图预警，这次一定让你成功设置。1 设置共享目录点击小扳手打开设置设置共享目录我这里直接设置了整个用户目录，当然你可以只设置你需要的目录，按需添加2 挂载vmware tools镜像这里需要注意，默认是直接打开目录/Applications/VMware Fusion.app/Contents/Library/isoimages/就可以选择镜像linux.iso（用于安装vmware tools）。如果没有默认打开这个目录，可以把该镜像拷贝到个人目录下进行挂载。3
2020-06-05 14:27:20
3353
原创 PDF报告的结构化储存-使用百度云人工智能API识别图片中的表格
0 引入最近有需求需要把pdf上的内容自动录入到数据库，之前是人工录入的，效率很低。所以研究了一下pdf，上面基本上是整张图片，处于数据敏感我在网上随便找一张图，类似这样：假设想要把施工单位、项目负责人、验收结果等字段存到数据库，应该怎么做呢？用传统的文字识别，是不提供位置信息的，就算提供了，我们想要对上对应的key-value也得费九牛二虎之力。这里使用现成的方案，百度云人工智能API中的表格文字识别。1 表格识别先上链接：百度云表格文字识别文档地址为：文档首先根据文档申请API Ke
2020-06-02 20:29:08
1350
原创 使用Python创建websocket服务和客户端请求
1 WebSocket是啥本段来自 菜鸟教程-WebSocket。WebSocket 和HTTP一样，也是一种通讯协议，允许服务端主动向客户端推送数据。在 WebSocket API 中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。有很多网站为了实现推送技术，所用的技术都是 Ajax 轮询。轮询是在特定的的时间间隔（如每1秒），由浏览器对服务器发出HTTP请求，然后由服务器返回最新的数据给客户端的浏览器。这种传统的模式带来很明显的缺点，即浏览器需要不断的
2020-05-29 15:23:21
91187
11
转载 （转载）github fork 别人的项目源作者更新后如何同步更新
原文：github fork 别人的项目源作者更新后如何同步更新原文链接：https://blog.csdn.net/zhongzunfa/article/details/80344585觉得非常好的一个小Tip，于是就整篇转载过来了~打开fork 过来的项目如下所示：点击new pull request在进入的界面， 后进行将左边的设置为你自己的仓库， fork 过来的源在右边， 如下图：当选择完后会变成下图：接下来， 将其展示出可以调整状态： 右边改.
2020-05-25 13:05:36
621
原创 pyecharts使用入门及问题解决
pyecharts使用入门及问题解决0 引入1 安装pyecharts2 初步使用3 导出图片4 Notebook展示4.1 开启nbextension功能4.2 下载并激活pyecharts-assets4.3 配置Notebook Host4.4 还是展示不了？5 一些Bug5.1 ImportError: cannot import name 'Bar'5.2 TypeError: __init__() takes from 1 to 2 positional arguments but 3 wer
2020-05-21 20:01:17
7139
4
原创 进程管理程序supervisor使用实践
;[inet_http_server][program:box_crawl] ;程序名称，终端控制时需要的标识command=/home/ubuntu3/.envs/box_crawl/bin/python3 /home/ubuntu3/project/box_crawl/manage.py runserver 0.0.0.0:9103 ; 运行程序的命令directory=/home/u...
2020-04-29 21:21:00
283
原创 python三种字符串匹配方式的效率对比
工作涉及到需要将一个超大文件按指定内容进行分割，这里测试一下python中的in,==和正则三种匹配方式的效率对比。import timeimport restring = "USE dataCombine;"s = time.time()for i in range(5000000): if "USE dataCombine;" in string: pas...
2020-04-09 09:42:28
3139
原创 基于pyspark图计算的算法实例
基于pyspark的图计算实例引入广度优先搜索连通分量强连通分量标签传播PageRank最短路径算法三角形计数引入图算法指利用特制的线条算图求得答案的一种简便算法。无向图、有向图和网络能运用很多常用的图算法，这些算法包括：各种遍历算法（这些遍历类似于树的遍历），寻找最短路径的算法，寻找网络中最低代价路径的算法，回答一些简单相关问题（例如，图是否是连通的，图中两个顶点间的最短路径是什么，等等）的...
2020-03-18 15:04:58
3442
1
原创 使用python读取neo4j中的数据
目前有需求需要对neo4j中的数据进行分析（一般是读到内存后跑脚本或者使用spark跑分布式），这里介绍一种较为简单和通用的方法。定义Cypher语句我们先写两个查询Cypher语句，目的是把我们要读取的数据的字段挑选出来。# 1MATCH (n) RETURN id(n) as id, labels(n) as labels第一个语句，我们返回所有节点的id和标签数据。这里并没有返回...
2020-03-17 17:45:17
5828
4
原创 基于pyspark GraphFrames实现图查询和计算
基于pyspark GraphFrames实现图查询和计算GraphFrames基本操作创建图展示顶点和边的数据统计顶点的入度和出度对顶点和边的数据进行分析搜索指定结构路径对搜索结果过滤多路径条件搜索匿名顶点和边设置路径不存在的条件有状态和无状态查询无状态查询有状态查询子图例一例二参考GraphFrames基本操作GraphFrames，该类库是构建在Spark DataFrames之上，它既...
2020-03-17 15:58:22
4339
原创 基于pyspark创建DataFrame的几种方法
基于pyspark创建DataFrame的几种方法pyspark创建DataFrameRDD和DataFrame使用二元组创建DataFrame使用键值对创建DataFrame使用rdd创建DataFrame基于rdd和ROW创建DataFrame基于rdd和StructType创建DataFrame基于pandas DataFrame创建pyspark DataFrame创建有序的DataFra...
2020-03-17 12:59:49
16291
原创 使用pyspark SQL处理MySQL中的数据
目录pyspark创建DataFrameRDD和DataFrame使用二元组创建DataFramepyspark连接mysqlpyspark SQL常用语法输出schema预览表统计数量输出列名称和字段类型选择列为选择的列赋予新名称按条件过滤构造新列增加行删除重复记录删除列删除缺失值行填充缺失值分组统计和计算函数计算描述性分析参考链接pyspark创建DataFrame为了便于操作，使用pys...
2020-03-17 10:48:25
1437
原创 使用python跑spark：windowns使用PySpark环境配置和基本操作
下载依赖首先需要下载hadoop和spark，解压，然后设置环境变量。HADOOP_HOME => /path/hadoopSPARK_HOME => /path/spark安装pyspark。pip install pyspark基本使用可以在shell终端，输入pyspark，有如下回显：输入以下指令进行测试，并创建SparkContext，SparkCont...
2020-03-11 18:00:06
1222
原创 《动手学深度学习》分别使用残差和VGG训练fashion-mnist分类模型
图片数据集：fashion-mnist下载地址：https://pan.baidu.com/s/1AepwYqg_wQhy9y2S4vkL5Q 密码:aqq3预览：导入包import osimport sysimport timeimport mathimport torchfrom torch import nn, optimimport torch.nn.functi...
2020-03-01 20:31:01
1636
2
原创 《动手学深度学习》图像增广（数据增强）
图像增广图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。其优点在于通过随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如：对图像进行不同方式的裁剪，使感兴趣的物体出现在不同位置，从而减轻模型对物体出现位置的依赖性。可以调整亮度、色彩等因素来降低模型对色彩的敏感度。常用...
2020-02-25 18:23:29
2002
1
转载 MySQL server has gone away解决方法
原文链接：https://blog.csdn.net/dream_1996/article/details/83216018一、（2006, ‘MySQL server has gone away’）错误原因从字面理解，就是你连接的MySQL已经走人了，不在了。相当于你和另外一个人打电话，你一直没有挂电话，但是你把电话放一边了，直到你重新拎起电话想说点啥，才听到里面『嘟，嘟，嘟，嘟…』的挂机...
2020-02-19 01:56:44
324
原创 《动手学深度学习》卷积神经网络LeNet
pytorch版卷积神经网络实现import sysimport torchimport torch.nn as nnimport torch.optim as optimimport timeimport torchvision# netclass Flatten(torch.nn.Module): # 展平操作 def forward(self, x): ...
2020-02-18 21:30:48
365
原创 《动手学深度学习》循环神经网络
pytorch版循环神经网络实现import torchimport torch.nn as nnimport timeimport mathimport sysdef load_data_jay_lyrics(): """加载周杰伦歌词数据集""" with open('/Users/nick/Documents/dataset/jaychou_lyrics.tx...
2020-02-18 20:56:43
336
3
原创 《动手学深度学习》梯度爆炸、梯度消失、过拟合、欠拟合
梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\boldsymbol{W}^{(l)}W(l)，输出层H(L)\boldsymbol{H}^{(L)}H(L)的权...
2020-02-18 20:22:09
277
如何建立自己的代理IP池，并持续维护？
2017-10-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人