- 博客(147)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 2020你好！（工程师的自我感受、反思与总结）
总结20192019年是正式参加工作以来的第一个年头，感受颇丰！我在公司的工程应用实验室任职，想当然，主要是把一些研究成果工程化，以为公司赚取利润。这一年来，参与的项目有CV方向的，也有NLP方向的，也有侥幸获奖的，也有只铺路不赚钱的。总之对“公司”这个词的有了深深的理解！下面说几点感受吧感受成本预算：公司是获取利润的地方，相比于学校，我们有更少的试错机会，所以在预研或者调研的时候要尽可能...
2020-01-01 14:33:23
1021
2
原创 减小 Docker 镜像体积的一些经验
文章目录背景前车之鉴经验分享善用docker commitdev, release 协同打包多用ldd部分命令放到启动上字体缓存python总结背景docker的部署是如何的方便也已经不用这里来阐述了把， 运维人员只要配好配置，一个load 一个run 就将应用起来了， 但是存在一个问题， 有时候一不小心打出的镜像尽有好几个G， 发包难， 接收难。如何在打包的时候获得一个尽可能小的镜像呢？这就是这篇文章分享的一些点。前车之鉴关于如何减小docker 的体积， 通过网上搜索一些文章了解到一些方法，总
2021-01-10 17:18:06
953
原创 docker exec 执行脚本失败解决
文章目录背景介绍原始脚本问题定位1. 脚本书写不规范2.启动参数有问题修改过程背景介绍docker容器里有一个脚本，需要在使用的时候在后台运行，但是通过docker exec 调用这个脚本却一直得不到想要的结果，于是开始了探究之路！原始脚本docker exec -it service_name /bin/bash -c '/opt/start.sh'这个start.sh的作用就是在后台启动两个服务#!/bashnohup start1.sh > start1.log 2>&am
2021-01-10 14:00:39
3736
原创 聊一聊那些激活函数
文章目录神经网络和神经元激活函数为什么要用有什么激活函数重点介绍MishSigmoidTanHReluLeaky ReLUSoftPlusBent IdentitySwish如下为上述激活函数的可视化图如何选择神经网络和神经元如今，一说起人工智能，都会说两句深度学习大法好！说起深度学习就不得不提起神经网络，不管是之前的BP(back propagation)，还是现在的CNN(Convolutional Neural Networks).都是一种仿生设计，模仿的人类的神经元处理过程以及眼睛的局部感受野。
2021-01-01 14:36:47
2731
1
原创 如何评价文档图片的相似度
背景介绍给出一张文档材料，如何在一大堆的材料中做文档图片的比对呢? 给出这个问题的同时，我想到了各种图像相似度计算方法， 各种距离方法。然而，我忽略了文档图像的本质。什么是文档图片文档图片也就是我们经常看到的扫描件吧，他和我们常见的照片还是有很大的。照片的元素丰富，而文档一般只有文字、表格、图片，还有一些附件信息组成。文档图片还有的特点就是背景负责，同一份文档，通过不同设备的采集，所附加的噪音可能大不相同。还有采样设备的差异，导致采样率差距很大，采集的图片大小不一致。还有一种情况，同一份文档，有的文档
2020-11-28 22:42:15
323
原创 我们所熟悉的文档是由什么组成的？是如何实现排版的？
背景这段时间对一些文档的标准做了一些研究，今天呢做一个简单的总结，这里给大家做个简单的介绍文档的组成如果问一个人，一个文档由是由什么做成的，收到的答案可能是千奇百怪的：文字图片表格贴画艺术字高亮批注签名…但是仅仅对于显示来说，其实只要由三种类型就够了，他们分别是图片文字图形这里的图形和图片不是一种东西吗？当然不是，图片就是我们所了解的图片，而图形是指一系列坐标和控制点组合而成的元素，这里可以类比到svg（可缩放的矢量图形），是不是word在放大过程中文字不会失真，而图
2020-06-07 14:22:14
406
原创 一个转义字符引起的。。
背景今天一直在排查一个问题，同样的配置，为什么有的机器读出来是正确的，有的机器则不能正确解析，通过不断的思考验证，发现是一个因为转义字符引起的问题。特此在这里记录一下配置文件格式与读取过程配置文件是一个文本文件，里面是一行行的键值对类似于这样的aaa bbbaaa bbbaaa bbb解析配置文件的代码是通过字符串的拆分进行的，简单来说就是：String[] kvPair = config.split("\r\n")for(String kv:kvPair){ Str
2020-06-04 20:43:14
153
原创 硬章图片的透明化【抠图】java/android实现
背景在实现图片硬章插入文档的时候，遇到了如下的问题。 给出的硬章的背景是白色的，并不是想要的透明色。这样有什么影响呢？这里贴一个图片可以进行观察。你觉得对于硬章来说是透明色更接近现实情况呢，还是直接贴图好呢？思路介绍对于硬章图片，需要把他的白色背景，或者说是浅色背景扣调，也就是在白色或者接近白色的地方（255 255 255）给他的alpha 通道设置成0，对于有信息的地方（深色）alpha设置255，这样就是实现了硬章抠图。避坑如果是用opencv 实现的话也没有什么好写的，这里主要使用ja
2020-06-03 20:50:36
599
2
原创 软件工程化的一些思考
目录背景介绍为什么要做工程化一些需要工程化的点一般软件依赖软件的各种部署与配置线程池大小以及超时的配置软件启动脚本的自动化机器学习相关显存的控制多节点的启动tenosrrt 量化与加速总结背景介绍之前一直在做项目的工程化，导致很久没有写博客了，就在上周已经顺利的发版了，涉及的项目有一个一般的分布式项目，还有一个机器学习集成平台，今天就总结一下工程化中的一些经验。为什么要做工程化一般的开发流...
2020-05-04 11:25:32
650
原创 springboot 调用opencv错误解决（终极方案）
背景为什么标题不叫java调用opencv?这个问题很玄学，先简单的介绍下背景，在一个springboot项目中需要使用opencv 处理一下图片,因此编译好,opencv,导入库中，然后链接上dll,本地测试的时候还是报错。java.lang.UnsatisfiedLinkError问题排查首先搜了很多的相关问题的答案，从百度到谷歌，从博客到官网，能搜到的都搜了一次，相关解决方案是没有导入...
2019-11-20 20:20:11
2023
5
原创 文档图片该如何治理？
背景随着信息化的力度的加强，生活中各种各有那个的文档都进行了数字化，常用的处理数字文档的软件有扫描全能王，名片管家等。随着文档的增多，我就在想，如何能自动化的快速的治理这些图片！这里就先介绍下我的思路整体流程想要治理这些图片，首先就的知道治理那里，因此就的有一系列的检测服务，接下来就是治理流程。通过分析很多的电子文档图片，我觉得主要有如下地方需要检测并治理拍照角度不好，产生梯形拍照抖动...
2019-11-12 23:37:37
140
原创 超时太长会怎么样？
今天根据测试的反馈遇到一个小问题-超时nginx设置的超时时间是5分钟，但是测试上传的文件比较大，后台处理时间比较长，导致请求一直失败，通过查日志，发现是nginx超时！把nginx的时间调大后效果果然好了，但是一个问题就来了，如果增加了超时时间，那么会带来什么？首先能想到的是前端可能一直获取不了信息。还有一点就是可能会使连接池爆满，新的链接进不来。以TOMCAT为例，大家都知道，连接池的...
2019-11-11 23:16:58
1295
原创 【程序人生】-工作三年的同学给的建议
背景有七八个大学同学在北京漂着，刚来的时候，每周可以去同学家里串个门，可以隔几周把小伙伴们都叫出来小聚一下，交流一下现状，吐槽一下北京，同时畅想一下未来。可是今年却好长时间没有聚一聚了，提前预约都不顶事，不是这个有事，就是那个有事。不能所有人开大会，就叫二三好友，开分会吧！预约预约时间每次活动的起始都是从预约开始的，现在北京分会的群里吼一声，看看谁周末有空了，咱们一起来吃火锅。等待半天终于...
2019-11-10 21:57:55
237
原创 ARM 安装python 库【numpy,scipy,sklearn,skimage 】
背景程序中加入了一些新的功能，引入了一些新的包，docker build 的时候需要加入这些包，X86的包可以直接下载whl，但是再ARM 架构下，使用pip却一直安装不上，因此，需要解压开文件进行源码编译。步骤一般的安装方式pip install -y numpy pip install -y scipy==1.1.0pip install -y pip install scikit...
2019-10-14 09:16:05
9611
3
原创 记一次”高可用“分布式服务环境搭建
背景前不久开发了一款文档相关的服务，服务设计文档的生成以及显示，上线一段时间后，有人居然反映处理能力达不到他们的要求！！根据我们的测试结果，满足50人同时使用是没有问题的，客户就是上帝，赶紧提升服务能力。方案构思如何提高生成能力以及如何实现高可用的生成与展示是个问题！首先对现有的过程进行分析。现有的流程分析文档的生成流程：用户在B端上传指定的材料S段处理请求，把结果save 到se...
2019-09-07 18:32:04
141
原创 python 简单的实现NRSS 无参考图片质量检测
NRSS 算法流程实现过程中的说明在实现过程中发现如果步长设置的小，算法运行的特别慢，达不到性能要求啊，于是用等分图片试了试。直接参考程序吧。code#encoding=utf-8import cv2import numpy as npfrom skimage.measure import compare_ssimdef gauseBlur(img): img_...
2019-08-11 17:23:56
2567
1
原创 用java实现一些距离
用java 实现一些距离度量import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.util.List;public class Distance { private static final Logger logger = LoggerFactory.getLogger(Distance.class)...
2019-07-28 14:50:14
253
原创 【基础不牢，地动山摇】K近邻算法--KNN
什么是K近邻算法？K近邻是最为基础的分类和回归算法！他的基本原则就是：对给定的训练实例点和输入实例点，首先确定输入实例点的kkk个最近邻训练实例点，然后利用这kkk个训练实例点的类的多数来预测输入实例点的类。简单的说就是近朱者赤，近墨者黑。该点周围的K个点绝大部分是红色的，那么它是红色的概率也大。如果绝大部分是黑色的，那么它也极有可能是黑色的！KKK近邻三要素kkk近邻法三要素有：距...
2019-07-28 14:30:59
127
原创 java 保存图片的一些坑！
背景最近的一个项目因为耗时太长让人吐槽了！追查代码，原来是一句保存图片太耗时！ImageIO.wirte(image,"png",output);ImageIO.write写png真实效率低的很，耗时太长，1M的图片耗时居然达到秒级！这时候你也可能会问，那jpg效率怎么样呢？当然！jpg的写还是很快的！当时为什么不用jpg?反思当时写代码时候的想法，为什么要使用png,而不适用更块的...
2019-07-27 15:30:31
567
原创 【基础不牢，地动山摇】K-D树
为什么在这里介绍最为基础的数据结构“树”呢？因为在最近邻算法中树有很重要的作用。首先回顾一下二叉树：二叉树二叉树是每个结点最多有两个子树的树结构。通常子树被称作“左子树”和“右子树”。二叉树常被用于实现二叉查找树和二叉堆。一张图快速理解二叉树：二叉树的搜索和构造就不再这里介绍了，大家可以参考这篇文章。linkK-D树为什么在上一节介绍二叉树？因为K-D树是每个节点都为k维点的二叉树。...
2019-07-22 23:03:08
204
原创 【基础不牢，地动山摇】感知机学习算法
什么是感知机？感知机算法是一个二分类算法。可以把给定的数据分为正类和负类二类。给定一个数据集：T={(x1,y1),(x2,y2),...,(xn,yn)}T=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}T={(x1,y1),(x2,y2),...,(xn,yn)}整体的模型为：f(x)=sign(wx+b)f(x)=sign(w x+b)...
2019-07-17 23:24:56
175
原创 【基础不牢，地动山摇】最小二乘法
什么是最小二乘法？第一次听到最小二乘法是在读书期间，主要是用来应付期末考试。深入了解它是在拟合曲线的过程中，有的论文对最小二乘法进行改进，增加了很多的正则项，以提高拟合度。总的来说，最小二乘法就是最一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。实现函数的拟合。比如下图：可以通过最小二乘法计算出函数的系数，得到a,b实现函数y=a+bxy=a+bxy=a+bx对这些点的误...
2019-07-17 08:25:46
181
原创 【基础不牢，地动山摇】什么是统计学习
最近阅读了李航教授的统计学习，因此简单做个笔记，全当是对自己知识体系的差漏补缺。什么是统计学习？统计学习是计算机利用模型，对数据进行分析和预测的学科。统计学习有监督学习，半监督学习，非监督学习，还有强化学习。统计学习三要素是什么？模型策略算法学习方法统计学习有一个大的前提，就是数据独立同分布，楼主之前主要做迁移学习方面。考虑的问题大都是训练集和测试集不服从独立同分布假设。这里简...
2019-07-15 23:16:28
226
原创 团队协作-----文档的重要性
背景很近没有记录自己的状况了，很多人都发来私信问我干嘛去了。我是去参加了一个由十几家公司配合的大项目，作为参与方，需要和各方进行协调讨论，加班为常态，每天都有小汇报，每周都有大总结。但是反思整个过程，依然觉得还是很操蛋。为什么这么说了？听我一一道来!过程简述该项目是一项有某大型单位主导，由10几家企业参与的较为大型的项目，这个大型，我觉的只是参与方较多，系统总体规模来说，我觉得只是算得上是中...
2019-07-13 14:17:43
226
原创 docker删除tag为none的镜像
docker 使用一段时间后，会因为某些操作，产生很多tag为none的镜像，随着时间的推移是越来越多，如何清理成为一个问题:windowsdocker rmi -f $(docker images --filter “dangling=true” -q --no-trunc)Linuxdocker images|grep none|awk '{print $3}'|xargs doc...
2019-05-24 10:52:23
5810
4
原创 解决docker中中文显示的问题
docker 镜像中遇到了中文乱码无法显示的问题，通过export LANG虽然可以暂时性的解决问题，但是docker 重新进入的话就又开始乱码了，通过半天的摸索，借鉴别人的资料，解决了这个问题。centos在Dockerfile中添加这么几行FROM registry.thunisoft.com:5000/arm/jenkins:latestRUN localedef -c -f ...
2019-05-15 13:01:05
2466
原创 python把字典转化为json的时候出现的编码问题
python虽好用，编码愁死人做一个服务，需要把数据以json的形式发送出去，服务端写的时候是先把数据保存到字典里，然后通过json的dumps()转化为json ,这里就需注意dumps的具体用法，如下例子所示：import jsonjson.dumps("中国")这里输出的是汉字的ascii码，想要输出汉字就需要把参数设置好ensure_ascii=Falsejson.dumps...
2019-04-17 19:53:32
5255
原创 程序员遇上了辅导机构顾问(交谈有感)
因为自己在一次活动中留下了自己的电话号码并且表示有学习英语的意愿，就不断的接到辅导机构的电话，每家机构都约我到最近的一家机构去做试听，只可惜在工作日的时候每天下班就不早了，从公司感到机构就不早了，就一直没有答应去试听，知道一天，那天下班比较早，就随口说周一晚上过去，可是周一下班依旧有点晚，可是机构老师还是耐心的给打电话带路，碍于面子，还是答应了老师，尽快过去。去了机构后接待我的是该机构的校长，将...
2019-04-13 21:14:30
162
原创 flask编写RESTful API
RESTREST(Representational State Transfer)是一种架构风格，表述了网络中客户端于服务端的一种交互，REST本身是不实用的，关键的是如何设计它。REST架构就是为了HTTP协议设计的。RESTful web services的核心概念是管理资源。资源是由URIs来表示，客户端使用HTTP当中的’POST,GET, PUT, DELETE’等方法发送请求到服务器...
2019-03-31 19:54:38
262
原创 opencv的跨平台的安装以及多版本并存
背景遇到一个奇葩的项目，有的程序里调的是opencv2.4.13的版本，有的程序里调的是opencv3.2的版本，真实有意思！程序员天生就是为解决问题而生的！想想该怎么解决吧！因为本人也是接触opencv 不太久，之前接触的用的还是python接口。接下来我将简单的阐述一下我解决这个问题的过程，仅此记录一下这个过程。解决的想法变化1.想到高版本可能向下兼容。这是我最初想出来的办法，现在...
2019-03-31 16:43:06
630
原创 nvidia-docker 启动的时候报错: legacy plugin: plugin not found
通过rpm包安装nvidia-docker后想要启动一个应用结果显示如下的错误：Error looking up volume plugin nvidia-docker: legacy plugin: plugin not found遇到这个错误不要惊慌，不要难过，这提示的意思是没有找到插件，仔细想想安装好后是否启动了服务？如果是在想不起来，那就检测一下服务吧！检测命令如下：sudo sy...
2019-03-29 08:37:22
3458
原创 linux 安装docker的终极方法
今天在build docker 的时候突然看到网上有个Dockerfile 里写的RUN curl -sSL https://get.daocloud.io/docker | sh好奇的促使下打开这个连接看了一下：（把内容放到了文章末尾）从脚本可以看出，这个脚本可以自动的判断系统属性以及CPU架构，并且会安装docker ,想想之前安装的时候首先的更新源然后在install ,真实麻烦，有...
2019-03-27 19:34:51
2255
原创 实现一个简单的标注系统（js-python-mysql）
想要训练一个好用的机器学习模型该怎么办？标注数据去吧是呀，数据不行，模型怎么能行？可是面对成千上万的数据只能看模型而叹气了。有钱一起花，有数据当然一起标了，赶紧做一个简单的数据标注系统，发动组里的人一起标数据吧！基本构造还是传统的构造方法，有显示，有控制，还有数据库前端页面用于展现你要标注的数据，提交标注的结果(是，否，疑惑)的按钮，标注规则后端控制处理前端的标注结果并让前...
2019-03-11 19:32:15
3134
3
原创 debian 9-GeForce GTX 1060-nvidia-docker 安装深度学习环境
之前训练模型一直用的是师兄装好的工作站。这不用喜人的价格收购了一台工作站，debian系统，配备了1张1060卡，16GB内存，4核i5。虽然有点不上档次，但是也比CPU跑的快点，用来做尝试没有问题了。开始环境安装吧！环境安装介绍安装之前去官网上查一下需要什么版本的cuda和cudnn显卡驱动安装去官网下载对应的驱动程序 https://www.nvidia.cn/Download/in...
2019-03-10 15:32:39
832
原创 使用nginx和fastcgi做图片识别服务器
背景使用的特定的设备进行深度学习模型的推理，该机器仅仅提供了C++封装好的API进行模型的加载启动与推理，模型的训练依然是使用caffe，模型需要转化成该设备支持的格式，模型的转化这里就不在介绍。为了把模型的推理做成一种服务，只能上手C++，搭建HTTP服务，使得用户通过http服务post一张图片，服务器启动模型推理，实现模型的预测，并把结果返回给客户端。整体框架服务短的服务内容就是对接...
2019-03-03 16:06:22
244
原创 2019年的阅读书单，夯实我的技术栈
通过对2018年的认真总结，与对未来形式的详细分析，重点的对自己的需要弥补的地方进行思考，我是主要做AI的engineer，但是在这半年的工作时间里，发现自己在工程实践上还是又很大的欠缺，举例如下：1.soner改的第一个bug就是关于设计模式的2.随着中美关系的进一步发展，中国国产化的趋势势不可挡3.模型设计过程中对某些公式的推导还有很大的缺陷4.多年的经验都在工业中对振动信号的处理，...
2019-01-12 17:37:17
435
原创 年终反思与总结
时间流逝如白驹过隙，恍然间加入公司也快有半年时间了。半年的时间我从一名毕业生经过公司的试用期，成为公司的正式员工之一。所担任的社会角色改变了，职责也改变了，思考问题的方式也改变了。虽然工作前预计了工作中有一定的困难，可是实际开发过程中遇到的困难远不止自己想象的那么简单。要做到满足产品的需求，做为一名合格的开发人员，这个过程还有很长的路要走。每天都在认真的反思与总结自己，让自己不断的进步。在此我由衷...
2018-12-29 12:39:07
1193
原创 深度学习在图像上的一些应用
背景马上就上班快半年了，毕业前一直在和工业中的数据打交道，工作中却接触的都是图片，之前还有一点不太适应，不过本着数据是流动的基本思想，在图片应用领域也能快速入门，并给公司做出了一定的贡献。如果介绍的有什么不对的地方请多指正，毕竟学习应用不过几个月。深度学习什么是深度学习？在说深度学习之前，有必要说一下浅度学习，也就是人工神经网络，一般的神经网络有输入层，隐含层，以及输出层构成。而深度网络简...
2018-12-22 19:52:37
4045
原创 利用差分去除突变值
今天同学问我去除一堆数据里的异常值(突然上升、突然下降)有什么好的算法，并附有一张截图： 这些突然变化的点就是需要检测出来 的点。针对这个问题，首先想到的是出现奇异值的时候与前一个点和后一个点是有很大的变化的，因此，用差分应该是管用的，差分后的结果是：只需要设置一个阈值，就可以将大部分的‘变异值’过滤掉本文中设置的阈值是3和-3，只有前一个差分值和后一个差分值是一正一负，或者...
2018-12-18 08:47:28
6286
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人