FireeLee-CSDN博客

原创 2021-09-06

面试的一些内容：GNN在双塔中的具体作用。召回提升了多少。YoutubeDNN 的实现细节。MMoE 的网络结构。在这段时间内做的比较深入的内容。样本、特征、算法三个关键点，在召回和精排阶段，分别那个更重要。一道算法题：给定整型数组A=[a1,a2,..,an]，求数组B，其中数组B的长度跟A一致，且bi为数组A中除ai外所有元素的乘积。...

2021-09-06 11:21:33 112

原创多线程加锁计数方法

https://www.liujiangblog.com/course/python/79import threadingimport timenumber = 0def plus(): global number # global声明此处的number是外面的全局变量number for _ in range(1000000): # 进行一个大数级别...

2020-04-23 17:50:23 453

原创 [Jupyter-Notebook] 指定python3路径，配置notebook依赖源

[Jupyter-Notebook] 指定python3路径，配置notebook依赖源问题：本机是 mac，通过 brew install jupyter 方式安装的 notebook，发现 notebook 用的版本是 python3.7。在安装 keras，tensorflow的时候，是用 pip3 install keras, tensroflow==1.14.0, "nump...

2020-04-13 15:21:16 2174

原创 [Face Detection 推理出现段错误]Segmentation fault: 11

HTTP 任务启动起来后，第一次请求是正常的，但第二次请求，突然出现了段错误，同时整个服务挂了。错误信息如下：Segmentation fault: 11Stack trace returned 10 entries:[bt] (0) 0 libmxnet.so 0x000000013c77de60 mxnet::op::NDArr...

2019-09-19 16:58:23 1336 3

原创【性能优化】利用timeline.json观察keras+tensorflow推理时间，并提升性能。

在做OCR模型训练，感觉迭代速度有些慢，因此想要分析一下具体的GPU使用占比。1. 在训练脚本中增加timeline工具，并记录推理时间OCR的模型搭建使用的是Keras，因此不同于传统的Tensorflow 方式，需要在 model.compile()中增加profile相关配置，该阶段的操作参考了[1] 这篇文章。代码部分： # step 1：定义 run_options...

2019-09-03 16:25:03 3086 4

在模型训练初始化完成后，我们交替的使用正向传播和反向传播，并根据反向传播计算的梯度迭代模型参数。既然我们在反向传播中使用了正向传播中计算得到的中间变量来避免重复计算，那么这个复用也导致了正向传播结束后，不能立即的释放中间变量的内存。这也训练要比预测占用更多内存的重要原因。另外，需要指出的是，这些中间变量的个数大体上和网络层数相关，每个变量的大小与批量大小和输入个数也是线性相关的，他们是导致 ...

2019-07-22 09:34:25 2433

原创 python opencv2 将两张图片合并为一张

转自 https://www.cnblogs.com/ailexy/p/6806622.html在用python处理图像的时候，除了图片叠加和图片拼接两种情况之外，有时候还会碰到需要上下左右连接图片合成一张图片。opencv中的cv2.addWeighted()和cv2.add()函数处理效果是叠加，参考[1]中描述的是拼接图片(stitching images)，而接下来要讲的是连接图片(co...

2019-07-15 18:10:37 41458 3

原创 cross_entropy mxnet 理解

cross entropy 以 mxnet 的实现是from mxnet import nddef cross_entropy(logit, label): return -nd.pick(logit, label).log()nd.pick(logit, label).log()nd.pick(logit, label).log() 中的 log() 是自然对数 ln，即以e...

2019-07-11 09:44:04 493

原创 [cute tools] sshpass 在登录带入明文密码

Reference : [1]step1 : install sshpass对于Mac，您需要安装xcode和命令行工具，然后使用非官方的Homewbrew命令：$ brew install https://raw.githubusercontent.com/kadwanev/bigboybrew/master/Library/Formula/sshpass.rbstep 2 : use...

2019-06-26 11:00:56 419

原创 [Keras 源码学习] MobileNetV2

最近阅读到 Keras.backend.tensorflow_backend.py 。原由是 MobileNetV2 Keras 实现的学习，阅读的版本是https://github.com/JonathanCMitchell/mobilenet_v2_keras 的实现，官方的另一个指定版本。MobilenetV2 基本上是平铺直叙，这一则是记录对实现过程中，各个网络层的调用细节。Inp...

2019-04-26 10:20:56 3176

原创 OCR 服务CPU负载过高问题分析。

问题简述在 OCR 的云侧服务部署时，部署了4个检测，8个识别的线上服务。在全量服务之后，出现了 CPU 负载过高的问题，这个问题也是第一次遇到。总核数 = 物理CPU个数 X 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| ...

2019-04-26 08:38:53 1830

原创 [MobileFaceNet] MobileFaceNet tfLite converter do not support switch 问题定位。

将 Tensorflow Slim 实现的 MobileFaceNet 模型转换为 tflite 过程中，出现无法 switch 不支持的问题。通过 tensorboard 搜索 graph 中 switch 所在的位置，发现都位于 BatchNorm 中。因此在读源码过程中，抽丝剥茧，缕了一下BatchNorm 使用 switch 的过程。...

2019-04-09 20:50:46 1271

原创【Tensorflow Learning 】nn.l2_normalize

Learning Some thing about nn.l2_normalize , the formali in function declare as :output = x / sqrt(max(sum(x**2), epsilon))which could be declare as :output = x / |x|@tf_export("nn.l2_normalize")@...

2019-03-25 21:23:23 278

原创【TF Lite】First Example of Tensorflow Lite

Install the latest version of Bazel as per the instructions on the Bazel website.The Android NDK is required to build the native (C/C++) TensorFlow code. The current recommended version is 14b, w...

2019-03-22 11:25:27 163

原创 2019 手撕网络 Flag

2019 年，深度学习工程小样手撕一遍 MobileNetV2 手撕一遍 ShuffleNetV2 手撕一遍 Faster-RCNN 手撕一遍 SSD 手撕一遍 Yolo V3 终极Flag，手撕一个自己的深度学习框架，在Github上搭起来，实现基本的 CNN-Base，RNN-Base等。...

2019-03-12 21:05:48 122

原创 Orientation Rotation Model Related Links

BaseModel Structure : https://blog.csdn.net/akadiao/article/details/80456742ShuffleNet TF: https://github.com/scheckmedia/keras-shufflenet/blob/master/shufflenet.py

2019-03-05 10:07:23 91

原创 Understanding of ArcLoss in 《ArcFace -Additive Angular Margin Loss for Deep Face Recognition》

ArcFace ’ main point is ArcFace Loss。粗浅的梳理一下对 ArcFace Loss 的理解。In face recognition task, firstly train a DCNN with ArcFace loss. The common way for doing that is Softmax loss function, which declare...

2019-03-01 11:36:47 775

原创【拾贝】cv2与PIL.Image

from PIL import Imageimport cv2im2 = cv2.cvtColor(cv2.imread(path), cv2.COLOR_BGR2RGB)im = np.array(Image.open(path).convert('RGB'))im2 == im

2019-02-13 17:46:14 237

原创【2019年2月11日】开源项目学习

系统类型:围棋对弈：https://github.com/Tencent/PhoenixGo其中 TensorRT 相关部分。边缘计算：https://github.com/Tencent/FeatherCNN功能类型：人脸识别：https://github.com/vipstone/faceai网络蒸馏：https://github.com/Roy-Algoritm/d...

2019-02-11 22:55:57 196

原创 [TensorRT进击之旅] TensorRT 安装篇

11月21、22两天参加了苏州的NVIDIA GTC 2018大会，各大厂商把TensorRT 用的神乎其神，京东无人柜在TRT的加成之下，模型能搞提升一倍，效果可观。CUDA / CUDNN 版本修改TensorRT5 的安装依赖 cuda 9.0 和 cuDNN 7.3.1 所以我矫枉过正，把cuda 9.2 拉回到了 cuda 9.0，并重新配置了 cuDNN。此外我按照这个安...

2018-11-24 16:37:21 9280 7

原创 [进击的测试工程师] 测试工具之Postman——自动化测试配置

话说，测试玩不利索的CV算法工程师，不是一个好的炼丹师。所以这篇主要记录使用Postman的过程。使用Postman的起因，是因为OCR服务已经搭起来了，但通过Post请求图片的批量测试，是一个很麻烦的事情，没有特别趁手的测试工具，测试大佬们也很难push，所以就自己简单搭一个，以后变更服务时，测试起来也比较方便。Postman也是来自谷人希，似乎无论是做工程，还是搞算法的，都绕不过谷歌这座庞...

2018-10-15 20:45:17 321

转载 [Python ] Python 多维数组转换的维度对齐问题

Python3 多维数组转换的维度对齐问题通过几个例子简单了解一下：Here’s an example of the error:&gt;&gt;&gt; a = [np.zeros((224,224,3)), np.zeros((224,224,3)), np.zeros((224,224))]&gt;&gt;&gt; np.array(a)ValueError: could not ...

2018-10-08 14:58:54 2037 1

原创 [思] 工业代码规范的重要性

Tensorflow 源码编译断断续续装了两天，起初是因为OCR算法跑起来之后，始终无法正确预测结果，并且观察发现，GPU显存也没有完全利用起来。所以自然而然把问题归因于，Tensorflow GPU没有正确安装，所以聚焦在重新编译。今天下午总归是让TF1.7跑起来了，磕磕绊绊耽误了很久，但再跑起来模型，发现预测结果还是异常，调出来看GPU，现存已经完全利用起来了，但为什么有问题呢？隐隐约约感...

2018-09-27 16:56:10 217

原创 Tensorflow 1.8 源码安装

Tensorflow源码安装cuda 9.2 / cudnn 7.2 / python3.5 / tensorflow 1.81. anacanda启动命令root$ source activate python3.52. cuda查看版本命令root$cat /usr/local/cuda/version.txt下载链接：https://developer....

2018-09-27 13:52:56 1796

sinat_21720047的博客