shi_xin的专栏

原创 统计进程一段时间内的cpu平均负载及最大最小值

使用python统计cpu负载，输出均值，最大最小值，输出到excel中。先用这个脚本在shell中抓取数据，然后保存成文件，喂给python脚本。使用python脚本解析上一步的文件，并计算，写入到excel中。

原创 shell 等待ctrl+c

shell 等待键盘事件

转载 const*与*const以及const*与*作为函数参数的差别

1.理解const*与*const假设有一个ptr指针，它保存变量vbl的地址。Type* ptr = &vbl;当使用指针的时候就涉及到两个对象：指针本身以及本身所指的对象。这就意味着const有三个层级的保护。1.1. 确保ptr指向唯一的内存有两种写法Type* const ptr = &vbl;Type* const ptr(&vbl);1.2. 确保不能通过ptr改变vbl的值const Type* ptr = &vbl;

原创 cuda opencl opengl opencv

原创 ubuntu brew安装

安装 Linuxbrew在安装 Linuxbrew 之前，需要先准备好依赖：Debian/Ubuntu：% sudo apt-get install build-essential curl git ruby libbz2-dev \ libcurl4-openssl-dev libexpat-dev libncurses-dev zlib1g-devFedora：% sudo yum groupinstall 'Development Tools' && su

原创 CUDA - 2.3 核函数计时

2.3 核函数计时核函数计时，有专门的工具，使用cpu计时是不准确的。2.3.1 cpu计时不准原理如下：(核函数开始执行后马上返回主机线程，所以必须加一个同步函数cudaDeviceSynchronize()，等待核函数执行完毕；否则测试的时间是从调用核函数，到核函数返回给主机线程的时间段)核函数启动到结束的过程： 主机线程启动核函数 核函数启动成功 控制返回主机线程 核函数执行完成 主机同步函数侦测到核函数执行完 我们要测试的是2~4的时

原创 CUDA - 2.2 内存

2.2 内存2.2.1 apiCUDA提供的API可以分配管理设备上的内存，当然也可以用CDUA管理主机上的内存，主机上的传统标准库也能完成主机内存管理。 下面表格有一些主机API和CUDA C的API的对比： 标准C函数 CUDA C 函数 说明 malloc cudaMalloc 内存分配 memcpy cudaMemcpy 内存复制 memset cudaMemset 内存设置 free cudaFree 释

原创 查看caffe模型输出结构

当对一个刚接触的模型，需要快速查看其每层数据结构时，netron可能看不到其数据结构；通过打印可以获取：import caffenet = caffe.Net('deploy.prototxt', 1, weights='deploy.caffemodel')//1表示testfor layer_name, blob in net.blobs.items(): print("layer name: " + layer_name + ", data shape:" + str(blo

转载 git仓库包含子仓库时，add报错的解决办法

在父仓库内部克隆一个仓库 /themes/hexo-theme-huhu (从另一个 rope 克隆过来的)在使用 git add . 命令时遇到问题，报错信息如下：warning: adding embedded git repository: themes/hexo-theme-huhuhint: You've added another git repository inside your current repository.hint: Clones of the outer re..

原创 CUDA - 2.1 threadId blockId blockDim gridDim 都是什么，有什么关系

threadId blockId blockDim gridDim 都是什么，有什么关系GPU上很多并行化的轻量级线程，kernel在device上执行时实际上是启动很多线程。一个kernel所启动的所有线程称为一个网格（grid），同一个网格上的线程共享相同的全局内存空间，grid是线程结构的第一层次。网格又可以分为很多线程块（block），一个线程块里面包含很多线程，这是第二个层次。kernel在调用时也必须通过执行配置<<<grid, block>>&

原创 CUDA - 1 初识 - cpu与gpu cuda是什么

1 CPU GPU1.1 异构与主从异构计算架构：GPU并行计算，GPU并不是一个独立运行的计算平台，而需要与CPU协同工作，可以看成是CPU的协处理器。GPU与CPU通过PCIe总线连接在一起来协同工作，CPU所在位置称为为主机端（host），而GPU所在位置称为设备端（device）。1.2 cpu gpu特定GPU包括更多的运算核心，其特别适合数据并行的计算密集型任务，如大型矩阵运算。GPU由于存在很多核心，其线程是轻量级的。GPU重点处理数据密集型的并行计算程序。CPU的

原创 准确率 Top-1 Top-5

很多对于Top1 Top5不太了解，或者很多说明不清的，简单解释如下：Top-1错误率：即对一个图片，如果概率最大的是正确答案，才认为正确。Top-5错误率：即对一个图片，如果概率前五中包含正确答案，即认为正确。...

转载 anchor roi boundingbox proposal 解释

ground truth：指标注框anchor：指人为初始给的先验框，一般在二阶段检测器的RPN阶段或者在一阶段检测器中设置proposal：指的是二阶段方法中RPN的输出框，也就是对anchor第一次做回归得到的结果ROI：指RPN阶段输出的proposal经过排序取topk，然后做nms取一定数量的框，用于第二阶段的再次精修；在RCNN ，Fast RCNN方法中指通过选择性搜索生成的框bounding box：指proposal经过再次精修后的预测框...

原创 cuda atomicAdd 函数

int count = atomicAdd(&pillar_count_histo[y_coor * grid_x_size + x_coor], 1);apollo代码中有如上代码，使用cuda函数：其含义如下：ex:int a = 0;int count = atomicAdd(&a, 1);执行后结构：count = 0；a = 1；次操作在一个原子事物中完成原理为：1.读取位于全局或共享存储器中地址address 处的32 位或6.

原创 conda install caffe tensorflow

创建并激活虚拟环境可能会遇到权限问题，给group加上r w权限：sudo chmod -Rf g+w /anaconda3conda create -n ai python=3.6conda activate ai 直接安装caffe，请务必按照顺序，否则可能会出错。 conda install caffe=1.0//需要加1.0限制，然后不要输入y，直接敲回车；版本不对，会导致后面ir脚本报错，安装完后，conda install protobuf=3.2//后续脚本会更新为

原创 Netron 服务器如何可视化

ssh -X xxxssh服务器的时候，加上-X参数，然后终端运行netron 打开模型的时候，就可以显示了。

原创 部署中的 Blob data

Blob(Binary long Object)是二进制长对象的意思.Blob通常用于存储大文件.典型的Blob内容是一张图片或者一个声音文件.由于他们的特殊性，必须使用特殊的方式来存储。使用Blob列可以把照片声音等文件的二进制数据保存在数据库里，并可以从数据库里恢复指定文件。...

转载 shell中如何批量注释和取消注释

shell中如何批量注释和取消注释更新时间：2020年08月27日 11:14:36 作者：用户1214487 这篇文章主要介绍了shell中如何批量注释和取消注释，帮助大家更好的理解和学习shell脚本，感兴趣的朋友可以了解下 1 2 3 4 5 6 7 #!/bin/bash echo "1" echo "2" echo "3" echo "4" echo "5"...

原创 warning: format ‘%x‘ expects argument of type ‘unsigned int‘, but argument 6 has type ‘u32

warning: format '%x' expects argument of type 'unsigned int', but argument 6 has type 'u32 {aka volatile long unsigned int}' [-Wformat=]改成长整例如问题原因：LOGI(TAG,"FFT 0x%x\r\n", DATA));修改：LOGI(TAG,"FFT_STATUS_REG 0x%lx\r\n", read.

原创 conda 安装 tensorrt7 tensorflow1.15

当运行tensorrt中的sample时，发现居然需要tensorflow是1.15...1.创建新的conda环境conda create -n tensorrt_tf1.15 python=3.6conda acitvate tensorrt_tf1.152.安装cuda、cudnn、tf1.15conda install cudatoolkit=10.0.130 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/fre

原创 conda 安装 tensorrt8

conda 安装 tensorrt，目前官网推荐最新的tensorrt8. 最新的tensorrt8，在conda环境下安装，并不复杂。官网：github官网推荐环境：TensorRT GA build TensorRT v8.2.0.6System Packages CUDA Recommended versions: cuda-11.4.x + cuDNN-8.2 cuda-10.2 + cuDNN-8.2 G

转载 显卡，显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么

显卡，显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么在使用深度学习框架的过程中一定会经常碰到这些东西，虽然anaconda有时会帮助我们自动地解决这些设置，但是有些特殊的库却还是需要我们手动配置环境，但是我对标题上的这些名词其实并不十分清楚，所以老是被网上的教程绕得云里雾里，所以觉得有必要写下一篇文章当做笔记供之后参考。参考【GPU编程系列之一】从深度学习选择什么样的gpu来谈谈gpu的硬件架构 显卡： 简单理解这个就是我们前面说的GPU

原创 TensorRT 是什么

TersorRT

原创 Docker是什么

1.概念Docker的思想来自于集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了，集装箱和集装箱之间不会互相影响。那么我就不需要专门运送水果的船和专门运送化学品的船了。只要这些货物在集装箱里封装的好好的，那我就可以用一艘大船把他们都运走。.不同的应用程序可能会有不同的应用环境，比如.net开发的网站和php开发的网站依赖的软件就不一样，如果把他们依赖的软件都安装在一个服务器上就要调试很久，而且很麻烦，还会造成一些冲突。比如IIS和Apache

原创 tensorflow 类型转换

TypeError: 'DType' object is not callabledef cast(x, dtype, name=None): """Casts a tensor to a new type. The operation casts `x` (in case of `Tensor`) or `x.values` (in case of `SparseTensor` or `IndexedSlices`) to `dtype`. For example: &gt

原创 conda gensim exceptions.ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org‘, port=44

使用conda安装gensim时，报错exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out.更换镜像即可，用这个：pip install -i https://pypi.mirrors.ustc.edu.cn/simple gensim

转载 TensorFlow 之 keras.layers.Conv2D( ) 主要参数讲解

https://www.cnblogs.com/qianyuesheng/p/14849306.html

原创 ubuntu 星火商店

打开官网，下载依赖及客户端https://spark-app.store/download.html安装依赖，然后安装客户端sudo unzip spark-store-dependencies-kylin.zipcd spark-store-dependencies-kylinsudo apt install ./*.deb报错得话，可能是这个错误，然后执行提示就可以：sudo apt --fix-broken install然后重装依赖sudo apt instal.

原创 rnn（一）：概念介绍

目录RNN要解决的问题：解决问题得原理：RNNRecurrent Neural Network，循环神经网络。要解决的问题：训练样本输入是连续的序列,相关性很强,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的手写文字。解决问题得原理：图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。通过预测输出o(t)和训练序列真实输出y(t),以及损失函数L(t)，可以用DNN类似的方法来训练模型，接着用来预测测试.

原创 c语言 pcm 交换左右声道

#include <stdint.h>#include <stdio.h>#include <stdlib.h>int main() { FILE *fin; FILE *fout; int16_t *tmp1 = (int16_t *)malloc(sizeof(int16_t)); int16_t *tmp2 = (int16_t *)malloc(sizeof(int16_t)); int16_t swap; fin = fope.

原创 解决warning: Clock skew detected. Your build may be incomplete

gcc编的时候，报错，修改一下：原因：机器系统时间与文件时间不一致解决：更新所有文件的时间后重新编译find . -type f | xargs -n 5 touchmake clean make

原创 onnx（一）：概念介绍

一、什么是ONNX？Open Neural Network Exchange：开放神经网络交换。是微软和Facebook提出用来表示深度学习模型的开放格式，定义了一组和环境，平台均无关的标准格式。无论你使用何种训练框架训练模型（比如TensorFlow/Pytorch/OneFlow/Paddle），在训练完毕后你都可以将这些框架的模型统一转换为ONNX这种统一的格式进行存储。ONNX文件不仅仅存储了神经网络模型的权重，同时也存储了模型的结构信息以及网络中每一层的输入输出和一些其它的辅助..

原创 mfcc概念 参数介绍

提取的特征最终以矩阵的形式存储，针对mfcc的矩阵维度(rowNum,colNum)，colNum=13, rowNum为帧数，与音频时长有关。例如，音频时长5.68s，频率16k，提取帧数应该是568，但kaldi返回的是565，这与kaldi中处理不足以分帧的剩余数据的方式有关，kaldi目前这种处理方式是兼容HTk工具的。标准情况下，帧长25ms（时间窗window size=25ms，即一帧长度），帧移10ms（帧移frame shift=10ms）。例如，频率为16k的1s音频，在windo

转载 kws 命令词唤醒介绍

原文：语音识别实际问题：（九）关键词识别与嵌入式应用9.1基本概念从一个小视频说起：受过良好“教育”的狗狗端坐在一份美食面前心潮澎湃着，当主人说出“三”这个数字时，它便可以大快朵颐了。于是主人开始“调戏”它，“一”、“二”、“三——十一”（都已经要低下头冲向食物了，结果主人只是拖长了音，于是晃了晃身子又回到原位）、“三——十三”（主人又拖长了音，箭在弦上，差点发射）...“三”（反应了一瞬间，后面没有声音了，终于可以开动了）。这个视频中的狗狗让很多耗费大量人力才建立起来的计算机系统逊色...

转载 深度神经网络（DNN）模型与前向传播算法

　　　原地址：https://www.cnblogs.com/pinard/p/6418668.html深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN的模型与前向传播算法做一个总结。1. 从感知机到神经网络　　　　在感知机原理小结中，我们介绍过感知机的模型，它是一个有若干输入和一个输出的模型，如下图:　　　　输出和输入之间学习到一个线性关系，得到中间输出结果：z=∑i=1

原创 python 查找文件中某个字符串个数

#!/usr/bin/env python# -*- encoding: utf-8 -*-'''@文件 :findstr.py@说明 :@时间 :2021/07/08 10:29:37@作者 :shitao.li@版本 :1.0'''def findStr(str): with open("a.txt",'r') as f: counts = 0 for line in f..

原创 python wav转pcm

#!/usr/bin/env python# -*- encoding: utf-8 -*-'''@文件 :wav2pcm.py@说明 :@时间 :2021/07/08 14:53:48@作者 :shitao.li@版本 :1.0'''import numpy as npdef wav2pcm(wavfile, pcmfile, data_type=np.int16): f = open(wavfile,.

原创 python pcm转int16

#!/usr/bin/env python# -*- encoding: utf-8 -*-'''@文件 :data2array.py@说明 :@时间 :2021/07/07 21:25:23@作者 :shitao.li@版本 :1.0'''# -*- coding:utf-8 -*- import arrayimport osfrom matplotlib import pyplot fileName .

原创 python 比较文件是否相同

#!/usr/bin/env python# -*- encoding: utf-8 -*-'''@文件 :compare.py@说明 :@时间 :2021/07/09 17:56:20@作者 :shitao.li@版本 :1.0'''import osimport arrayshortArray = array.array('h')def cmp_file(f1, f2): st1 = os.st.

原创 c pcm转int16数组

有时候需要把pcm数据转成int16做一些定性分析；#include <stdint.h>#include <stdio.h>#include <stdlib.h>int main() { FILE *fin; FILE *fout; int16_t *tmp = (int16_t *)malloc(sizeof(int16_t)); fin = fopen("record_fpga.raw", "rb"); if (fin == NUL