yu132563的专栏

原创 对所写博客的几点说明

一晃用CSDN来记录一些事情已经过去大约六七年的时间了，以前从没有在意过排名这些问题，最近才发现我自己在不知不觉中已经两千名左右了，粉丝也有很多了，这也说明我发的这些东西对大家来讲有些还是很有用处的，可能以后随着时间推移排名还会靠前，也会有小小的影响力（怎么感觉有小小的得意，嘎嘎嘎嘎。。。），在此做以下三点说明：我是从本科时候就开始使用CSDN博客（当然之前也尝试使用过其他博客，但是感觉CSD...

原创 多台工作站搭建MPI并行环境

因为所作研究工作计算量真是太大了，一台z840的48核工作站还是感觉有点慢，所以就想着自己搭建一个小的集群环境，正好办公室里面有台人家不用z800，所以就拿过来试了一下。折腾了两天，终于在两台hp z840和z800装有centos7的工作站上搭建好了MPI并行环境。还是有很多地方需要注意的，稍有不慎，就会发生错误。下面对这两天的工作进行一下总结，就算抛砖引玉吧。。。首先呢，两台装有lin...

原创 CUDA Stream流并发性

异构计算是指高效地使用系统中的所有处理器，包括 CPU 和 GPU 。为此，应用程序必须在多个处理器上并发执行函数。 CUDA 应用程序通过在 streams 中执行异步命令来管理并发性，这些命令是按顺序执行的。不同的流可以并发地执行它们的命令，也可以彼此无序地执行它们的命令。在不指定流的情况下执行异步 CUDA 命令时，运行时使用默认流。在 CUDA 7 之前，默认流是一个特殊流，它隐式地与设备上的所有其他流同步。CUDA7引入了大量强大的新功能，包括一个新的选项，可以为每个主机线程使用独立的默认流，这避

原创 提升CUDA程序运行效率的几个关键点

最近由于项目需要，需要用MPI+CUDA混合编程提高程序运行效率。相对于MPI并行程序编程，要想充分利用CUDA的资源利用率，还是要考虑很多方面的内容，根据查找的一些相关资料，将提升GPU显卡吞吐率以及利用效率的方法归纳如下，如有问题，敬请批评指正。下面是进行CUDA编程的大致流程，为了避免混乱，会将相关的详细内容放到链接所示的位置。1、明确计算机中GPU卡片的计算资源，决定变量的性质（constant，share还是global）以及Grid，Block的维度...

原创 CUDA程序编写具体参数设置

介绍了GPU的结构以及资源的控制要素（GPU硬件结构和程序具体参数设置_yu132563的专栏-CSDN博客）以及编程过程中的一些需要注意的问题（CUDA程序性能调优_yu132563的专栏-CSDN博客），下面就需要对程序进行具体参数的设置，让程序跑起来。1、BlocksNum, ThreadsNumPerBlock的设置BlocksNum和ThreadsNumPerBlock是执行kernel function时配置的值。这两个值通常都是经验求解，很难找到最优值。总体上来讲，这两个参数的设计主要

原创 CUDA程序性能调优

介绍了GPU的结构以及资源的控制要素（GPU硬件结构和程序具体参数设置_yu132563的专栏-CSDN博客），下面就可以对CUDA进行程序的调优，从而在不同的GPU上面运行同一个CUDA程序的参数设置方法。对于一个CUDA kernel function而言，其通常由如下几个部分组成：kernel function paras local variables shared memory with __syncthreads__ call device function call loop/

原创 GPU硬件结构和程序具体参数设置

本文主要对GPU的硬件，以及根据硬件定量对参数进行设置，按照先了解硬件在进行参数设置的顺序分别进行描述。1、CUDA程序Thread的基本结构在逻辑上，threads分为如下三个层次：thread：每个thread都会运行一次kernel function，threads之间平等无优先级。 block：一组线程，通常放在SM上执行。 grid：一组blocks。通常一次kernel function调用的所有thread都放在一个grid中。而在硬件上，threads仅有两个层次：co

原创 Linux常用命令集锦

将一个目录下的文件合并成一个文件find data/ -name "*seisreal.su" | xargs cat > ./seisreal.su持续更新中。。。

原创 一张图解释几个监督学习的定义

参考：自监督学习与监督学习和无监督学习的区别是什么。自监督在学习过程中需要提供label吗？ - 知乎

原创 挽救Centos7.0

Linux系列系统对于用户权限制比较严谨而且不是很稳定，装个显卡驱动或者是其他的什么操作失误，容易造成显示异常，这里给出系统恢复方法-----单用户模式，针对Centos7.0.1、开机进入grub系统选择界面，按e建进入：2、按方向键下，定位到最后，找到“ro”一行，ro的意思是readonly，将“ro”替换成 rw init=/sysroot/bin/sh，如下图3、按Ctrl-x 进行重启进入单用户模式4、执行chroot /sysroot。其中chroot命令用来...

原创 CentOS7安装cuda及GPU驱动--基于runfile文件

首先要说明的是驱动和cuda是两回事，驱动是介于cuda软件库和硬件之间的程序，在通常安装的cuda Toolkit中是存在驱动的，所以我们通常在安装的时候可以不单独下载驱动，但是软件包中的驱动版本较低，有时候会出现问题，所以如果要使cuda兼容性较强可以考虑安装较高版本的驱动程序，不同版本的驱动可以从网上下载。不同版本驱动与cuda版本对照表可以从下面网站看到：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html，可以单独下载

原创 CentOS下创建配置RAID1

最近工作站坏了一块硬盘，意识到数据备份的重要性，重新插入两块新的硬盘，然后做了个磁盘阵列，对数据进行备份，主要过程如下：1、查看当前磁盘及磁盘分区再windows下重新格式成NTFS也可以，亲测没有问题。2、考虑将两块1T盘sda、sdc做成一个raid1；需要删除/dev/sda、/dev/sdc原有分区，并创建新的分区。删除/dev/sdb原有分区：3、使用同样的方法对/dev/sdc进行重新分区4、开始创建RAID1# mdadm -C /dev/md1 -a..

原创 如何查看tensorflow源代码

刚入门机器学习相关的软件包时，里面好多函数参数不知道应该怎么填，很茫然，这就需要看他自己的函数是怎么实现的，最起码知道调用的函数需要什么参数，报错了也不知道为什么会报错，如果只是依赖网上查，出错了就去网上搜，有点不知所以然，以下总结了一些对应方法，需要的点赞、收藏：如何查看Python函数的源代码：inspect库inspect模块用于收集python对象的信息，可以获取类或者函数的参数信息，源码，解析堆栈，对对象进行类型检查等使用方法：import tensorflow as tf

原创 win10远程控制centos7.0开机

远程控制linux关机很简单，只要能远程连接就可以远程关机。开机就得通过其他方式了，比如网卡。远程控制开机过程：Wake-On-LAN的实现，主要是向目标主机发送特殊格式的数据包，俗称魔术包（Magic Packet）。MagicPacket格式的数据包是由AMD公司开发推广的技术，虽然其并非世界公认的标准，但是仍然受到很多网卡制造商的支持，因此许多具有网络唤醒功能的网卡都能与之兼容。魔法数据包（Magic Packet）是一个广播性的帧（frame），通过端口7或端口9进行发送，且可以用无

原创 交替方向乘子算法（ADMM）

原创 对偶函数求解（二）

原创 对偶函数求解（一）

最近看反演文献，看到了线性回归中得对偶函数求解方法，现说明如下：1、什么是对偶函数也成为拉格朗日对偶函数。

原创 Centos7.0安装tensorflow

近些年，人工智能的发展迅速，相应的机器学习软件包也得到了很广泛的应用，但是由于发展太快，与Android旗下APP编写软件类似（Android Studio），存在很多问题，尤其是linux下。本文旨在说明安装tensorflow的gpu版本，亲测有效。目录1.确定tensorflow与CUDA版本的对应关系2、确定GPU显卡驱动、cuda之间的对应关系1.确定tensorflow与CUDA版本的对应关系首先要确定tensorflow与cuda的对应关系，网友提供了下面的对应关系

原创 不同版本GCC编译器之间的切换

编译器版本有时太高，好多软件是运行会报错，所以最好安装多个版本的gcc编译器，用的时候来回进行切换yum -y install gcc yum -y install gcc-c++ 这是安装gcc命令。发现现有项目不兼容高版本，故需要切换为低版本。find /usr -name gcc可以搜索机器中安装的所有版本的gcc编译器版本。结果是有这么多的下面需要去查看gcc的版本是多少，例如/usr/local/bin/gcc --versiongcc (GC

原创 EXCEL利用VBA自由控制图表绘图区大小

用好VBA的话确实可以给你再办公室的工作效率带来质的提升。如果有人跟你说你可以用Python什么的语言处理Excel balabala的，你可以无视他了。当然python可以处理很多事情，但是EXCEL自带的作图工具也是很有优势的，对于非计算机人员来讲，EXCEL也是画图的主要途径。最近写东西需要画图，画完以后突然发现绘图区域的大小是很难给弄的差不多大小的，所以在网上搜集了一些资料，写了一个VBA宏，然后通过执行宏来控制绘图区域大小。作为新版EXCEL 2019，系统出于安全考虑，开发模式是不自动开

原创 简单算法集锦（程序）

最近写算法程序，发现有一些底层的程序看着貌似简单，想要把效果做的很好还是很难，之前都没总结过。以至于之前即使用过也还得重新再写，写个基于C语言的程序集锦，供参考。1、三次样条插值基本原理这里就不讲了，直接上程序，复制后可以直接使用。#include "spline.h"#include <math.h> static int spline( int n, int end1, int end2, double slope1, double slope2,

原创 Linux服务器和客户端之间的数据同步（备份）

最近实验室总是停电，电脑今天系统出现了点问题，所以需要对数据进行备份，以防硬盘发生突然损坏。目前用到的方法是通过rysnc和inotify协同数据同步，数据可以实时更新。另外，对于经常改变且比较大的数据，实时更新不是那么可能，所以可以通过Linux操作系统自带的crond服务，定时让系统自动更新数据。通过这两种方法可以达到同步数据的目的。下面详细介绍具体操作。具体的结构如下图，我们就是想将存储...

原创 Linux下构建FTP服务器

ftp是什么FTP是 File Transfer Protocol 文件传输协议的英文名称,用于在Internet上控制文件的双向传输. 同时它也是一个应用程序.一般的Linux系统默认带有ftp软件或者是vsftpd。搭建ftp服务器目的最近Linux服务器端硬盘容量受限，文件也多了，需要远程拷贝，找了一圈没有合适的软件，自己搞一个基于FTP服务协议的文件，让他自动远程同步，这样...

原创 Linux服务器与windows本地之间的数据同步

当时构建集群时没有过多的考虑数据存储问题，现在空间有点捉襟见肘，再加上没有设置磁盘阵列，有数据丢失的风险，所以最近就想着能不能让我的windows电脑运行一段程序，然后让电脑自己按照规定的时间去远程同步Linux上指定位置的数据，网上查了好多资料，好多都是用已有的软件，因为装软件装的比较烦，在加上有些软件安装的库有可能跟原有的库文件冲突，最后决定用FTP服务来解决这个问题。首先在windows...

原创 阶跃函数和冲击函数相关性质及傅立叶变换求取方法

阶跃函数和冲击函数是常用的广义函数，在微积分学及其电路上面有广泛的应用，之前在数学物理方程中有涉及，最近推倒公式里面全是这个东西，还是需要把他的性质做一下回忆。下面是我对网上找的部分资料的总结阶跃函数的傅立叶变换参考文献：https://blog.csdn.net/njucp/articl...

原创 Linux内存申请机制

在linux上部署项目的时候可能会遇到这么一个错误，明明有内存，但是报Segment fault的内存错误，是什么原因呢？错误原因毫无疑问就是分配内存的时候内存不足,但是使用free 命令去查看系统的内存占用却发现此时还有很多内存可用.再使用 ulimit -a 发现内存也并没有被限制.我们最终还是在RedHat上找到了答案,需要优化系统性能或者深入了解RedHat系列的可以去看看:...

原创 从理论角度理解L1、L2正则化

原创 惩罚、补偿、正则化、约束的联系和区别

最近看几篇文章，文章上面在写反演目标函数的时候，有些是写的约束，有些是说补偿，有些又是正则化。说实话，之前是没怎么区分这几个东西的，感觉都是一样的，后来才真正的注意到这个事情。下面是来自百度百科的解释：其实所有的惩罚、补偿还是正则化都是约束方法。如上所示，约束就是把值给限定在一定的范围内，在反演过程中，如果加在目标函数中的话，就会写成最下面的函数形式，这就是平常我们所说的加入惩罚、补偿、正...

原创 常用图像处理软件

1、 最著名的开源图像软件：GIMP。 开发语言：C GIMP号称Linux下的PhotoShop，总观其工程，确实达到了PhotoShop早期版本的功能。三大利器:选区、图层、蒙板一应俱全，滤镜也非常丰富，支持插件。缺点就是界面不美观，用户体验差，执行速度在Windows下慢(Linux下不清楚)。 官方网址为：http://www.gimp.org/...

原创 L0、L1、L2范数在机器学习中的应用

参考文献https://zhuanlan.zhihu.com/p/51479277

原创 正则化与L0、L1、L2范数祥解

1、范数范数是衡量某个向量空间（或矩阵）中的每个向量以长度或大小。范数的一般化定义：对实数p>=1， 范数定义如下：L1范数 当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和。 L2范数 当p=2时，是L2范数， 表示某个向量中所有元素平方和再开根， 也就是欧几里得距离公式。2、拉普拉斯分布如果随机变量的概率密度函数分布为:那么它就是拉普拉斯分布。其...

原创 正则化与L0、L1、L2范数略解

机器学习模型需要拥有很好地泛化能力来适应训练集中没有出现过的新样本。在机器学习应用时，我们经常会遇到过度拟合(over-fitting)的问题，可能会导致训练出来的模型效果很差。接下来，我们将谈论的正则化(regularization)技术，它可以改善或者减少过度拟合问题，以使学习算法更好实现。其实，不只是机器学习，所有反演问题中都会遇到类似问题。我一直再做非线性反演（具体的就不详细说明了），对于...

原创 极大似然估计

似然函数（likelihood function）是一种关于统计模型中的参数的函数，既然是函数那自变量就是模型可能的参数值，因变量就是参数取具体值的似然性，通俗来说就是实验结果已知的情况下，参数为某个具体值的概率。在统计学中，似然和概率正好的两个相反的过程:概率：指定参数后，预测即将发生事件的可能性。 似然：在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。极大似...

原创 英语写作中常见语法总结（二）

状语从句

原创 英语写作中常见语法总结（一）

英语句子加逗号后所接成分总结1、加非限制性定语从句非限制定语从句是相对于限制性定语从句来说的，非限制性定语从句需要跟主句用逗号隔开，所做的句子成分是对主句的进一步解释，去掉以后也不影响整句话的意思。但是限制性定语从句需要紧跟在修饰词的后面，不能隔开，去掉以后句子意思会发生变化。2、加分词短语句子接现在分此短语，表主动进行、伴随或结果。加形容词或形容词短语表示伴随状语。加不...

转载 最速下降法

最速下降法作为求解无约束最优化问题的入门算法，其思想是很多其他优化算法的基础。之前我一直对梯度下降法和最速下降法之间的关系和差异理解不清楚，只知道他们都是一阶方法，都沿负梯度方向迭代降低目标函数值，查了很多资料和网上的教程，发现讲得较为繁琐。经过系统学习和思考后我认为，最速下降法是梯度下降法的一种，该算法与一般梯度下降的区别在于，每次迭代过程中都要求目标函数值下降到搜索方向下的最小值。最速...

转载 Radon变换理论介绍

本人最近在研究Radon变换，在查阅了各种资料之后在此写下个人的理解，希望与各位牛牛进行交流共同进步，也使得理解更加深刻些。Radon变换的本质是将原来的函数做了一个空间转换，即，将原来的XY平面内的点映射到AB平面上，那么原来在XY平面上的一条直线的所有的点在AB平面上都位于同一点。记录AB平面上的点的积累厚度，便可知XY平面上的线的存在性。这便是大家所公认的Rado...

转载 在Linux下通过Wake On LAN实现网络唤醒远程开机

我们经常有这样的场景或需求，人在外面，需要将家里的机器或公司的机器开启，进行远程控制操作。有几种方式可以实现远程开机，一是通过主板的来电自启动，通过智能开关远程开机。还有一种方式就是可以通过一台已经启动的机器通过WakeOn LAN去开启唤醒另外一台机器。现在介绍通过一台已经启动的linux机器通过WakeOn LAN去唤醒开期另外一台机器。前置条件：操作机器与目标机器在同一局域网...

转载 远程唤醒linux系统方法

最近研究命令行下，远程唤醒(Wake On LAN)家里的windows台式机。linux下可以用etherwake这个软件，发送魔术封包(Magic Packet)远程唤醒机器。WOL远程唤醒还有很多其他平台下的软件，可以参考 这篇文章。以及如何打开远程唤醒，可以参考 这篇文章。我用的是树莓派，记录一下远程唤醒的方法。首先安装etherwake(基于Debian / Ubun...

原创 Linux系统下提升进程优先级的办法

与别人共用工作站或者集群进行大型运算，比较愁人，老是与别人分享资源，太蛋疼，所以找了个小妙招，可以试用一下。Linux系统进程的优先级取值：-20 到 19，数越大优先级越低。可以通过top命令来查看，NI那一列。改变进程的优先级的方法有两种： www.2cto.com 1，top命令。输入r，然后根据提示输入进程ID，再输入优先级数值。2，ren...