- 博客(116)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 python装饰器：高级特性
文章目录装饰器的高级应用类上的装饰器nesting decorators 装饰器的嵌入带参数的装饰器状态追踪装饰器（stateful decorator）装饰器类(classes as decorators)装饰器的高级应用上一篇博客里讲到了python装饰器语法的基本功能，这里我们谈一谈装饰器比较fancy的用法。类上的装饰器装饰器用来类定义上，有两种用法。第一种就是直接用在类成员函数的...
2020-02-11 23:13:27
726
原创 python装饰器入门
文章目录python装饰器函数也是对象简单装饰器被修饰函数有参数的情况装饰器的应用装饰器函数代码的一般结构记时装饰器debug模式装饰器python装饰器函数也是对象在python中，function是一级对象，这也就意味着function可以作为arguments一样传递，就像其它的对象一样（字符串，整型变量，浮点型变量，列表等等）。当函数名像其它类型的变量一样作为另一个函数的参数被传递时...
2020-02-10 18:07:44
468
原创 问题解决：jupyter无法找到虚拟环境下安装的tensorflow模块
在python的虚拟环境下安装了tensorflow，但是用jupyter notebook的时候发现无法找到tensorflow模块解决方案：https://janakiev.com/blog/jupyter-virtual-envs/利用命令 which jupyter, which python 可以看到两个路径不一致，jupyter安装在anaconda路径下，python（虚拟环境...
2020-01-26 23:31:14
4865
1
原创 tensorflow2.0系列（5）：再说说tf.function
目录tf.function()Autograph更多阅读python类的super和__init__()的关系：上一篇啰啰嗦嗦说了很多tf2.0中eager execution和autograph的一些特性，但是感觉还是没有说透，反而让人很迷惑，这次再唠唠tf.function到底有啥奇妙之处。tf.function()tf1.x中一般的工作流程，就是先创建一个计算图，然后通过tf.Sess...
2020-01-22 16:32:04
4943
原创 tensorflow2.0系列（4）: Eager Execution和Auto Graph
目录静态图的弊端Eager模式Eager execution的基本特性对 numpy 的支持Auto Graph - 动态图static analysis VS dynamic flow局部参数的可见域python collections 数据在tensorflow控制流的使用tensorflow 控制流中tensor的维度和数据类型动态计算与静态维度dtype和shape的一致性原代码的可达性E...
2020-01-19 18:08:07
1651
原创 那些重要但是容易被忽略的python编程基础知识
python很容易上手，工具包特别多，入门后就特别容易忽略python的基本特性。这里将特别关注python那些特别基础，重要但是不起眼的地方。变量类型标准数据类型数字、字符串、列表，元组和字典。首先看看列表list，列表元素及其index对应关系如下图所示。python list支持用索引切片的方式读取list的部分内容。删除列表中第3个元素：del a[2]将两个列表组合在一起...
2020-01-07 12:54:28
228
原创 tensorflow 2.0系列（3）：eager execution和计算图
目录tf 2.0 的新特性：eager execution开启eager模式关闭eager模式构建图默认图创建多个计算图启动会话从公式到计算图绘制心形曲线开根号线性回归tf 2.0 的新特性：eager executiontensorflow经典的方式是需要构建计算图，启动会话后，张量在图中流动进行计算。在tf 2.0最大的特色之一就在于eager execution，大大简化了之前这个繁琐的...
2020-01-06 00:33:05
9315
2
原创 tensorflow2.0系列（2）：张量的运算
张量运算tensorflow定义了很多张量的基本运算，由于张量的特殊属性，其运算操作主要有两类，一类是基于行列式/线性代数的，一类是对elemental-wise的运算。最常用的有：求和：tf.add乘法：tf.matmul,求逆运算：tf.linalg.inv基于线性代数的运算大多数都在tf.linalg模块中定义。https://tensorflow.google.cn/api_...
2020-01-06 00:31:51
3596
原创 tensorflow2.0系列（1）：张量
目录tensor：张量tensor数据类型相关的模块：tf.dtypes模块Dtype类函数tf.as_type() ：定义Dtype类型对象tf.dtypes.cast( )： 将张量映射/投射为新的类型tf.dtypes.complex( )：将两个实数转换为复数接下来的几个博客中会分别介绍tensorflow的基本概念：tensor，operation，session和graph。我们想弄...
2020-01-04 15:36:03
1300
原创 升级到tensorflow2.0
目录从tensorflow1.x升级到2.x方案一：依然使用tf 1.x的脚本方案二：升级项目代码到2.xtensorflow2.0推出以后，全面拥抱keras，简化了API接口，使得tensorflow在使用上宜人了很多。从tensorflow1.x升级到2.x方案一：依然使用tf 1.x的脚本对于原来的1.x系列代码，当后台的tensorflow支持升级到2.x以后，大多数代码并不需要...
2020-01-04 15:32:04
987
原创 算法的时间复杂度和空间复杂度
如何评价算法的性能定义:一个算法中的语句执行次数称为 语句频度 或 时间频度;约定: 检验算法的效率，主要考虑 最坏时间复杂度 和 平均时间复杂度 一般不特别说明，讨论的时间复杂度均是最坏情况下的时间复杂度时间复杂度时间复杂度的定义（1）时间频度 一个算法执行所耗费的时间，从理论上是不能算出来的，必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试，只需知道哪个算法花费的...
2019-12-03 20:14:02
285
原创 MRI-FSL pipeline 多进程并发和并发数控制
通过转入后台进程实现并行化shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后，其后紧跟&字符，该命令就会被送往到linux后台执行，而终端又可以继续输入下一个命令了。因此，最简单的并行化方法就是:&+wait例如如下面的代码, 串行执行大约需要10秒#!/bin/bashfor ((i=1;i<=3;i++)); do{ slee...
2019-10-20 23:34:17
638
原创 RNN模型训练经验总结
文章目录RNN模型训练经验总结数据准备“look at your data”!!小步试错。搭建模型设置端到端的训练评估框架forward propagation设置激活函数dropoutback propagation设置学习率 learning rate优化算法避免出现NaN的几个方法利用好过拟合。其他经验技巧集锦RNN模型训练经验总结数据准备“look at your data”!!训...
2019-10-20 22:50:09
3712
原创 docker部署机器学习/深度学习模型的容器化方案
文章目录什么是dockerdocker的优点docker image镜像Dockerfile 文件Dockerfile配置例子创建docker镜像docker container 容器模型部署参考和更多阅读docker部署机器学习或深度学习模型正在成为企业大规模部署的一种常规操作什么是dockerDocker 是一个开源的应用容器引擎，基于 Go 语言 并遵从Apache2.0协议开源。D...
2019-09-21 00:08:02
6194
原创 vagrant（四）：共享目录
vagrant共享目录共享目录synced_folder 参数共享目录类型参考：共享目录共享目录可以设置Vagrant在宿主机(host)和虚拟机(guest)之间同步文件，这样做的好处是可以在宿主机上开发，在虚拟机上运行。vagrant默认的共享目录在宿主机上是和Vagrantfile文件同路径下的/vagrant文件夹，在虚拟机上是/home/vagrant目录。如果要共享其他的文件夹，...
2019-09-19 23:57:29
2691
原创 集成学习：让算法和算法赛跑
文章目录集成学习的基本概念构建弱分类器：决策树自助采样法：Bagging更多参考阅读：集成学习的基本概念集成学习的概念有点像竞争社会，让算法之间竞争，决出最好的结果。如果底层的算法(或者说个体学习器)是同样的只是初始化参数不同，就称为同质集成。如果底层算法的基因都不一样，来自不同的机器学习门派，就称为异质集成。个体学习器经常设置为多个不同的机器学习算法，这样做保证了个体学习期相互独立性的要求...
2019-09-16 22:48:43
287
原创 OpenCV角点检测: Harris算子, ShiTomasi算子
编译环境: Qt 5.5.1+opencv3.2.0+cmake3.5.1#include <opencv2/core/core.hpp>#include <opencv2/opencv.hpp>#include <opencv2/highgui/highgui.hpp>#include <opencv2/imgproc.hpp>#inc...
2019-09-15 23:02:21
362
原创 CV：图像色彩空间及色彩处理
文章目录色彩变换灰度变换直方图均衡化图像平均PCA 主成分分析图像模糊图像梯度色彩变换灰度变换import numpy as npfrom PIL import Imageimport matplotlib.pyplot as pltim0 = Image.open('car.jpg')im_grey = im0.convert('L') # 灰度变换#im_grey.show...
2019-09-15 16:31:09
1421
原创 backbone模型：FCN、SRN、STN
文章目录FCN网络CNN图像分割模型结构FCN github资源FCN的优缺点SRN 网络什么是空间规整( spatial regularization）?SRN网络github资源STN网络空间变换器localisation network网格生成器： sampling grid采样器：sampler参考：在图像识别领域， 很多基础、已被验证有效的模型会被用作基础模型backbone，接入不同...
2019-09-15 12:08:27
2519
原创 OCR技术概览
OCR技术概览OCR(Optical Character Recognition ) 光学字符识别技术主要分为手写体识别和印刷体识别两类 , 印刷体识别比手写体识别要简单, 因为印刷体更规范, 字体来自于计算机字库, 尽管印刷过程中可能会发生不清晰\粘连, 这些都可以通过一些"腐蚀"/"膨胀"图像处理技术还原, 但是手写体由于个体差异的存在, 还是非常难的.从内容角度, 可以分为: 汉字, 英...
2019-09-11 15:59:57
3380
原创 CV：基本概念和工具
PIL：python 图像处理类库PIL（Python Image Library）提供了通用的图像处理功能，包括大量基本图像操作，例如缩放、剪裁、旋转、颜色转换等。载入PIL库from PIL import Image图像归档(Image Archives)PIL非常适合于图像归档以及图像的批处理任务。你可以使用PIL创建缩略图，转换图像格式，打印图像等等。图像展示(Ima...
2019-09-08 23:47:26
822
原创 端到端（end-to-end）的含义
目录端到端（end-to-end）是什么端到端（end to end）的好处不同应用场景下的端到端含义不同计算机视觉CV中的端到端语音识别中的端到端端到端（end-to-end）是什么端到端指的是输入是原始数据，输出是最后的结果，原来输入端不是直接的原始数据，而是在原始数据中提取的特征经典机器学习方式是以人类的先验知识将raw数据预处理成feature，然后对feature进行分类。分类结果...
2019-09-07 21:01:29
69402
8
原创 模型评估：评估矩阵和打分
文章目录目标优先二分类问题的评价指标第一类错误和第二类错误非均匀数据集混淆矩阵、正确率、精确率、召回率和f-score对数据集的均匀性未知精度-召回曲线和ROC曲线精度-召回曲线（ precision-recall curve）ROC和AUC截至目前为止， 我们都一直都是用accuracy正确率来评价分类模型的表现，用R2R^2R2. 但是，这只是评价给定数据集合上监督学习模型性能的众多指标中的...
2019-05-12 06:40:11
5449
原创 特征工程: 特征, 特征提取和特征选择
文章目录机器学习中的特征特征的重要性特征提取和特征选择去除方差较小的特征单变量特征选择 (Univariate feature selection)F检验与互信息其他特征选择方法重复性特征删除:用模型选择:并入pipeline机器学习中的特征在机器学习和模式识别中，特征是在观测现象中的一种独立、可测量的属性。选择信息量大的、有差别性的、独立的特征是模式识别、分类和回归问题的关键一步。最初的原...
2019-04-29 17:22:24
5254
原创 机器学习模型评估与改进：网格化调参(grid search)
文章目录简单网格化搜索参数过拟合的风险网格搜索与交叉验证模型调参接口: GridSearchCV函数整体流程GridSearchCV( )函数对交叉验证进一步分析不同核方法的情况网格化搜索中应用其他交叉验证策略嵌套交叉验证并行化总结附注：mglearn工具包在交叉验证部分我们知道了如何科学地评估算法模型的泛化能力，那么我们可以进一步看看，如何对模型进行调参，以达到改进模型效果的目的。首先，在调...
2019-04-26 01:03:52
6251
原创 MRI机器学习工具箱nilearn: masker
masker 对象的概念对于任何基于神经影像的研究来说, 第一步都是要加载数据. 由于通常MRI是3D的, fmri加上时间这个轴, 是4D的, 对于机器学习模型来说, 这种4D的数据结构不便于分析. nilearn中 masking data 本质上是将4D的fmri数据变形成2D(voxel * timepoints). 但是如何将4D数据转为2D的数据, 对于不同的问题来说, 要选择的脑...
2019-04-25 12:15:13
2481
原创 机器学习模型评估与改进: 交叉验证(cross validation)
以监督学习的众多算法为例，不管是分类还是回归，都有很多不同的算法模型，在不同的问题中，这些算法模型的表现是不同的。如何对模型的表行进行评估和改进呢？scikit learn网站给出了这样一个模型评估和改进的流程图：首先我们再来看看模型评估的过程，在模型训练时，我们首先可以用scikit learn的model_selection模块train_test_split函数对数据划分，分为训练集合和测...
2019-04-23 12:28:38
7375
原创 linux开机启动顺序
文章目录linux的开机启动顺序概述BIOS: basic input output system 基本输入输出系统MBR: master boot record 主引导记录.主引导程序总结第一个程序: init运行等级System V initialization方式Upstart方式Ubuntu自动启动程序说明用户自定义引导启动程序变换运行等级参考linux的开机启动顺序概述1 加载BIO...
2019-03-05 17:02:12
10041
1
原创 linux压缩文件解压
文件格式解压方法.zipunzip FileName.zip.xzxz -d FileName.tar.xz 或者 tar xvJf FileName.tar.xz.bzbzip2 -d FileName.bz 或者 bunzip2 FileName.bz.bz2bzip2 -d FileName.bz2 或者 bunzip2 FileName....
2019-03-04 19:55:32
167
原创 linux常见桌面系统以及安装gnome远程桌面
x windowX window 又称为X窗口系统，简称为X11或X。1984年由MIT的Bob Scheifler和Bob Scheifler开发设计。x window是Linux及其他unix系统的标准GUI，x window提供了基本图形化框架，在输入方面负责鼠标、键盘与操作系统的互动，在输出方面负责在显示器上显示可视化的图像和窗口。x window遵循客户端/服务器架构，系统中由x服务...
2019-02-27 16:50:51
33116
原创 MRI图像处理：VBM原理和步骤
VBM是voxel-based morphometry的缩写， 是对被试之间灰质体素粒度统计分析。VBM可以得到人群中volume和gyrification的不同，对clinical score进行相关性分析，VBM不仅仅可以用于结构数据（T1），还可以用在fmri和PET数据上，分析由于结构变化带来的影响。VBM在研究中非常常见，除了VBM以外，还有一些类似的方法，例如基于表面的灰质厚度分析方...
2019-02-23 19:00:10
30365
22
原创 FSL 功能磁共振影像分析： single-session
文章目录什么是single session分析基于HRF的模型信号多元回归t contastf contrastsingle session分析是fmri实验分析的最简单情况之一，这里以FSL官方的例子为例，总结一下这个方法：http://fsl.fmrib.ox.ac.uk/fslcourse/lectures/feat1_part2.pdf什么是single session分析sing...
2019-02-19 19:58:50
4228
原创 ANOVA与机器学习
更多阅读:Anova中的P值F值,正态分布到卡方分布再到F分布:https://blog.csdn.net/zhangjipinggom/article/details/82315232详解方差分析: https://zhuanlan.zhihu.com/p/47175790
2019-02-15 17:14:32
2082
2
原创 scikit learn工具箱pipeline模块：串联方法
scikit learn工具箱pipeline模块：串联方法pipeline模块scikit learn工具箱的pipeline模块提供了将算法模型串联/并联的工具，多个estimator并联起来用于模型结果比较，或者将多个estamitors级联成一个estamitor，比如将特征提取、归一化、分类组织在一起，形成一个典型的机器学习问题工作流。使用Pipeline的优点在于：1.直接调用...
2019-02-14 17:46:48
1416
1
原创 服务器搭建: 用户管理
文章目录查看当前用户用户类型多用户管理用户和用户组的概念添加用户adduser命令useradd命令用户组管理删除用户备注:（1）/etc/passwd文件（2）/etc/shadow文件参考查看当前用户whoami查看当前登录用户名用户类型shell控制台的光标在不同用户下是不同的. $是普通管理员，#是系统管理员.在Ubuntu下，root用户默认是没有密码的，因此也就无法使用（据说...
2019-02-12 11:31:12
973
原创 ubuntu16.04服务器远程xfce桌面登录
安装所需的工具xrdpsudo apt-get install xrdpvnc4serversudo apt-get install xrdp vnc4serverxfce4sudo apt-get updatesudo apt-get install xfce4 xfce4-goodies配置vncroot用户首先进入root账户，启动vncserver。第一次启动一般...
2019-02-04 01:10:24
6879
原创 MRI相关的基本概念
磁共振基础磁共振磁共振(mageticresonanceMR)；在恒定磁场中的核子（氢质子），在相应的射频脉冲激发后，其电磁能量的吸收和释放，称为磁共振。基本参数: TR, TETR(repetitiontime)：又称重复时间。MRI的信号很弱，为提高MR的信噪比，要求重复使用同一种脉冲序列，这个重复激发的间隔时间即称TR。TE(echedelaytime)：又称回波时间，即射频脉冲放...
2019-01-26 17:43:00
6306
原创 linux rm 命令误删文件恢复
不小心用rm命令删错了文件,该怎么办?查看分区和文件格式误删的文件在哪里首先, 用rm命令误删了文件,并不是不可以恢复. 首先需要查看一下误删文件所在的分区和文件格式$df -T文件系统 类型 1K-块 已用 可用 已用% 挂载点/dev/sdc8 ext4 171639696 128461364 3443...
2019-01-26 10:44:55
9119
1
原创 FSL的python和R语言接口
FSL除了本身支持shell命令调用以外, 还有一些其他语言的工具包.例如 python和R. fsl的python编程库称为fslpy, 是可视化工具FSLeyes的一部分.fslpy目前支持python 3.5, 3.6 and 3.7开发环境.FSL的python接口: fslpyfslpy的项目网址是: https://git.fmrib.ox.ac.uk/fsl/fslpyDep...
2019-01-10 15:50:51
2290
7
半分析方法在地球卫星100 yr尺度长期预报中的性能评估
2023-01-04
图论与复杂网络，段志生，力学进展
2023-01-04
clean code 英文版pdf
2019-03-16
tigervncserver 1.7.0
2019-02-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人