- 博客(63)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 脑电方向加速发展的开始-脑电预训练模型的开启
好久没写文章了，荒废许久，今天重新开始慢慢记录下对这个领域的感想。偶然间看到一篇总结2021年初到现在大半年脑机接口取到的一些进展，大体上有两方面的发展：硬件方面有芯片、脑电采集设备和边缘计算方面的进展；由于我是研究脑电信号识别方向的，所以更关注的是算法的发展，也就是多伦多大学提出的一种脑电预训练模型-BENDR，并且在其各种下游任务都取得了比基线更好的结果。了解深度学习的人应该都对预训练模型不陌生，因为预训练+微调的方式是现在许多领域比如NLP和CV的主流方法。其实，在一开始做脑电的时候，已经
2021-08-24 17:55:27
596
转载 keras怎么保存最好的训练模型
只保存最佳的训练模型 保存有所有有提升的模型 加载模型 参数说明只保存最佳的训练模型from keras.callbacks import ModelCheckpoint filepath='weights.best.hdf5' # 有一次提升, 则覆盖一次.checkpoint = ModelCheckpoint(filepath, monitor='val_acc', verbose=1,save_best_only=True,mode='max',period=2) c..
2020-11-21 12:02:07
2112
原创 小样本学习-pretraing+fine tuning
一.介绍：小样本学习，属于元学习的一种。目的是让机器具有自我判别的先验知识。 比如说，我们想要训练对3类图片分别是 猪，牛，羊的模型，传统的监督学习是拿这3类的大量数据进行训练，然后得到一个模型。 而小样本学习是想要通过其他大量的图片样本（不包括猪，牛，羊）训练出一个模型（比如相似度函数），这个模型具有先验知识（判别两类相同或者不相同的能力），所以使用这个模型，可以用来分类猪，牛，羊这三类，因为此时我们的模型已经具有分类两种类别异同的先验知识了...
2020-11-09 19:55:28
2215
4
原创 数据归一化时的疑问？
在对多分类数据进行Z-SCORE归一化时，是再将各类数据汇总后进行均值归一化？还是将每类数据进行归一化后再汇总？题主进行了实验：实验1-各类数据汇总后进行均值归一化：（0，1，2，3，4类，测试每类取17个）孪生网络（评判相似度作用）准确率为：75%各类实验准确率如下：0：0.294 #0类被当作是1的 个数是11 1： 0.352 #1类被当作是0的 个数是7 ...
2020-10-27 22:19:18
122
转载 安装tensorflow报错，出现importError: DLL load failed: 找不到指定的模块
重点看你安装的哦版本。不同版本会有不同，错误一样，版本不一样解决方案会有差别 真的是困难重重C:\Users\wei\.virtualenvs\pyqt51-EL5sW8oD\Scripts\python.exe E:/work/facode/renlian-master/face_train.pyTraceback (most recent call last): File "C:\Users\wei\.virtualenvs\pyqt51-EL5sW8oD\lib\site-packages.
2020-10-27 15:26:55
825
1
转载 keras保存模型和载入模型
Keras保存模型并载入模型继续训练目录关于compile和load_model()的使用顺序我们以MNIST手写数字识别为例import numpy as npfrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequentialfrom keras.layers import Densefrom keras.optimizers impo
2020-10-22 10:58:29
748
1
转载 TensorFlow正则化小结
前言在设计深度学习模型的时候，我们经常需要使用正则化（Regularization）技巧来减少模型的过拟合效果，例如 L1 正则化、L2 正则化等。在Keras中，我们可以方便地使用三种正则化技巧：keras.regularizers.l1 keras.regularizers.l2 keras.regularizers.l1_l2那么，我们应该如何使用这三种正则化技巧呢？以Keras中的Dense层为例，我们发现有以下三个参数：kernel_regularizer bias_regul
2020-10-21 18:44:35
351
原创 孪生网络处理EEG1
1数据用Z-score归一化2数据截断，长度截断成121，后截断方式2每类取174个，其中90%作为训练样本，10%作为测试样本。构建正负类数据集对2使用CNN 先空域后时域卷积
2020-10-21 18:20:01
186
1
原创 欧式距离
欧式距离算法 在用差分矩阵均值对强噪声的识别失败了之后，我们决定用欧式距离算法。欧式距离算法的核心是：设图像矩阵有n个元素（n个像素点），用n个元素值(x1，x2，...，xn)组成该图像的特征组（像素点矩阵中所有的像素点），特征组形成了n维空间（欧式距离就是针对多维空间的），特征组中的特征码（每一个像素点）构成了每一维的数值，就是x1（第一个像素点）对应一维，x2（第二个像素点）对应二维，. . .，xn（第n个像素点）对应n维。在n维空间下，两个图像矩阵各形成了一个点...
2020-10-13 10:07:46
983
转载 导入本地的数据集-fashion-minist
文章目录本文特此提供数据集的云盘下载链接——以方便学习使用 问题描述（声明一下，本博客采用包含keras的tensorflow包） 解决方法(建议至少运行过一次load_data()函数，创建需要的文件路径) 附上该入门练习的相关效果图 我的学习思路总结（仅供参考，若有错误，还望海涵）<span style="color:#000000"> <strong> <span style="color:red"> ..
2020-10-13 09:45:09
1140
原创 样本不均衡解决方法-计算class_weight
样本不均衡的处理方法：1. 传统方法 1.1 随机过采样 1.2 欠采样 1.3 数据合成 2. 利用keras中的fit方法里的参数 2.1 利用sklearn.utils.class_weight来计算权重 2.2 sample_weight 这里介绍2.1:直接先上代码：from sklearn.utils import class_weightimport pandas as pdtrain_df = pd.read_csv("input/tr.
2020-10-10 00:09:47
5659
原创 贪心算法（LeetCode-20）-分配饼干
题目描述：假设你是一位很棒的家长，想要给你的孩子们一些小饼干。但是，每个孩子最多只能给一块饼干。对每个孩子 i ，都有一个胃口值gi ，这是能让孩子们满足胃口的饼干的最小尺寸；并且每块饼干 j ，都有一个尺寸 sj。如果 sj >= gi，我们可以将这个饼干 j 分配给孩子 i ，这个孩子会得到满足。你的目标是尽可能满足越多数量的孩子，并输出这个最大数值。注意：你可以假设胃口值为正。一个小朋友最多只能拥有一块饼干。示例1:输入: [1,2,3], [1,1]输...
2020-09-25 20:59:46
357
原创 few-shot learning总结
1：首先用大规模样本来预训练一个模型，这个模型是用来提取特征的，将样本映射为特征向量 fine-tuning：（优化）2：做预测，给一个query和一个support set，预测query属于support set的哪一类。首先拿预训练模型将query和support set的样本提取特征转化为特征向量，把每个support set中同一类的特征向量做平均得到向量u1,u2.。。。uk（k类），比较un（n=1，2,3。。。k）和query的特征向量计算cos相似度，根据相似度做分...
2020-09-22 20:32:35
245
原创 pretraining+fine tuning
few shotlearning简单实现方法：在大规模数据做预训练模型，然后在小规模suport set上做fine tuning。方法简单准确率高。基础数学知识：cos函数可以判断两个向量的相似度：长度=1时长度=2时softmax：few-shot leaning 做法：1先用大数据集训练一个神经网络，来从图片提取特征（预训练模型用来提取特征，图片的模型是否使用？其他EEG数据是否可以作为大数据来作为预训练模型的数据？若用EEG数据怎么判定预训练模型进行数据.
2020-09-22 16:19:46
775
原创 Simese Network-笔记
Simese Network：连体网络Simese Network可以作为few shot-learning 的相似度函数， 需要大量的数据来训练一个simese Network 训练结束后，可以用simese Network解决few shot learning 问题两种训练Simese Network的两种方法： 第一种方法： 1数据整理：将数据集分为正样本和负样本，打好标签。例子：每次从训练集中随机抽样构建正负样本：2.特征提取：要训练的神经网络..
2020-09-20 22:47:53
346
原创 meta-learning笔记-few shot learning的概念
元学习：学习怎么学习元学习用来解决什么？小样本学习问题，小样本无法训练神经网络。图示是传统的深度学习网络在对数据集中没出现过的松鼠进行判断时，会判断不出的例子：few-shot learning ： 是元学习的一种，可以认为是元学习监督学习跟元学习的区别：监督学习：用训练集学习模型，模型学习后可以做预测。要预测的样本有包含在训练集的类别中 few-shot learning：所要预测的类别没有在训练集中出现过。通过对比suport set和预测样本的相似...
2020-09-20 22:11:47
488
转载 keras处理样本不均衡问题
处理数据不平衡问题1. 传统方法 1.1 随机过采样 1.2 欠采样 1.3 数据合成 2. 利用keras中的fit方法里的参数 2.1 class_weight 2.1.1 利用sklearn.utils.class_weight来计算权重 2.1.2 计算total_num/sample_num*t来设置权重 2.2 sample_weight 2.3 注意的点 1. 传统方法1.1 随机过采样随机过采样的核心思想，就是随机.
2020-09-19 14:08:04
1861
1
原创 实验结果图
总样本的分布情况：训练和测试：15层全连接层训练曲线：测试样本总体情况：被正确预测出来的样本情况::分别是：86.7%,22.2%,67%,32%,17%
2020-09-19 13:46:27
165
原创 将one-hot转为一维数组
目的：将one-hot的一组数据转为list数组，统计各个类别的数量首先： 假设我们总共有5类样本，标签分别从0-4，如：label=[0,1,2,3,4] 标签转化为‘one-hot’的形式：0: [1, 0,0,0,0] 1: [0,1,0,0,0] ...
2020-09-19 11:22:41
1322
6
原创 leetcode(19)-分隔链表
题目描述：给定一个头结点为 root 的链表, 编写一个函数以将链表分隔为 k 个连续的部分。每部分的长度应该尽可能的相等: 任意两部分的长度差距不能超过 1，也就是说可能有些部分为 null。这k个部分应该按照在链表中出现的顺序进行输出，并且排在前面的部分的长度应该大于或等于后面的长度。返回一个符合上述规则的链表的列表。举例： 1->2->3->4, k = 5 // 5 结果 [ [1], [2], [3], [4], null ]示例 1：输入:roo.
2020-09-18 21:25:26
59
转载 一维卷积，二维卷积，三维卷积
一维卷积神经网络（1D-CNN）一维卷积常用在序列模型、自然语言处理领域；假设输入数据维度为8，filter维度为5；不加padding时，输出维度为4，如果filter的数量为16，那么输出数据的shape就是；二维卷积神经网络（2D-CNN）二维卷积常用在计算机视觉、图像处理领域（在视频的处理中，是对每一帧图像分别利用CNN来进行识别，没有考虑时间维度的信息）；假设原始图像 shape 为（其中3为3个通道），使用32个大小为（其中3为深度，与通道数相同）的卷积核对其进行
2020-09-17 16:09:30
2343
原创 处理不等长的数据？
最近在处理EEG数据，遇到不等长的EEG数据，需要处理成等长的数据。首先，先看数据的分布，是否符合正太分布,选定一个可以覆盖大多数数据的长度：num_tokens = np.array(data)plt.hist(np.log(num_tokens), bins = 100)plt.xlim((1,10))plt.ylabel('number of tokens')plt.xlabel('length of tokens')plt.title('Distribution of token
2020-09-16 23:57:22
1410
原创 leetcode(18)-回文链表
题目描述：请判断一个链表是否为回文链表。示例 1:输入: 1->2输出: false示例 2:输入: 1->2->2->1输出: true进阶：你能否用O(n) 时间复杂度和 O(1) 空间复杂度解决此题？题解：方法一：用一个数组把链表值存在来，再进行回文判断即可 算法：创建一个数组把链表值都存起来 遍历数组，判断当前元素i和len-i-1（len表示数组长度）是否相等，若不等返回false 如果都相等返回true代...
2020-09-16 23:33:26
50
原创 LeetCode(17)-两数相加
题目描述：给你两个 非空 链表来代表两个非负整数。数字最高位位于链表开始位置。它们的每个节点只存储一位数字。将这两数相加会返回一个新的链表。你可以假设除了数字 0 之外，这两个数字都不会以零开头。进阶：如果输入链表不能修改该如何处理？换句话说，你不能对列表中的节点进行翻转。题解：方法一：因为通常意义的加法是从个位数开始的，所以是从链表的后面往前加的，由于这是两个单链表的相加，在不改变链表的结构前提下，先颠倒两个链表，再进行相加，将结果链表再颠倒。算法：颠倒链表l1,l2.
2020-09-15 21:24:08
79
原创 python dict的一对多
#encoding=utf-8print '中国'#字典的一键多值print'方案一 list作为dict的值 值允许重复' d1={}key=1value=2d1.setdefault(key,[]).append(value)value=2d1.setdefault(key,[]).append(value)print(dl)
2020-09-15 16:52:47
499
原创 TensorFlow 列出可用的GPU
代码：from tensorflow.python.client import device_libimport tensorflow as tfprint(device_lib.list_local_devices())print(tf.test.is_built_with_cuda())
2020-09-15 12:43:29
256
原创 今日份踩坑（Pyhon pip install）
在云平台上想装mne包时候，指令pip install -U mne。报错：ERROR: Could not install packages due to an EnvironmentError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Max retries exceeded with url: /packages/91/d2/30ecd905746d1fee4004daae3f0051bf4b305bee1fe57
2020-09-15 10:11:34
83
原创 Leetcode（16）-两两交换链表中的节点
题目描述:给定一个链表，两两交换其中相邻的节点，并返回交换后的链表。你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。示例:给定 1->2->3->4, 你应该返回 2->1->4->3.题解：方法一（递归）：从链表的头节点 head 开始递归。 每次递归都负责交换一对节点。由 firstNode 和 secondNode 表示要交换的两个节点。 下一次递归则是传递的是下一对需要交换的节点。若链表中还有节点，则继续递归。.
2020-09-14 22:48:53
71
原创 LeetCode日记(15）-删除链表的倒数第N个节点
题目描述：给定一个链表，删除链表的倒数第n个节点，并且返回链表的头结点。示例：给定一个链表: 1->2->3->4->5, 和 n = 2.当删除了倒数第二个节点后，链表变为 1->2->3->5.说明：给定的 n保证是有效的。进阶：你能尝试使用一趟扫描实现吗？题解：方法一：思路：两遍扫描。 第一遍计算出链表节点数len。 第二遍删除节点（len-n+1）即可。 ...
2020-09-13 11:10:27
66
原创 LeetCode日记(14）-删除有序链表的重复元素
问题描述：给定一个排序链表，删除所有重复的元素，使得每个元素只出现一次。示例1:输入: 1->1->2输出: 1->2示例2:输入: 1->1->2->3->3输出: 1->2->3题解：思路：因为是有序的链表，所以只要判断相邻的节点是否相同即可：若相同：让当前节点指向下一节点的下一个节点；若不相同：继续遍历当前节点；ps：因为需要取下一节点的值，所以循环判断的时候需要同时判断当前节点和下一节点是否为空，否则..
2020-09-12 11:55:02
56
原创 LeetCode日记(13）-颠倒链表
题目描述：反转一个单链表。示例:输入: 1->2->3->4->5->NULL输出: 5->4->3->2->1->NULL题解：思路：颠倒链表后首元素应该变为空，每次遍历链表的节点和下一个节点，将下一个节点改成指向上一个节点即可。代码：/** * Definition for singly-linked list. * struct ListNode { * int val; * List
2020-09-10 12:24:44
129
原创 如何理解线性回归（Linear Regression）
一.介绍：回归是机器学习中的一类问题，回归分为线性回归和逻辑回归。这里介绍线性回归。二.线性回归：举例 比如我们有这样一组训练数据(x0,y0),(x1,y1),(x2,y2).......(x10,y10), x表示某一个输入，y表示对应的输出。我们的目的找到一个函数f（x），使得我们任意输入一个x（不一定包含在上述的数据中），都能输出一个准确的y。 假设我们的函数表达式是：，从几何上解释就是，我们要找一条合适的直线，来尽可能地拟合我们的训练数据表示出来的曲线。假设我们给上述训...
2020-08-31 12:36:15
427
转载 多标签分类的评价指标
多标签分类作为多分类的一种推广，每个样本可以有多个类别，如下图的标签为：sea，sunset。所以其评价指标与多分类的也有差异，本文将介绍几种评价指标。1.Hamming loss(汉明损失)，表示所有label中错误样本的比例，所以该值越小则网络的分类能力越强。计算公式如下。其中：|D|表示样本总数，|L|表示标签总数，xi和yi分别表示预测结果和ground truth。xor表示异或运算。样例： from sklearn.metrics impo...
2020-08-30 18:38:51
2389
原创 LeetCode日记(12）--只出现一次的数字 III
题目描述：给定一个整数数组nums，其中恰好有两个元素只出现一次，其余所有元素均出现两次。 找出只出现一次的那两个元素。示例 :输入: [1,2,1,3,2,5]输出: [3,5]注意：结果输出的顺序并不重要，对于上面的例子，[5, 3]也是正确答案。你的算法应该具有线性时间复杂度。你能否仅使用常数空间复杂度来实现？预备知识：X=X&(-X) ：得到二进制X最右边的1，其他位置变为0 。题解：思路： 要取不同的两个数字，已知数组中的相同元素成对存在，...
2020-08-23 21:00:26
66
转载 keras LSTM参数详解和LSTM相关知识
LSTM层：keras.layers.recurrent.LSTM(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', unit_forget_bias=True, kernel_regularizer=
2020-08-23 13:14:30
6729
原创 LeetCode日记(11）--之缺失数据（11）
题目：给定一个包含 0, 1, 2, ..., n中n个数的序列，找出 0 .. n中没有出现在序列中的那个数。示例 1:输入: [3,0,1]输出: 2示例2:输入: [9,6,4,2,3,5,7,0,1]输出: 8说明:你的算法应具有线性时间复杂度。你能否仅使用额外常数空间来实现?题解：方法一：首先我们对数组进行排序，此时我们让已经排序好的数组和其下标（下标表示的是从0开始到n的完整数组）相比，如果不等，则该下标就是缺失的值。代码：clas...
2020-08-21 14:27:17
71
原创 LeetCode日记(10）--之数组中唯一一个不重复的元素
题目：给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素。说明：你的算法应该具有线性时间复杂度。 你可以不使用额外空间来实现吗？示例 1:输入: [2,2,1]输出: 1示例2:输入: [4,1,2,1,2]输出: 4预备知识：异或运算有以下三个性质。1、任何数和 0做异或运算，结果仍然是原来的数。例如 ：x^0 = x 2、任何数和其自身做异或运算，结果是 0。例如：x^x=0 3、异或运算满足交换律和结合..
2020-08-20 21:57:24
433
原创 LeetCode日记(9）--之汉明距离
题目描述：两个整数之间的汉明距离指的是这两个数字对应二进制位不同的位置的数目。给出两个整数 x 和 y，计算它们之间的汉明距离。（统计两个数的二进制表示有多少位不同即可）注意：0 ≤ x, y < 231.示例:输入: x = 1, y = 4输出: 2解释:1 (0 0 0 1)4 (0 1 0 0) ↑ ↑上面的箭头指出了对应二进制位不同的位置。预备知识：二进制的异或运算：符号是。当a，b两个数做异或运算时，如果两个值不同，则...
2020-08-20 17:59:56
112
原创 笔记：TheTemple University Hospital EEG Corpus: ElectrodeLocationand Channel Labels
摘要：本报告的目的是向TUH EEG语料库的用户描述从数据文件（例如EDF文件）中正确检索EEG信号。介绍：不能保证包含EEG信号的信道在文件中出现的顺序相同。许多初级软件包所犯的一个常见错误是，它们将数据读入矩阵，并假定信道的顺序始终相同。包含标签的EDF文件的关键部分如图1所示。可以看出，每个通道都有标签，每个通道必须通过其标签和/或在该列表中的位置来访问，而不是通过其在文件中的绝对位置进行访问。例如，不存在标记为“EEG FP1-REF”的通道始终是第一个通道的约束。这个通道可以出现在TU
2020-08-18 22:38:58
1422
简单音频功能包——导入运行
2018-07-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人