- 博客(69)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【Hinton论文精读】The Forward-Forward Algorithm: Some Preliminary Investigations-202212
本文的目的是介绍一种新的神经网络学习方法，并证明它在几个小问题上工作得足够好，值得进一步研究。正向算法用两个正向通道代替反向传播的前向和向后传递，一个用正（即真实）数据，另一个用网络本身可以产生的负数据。每一层都有自己的目标函数，即对正数据有较高的优度（goodness），对负数据有较低的优度。一层中激活的平方和可以用作优点，但还有许多其他的可能性，包括减去激活的平方和。
2024-03-16 21:42:50
889
原创 【论文精读】Self-Attentive Assocative Memory，2020
这篇论文介绍了基于对象和对象关系的记忆模型，这对于设计类脑记忆模型有很大的启发作用。该论文一个有趣的idea就是用两个前馈神经网络分别表示对象与对象间关系，但是参数更新方法不是梯度下降而是赫布更新，后续可能是一个改进点。
2023-07-30 13:25:27
458
原创 语言模型(Language Modeling)中的评估指标理解与总结
本文试图理清Language Modeling的评估指标基本计算过程和指标含义，目的有二：（1）本文介绍的评估指标对于机器学习或者NLP从业人员来说是比较常用，但未必系统学习过、未必能说清楚这些指标之间的关系和指标本身的含义，掌握这些知识不管是对工作、求职面试都是有帮助的。
2023-06-14 01:36:13
1979
原创 近期关于Transformer结构有潜力的改进方法总结
标准Transformer在最新的实际大模型中并没有被采用了，而是使用其相关的改进版本，原因是标准Transformer的实现有比较显著的缺点：1. Attention的时间复杂度较高，为$O(n^2)$，导致输入token序列长度较无法设置得过大。2. 显存占用大，是因为Attention、多头、FFN导致的参数量大。以下总结了几个较受关注及个人认为比较有潜力的改进，帮助快速了解，同时推荐大家仔细研读原论文。
2023-05-21 16:40:41
3594
原创 基于Hebb学习的深度学习方法总结
目前广泛使用的BP算法难以直接应用于在线学习领域。针对该问题，大量工作致力于寻找低功耗、低延时、低计算量、低内存需求的可在线更新的网络学习算法。目前，该领域的工作可大致分为两类：1. 基于BP算法； 2. 采用仿生算法。许多仿生学习算法基于Hebb理论，研究并发展出了一套仿生的人工神经网络学习算法。本文主要介绍Hebb学习算法在深层网络上的应用方法。
2023-05-04 00:19:07
3116
1
翻译 【经典论文翻译与解析】Attention is all you need
该论文提出了一个新的、简单的网络架构，Transformer。它只基于单独的attention机制，完全避免使用循环和卷积。目前在各个任务上表明，模型在性能上更好，同时具有更高的并行性，且训练所需要的时间更少。Transformer已经基本实现了CV、NLP等方向模型大一统。因此应当仔细研读原文。
2023-01-15 00:27:17
1060
原创 度量方法总结
不管是机器学习还是运筹优化方向，数学建模中的一个重要任务就是量化。不同任务中对分析对象的度量方法也是多样的，建模者可以恰当地选取常用的度量方法，也可以针对性地设计特殊的度量方法。本文总结工作学习中接触到的常用度量方法，熟悉这些方法和适用场景对于大家数学建模工作及启发设计新的度量方法是非常帮助的。内容会不定期持续更新，建议先**收藏+关注**。
2022-12-04 21:26:16
1969
原创 注意力（Attention）机制的数学建模_总结
导读：笔者相信注意力建模思想及现有的建模方法一定可以在更广泛的领域中借鉴和应用，所以有必要系统学习和总结，如果你也认为如此，本文的内容对你是有帮助的，建议先订阅和收藏。1 引言视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制
2022-10-16 03:12:49
1615
2
原创 创造财富的9种模式
财富创造的所有基本机制应当都极少数的非常简单并且容易理解的。但是在当今复杂的科技世界中，我们很容易忽略这一点，因此有必要把财富创造的各种基本模式整理出来以备我们灵活运用于自己的事业中。本文试图总结出一个相对完备的创造财富的基本模式的清单。............
2022-07-31 14:55:34
1211
原创 【已解决】SSH连接linux服务器报错：Server refused to start a shell/command
用MobaXterm工具ssh远程CentOS7服务器，出现了错误：Server refused to start a shell/command
2022-06-16 19:26:16
5410
原创 解决IDEA集成开发环境上git pull后本地代码与远程仓库分支不一致的问题
问题现象：IDEA集成开发环境上git pull远程仓库代码后本地代码仍与远程仓库分支代码不一致，比如有些java代码文件本地不见了，但是远程分支上是有的。
2022-05-25 14:39:08
5944
原创 Python - ImportError: No module named ‘_ssl‘问题
安装python3.6成功后，在python脚本中import ssl标准库报错。问题背景问题分析解决方法
2022-02-14 11:08:08
6562
翻译 【Hinton论文翻译与理解】How to represent part-whole hierarchies in a neural network_202102
本论文没有实现代码，仅仅描述 一个想法 ，集多种优势到一个假想系统GLOM。 这些优势包括 transformer、神经场（neural field）、对比表示学习、知识蒸馏 、胶囊网络。GLOM 回答以下问题： 一个固定结构的神经网络怎么把图像解析成每个图像都有不同结构的部分-整体层次关系？ 想法很简单，用id向量表示解析树的节点。 如果 GLOM 能运行，应用到视觉或语言， 它应该能显著地改善由 transformer类系统产生的表示的可解释性。
2021-10-06 18:55:59
1713
原创 LSTM模型相关技术的总结
最近在用TensorFlow2做营收预测项目，由于数据具有明显的时序特性，想利用RNN类模型试一下效果，当然首先使用LSTM、GRU之类的。今天来总结下LSTM相关知识吧。
2021-05-05 00:20:34
1275
5
原创 数学建模中目标函数与约束条件化简方法总结
受限于实际问题特征、建模经验、建模技巧等因素，我们在对问题建立初步数学模型之后，目标函数和约束条件因为往往包含一些特殊约束或者特殊变量使模型成为非线性规划问题，增加了求解难度。使用本文介绍的模型化简方法可以将具有特殊约束或特殊变量的非线性模型转换为线性规划或整数规划，大大降低模型求解难度。
2020-11-16 03:03:13
12126
原创 Spark框架核心原理详解（持续更新）
前面有一篇博客记录了Spark在Windows系统上的安装配置过程，由于工作需要使用了一段时间，这就篇系统地梳理一下Spark框架的核心知识作为备忘。
2020-11-09 03:12:23
1173
原创 线性规划问题建模技巧与求解方法
数学规划中最简单的一类问题是线性规划问题，它是整数规划及一些非线性规划问题的求解基础；本篇就详细讲解下线性规划，问题建模的方法和技巧是最重要的部分会重点讲解，文末会用Python和OR-tools工具求解一个线性规划的例子，示范求解工具的使用。定义建模技巧求解方法参考资料...
2019-01-10 01:52:02
8880
原创 XGBoost原理详解
XGBoost是在GBDT、RGF等算法的基础上改进而来，其性能优异，已经在各大竞赛中广泛使用，尤其这是陈天奇大神主导的研究成果，不管是算法原理还是算法的实现都值得仔细研读。
2018-12-18 02:45:37
4274
1
原创 交叉熵、相对熵(KL散度)的数学原理及在机器学习中应用
最近频繁使用交叉熵，虽然之前学习过，但感觉对交叉熵的认识还是不够全面，打算再详细的总结一下交叉熵、KL散度等方面的知识。
2018-12-10 01:34:45
2031
原创 损失函数、风险函数及正则化知识系统总结
做机器学习项目的时候总是遇到经验风险、结构风险、正则化项等这些概念，还有损失函数最小化问题，今天我们就来详细地总结下这些概念。
2018-11-25 19:27:03
3557
原创 机器学习实践----workflow
机器学习在产业界的应用目前正如火如荼，本文从workflow的角度介绍机器学习在解决工业界问题时所需的基本技术、经验和技巧。本文主要结合实际问题，概要地介绍机器学习解决实际问题的整个流程，包括对问题建模、数据准备、特征抽取、模型训练和模型优化等关键环节。下文分为1）机器学习概述，2）问题建模，3）模型选择 4）数据准备，5）特征抽取，6）模型训练，7）模型优化，8）总结， 共8节进行介绍。
2018-11-04 19:12:51
1054
原创 Windows下Spark2.3+Python3.6+Pycharm的配置
最近项目涉及在spark分布式上做数据处理，需要先配置Spark+Python的本地Windows7（win10也一样的操作）机器上开发环境，所以写下本文备忘，同时希望对其他同学也有所帮助。准备工作spark版本更新比较频繁，也许你看到这篇文章，版本可能已经新增。 当前最新版本的spark为2.3.1，spark的运行需要JDK8以上，所以你需要首先安装jdk8并配置好环境变量。 ...
2018-08-21 16:58:52
2956
原创 Java调用R脚本的方法总结
前言R是一种非常方便易用的绘图、统计分析、ML算法设计方面的脚本语言。实际中有这样一种场景：算法工程师用R搭建了机器学习算法模型，想用于javaweb之中但是又不想重新用java写一遍算法模型，那么可以考虑java程序中直接调用R的脚本。JAVA负责系统的构建，R用来做运算引擎，从而实现应用型和分析性相结合的系统。 本文将搞清楚如下几个问题： 1）java调用R的方式有哪些，如何使用？ ...
2018-08-01 18:56:07
5739
6
原创 常用激活函数（激励函数）理解与总结
引言学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分：什么是激活函数？激活函数的用途（为什么需要激活函数）？有哪些激活函数，都有什么性质和特点？应用中如何选择合适的激活函数？如果你对以上几个问题不是很清楚，下面的内容对你是有...
2018-05-13 23:07:19
339142
40
原创 Python3.6+TensorFlow-GPU1.4.1版+Windows7系统安装出现的问题及解决方法
首先说明Windows7笔记本可以跑的起TensorFlow-GPU版的最低软硬件要求： – 显卡 GTX 750M,GPU版TensorFlow要求显卡算力在3.0及以上； – CUDA8.0.44，其他版本会出问题； – cudnn6.0 ; –TensorFlow-GPU1.4.0更高或者更低版本都回出问题； –Python3.6.x，其他版本不确定能不能正常运行TensorFlo...
2018-04-13 00:43:54
1178
原创 Python中的装饰器及@用法详解
转载请注明出处：http://blog.csdn.net/tyhj_sf/article/details/77417455这篇文章主要介绍了Python中的装饰器用法,以实例形式详细的分析了Python中的装饰器的使用技巧及相关注意事项。
2017-08-20 00:49:48
13976
7
转载 程序员面试题：快速找出一个数组中的两个数字，让这两个数字之和等于一个给定的值
能否快速找出一个数组中的两个数字，让这两个数字之和等于一个给定的值，为了简化起见，我们假设这个数组中肯定存在至少一组符合要求的解。假如有如下的两个数组，如图所示：5，6，1，4，7，9，8给定Sum= 101，5，6，7，8，9给定Sum= 10分析与解法这个题目不是很难，也很容易理解。但是要得出高效率的解法，还是需要一番思考的。解法一一个直接的解法就是穷举：从数组中任意取出两个数字，计算两者之和
2017-08-18 00:26:31
1990
原创 基于selenium3+python3.6.x+chrome57.x的自动化测试环境搭建
本教程讲快速搭建自动化测试环境的，并给出了简单的测试代码检验环境是否搭建成功。没啥难度，主要用于操作备忘。
2017-07-09 17:42:18
4421
原创 hash算法及Java的HashTable源码分析
本文详细讲解Hash算法原理及Java中hashtable类的源码，因为hashtable类实的现正是使用了hash算法。
2017-06-29 23:03:17
1355
原创 深入理解equals与==的区别
区别：“==”比较的是变量引用的对象内存地址是否是同一个地址，即是否是同一对象【变量(在栈中)内存中存放的对象的(在堆中)内存地址】。equal用于比较两个对象的值是否相同【往往是比成员变量值不是比地址】。
2017-06-27 13:18:46
620
原创 Python3极速入门
本文为Python3的快速入门教程以便快速上手用于项目中，因此只讲解了Python的基本概念及语法，高级特性如函数式编程、lambda表达式、多线程等并没有涉及，需要的可参考官方资料。
2017-06-20 15:44:53
3465
原创 java并发学习笔记
本文为本人读书笔记及关键知识摘录，方便日后回顾。总结了Java多线程相关的一些关键知识点，零碎知识点全部忽略需要的请自行查阅书籍。
2017-06-03 16:10:41
499
遗传算法（GeneticAlgorithm）的Java实现源码工程
2016-11-26
MVP-Rxjava-Retrofit-GreenDao_DEMO
2016-10-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人