- 博客(109)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 通俗理解词向量模型，预训练模型，Transfomer，Bert和GPT的发展脉络和如何实践
另外，给大家推荐一下自己动手写代码实践一下，代码模块可以丢给文心一眼，GPT4，这些写代码的能力相当的不错，甚至运行出了问题，直接把问题输入给它，还能自己改正。有了原理还需要进行代码实践，这篇文章从0开始讲解了一个简易的Transformer版本和真实版本的代码注释，值得详细读一下。最近研究GPT，深入的从transfomer的原理和代码看来一下，现在把学习的资料和自己的理解整理一下。这个文章写的很通俗易懂，把transformer的来龙去脉，还举例了很多不错的例子。
2023-11-24 10:01:07
680
原创 java加密，使用python解密 ，使用 pysm4 报 byte greater than 16的解决方法
3，不过对方也只能支持32位的方法，所以只能换方法，测试了一下，下面python方法可以完美支持32位，并且测试和java加密，python解密后也相同。报 Parameter key or iv:********* byte greater than 16的错误，应该是有个地方配置key的长度。1，业务需要，对方需要用java进行参数加密，双方约定使用的加密方法是 SM4，对方给的key是32位，并且给出了加解密的java代码。
2023-09-07 15:25:25
426
原创 使用conda虚拟环境，Jupyter Notebook 链接不上 kernel
2，看控制台的报错，如果是报404，内核找不到，这个可能是目前内核名称已经和现在不一致，需要进行内核注册。不一致的话，可以更新这两个库的版本：pip install --upgrade 库名。输入pip list 或者conda list检查一下相应库的版本是不一致。1，检查 ipykernel 和 ipython 是否一致。
2023-06-28 13:36:05
1580
原创 minigpt4 部署踩坑记录
看了一下是因为用到了 bert-base-uncased 这个模型，而且机器上没有缓存，所以会去 huggingface上下载，但是由于网络原因，而且文件也比较大 2G。5，把bert-base-uncased下载到本地 修改 MiniGPT-4-main/minigpt4/models/blip2.py，其中有两处引用，改成本地路径就可以了。3，麻烦点主要在于，需要下载一些大模型，根据gitbub上的教程还要进行转化才能转化成最终使用的权重。我在哔哩上看到有个大哥已经包装好的，就直接下载下来了。
2023-06-09 10:50:37
929
原创 dynamic-datasource-spring-boot-starter 报 dynamic-datasource Please check the setting of primary
1，项目需要用到多数据，选来选取，打算用 mybatisplus的方案，比较简洁，参考，官方文档多数据源 | MyBatis-Plus几步配置完成，但是启动的时候一直报错，报dynamic-datasource Please check the setting of primary，最后发现是版本的问题，我的初始版本3.2.0，后续改成3.5.0就可以了。...
2023-05-26 13:56:40
387
原创 更换ssl证书后突然，有的程序访问报 connection refused
在配置证书的界面，有个证据链的选项。把CA的证书配置进去就行。这是由于，证据链没有填写的缘故。工具查看证据链可以发现。只有 不带CA证书。
2022-12-29 15:53:42
327
原创 slf4j The method in the type Logger is not applicable
slf4j The method in the type Logger is not applicable
2022-10-18 15:38:00
395
原创 一文读懂混淆矩阵，准确率，精准率，召回率，漏检率，P-R曲线 ROC，AUC 的区别和联系
经常对这些概念比较混淆，下面对这些概念进行深入和系统的理解。其中P（Positive）：代表实际正确N（Negative）：代表实际错误T（True）：代表预测正确F（False）：代表预测错误准确率和错误率。 我们可以很自然的想到准确率，准确率的定义是预测正确的结果占总样本的百分比，其公式如下：准确率=(TP+TN)/(TP+TN+FP+FN)，错误率则是，1-准确率虽然准确率可以判断总的正确率，但是在样本不平衡的情况下...
2020-09-15 15:06:15
5378
原创 自然语言处理中的Attention原理和作用
目前NLP三个大的进展，一个是分布式表示(词向量)，第二个是 LSTM(GRU),第三个就是attetion，这些技术在原来的基础上大大提升了nlp各项基础任务。attetion究竟是什么呢。假设循环神经网络，每个时刻的输出h1,h2, . . . ,hnattetion其实就是，循环神经网络hi的在每个时刻的权重αi。因为，原来我们在预测的时候，是把LSTM的最终的预测状态 Hn输出...
2019-06-04 17:12:14
825
原创 各种神经网络优化算法：从梯度下降，随机梯度下架，批量随机梯度下架，Adagrad，AdaDelta，Adam
1一阶优化算法 这种算法使用各参数的梯度值来最小化或最大化损失函数E(x)，从而找到最合适的矩阵权重θ。最常用的一阶优化算法是梯度下降。2 二阶优化算法二阶优化算法使用了二阶导数(也叫做Hessian方法)来最小化或最大化损失函数。由于二阶导数的计算成本很高，所以这种方法并没有广泛使用。1 梯度下降的公式。网络更新参数的公式为：θ=θ−η×∇(θ)....
2019-05-29 14:48:37
1156
原创 熵，信息熵，最大熵，交叉熵，交叉熵，损失函数，随机熵，vc熵的区别和联系
1 熵的定义起源于物理学领域。热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量，简单的可以表述为，在一个孤立系统中，熵总是增大，朝无序的方向发展。2 在信息论中，熵是信息熵,熵代表了信息量，系统状态越少，熵越少。系统越复杂，熵越大，定义如下， H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi...
2019-05-23 16:58:02
2409
原创 集成学习思想总结-bagging,boosting,stacking
基本理论Bagging（套袋法）bagging的算法过程如下：从原始样本集中使用Bootstraping方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集。（k个训练集之间相互独立，元素可以有重复） 对于k个训练集，我们训练k个模型（这k个模型可以根据具体问题而定，比如决策树，knn等） 对于分类问题：由投票表决产生分类结果；对于回归问题：由k个模型预测结果的均值作为最后...
2019-01-30 18:29:57
569
原创 美团机器学习实践-特征选择总结
最近在看美团机器学习实践，看到特征工程，特征选择方法一部分觉得写的很好，总结一下。 特征选择主要目的就是，选择合适的特征，这样对于节省计算，模型最后的效果都有很大的好处，主要有下面三种类型。1 过滤方法，就是直接统计特征和最后结果直接的相关性，留下相关性比较大的，这种方法和模型没有关系。2 封装方法，结合模型来评估是否要留下某项特征。这样可能需要一项，一项的试，所以计算量很大。...
2019-01-29 16:26:01
639
原创 准确率，错误率 精准率 召回率，ROC，AUC 的区别和联系
网上对于每个定义分别讲述的很深，但是很少又把他们联系起来的。首先，所有的定义均来自下面的图，一定要理解好。 1 精准率和召回率，通常用在搜索的评价场合。 精准率表示:应该被搜索到的而且实际也搜索出来的(TP)/所有搜索出来的(TP+FP) 召回率表示:应该被搜索到的而且实际也搜索出来的(TP)/所有应该被搜索到(TP+FN)而 TN 表示不应该被搜索到实际...
2019-01-28 16:26:31
6707
原创 二维码跳转公众号，小程序的流程和方式总结。
工作和开发中常常碰到，需要生成一个二维码跳转到特定公众号和小程序的地方。而且特别容易混淆，下面总结和梳理一下。 二维码跳转公众号。 通过 https://open.weixin.qq.com/connect/oauth2/authorize?appid=[appid]&redirect_uri=[公众号url]&response_type=code&scope=...
2018-12-06 21:12:43
8846
3
原创 哥德尔证明的通俗理解。
首先哥德尔构建了一个形式系统PM，在这个系统中加法和乘法和自然数都有具体的符号表示。 其次采用了一种映射编码表明在PM系统中，所有符号，定理，证明对应一个唯一的哥德尔数是可能的，反过来也成立。一个唯一的哥德尔数对应了PM系统中唯一的符号序列， 通过这种方式，元数学也可以被映射到PM系统本身。有了这种编码映射使得PM系统可以精确的谈论自身。 然后哥德尔构建了PM的一个命题 ~(∃x)Dem...
2018-11-16 16:03:18
1437
原创 logback日志分隔不起作用，配置文件不起作用。
公司logback做日志分隔但是，奇怪怎么也不生效。现象就是配置logback.xml不起作用。生成的log一直是0，控制台输出正常。但是日志文件一直是空，控制台输出找不到日志实现类。最后最终解决了，总结如下。首先看是否和log4j冲突。如果和log4j冲突，就会不起作用。参考。http://magician8421.iteye.com/blog/2068425 如果还是不起作...
2018-10-29 20:58:28
2616
原创 python 对于任意数据和曲线进行拟合并求出函数表达式的三种方案。
第一种是进行多项式拟合，数学上可以证明，任意函数都可以表示为多项式形式。具体示例如下。###拟合年龄import numpy as npimport matplotlib.pyplot as plt #定义x、y散点坐标x = [10,20,30,40,50,60,70,80]x = np.array(x)print('x is :\n',x)num = [174,236,30...
2018-10-16 15:59:06
189722
20
原创 SVM 直观和通俗理解。
最近研究SVM 结合了多篇文章，总结如下。 SVM 本质是一个支持向量的最大间隔分类器。之前的线型分类器，一般是定义所有的点到分类直线距离总和最大。而SVM本质是支持向量距离和最大，这样就排除异常点的影响，计算量也比较小。https://blog.csdn.net/shuimanting520/article/details/45459803首先参考的是下面的文章，这篇文章比较...
2018-09-13 14:15:34
753
原创 强化学习-通俗理解。
最近在学习强化学习，看了一些文章和课程，总结如下。 强化学习的定义。 假定一个智能体(agent),在一个未知的环境中(当前状态state)，采取了一个行动(action),然后收获了一个回报(return)，并进入了下一个状态。最终目的是求解一个策略让 agent的回报最大化。 强化学习求解算法，一般采用马尔可夫决策过程(MPD)，定义如下。 一个...
2018-08-02 15:10:40
1919
原创 大数定理和中心极限定理的通俗理解。
一直觉得大数定理和中心极限定理很神秘，很模糊。这次下决心来搞一个彻底清楚，研究一下。先介绍一下大数定理。网上查了一下由下面几个版本。切比雪夫大数定律：用统计方法来估计期望的理论依据。E(X)≈1n∑nk=1xk 直观含义很简单，就是，求平均。举个例子来说，加入班上由 80个同学，那么随机选一个同学，他的身高应该是班里面的平均值。贝努利大数定律：事件 A 发生的频率 nAn 依概率收敛于事件 A 的...
2018-06-20 14:32:46
25221
原创 阿里云 centos 5 老版本 yum /repomd.xml: [Errno 14] HTTP Error 404: Not Found
太老的版本，很多源 163 搜狐 阿里云的镜像都被删除了，所以使用yum的时候就用不了了，报404 错误。找到了下面一种方法。http://www.javatang.com/archives/2017/09/04/13261799.html替换成centos-vault的源就可以了。将 /etc/yum.repos.d/CentOS-Base.repo 文件中所有的源主机地址修
2018-01-28 21:07:09
2893
原创 mac 安装 tensorflow 提示 Could not find a version that satisfies the requirement
使用下面的命令可以解决。但是要选择合适的平台和版本。所有平台和版本请查看 https://storage.googleapis.com/tensorflow/里面就有。pip install https://storage.googleapis.com/tensorflow/mac/tensorflow-1.2.0-py3-none-any.whl
2017-11-16 11:32:32
6147
转载 深度学习和自然语言处理的应用和脉络4-隐语义模型SVD，PLSA，LDA，LFM-推荐系统
隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。
2017-10-11 10:48:32
937
转载 深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。
CRF在NLP场景下的使用 把NLP问题化归为“标注问题”。收集大量（已经标注好的）语料。建立特征模板，由软件系统自劢扫描语料幵按模板生成特征函数。这样得到的特征函数可能非常多，但在训练过程中，经常重复出现的特征，其对应权值会得到强化，丌常出现的特征，权值会被自劢弱化。训练，参数（权值）估计。确立模型。给模型输入观测序列，模型预测其标注序列。从而解决标注问题。
2017-10-11 10:46:38
869
转载 深度学习和自然语言处理的应用和脉络2-复杂模型,最大熵-隐马尔科夫模型-条件随机场
除了最简单的N-gram模型，还有比较复杂的模型。比如最大熵模型和隐马尔科夫语言模型。 关于最大熵模型详细解释，请参考。http://blog.csdn.net/changdejie/article/details/78201001隐马尔可夫模型 很多语言问题可以转换成隐马尔科夫模型进行求解。例如，语音识别，序列标注(词性识别，句法分析，实体抽取)
2017-10-11 10:43:59
821
转载 最大熵模型通俗理解和例子
最大熵模型是一种综合模型，即我们知道很多关于一个东西的先验知识，然后用最大熵公式计算出来。很类似机器学习中的组合提升模型。 下面举一个最大熵模型的例子。我们看一个拼音转汉字的简单的例子。假如输入的拼音是"wang-xiao-bo"，利用语言模型，根据有限的上下文(比如前两个词)，我们能给出两个最常见的名字“王小波”和“王晓波 ”。至于要唯一确定是哪个名字就难了，即使利用较长的
2017-10-11 10:41:20
7926
转载 深度学习和自然语言处理的应用和脉络1-基础
本文是听炼数成金的黄老师机器读心术之深度学习大战自然语言处理的课程总结的笔记和读后感。NLP技术发展阶段以语言学为主要基础的时代（过去）：建立基本语言觃则使用数理逻辑迚行推理，建立模型产生戒理解语言以统计斱法为主流的时代（现在）：当数据量积累到海量，本身就能析取规则，孕育出智能。业务知识相对丌重要。IBM实验室的贡献。“每当我炒掉一位语言学家，我的识别率就又
2017-10-09 16:31:59
591
1
原创 一文理解深度学习，卷积神经网络，循环神经网络的脉络和原理4-循环神经网络，LSTM
循环神经网络很早就有了，其结构如下图。注意，这里其实只有一个神经网络结构。而不是7个。下图是为了方便表示，一次把7个时间的网络都画在上面。举个翻译的例子，I am hungry 比如在时间1，我们输入了 I，通过神经网络 输出了对应的翻译 我。然后时间2 ，输入了 am。这个时候网络的输入不但是 am，还有上次 I的隐层的输出。就相当于，网络不但考虑了当前输入，还考虑了以前的输入。
2017-09-27 17:34:44
4327
原创 一文理解深度学习，卷积神经网络，循环神经网络的脉络和原理3-残差神经网络
虽然前文，提到的卷积神经网络，可以通过权值共享等手段对抗一定程度的梯度消失。但是实际发现一旦网络超过20层，效果会逐渐变差。梯度消失的现象仍然存在。何凯宁等人发明的深度残差网络可以解决更深网络的训练问题。深度残差网络的深度可以很轻松到底几百层，最新的数据表明。微软已经训练了一万多层的残差网络，这对解决一些特定的问题很有用。深度残差网络的基本组成如下。 左边是一个正常的深度神
2017-09-27 15:13:48
1199
原创 一文理解深度学习，卷积神经网络，循环神经网络的脉络和原理2-卷积神经网络
卷积神经网络，本质也是一种BP神经网络，但是采用了一些手段和技巧对抗梯度消失，卷积神经网络特别适用用于图像处理。详细参考下面的文章，已经写的很好。http://www.cnblogs.com/nsnow/p/4562308.html这里我们讲一个详细的例子： 输入层 32*32.C1层: 5*5的卷积，使用6个卷积核。
2017-09-27 14:08:34
1780
原创 一文理解深度学习，卷积神经网络，循环神经网络的脉络和原理1-深度学习基础
人体神经细胞工作原理。如下图。树突接受其他神经细胞的刺激。经过细胞核的处理通过轴突进行输出到其他神经细胞或者肌肉。这样传输就会形成一个通路。当我们持续学习一种事物的时候，就会持续的刺激该通路上的所有神经细胞。从而使得通路更加顺畅。形成记忆。从而加深学习。2 通过模拟上述过程。我们通过计算机模拟构建了一个神经单元。如下图。该单元也具有输入X(可以有多个)和输出Y(
2017-09-27 10:02:32
1754
转载 玻尔兹曼机通俗理解
玻尔兹曼机特点： • Boltzmann机是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络属于反馈神经网络类型 。其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为 。• 它在神经元状态变化中引入了统计概率，网络的平衡状态服从Boltzmann分布，网络运行机制基于模拟退火算法。• Boltzmann机结合多层前
2017-09-26 16:47:27
29920
原创 Hopfield神经网络的通俗理解
Hopfield网络 和BP神经网络区别和联系。 前馈型神经网络通过引入隐层及非线性转移函数（激活函数）使得网络具有复杂的非线性映射能力。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。而Hopfield神经网络，会把其输出反馈给输出，从而具有时序性的特定。因此需要通过微分方程或差分方程描述网络的动态数学模型。Hopfield神经网络
2017-09-26 16:10:48
16127
1
原创 maven安装第三方库到私服上面方法。
1 开发中经常会遇到，需要添加一个第三方库的情况。如果是每个开发成员都在本地安装的话，很不方便。最好是统一上传到本地私服中。这样开发成员就可以，添加一个依赖，自动从私服中下载。maven对于这种情况，提供了几种解决方案。一种是，通过 nexus上传添加。需要有管理员的写入权限。http://juvenshun.iteye.com/blog/349534 这篇文章介绍了这种方法。
2017-09-18 15:37:54
498
原创 Java applet can't open files under Safari 7
Safari 对 java applet 程序有安全设置。默认禁止，读取，如果需要打开的话。需要进行设置。如下。偏好设置--》安全性---》插件设置--》java--》选择相应的网站--》不安全方式运行
2017-09-14 17:38:46
223
原创 数据归一化(normalizing)的直观理解和通俗解释。
以前一直对，数据归一化有一些模糊的概念，最近看Andrew Ng的课程。才有了深入的认识。如下图。数据归一化，其实就是 数据减去均值再除以标准差。直观解释如下图的过程。清晰明了。
2017-09-07 10:42:15
4259
1
原创 mac no module import cv2。
首先安装 brew，然后安装 opencv brew tap homebrew/sciencebrew install opencv安装必要的python库pip install numpypip install matplotlib但是实际测试，仍然报。 no module import cv2。打印，py
2017-04-06 18:16:50
4665
原创 idea debugger console 不见了。
1 找了好久，也找不到，调试的时候挺麻烦的。2 最后发现 有个一个重置，视图的按钮。点击一下就恢复 。
2017-03-20 15:53:29
128581
18
smslib-3.5.4-centos可以发短信的程序和检测程序.zip
2014-02-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人