- 博客(13)
- 收藏
- 关注
RSS订阅原创 以transformer为基础的Bert和GPT
前面回顾了一些序列模型（RNN等），然后引出了attention transformer的学习，有了transformer这个强大的基础结构，就衍生出了许多强大复杂的大型模型。其中Bert和GPT是两个典型的代表，也是NLP领域预训练模型的代表。 下面结合许多资料，先手写了一点笔记，后面会总结整合成电子博客...
2021-08-20 23:18:46
444
1
原创 从RNN(循环神经网络)到Transformers
**背景：**近期，CV领域很多任务上都采用了transformer系列模型，自己也对这个原来主要用于处理时序信息的模型很感兴趣，所以开始对transformer的学习。由于很长一段时间都是做机器学习和CV，对于NLP相关的序列模型也只是当初入门深度学习的时候稍微学了一下，这里要学transformer，感觉还是有必要从RNN开始复习的，然后逐步到attention注意力机制，然后transformer（transformer 可以说就是attention 的另一个名字吧）**文章内容：**整个文章首先
2021-08-18 23:25:54
710
原创 支持向量机
同之前一样，仍然是机器学习部分，西瓜书南瓜书系列笔记，以二者为主，吴恩达机器学习和统计学习方法为辅，对支持向量机做了一些简单得笔记。 仍然还是先附上纸质笔记，然后会更精炼得写到博客上来。...
2021-07-30 09:31:09
306
原创 决策树
这次还是先写的纸质笔记（主要是看视频和看书的时候写纸质笔记，会专心很多），以西瓜书和南瓜书为主，统计学习方法和李宏毅机器学习为辅，总结的笔记。 今晚，笔记忘了带回，明天一早就会先上传纸质笔记的照片，然后后续整理成博客。...
2021-07-22 23:30:35
223
1
原创 线性回归-对数几率回归与线性判别分析
这次和上一次的内容类似，以西瓜书南瓜书为主结合统计学习方法与吴恩达机器学习，先做了一些手写的笔记，后面会精简整理成博客。
2021-07-19 23:18:23
337
2
原创 西瓜书/南瓜书第一二章总结
接下来的一段时间，会以西瓜书、南瓜书为主，吴恩达机器学习与统计学习方法为辅，对原来学过的一些机器学习算法做一个总结，重点是底层原理和公式推导。原来的学习只是一些皮毛，懂大概的原理，知道怎么应用，怎么掉包，怎么调参。希望通过这次短暂的一两个月的时间，可以好好的把公式推导一遍，彻底搞懂一些重要的原理。首先学习的时候，先在纸上做了粗糙的笔记，时间关系，先把手写笔记放上来，后面会再精简一些，然后写到博客上来。...
2021-07-13 23:19:34
109
原创 python不同数据类型的赋值、浅拷贝与深拷贝
1.数字、字符串、元组：赋值、浅拷贝和深拷贝无意义，因为其永远指向同一个内存地址首先需要注意的是：基本数据类型、字符串、元组的值都是固定的,一旦定义就无法改变但是需要注意的是，如果元组中包含可变元素的话，上面的结论就不成立了，因为他不是一个纯元组了，深拷贝时地址会改变，而且元组也可变了：2. list、dict尽量用深拷贝，因为赋值和浅拷贝，新的list/dict改变的话，会影响原来的list/dict因为对他俩来说，赋值，只是创建一个变量，该变量指向原来内存地址；浅拷贝，并不是把对象完整
2021-05-16 10:20:34
271
原创 什么是脚本语言(python脚本是什么？)
脚本也就是script。 在计算机行业中，被用来指代可以直接运行的文件，比如：python script、bash script。 与java相对应的有个javascript，也是一种脚本语言。需要注意的是：只有可以直接运行的文本文件才能叫script。 一个二进制可执行文件，并不是script，不能被较坐script。 所以相应的c/cpp、java等等需要被编译成二进制文件的语言，就不是一种脚本语言。 相反的python bash等可以写一个script，一个纯文本就可以直接运行的，就被叫做脚本语言。
2021-05-14 18:06:19
2795
原创 linux查看文件夹中的文件数（包含子文件夹）
查看当前文件夹下的文件数：ls |wc -w查看当前文件夹下（包含子文件夹）内的文件数：ls -lR|grep "^-"|wc -l下面有一个从网上看到的长的版本，挺不错的还有讲解：Linux 查看文件夹下的文件个数(当前目录的文件数)ls -l |grep "^-"|wc -l或find ./company -type f | wc -l查看某文件夹下文件的个数，包括子文件夹里的。ls -lR|grep "^-"|wc -l查看某文件夹下文件夹的个数，包括子文件夹里的。l
2021-04-12 18:40:18
1175
原创 linux系统利用ipdb调试python代码
1、安装pip install ipdb2、可以使用 python -m ipdb xxx.py也可以加到程序内部，像断点调试那样：import ipdbipdb.set_trace()3、常用命令ENTER(重复上次命令)c(继续)l(查找当前位于哪里)s(进入子程序)r(运行直到子程序结束)!<python 命令>h(帮助)a(rgs) 打印当前函数的参数j(ump) 让程序跳转到指定的行数l(ist) 可以列出当前将要运行的代码块n(ext) 让程
2021-04-11 15:33:18
216
原创 服务器集群 为什么一定要有个中转服务器
两个局域网络想要连接，必须要有一个网桥（中转服务器）。而且只有中转服务器联网了，挂在中转服务器下面的其他服务器都没有联网，是因为：存储服务器和计算服务器直接连接外部网络不安全，中转一下更安全。...
2021-04-01 17:21:11
310
1
原创 IP地址和端口基本概念
这两天在使用proxychains设置代理上网的时候，遇到了一些原来学过的名词，但是只是生硬的对照着教程在走，但是里面一些概念不是很明白，这里遇到了就刚好记录、理解一下。1. IP:IP地址是在网络上分配给每台计算机或网络设备的32位数字标识。在Internet上，每台计算机或网络设备的IP地址是全世界唯一的。在网络上的计算 机就是通过这个唯一的IP地址查找网络上的其他计算机并与之通信。IP地址的格式是 xxx.xxx.xxx.xxx，其中xxx是 0 到 255 之间的任意整数。固定IP地址是长期分
2021-03-31 22:26:58
4561
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人