Karen_Yu_-CSDN博客

原创 Transformer 代码补充

本文是对以及的补充，是对相关代码的理解。先说个题外话，在之前李宏毅老师的课程中提到multi-head attention是把得到的qkv分别乘上不同的矩阵，得到更多的qkv。实际上，这里采用的方法是直接截取，比如这里有两个头，那么q^i就被分成两部分q^{i,1}和q^{i,2}。在中有解释，也推荐。

2024-01-30 21:56:36 971

原创【李宏毅机器学习】Transformer 内容补充

发现一个奇怪的地方，如果直接看ML/DL的课程的话，有很多都是不完整的。开始思考是不是要科学上网。本文用作的补充内容，因为发现如果实操还是有不能理解的地方，所以准备看看宝可梦老师怎么说×。

2024-01-28 12:26:16 1101 1

原创 KAGGLE · GETTING STARTED CODE COMPETITION 图像风格迁移示例代码阅读

将真实图像比作1的矩阵，将假图像比作0的矩阵。完美的discriminator将为真实图像输出所有的1，为假图像输出所有的0。discriminator损耗输出实际损耗和生成损耗的平均值。计算真实标签和预测标签之间的交叉熵损失。将这种交叉熵损失用于二值(0或1)分类应用程序。TF2.0—tf.keras.losses.BinaryCrossentropy-CSDN博客tf.keras.losses.BinaryCrossentropy函数-CSDN博客这里延伸一下：为什么分类要用交叉熵而不用MSE。

2024-01-21 17:57:56 805

原创李宏毅 Generative Adversarial Network（GAN）生成对抗网络

machine learning就是去找一个函数，input一个东西，output另一个东西。如果是regression task，就output一个数值，如果是classification task，就是output一个class。如果我们遇到的问题是一个更复杂的问题，不是output一个数值/class，可能是一个sequence、matrix、graph、tree。这个task就是structured learning。

2024-01-21 10:53:58 1134

原创 PyTorch Tutorial 2.0

这里是对于的补充，但是与其相关的NLP内容无关，只是一些基础的PyTorch用法的记录，主要目的是能够自己生成一些模拟的数据集。先介绍随机数的目的是因为based on随机数方法。当然在看随机数的方法的时候，觉得也有必要对统计学方法进行一个总结，也许在不久的将来吧:))

2024-01-16 18:12:54 1105 1

原创 Intro project based on BERT

BERT，其实就是Transformer中的encoder。是语言模型的变形。一起入门语言模型(Language Models) - 知乎 (zhihu.com)（在之前NLP的部分其实就提到的语言模型，让我盲答的话我会举例描述这就像已知我说了某个词A，那么我下一个说词B的概率，这种感觉就很类似我们手机上的输入法，输入一个词之后会给出联想词，点击之后又会给出新的联想）---以下为引用---什么是语言模型呢？对于任意的词序列，它能够计算出这个序列是一句话的概率。

2024-01-10 17:43:16 1045

原创 BERT Intro

BERTBEncoderRTransformers（transformer这个模型的双向的编码器表示，注意到这里和标题内容是不一样的，很可能这个名字是凑出来的（李宏毅在NLP课程中提过这个，表示就是凑出来的，吐槽说论文也喜欢蹭热点，比如有些用三个动词，比如xxx is all you need这样，还举例说后面的其他模型也凑热闹，硬用芝麻街里的人名凑），这篇论文的想法基于一个重要的工作ELMo（这是一个基于RNN的架构），来自于芝麻街的人物）。

2024-01-09 19:13:09 1095

原创 Transformer - Attention is all you need 论文阅读

在主流的序列转录模型中，主要是依赖循环或者卷积神经网络，一般是使用encoder和decoder的架构，在一些性能最好的模型中，通常也会在encoder和ecoder之间使用一个称为attention mechanism（注意力机制）这篇文章主要是要做序列到序列的生成，采用一个新的简单的网络结构，仅仅依赖注意力机制，而完全没有采用之前的循环或者卷积。作者做了两个翻译的任务，显示模型的性可以并行，并且所需要训练的时间更短。2 个机器翻译任务的实验结果英 - 德：比当时最好的结果提高了2个BLEU。

2024-01-07 19:03:39 1229

原创 PyTorch Tutorial

kernelreturn xprint(net)简单解释一下，这是一个简单的卷积神经网络，首先x是一个二维的Tensor（比如图像），这个图像的channel是1（可能是黑白的，当然也可能是彩色图像但是只使用其中的某个通道），对这个Tensor使用6个kernel大小为5*5，步长为1，padding为0的卷积（使用6个就代表输出会有6个channel），然后接入ReLU（激活函数，提供非线性），接着是max pooling（2*2，stride=kernel size=2）

2024-01-06 21:32:45 1145

原创 ResNet论文阅读和简单实现

让我们先把H(x)看做是由几个堆叠的层拟合的潜在映射（这里的几个不一定指的是整个网络），那么此时x表示的就是这些层中第一层的输入。F(x, {W_i})：学到的residual mapping（我们最后想得到的是H(x)，但是这里学到的是F(x, {W_i})，也就是H(x) - x，但是没有关系，我们最后输出的是F(x, {W_i}) + x，也就是H(x) - x + x，这种思路很像小时候做那种数列找规律求和，虽然直接算很难算，但是可以加上一项之后先算出来结果，最后再把加上来的项去掉）

2024-01-03 23:21:43 1053

原创李宏毅自然语言处理（Voice Conversion）笔记

patcher也是一个model，吃的input和decoder一样（content encoder的输出+speaker encoder的输出），decoder得到一段声音信号，patcher也产生一段声音信号，这一段声音信号会加到decoder产生的声音信号上，所以这个patcher的作用是打补丁。同一句话，不同人说的效果是不一样的；这里vocoder可以采用传统的信号处理的方法（不见得能得到好的结果，我们在听合成的时候听到的那种假假的声音往往就是这里的问题），也可以用DL。->加一些额外的东西。

2023-12-31 16:56:11 1277

原创李宏毅自然语言处理（Speech Recognition）笔记

从Ng那里跑路来学NLP了，之前其实ML入门听的就是宝可梦捕获大师（×）的课，目前计划是，本博文作为上面链接所示课程的笔记记录。听完之后会找个项目练一练，然后去听一些更新的技术的介绍，再找个项目练一练。

2023-12-31 10:43:27 1245

原创吴恩达深度学习intuition

常见的方法就L1和L2，具体可以参考LASSO regression，Ridge regression。前者会将权重中的部分打压的很厉害，接近0。Ng提出，很多人认为采用L1 regularization可以减少权重矩阵中需要储存的数据，这样可以节约存储空间，但实际上并没有明显区别。here是一种初始化方法。，采用高斯分布去分配weights。对于每一层，我们希望方差保持不变。这有助于我们防止explode/vanish。换句话说，我们需要初始化权重，使x和y的方差保持不变。

2023-12-20 21:51:13 745

原创 Linear Discriminant Analysis (LDA)

LDA主要用来降维和分类，其逻辑是以已有的类别标签为依据，寻找特征的线性组合，这一线性组合刚好可以区分两个或多个类，从而达到将数据投射到低维空间，并保留尽可能多的信息的目的，本质上就是线性变换。LDA和FDA是一个东西，因为是Fisher这个人搞出来的，因此会看到两个名字混用。这里记录一下sklearn给的示例代码，以及一些相关的笔记。去年上课的时候老师简要提到过，但是当时笔记太简略了orz。LDA和PCA都可以用来降维，但是两者本质不同。

2023-04-05 08:29:02 576

原创 24. Swap Nodes in Pairs (Python)

MediumGiven alinked list, swap every two adjacent nodes and return its head. You must solve the problem withoutmodifying the values in the list's nodes (i.e., only nodes themselves may be changed.)Example 1:Input: head = [1,2,3,4]Output: [2...

2022-01-05 04:48:18 193

原创 807. Max Increase to Keep City Skyline （Python）

MediumThere is a city composed ofn x nblocks, where each block contains a single building shaped like a vertical square prism. You are given a0-indexedn x ninteger matrixgridwheregrid[r][c]represents theheightof the building located in the b...

2021-12-30 02:56:45 555

原创 Google Colab的使用

参考：https://www.jianshu.com/p/2cf00bb9db34?utm_source=oschina-app需要提前准备：1.科学上网工具2.一个谷歌账号（Google Colab和Google drive都是需要账号的）Google Colab网址：https://colab.research.google.com/notebooks/intro.ipynb#scrollTo=gJr_9dXGpJ05在注册账号的时候遇到了问题：Google账号注册中国大陆手机号

2021-04-14 20:52:05 6979 3

原创 win10系统安装Tensorflow2.1-CPU版本

参考：https://blog.csdn.net/loft_/article/details/105550596换回自己的笔记本得重新配置环境了，研究了一个星期，决定先看一下CPU的情况（毕竟GPU云服务器太贵了，先用CPU学一下，反正效果差不多……吧）----------------插一句题外话听说谷歌云服务器可以薅羊毛，薅羊毛爱好者正在思考好像需要visa卡？不知道MasterCard能不能用？----------------没有显卡，上淘宝溜了一圈，告辞！Anacond

2021-04-08 22:24:15 697

原创 WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None))

没想到换个地方配置环境还能解锁新的报错！不愧是你Anaconda！WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1074: The handshake operation timed out'))': /py

2021-04-08 21:11:39 33170

原创 tkinter 打包成exe可执行文件

参考：https://blog.csdn.net/weixin_42264901/article/details/82020845第一步，安装pyinstallerpy -m pip install pyinstaller或者第二步生成exepyinstaller -F CNN19.py注释：我的py名字叫CNN19（格式是pyinstaller -F py文件的名字.py）因为刚刚犯傻没看清楚路径，犯了个蠢以为是这个结果点开让我下载，下载完点开还让我

2021-03-29 15:16:50 1260

原创 Python 边缘检测

参考：https://blog.csdn.net/qq_34711208/article/details/81703341?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-0&spm=1001.2101.3001.4242https://blog.csdn.net/wugui1111/article/details/80706411?utm_medium=distribute.pc_relev

2021-03-29 11:34:54 335

原创 AttributeError: ‘Image‘ object has no attribute ‘shape‘

本来想实现打开文件之后，对文件进行加噪声的处理的，略略改了点之前的代码出了点问题（代码如下：import cv2import randomimport numpy as npfrom tkinter import *from tkinter import filedialogfrom PIL import Image, ImageTkimport oswindow = Tk()window.title("Open picture")def clicked(): file

2021-03-29 10:51:51 12534

原创有关Python的图形化界面——tkinter

文档：https://docs.python.org/zh-cn/3/library/tkinter.htmlhttps://wiki.python.org/moin/TkInter文档中的代码：import tkinter as tkclass Application(tk.Frame): def __init__(self, master=None): super().__init__(master) self.master = master

2021-03-26 16:04:17 450 2

原创记录毕业设计学习内容——目录

之前经历了种种狼狈的事，比如好不容易解决了本地装各种模块的问题，代码一跑，告诉我电脑没有GPU我：……？然后按照论文中提到的方法去学PyQt5，然后愣是没看懂designer转代码之后的操作……然后查到我得找个云服务器搭环境，恍惚中又回到了前几年被微信折磨的日子……因此还是决定新建一个文件夹记录一下毕设的时候学到的东西，也方便之后有人能有所启发吧（至少少走弯路）此处随时更新目录：...

2021-03-26 15:18:24 221 1

原创 panic: runtime error: invalid memory address or nil pointer dereference

在获取阿里语音合成的token的时候遇到如下问题：panic: runtime error: invalid memory address or nil pointer dereference[signal 0xc0000005 code=0x0 addr=0x40 pc=0xdbcc77]goroutine 1 [running]:main.Ali.AliSyn(0xc0001b80d0, 0x0, 0x0) D:/SOFTware/GoLand/GoProject/test.go:196

2021-03-23 09:50:30 24211

原创 Golang SHA256

参考：https://blog.csdn.net/The_Reader/article/details/84396340A）将上述参数按照appkey、time、secretsecret查询(opens new window)顺序拼接字符串；B）将A形成字符串获取SHA256摘要，形成一个64位的十六进制（字母大写）字符串，即为本次请求sign（签名）的值package mainimport ( "fmt" "time" "strconv" "crypto/sha256" ..

2021-03-19 09:24:42 2475

原创有关阿里语音合成获取token的一些尝试

按照文档中关于token获取的响应参数类型说明 Token token对象包含了具体的token值和有效期时间戳 Id String 本次请求分配的token值 ExpireTime Long token的有效期时间戳（单位：秒，例如1553825814换算为北京时间为：2019/3/29 10:16:54，即token在该时间之前有效。） Id为获取的token响应Body JSON字符串格式解析：{ "Nls

2021-03-17 14:18:20 986

原创 golang too many arguments to return

在获取百度语音合成的token的时候遇到的问题：代码参考：https://ai.baidu.com/forum/topic/show/497597报错信息如下：GOROOT=null #gosetupGOPATH=null #gosetupgo.exe build -i -o D:\SOFTware\GoLand\GoProject\go_build_GoProject_.exe . #gosetupgo build: -i flag is deprecated# _/D_/SOFTw

2021-03-16 16:32:02 5367

原创 Go语言学习

摘自Go语言结构|菜鸟教程Go 语言的基础组成有以下几个部分：包声明引入包函数变量语句 & 表达式注释其中安装的时候测试的代码：package mainimport "fmt"func main() { /* 这是我的第一个简单的程序 */ fmt.Println("Hello, World!")} 第一行代码package main定义了包名。你必须在源文件中非注释的第一行指明这个文件属于哪个包，如：package main。pa..

2021-03-12 16:06:24 505

原创 Goland go: cannot find main module； see ‘go help modules‘

今天折腾半天安装goland参考：http://c.biancheng.net/view/6170.html不过激活码好像不work，就随意了，大不了回头再卸载安装一次，海王无所畏惧×在运行：package mainimport "fmt"func main() { /* 这是我的第一个简单的程序 */ fmt.Println("Hello, World!")}的时候报错：go: cannot find main module; see 'go help modu

2021-03-12 09:59:12 704

原创百度语音合成测试

展示页面 https://ai.baidu.com/tech/speech/tts 文档 https://ai.baidu.com/ai-doc/SPEECH/Gk38y8lzk 第一步准备工作按照：https://blog.csdn.net/prajna000/article/details/106308783?utm_medium=distribute.pc_relevant.none-task-blog-OP...

2021-03-11 10:35:58 1137 1

原创搜狗语音合成测试

展示页面 https://ai.sogou.com/ 文档 https://ai.sogou.com/doc/?url=/docs/content/tts 在网上没找到类似的文件，搜狗的文档写的又很狗（反正非常不初学者友好），因此在此记录。第一步：注册第二步，进入控制台（点击控制台或者注册后用户名部分均可）ps用户名部分就是被我涂的花花绿绿的部分第三步，创建新应用填写完成后，会弹出一个弹...

2021-03-10 14:56:42 1479

原创有关pip指令报错

在cmd环境中莫名其妙报错，但是只搜到如果在Python环境中报错，要退出exit（），进入cmd，但是本身在cmd环境中报错就离谱参考：https://pip.pypa.io/en/stable/user_guide/py -m pip install --upgrade SomePackage（填写pip）i.e.py -m pip install --upgrade pip然后就可以安装需要的包了py -m pip install SomePackage ..

2021-03-08 08:55:33 339

原创记录在安装tensorflow时出现的问题

第一个问题开始在cmd中python -m pip install tensorflow安装的时候下载从未成功过，最刺激的一次是已经装到300+MB了（整整下了三天！！！）。然后告诉我要用Anaconda安装。解决方法：去Anaconda官网下载。步骤参考：https://www.cnblogs.com/ming-4/p/11516728.html第二个问题在安装的之后出现You are using pip version 9.0.1, however version 21.

2021-02-23 10:37:44 188 1

原创 Python进行Excel的处理

学习用Python处理Excel之前建模的时候都是C++玩的（另外才明白上次我套模板做分类肯定是overfitting了，不然正确率就40%左右，还不如反向分类呢）首先，新建一个Excel随意存几个数据，因为很懒，随意命名为noteone，存在E盘，只有Sheet1（注意区分大小写，不然打开的时候会报错），然后存了几个没啥意思的数据做测试：sequence number name price number left fav 1 Apple 2

2021-02-22 17:34:20 2199 2

原创浪晋的测试小讲堂萌芽计划第二期视频学习笔记

学习测试ing按照知乎：https://zhuanlan.zhihu.com/p/32505591 上面提供的B站课程整理笔记视频链接如下：https://www.bilibili.com/video/av57464686/?p=1 时长6.5小时（0基础也能两倍速的快乐课程！）课程中老师省略的部分有时间会补齐的软件测试的介绍和分类什么是软件测试：检查，是否符合最开始的设计，把不合理的部分挑选出来（实际结果是否符合预期结果）。·软件测试的发展历程：软件测试是去

2021-01-26 17:34:10 972

原创李宏毅2020机器学习深度学习笔记1（理论上持续更新中）

我真的超能鸽????哈哈哈在各种方向上来回摇摆，最后还是老老实实找机器学习来听了（B站学习网站石锤了）https://www.bilibili.com/video/BV1JE411g7XF看评论还不错，就从这里开始吧！笔芯-----------------------------------------------------------------------------------------------P1 Machine Learning (2020)_Course Introd

2020-12-13 17:18:23 1130

原创 OpenCV在安装配置中出现的问题

https://blog.csdn.net/maizousidemao/article/details/81474834以上为安装配置教程我和队友在做课设的时候疯狂翻车，彼此走入对方没进过的死胡同，经过三天的摸索，找到了原因以上是我们遇到的问题：1.无法启动程序F:\VSproject1\Project2\x64\Debug\Project2.exe\Project.exe系统找不到指定的文件。2.由于找不到opencv_world3410d.dll,无法继续执.

2020-07-07 11:35:44 487 1

原创 CSS5在安装和环境配置中的问题

刚刚解决完问题，但是遇到一些问题。网上没有查到类似问题的解决方案，希望记录下来，可以方便其他遇到此类问题的人。（PS：在家上实验课是我遇到的比在家上体育课还鬼畜的课，虽然我也没上体育orz）本文解决的问题是配置时，默认路径含有中文的问题以下内容摘录自老师发的说明书构造DSP开发软件环境 1．安装CCS软件(此文档假定用户将CCS安装在默认目录C:\中，同时也建议用户按照默认安装目录安装)：⑴将实验箱附带的教学光盘插入计算机光盘驱动器。⑵打开教学光盘的“CCS5.x”目...

2020-05-21 09:55:18 1960 2

空空如也

空空如也