m0_46861439的博客

原创 part6.vit

例如，考虑以下句子：“I love to play soccer.” 如果我们使用空格作为分隔符，将句子分解为 token，得到的结果可能是：[“I”, “love”, “to”, “play”, “soccer”, “.”]，其中每个单词和句点都是一个 token。与传统的nlp不同，nlp领域里一个字符含有的信息非常丰富，而对于图像而言，一个像素点所含有的信息非常稀少，所以往常的处理都是基于一个个图片的小块，每个小块含有很多像素点。“我跑在狗子前面” 和 “狗子跑在我前面”，有典型的不同。

原创 part5.transformer

自言自语，供自己使用

原创 最大均值差异（MMD）的介绍

核函数：给定一个非空集合XX，方程kX×X→RkX×X→R，如果存在一个实希尔伯特空间 (R\mathbb{R}R-Hilbert space，实希尔伯特空间因其上的内积的定义的不同而不同) 和一个映射ϕxX→HϕxX→H，使得∀xx′∈X∀xx′∈Xkxx′≔ϕxϕx′Hkxx′ϕxϕx′H​1.对称性：kxx′kx′x。

原创 最大均值差异MMD计算出现nan情况

MMD计算出现nan

原创 torch的一些函数

0. 长期更新，看到奇怪的弄懂了就写ref:https://www.bilibili.com/video/BV1wQ4y1q7Bm/?spm_id_from=333.788https://blog.csdn.net/m0_46384757/article/details/1205094811.torch.gatherhttps://www.jianshu.com/p/b7d8d3c26f2d上面的文章告诉我举例子的时候不要用1m或m1也不要用n*n这种，不然歧义很多这里是按我的理解写一遍，为

原创 量化的一些paper阅读

前言这是一项赶鸭子上架的工作，此项工作的目的是把我从一个一无所知的小白变成懂一点神经网络轻量化东西的一年级学生，然后就可以参与大约十天后的文书撰写工作。我也不知道为什么每一年都这么忙。anyway，最重要的是认知-认同-实践这份东西主要是我的论文阅读概述，方便我找些东西1.A White Paper on Neural Network Quantizationhttps://arxiv.org/pdf/2106.08295.pdf................................

原创 数学建模的一些方法

AHP Topsis

原创 DRL的个人学习——part_1

1.名词解释以及一些简写蒙特卡洛近似：抽一个或很多个随机样本，用随机样本来近似PDF： probability density function 概率密度函数，对于连续变量PMF： probability mass function 概率质量函数，对于离散变量CDF： cumulative distribution function 累积分布函数大写字母，X，表示随机变量...

原创 跟李沐学AI part4

1. ResNet这是用来解决网络退化问题的就比如左边这幅图，从F1到F6（都视为网络），虽然网络层数上升了，但层到目标f（蓝色五角星）的距离却变大了，就是效果变坏了，称之为网络退化，在统计机器学习里叫模型偏差解决的想法就是：在构造模型的时候每一个模型都包含这前面的小模型，这样学习的效果就应该严格地比前面的更好（就像右边那张图一样）...

原创 mnist 准确率 从开始99.5的提升探究

0.备注帮你成功应付某理工大学大一的移动信息课程d2l是李沐开发的一个库，其实大不了自己写也是ok的，可以去翻作者的其他文章，应该都有手动实现版pip应该不用教吧0.1 数据集的下载问题第一次把那个 download设为True，此后都为False1.类LeNet 结构这个世界需要调参侠！！！# accuracy: 99.6%from __future__ import print_functionimport torchimport torch.nn as nnfrom torc

原创 深度学习的一些名词

batch_size 表示每次处理的样本的数目，loss=loss(x1)+loss(x2)+…loss(x_batch_size)=f(w1)+f(w2)+…f(w_n)f(w)表示从众多loss中提取的w_m的分量之和，其实不这么写也没关系，不过是求偏导的时候变成求众loss对某w的偏导之和epoch_num: 表示要训练几轮，每一轮所有的样本都会参加，分数次进行，每一次选batch_size个样本来训练模型并进行一次模型的权重更新...

原创 跟李沐学AI part3

原创 jupyter 只显示*而不运行

0.本文在于阐述尝试的过程，可以视作是一个方法合集，希望在最后一条之前你就能解决问题1.https://blog.csdn.net/weixin_35006433/article/details/113393375?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3.no_search_link&depth_1-utm_source=distribute.pc_relevant.non

原创 jupyter 500

0.说明：这是一篇博主解决改问题的路径表，希望能帮到你1.https://blog.csdn.net/qq_24946843/article/details/885315822.https://blog.csdn.net/weixin_41013322/article/details/108584287?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-4.no_search_link&amp

原创 跟李沐学AI part2

https://www.bilibili.com/video/BV1K64y1Q7wu/?spm_id_from=333.788.recommend_more_video.01.分类和回归的区别回归：最后得到的是经过预测函数所得到的一个预测结果分类：最后得到的是数量为要分类的总物体品种的数量的置信度。比如计划是分十个类别，那么经过预测函数（网络）后最后得到的是是个置信度，比如mnist分类，对应的类别有【0，1，2，3，4，5，6，7，8，9】，通过预测函数后最后的输出结果是【0.2，0.13，0.2

原创 杂七杂八 for p9

1.UserWarning: The given NumPy array is not writeable, and PyTorch does not support non-writeable tensors. This means you can write to the underlying (supposedly non-writeable) NumPy array using the tensor. You may want to copy the array to protect its da

原创 torch的一些函数

1.https://zhuanlan.zhihu.com/p/2885419092. .detach()y=tensor.detach()创建一个常量,名字是y, 注意它没有梯度3. .normal()torch.normal(means,std,out=None)效果：返回一个张量，包含从给定参数means,std的离散正态分布中抽取随机数。 均值means是一个张量，包含每个输出元素相关的正态分布的均值。 std是一个张量，包含每个输出元素相关的正态分布的标准差。 均值和标准差

原创 21.8.29 逻辑分类

1. 人工分类主要靠 plt.pcolormesh 来实现尝试使用线性回归和岭回归来耍耍，但效果不咋地特别是正则项c的取法，奇怪的一批import numpy as npimport matplotlib.pyplot as pltx = np.array([ [3, 1], [2, 5], [1, 8], [6, 4], [5, 2], [3, 5], [5, 7], [4, -1]])y = np.array([0, 1,

原创 ml-疑惑之处

1.尝试使用线性回归和岭回归来耍耍，但效果不咋地特别是正则项c的取法，奇怪的一批我觉得可以再那边的y上面动文章，可是不知咋弄还有，岭回归的函数究竟是什么（不是损失函数 J 那个），和原本的线性函数没区别是吗import numpy as npimport matplotlib.pyplot as pltx = np.array([ [3, 1], [2, 5], [1, 8], [6, 4], [5, 2], [3, 5], [5, 7]

原创 21.8.28_random forest

1.正向激励方法：import sklearn.tree as stimport sklearn.ensemble as se# model: 决策树模型（一颗）model = st.DecisionTreeRegressor(max_depth=4)# 自适应增强决策树回归模型 # n_estimators：构建400棵不同权重的决策树，训练模型model = se.AdaBoostRegressor(model, n_estimators=400, random_state=7)# 训

原创 python拾遗

1.python的星号（*）和双星号（**）用法一个表示 该位置接受任意多个***非关键字（non-keyword）参数，在函数中将其转化为元组（1,2,3,4）两个*表示该位置接受任意多个关键字（keyword）参数，在函数位置上转化为词典** [key:value, key:value ]def one(a,*b): """a是一个普通传入参数，*b是一个非关键字星号参数""" print(b)one(1,2,3,4,5,6)#--------def two(a=1,**b)

原创 plt的补充

1. plt.scatter()这里主要想说说常见的c=y的这种操作，他会给定一个颜色的变换范围，数值越小则越趋近于一个颜色，越大则趋近另一个1.1还有一个额外的变量 zorder=num,设置这个可以让scatter描绘的图案在别的上面mp.scatter(x[:, 0], x[:, 1], c=y, cmap='jet', s=80,zorder=3)mp.pcolormesh(grid_x,grid_y,grid_z,cmap='gray')mp.scatter(x[:, 0], x[

原创 np的补充

https://blog.csdn.net/lllxxq141592654/article/details/81532855np.linspace(a,b,n):从a到b均匀取n个点np.meshgrid(x,y):使用方法：import numpy as npimport matplotlib.pyplot as pltA = np.array([2, 1])B=np.array([5,8,9,0])X,Y=np.meshgrid(A,B)print(X)print('-'*50)

原创 21.8.23_决策树

reference：1.https://blog.csdn.net/jiaoyangwm/article/details/795252372.https://www.bilibili.com/video/BV1CB4y1c7UQ?p=221. 决策树原理： 将信息分类，使得沿着路径特征不断聚合比如用这张图，根据深度由根到叶到子叶可以将分类目标分别设置为年龄，学历，经历，性别到深的叶节点，每一个点上的特征有四种且每种只有一个对于待预测样本，根据其每一个特征的值，选择对应的子表，逐一匹配，直到找

原创 个人学习_21.8.12-线性回归部分

1.超简易代码（不用sklearn）可以改进的地方：导入函数没写，不过大部分默认使用 .csv的格式import numpy as npimport matplotlib.pyplot as plttrain_x = np.array([0.5, 0.6, 0.8, 1.1, 1.4])train_y = np.array([5.0, 5.5, 6.0, 6.8, 7.0])test_x = np.array([0.45, 0.55, 1.0, 1.3, 1.5])test_y = np.

原创 个人学习_2021.8.10

基于https://www.bilibili.com/video/BV1CB4y1c7UQ?p=9&spm_id_from=pageDriver#问题分类：回归（函数输出），分类，聚类（根据相似度划分成不同的群落），降维（降低数据复杂度）#数据预处理：将字符串转为数值，将数据归一化（避免最后的过度拟合）#1.标准化#均值移除：一个样本的不同特征差异可能较大，不利于机器学习算法惊样本处理#将样本化为均值为0，标准差为1的数据集#均值为0算法：1.求平均值 2.每个分量减去平均值#标

原创 个人总结-pandas

基于 https://www.bilibili.com/video/BV1hx411d7jb?t=36&p=230. Series和DataFramepandas中的两种基本数据板块Series是一个维度为1，类似于字典DataFrame：维度为2，series的容器，或者说组成成分是series1.Series·创建一个Series可以由字典转过来，也可以由直接创造Series([data, index, dtype, name, copy, …]) Series（）index

原创 个人学习 _numpy

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar