凡心所向.AI

原创 Bert算法模型ppt分享

ppt转成图片形式上传的，带来不便尽请谅解。分享内容如下：1.Bert概述，介绍Bert是什么，已经2018年发表出来后带来的影响，Bert模型的表现。2. Transformer模型的回归，介绍self-attention，多头机制，为什么要用多头。3. Bert模型的改进，和Transformer的Encoder有什么区别。4. Bert模型结构的介绍，模型输入介绍5. LN和BN的区别和联系6. Bert参数量的计算7. Pre-Train的两个训练方式8. Fine-Turn的介绍

原创 2021年复旦大学961真题回顾

两天考下来，已经要了老子半条命，浪也浪不起来了~考研辛苦，敬各位考研人！！！第一部分 数据结构1、列举排序算法，稳定和不稳定各两个，时间复杂度 10分2、prim最小生成树，描述构建过程 15分3、填空题4空，最短距离dijskra 15分4、砍掉一个子树，求砍掉子树的和与剩余树和的乘机最大 20分第二部分 软件工程简单题，6分/题1、瀑布流特点2、解释敏捷过程的核心价值“工作的软件高于详尽的文档”3、以来转置原则4、内容耦合与公共偶尔的区别5、有效等价类和无效等价类.

原创 cudnn升级方法，解决CuDNN版本不兼容问题

运行代码时出现：32/1109 [..............................] - ETA: 12:41 - loss: 3.4072 - accuracy: 0.0000e+002020-09-24 02:47:25.341531: E tensorflow/stream_executor/cuda/cuda_dnn.cc:319] Loaded runtime CuDNN library: 7.5.1 but source was compiled with: 7.6.4. C.

原创 准确度(accuracy)、精确率（precision)、召回率（recall）、F1值 谈谈我的看法

前言准确度、精确率、召回率、F1值作为评估指标，经常用到分类效果的评测上。比较好理解的二分类问题，准确度评估预测正确的比例，精确率评估预测正例的查准率，召回率评估真实正例的查全率。如何把这些评估指标用到多分类上呢，比如有三个类别A、B、C，准确度好理解，只要关系是否预测正确即可；那么精确率和召回率怎么理解呢？我们可以把多分类问题拆分成多个二分类问题，比如A类别是否预测正确，B类别是否预测正确，C类别是否预测正确，分别计算各个类别的每个类别的精确率和召回率，最终求均值既能作为所有样本的评估指标。基本概

原创 Python实现google翻译，免费多线程使用谷歌翻译接口

文章说明本文实现的方式大部分源码是从借鉴别人的博客，再他们的基础上修复了不能翻译的问题和其他的一些bug。但是原文找不到了，没法粘贴原文地址了，非常抱歉。本文章解决的问题有：翻译不来，在之前基础上对需要翻译的文字进行urlEncode，实现方式 parse.quote(self.text) 结果处理，切片合成。过长文字谷歌翻译会自动切片，翻译的结果会变成多段。 修改之前的翻译代码结构，更好的封装，方便调用。 使用多线程跑翻译任务。本文不介绍如何爬虫解析谷歌接口，如需.

原创 基于数据并行实现多GPU跑模型预测（VGG16示例）

个人总结能实现多GPU跑图的方法：1、使用谷歌框架tf.estimator；session_config = tf.ConfigProto(device_count={'GPU': 0,'GPU':1,'GPU':2,'GPU':3}) run_config = tf.estimator.RunConfig().replace(session_config=session_confi...

转载 ”动态规划“过程解析及经典案例详解

已知问题规模为n的前提A，求解一个未知解B。（我们用An表示“问题规模为n的已知条件”）此时，如果把问题规模降到0，即已知A0，可以得到A0->B.如果从A0添加一个元素，得到A1的变化过程。即A0->A1; 进而有A1->A2; A2->A3; …… ; Ai->Ai+1. 这...

原创 LeetCode【链表】2. 两数相加

题目描述给出两个非空 的链表用来表示两个非负的整数。其中，它们各自的位数是按照逆序的方式存储的，并且它们的每个节点只能存储一位数字。如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。您可以假设除了数字 0 之外，这两个数都不会以 0开头。示例：输入：(2 -> 4 -> 3) + (5 -> 6 -> 4)输出：7 -&g...

原创 LeetCode【动态规划】63. 不同路径 II

题目描述一个机器人位于一个 m x n 网格的左上角 （起始点在下图中标记为“Start” ）。机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角（在下图中标记为“Finish”）。现在考虑网格中有障碍物。那么从左上角到右下角将会有多少条不同的路径？网格中的障碍物和空位置分别用 1 和 0 来表示。说明：m和 n 的值均不超过 100。示例1:输入:...

原创 KNN算法总结-python实现

K最近邻(kNN，k-NearestNeighbor)分类算法，所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。用的是近朱者赤近墨者黑的思想。KNN没有显式的学习过程，也就是说没有训练阶段，数据集事先已有了分类和特征值，待收到新样本后直接进行处理。思路是：如果一个样本在特征空间中的k个最邻近的样本中的大多数属于某一个类别，则该样本也划分为这个类别。KNN...

原创 LeetCode常见面试题练习 59. 螺旋矩阵 II

题目表述：给定一个正整数n，生成一个包含 1 到n2所有元素，且元素按顺时针顺序螺旋排列的正方形矩阵。示例:输入: 3输出:[[ 1, 2, 3 ],[ 8, 9, 4 ],[ 7, 6, 5 ]]解题思路：如上图，顺时针顺序螺旋排列，探索方向分四个方向，x正方向，y正方向，y负方向，x负方向（x正方形在前，其他顺序不是很重要）。先按x正方...

原创 ”分治法“经典题型集锦-python实现

基本思想：将一个问题分解为多个规模比较小的子问题，这些子问题互相独立并与原问题解决方案相同，递归求解这些子问题，然后将这些子 问题的解合并得到原问题的解。分治法求解的基本步骤：1、将原问题分解为若干个规模较小，相互独立，与原问题形式相同的子问题；2、明确最小子问题，递归最终的结束条件；3、划分子问题，调用递归方法；4、合并回溯后的结果分治经典问题（1）二分查找（...

原创 极大似然估计

原创 奇异值分解（SVD）

前提：适用于任何矩阵，没有限制。对于任何矩阵A，都是对称矩阵，且的特征值都大于或者等于0。奇异值分解(Singular Value Decomposition)是一种重要的矩阵分解方法，可以看作是对称方阵在任意矩阵上的推广。矩阵的奇异值分解在矩阵特征值问题、最小二乘法问题及广义逆矩阵问题等方面有重要应用。它体现了线性变换的旋转、缩放和投影的功效。假设A为一个m*n阶实矩阵，则存在一...

原创 谱分解（SD）

前提：必须是实对称矩阵！谱分解（Spectral Decomposition ），又称特征分解，或相似标准形分解，是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法，需要注意只有对可对角化矩阵才可以施以特征分解。它体现了线性变换的旋转和缩放的功效。设A为n阶实对称阵，则必有正交阵P，使 其中 是以 A的 n个特征值为对角元的对角阵，P 是由A的n个特征向量得到的正交矩阵。...

原创 QR分解（正交三角分解）

前提：必须是列满秩的矩阵！若n阶非奇异矩阵可以分解成正交矩阵和非奇异上三角矩阵的乘积，即A=QR,则称该分解为QR分解。 对于m*n的列满秩矩阵A，有。其中Q为正交向量组，R为非奇异上三角矩阵，该分解也叫做QR分解. QR分解常用于求解A的特征值、A的逆，最小二乘等问题.施密特正交施密特正交化过程化过程QR分解步骤例题...

原创 方向导数与梯度

向量及其运算向量：是指具有n个互相独立的性质(维度)的对象的表示，向量常 使用字母+箭头的形式迚行表示，也可以使用几何坐标来表示向量， 比如 ，可以用坐标(x,y,z)表示向量。向量的模：向量的大小，也就是向量的长度，向量坐标到原点的距离，常记作。单位向量：长度为一个单位(即模为1)的向量就叫做单位向量。正交向量正交向量：如果两个向量的点积为零，那么称...

原创 拉格朗日乘数法

作用：求带有等式约束的极值问题。

原创 泰勒（Taylor）公式

泰勒公式如果函数f(x)在含的某个开区间(a,b) 内具有直到(n+1)阶导数，则可以用泰勒展开公式去逼近原函数。麦克劳林公式（特殊，=0)几个常见的初等函数的带有佩亚诺余项的麦克劳林公式：...

原创 最小二乘法

问题的引入已知某种材料在生产过程中的废品率 y 与某种化学成分x 有关，下列表中记载了 某工厂生产中y 与相应的x 几次数值： 我们想找出 y 对 x 的一个近似公式。把表中数值画出图来看，发现它的变化趋势近似于一条直线。 因此我们决定选取 x 的一次式ax+b来表示，当然最好能选择适当的 a，b，使下面的等式都成立。 实际上一般是不可能的，任何a，b代入上面各式都会发生误...

原创 矩阵、向量求导

1、行向量对元素求导2、列向量对元素求导例2：略，参考例1，把行向量转成列向量，分别对y向量的每个项进行求导。3、矩阵对元素求导4、元素对行向量求导5、元素对列向量求导例5：略，参考例46、元素对矩阵求导7、行向量对列向量求导8、列向量对行向量求导9、行向量对行向量求导行对行求导，得到的是行...

原创 科学计算库（六）Matplotlib画图

导入模块import matplotlib.pyplot as plt如果想显示交互式界面，可以加：%matplotlib tk # 默认是行内显示%matplotlib inline解决中文显示问题import matplotlib as mplmpl.rcParams['font.sans-serif']=['SimHei']mpl.rcParams['...

原创 科学计算库（五）pandas 基本功能操作

数据文件读取read_**系列函数pd.read_csv() #读取逗号分隔的文件，会把第一行作为列索引header=None 不把第一行作为列索引header=num把第几行作为列索引pd.read_csv(filepath,header=None)pd.read_csv(filepath,header=2) 如果header=num，则把第几行作为列索引names=[ ] 自...

原创 科学计算库（四）pandas的Series和DataFrame

目录引入模块一、Series创建Series属性方法Series值的获取切片花式索引Series的运算缺失值处理二、DataFrame创建取值切片花式索引获取行获取行和列修改值新增行和列删除列和行pandas中主要有两种数据结构，分别是：Series和DataFrame。 Series：一种类似于一维数组的...

原创 科学计算库（三）numpy之ufunc

一元函数abs() fabs() 取绝对值。fabs()更快的速度，但不能计算复数a+bj的绝对值sqrt() 平方根square() 平方exp(x) 计算自然常数e的x次方log() e为底log10()log2()log1p() 以e为底，1+arr为真数，求对数如果是其他底数的log函数可以通过换底公式转换。log换底公式sign()计算...

原创 科学计算库（二）numpy之ndarray

Numpy 官方文档：https://docs.scipy.org/doc/numpy/user/index.html创建ndarrayndarray，是Numpy的核心数据结构，元素的数据类型由dtype(data-type)对象来指定，每个ndarray只有一种dtype类型 ，ndarray的大小固定，创建好数组后数组大小是不会再发生改变的。np.array(list、tu...

原创 科学计算库（一）time

导入模块import time不常用但会看到的几个方法time.altzone() 返回格林威治西部的夏令时地区的偏移秒数。往东是负数time.asctime([time_tuple]) 接收时间元组，返回可读形式的日期字符串，不传参数默认是当前时间格式：Tue Aug 20 09:54:50 2019time.ctime([time_stamp]) 接收时间戳，返回可读形式...

原创 jupyter notebook 环境配置，安装第三方提示库

目录环境配置打开jupyter安装jupyter路劲重新设置1：生成配置文件2：修改配置文件3：去掉 %***%安装第三方提示库（Hinterland）jupyter使用技巧环境配置打开jupyter安装完anaconda默认都会自动安装好了jupyter，有的话直接点击打开就好了。安装jupyter如果没有jupyter，可以用安装命令...

原创 爬虫练习（一）爬取Boss直聘的招聘信息

通过职位搜索"Python开发"，看下搜索的结果https://www.zhipin.com/job_detail/?query=python开发&city=101020100&industry=&position=用F12查看下html的结构先获取所有的class="job-primary"的div列表，然后遍历列表对象，在子查询里面的各个需要的信息...

原创 Python爬虫（四）lxml、xpath

安装pip install lxml模块导入from lxml import etree使用xpath查询解析html源代码，得到html节点对象html=etree.HTML(r.text)查看html元素节点的内容print(etree.tostring(html,encoding="utf-8").decode("utf-8"))查找节点xpath() ...

原创 Python url编码和解码

目录引题url编码有什么作用？Python怎么对url进行编码和解码？导入模块编码解码引题我们上网的时候经常见到url中会有%25E6，这样有%号的字符，下面是51job的链接：https://search.51job.com/list/020000,000000,0000,00,9,99,%25E6%25B7%25B1%25E5%25BA%25A6%25...

原创 Python爬虫（三）Beautiful Soup 实战，爬取前程无忧网站

Beautiful Soup介绍Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。 Beautiful Soup已成为和lxml、html5lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。模块安装pi...

原创 Python爬虫（二）正则表达式

正则表达式语法规则百度百科简介：正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。字符字符 . 匹配一个任意字...

原创 Python爬虫（一）requests介绍

爬虫开篇第一讲，如何用Python像浏览器一样发送Get/Post请求，使用模块requests。首先安装requests的模块：pip install requests发起请求最简单的Get/Post示例# 发送Get请求response = requests.get(url)#发送Post请求response = requests.get(url)...

原创 python操作mysql数据库之Pymysql模块

pymysql模块的安装：pip install pymysql# 如果无法安装，也无法翻墙，请使用如下命令pip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple# 使用国内的清华镜像进行下载安装先创建一个user数据表import pymysqldb = pymysql.connect("l...

原创 mysql 多表查询练习题（二）答案

这篇文章是sql语句的答案篇，数据库表信息请查看上一篇 “mysql 多表查询练习题（一）数据准备”1．查询平均成绩大于70分的同学的学号和平均成绩select sid,avg(score) avg_sc from sc group by sid having avg_sc>702．查询所有同学的学号、姓名、选课数、总成绩select sc.sid,st.snam...

原创 mysql 多表查询练习题（一）数据准备

创建四张表：学生表：student(编号sid，姓名sname，年龄age，性别sex)课程表：course(课程编号cid，课程名称cname，教师编号tid)教师表：teacher(教师编号tid，姓名tname)成绩表：sc(学生编号sid，课程编号cid，成绩score)1、插入学生数据 学号 姓名 年龄...

原创 mysql 建表操作集锦

truncate tablename 清空，不会对事务有影响，清空计数器时间--date_format(now(),'%Y-%m-%d %H:%i:%s')current_timestamp() 当前时间戳完整性约束关键字not nulldefaultunique key 不针对null，可以多个nullprimary key 一个表一个主键auto_incre...

原创 似然函数推到过程

似然函数：

原创 python高阶函数 map、filter、reduce详解，附例子

map(func,seq[,seq[,seq...]]) ->list 集合映射 返回map object，可以转成list res = list(map(lambda x:x**2,list)) res = list(map(lambda x,y:x+y,[1,2,3],[4,5,6]))filter(func,seq) -> list or tuple or strin...