- 博客(85)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 线性回归完整整理
1 线性回归的定义监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个...
2019-12-06 17:28:46
647
原创 SVM3
4 非线性支持向量机与核函数**4.1 非线性分类问题：**如下图所示，通过变换，将椭圆变为直线，非线性分类问题变为了线性分类问题原空间为X⊂R2,x=(x(1),x(2))T∈X\mathcal{X} \subset \mathbf{R}^{2}, x=\left(x^{(1)}, x^{(2)}\right)^{\mathrm{T}} \in \mathcal{X}X⊂R2,x=(x(1...
2019-12-05 15:29:01
265
原创 逻辑回归的交叉熵损失函数求导
逻辑回归的交叉熵损失函数求导定义的交叉熵损失函数为：J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))J(\theta)=-\frac{1}{m} \sum_{i=1}^{m} y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\righ...
2019-12-04 21:09:42
551
原创 SVM2
3 线性支持向量机与软间隔最大化一个特征空间上的数据集：T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}T={(x1,y1),(x2,y2),⋯,(xN,yN)}，...
2019-12-04 21:08:37
232
原创 svm1
3 线性支持向量机与软间隔最大化一个特征空间上的数据集：T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}T={(x1,y1),(x2,y2),⋯,(xN,yN)}，...
2019-12-04 21:03:06
195
原创 逻辑回归（Logistic Regression）
LogisticLogisticLogistic分布设XXX是连续随机变量，XXX服从LogisticLogisticLogistic分布是指XXX的分布函数和密度函数分别为：F(x)=P(X⩽x)=11+e−(x−μ)/γf(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2F(x)=P(X \leqslant x)=\frac{1}{1+\mathrm{e}^{-(x-\...
2019-12-04 21:01:03
135
原创 Softmax回归交叉熵损失函数求导
softmax函数的表达式：ai=ezi∑kezka_{i}=\frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}ai=∑kezkezi交叉熵 损失函数：C=−∑iyilnaiC=-\sum_{i} y_{i} \ln a_{i}C=−∑iyilnai根据复合函数求导法则：∂C∂zi=∑j(∂Cj∂aj∂aj∂zi)\frac{\partial C}{\p...
2019-12-04 20:58:43
287
原创 ML：监督学习方法总结
监督学习方法总结##1 十种监督学习方法李航统计学习方法第二版中，共介绍了十种监督学习方法：感知机、k近邻、朴素贝叶斯、决策树、逻辑回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场。首字联为：感K朴决逻，支提E隐条。十种监督学习方法特点的概括总结表：方法适用问题模型特点模型类型学习策略学习的损失函数学习算法感知机二类分类分离...
2019-12-01 17:11:40
663
原创 ML：隐马尔科夫模型
ML：隐马尔科夫模型1 基本概念状态序列（state sequence）：隐藏的马尔可夫随机链生成的状态序列，不可观测观测序列（observation sequence）：每个状态生成一个观测，由此产生观测的随机序列隐马尔科夫模型的三要素：状态转移概率矩阵：A=[aij]N×NA=[a_{ij}]_{N \times N}A=[aij]N×N，NNN为所有可能的状态数观测...
2019-11-28 23:28:10
174
原创 Markdown语法整理
一、标题这是一级标题这是二级标题这是三级标题这是四级标题这是五级标题这是六级标题二、字体这是加粗的文字这是倾斜的文字这是斜体加粗的文字这是加删除线的文字三、引用这是引用的内容这是引用的内容这是引用的内容四、分割线五、图片[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Dm0e5q04-...
2019-11-25 22:56:12
205
原创 ML：逻辑回归的梯度下降算法
ML：极大似然估计概率密度（质量）函数：用来描述随机变量取某个值的时候，取值点对应的概率的函数。概率：已知概率分布，推断样本的概率值似然：已经有观测样本，寻找最符合当前数据分布的参数似然函数：L(μ,σ∣X)=∏i=1NP(xi∣μ,σ)\mathcal{L}(\mu, \sigma | X)=\prod_{i=1}^{N} P\left(x_{i} | \mu, \sigma\right...
2019-11-25 21:45:29
155
原创 1008.数组元素循环右移问题
n = input().split()m = input().split()a = int(n[0])b = int(n[1])m1 = m[a - b:]m2 = m[:a - b]x = m1 + m2print(' '.join(x))
2019-09-06 23:32:32
78
原创 1007.素数对猜想
# 先用2去筛，即把2留下，把2的倍数剔除掉；# 再用下一个素数，也就是3筛，把3留下，把3的倍数剔除掉；# 接下去用下一个素数5筛，把5留下，把5的倍数剔除掉；# 不断重复下去def prime_eratosthenes(n): prime = [] flag = [1] * (n + 2) p = 2 while p <= n: ...
2019-09-06 23:32:00
79
原创 1006.换个格式输出整数
num = input()num_list = [int(i) for i in num]res = ""if len(num_list) == 3: res += num_list[0] * 'B' + num_list[1] * 'S' if num_list[2] != 0: tmp = "" for i in range(num_lis...
2019-09-06 23:31:28
91
原创 1005.继续(3n+1)猜想
n = int(input())a = list(map(int, input().strip().split()))res = a[0: len(a)]for i in a: c = i while c > 1: if c % 2 == 0: c /= 2 else: c = (3 * c...
2019-09-06 23:29:35
113
原创 1004.成绩排名
n = int(input())stu = {}for i in range(n): message = input().strip().split() item = message[0] + ' ' + message[1] stu[item] = int(message[2])stu_order = sorted(stu.items(), key=lambda x...
2019-09-06 23:28:57
82
原创 1002.写出这个数
a = input()sum = 0res = []for c in a: # sum += int(c) sum += (ord(c) - ord('0'))for c in str(sum): if c == '0': res.append('ling') elif c == '1': res.append('yi')...
2019-09-06 23:28:24
82
原创 1001.害死人不偿命的(3n+1)猜想
# -*- coding:utf-8 -*-"""卡拉兹(Callatz)猜想：对任何一个正整数 n，如果它是偶数，那么把它砍掉一半；如果它是奇数，那么把 (3n+1) 砍掉一半。这样一直反复砍下去，最后一定在某一步得到 n=1。卡拉兹在 1950 年的世界数学家大会上公布了这个猜想，传说当时耶鲁大学师生齐动员，拼命想证明这个貌似很傻很天真的命题，结果闹得学生们无心学业，一心只证 (3n+...
2019-09-06 23:27:50
78
原创 RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED
加一句 ： torch.backends.cudnn.enabled = False， 把cudnn禁用试试看，我的就可以了
2019-07-24 15:34:33
3365
3
原创 数据结构总结
数据结构一些概念数据结构就是研究数据的逻辑结构和物理结构以及它们之间相互关系，并对这种结构定义相应的运算，而且确保经过这些运算后所得到的新结构仍然是原来的结构类型。数据：所有能被输入到计算机中，且能被计算机处理的符号的集合。是计算机操作的对象的总称。数据元素：数据（集合）中的一个“个体”，数据及结构中讨论的基本单位数据项：数据的不可分割的最小单位。一个数据元素可由若干个数...
2019-06-11 14:08:51
255
原创 AI 行业发展趋势和人才需求预测
AI找工作必看，AI 行业发展趋势和人才需求预测近几年AI行业的火热程度大家有目共睹，越来越多的人想要加入这一行业。但在开始之前，我们要有理性的分析，要了解AI行业需要什么样的人才，也要知道如何在AI行业中如何长久的发展立足，相信大家和小编一样会在这篇文章中找到自己的答案。为什么写这篇文章呢？一、是想为视角偏局限或者刚入局的年轻人提供一个参考，助其冷静，不悲观也不上头，因为...
2019-05-01 20:53:45
1905
1
原创 Pytorch：RNN，LSTM，GRU中输入输出维度
本文中的RNN泛指LSTM，GRU等等CNN中和RNN中batchSize的默认位置是不同的。CNN中：batchsize的位置是position 0. RNN中：batchsize的位置是position 1.在RNN中输入数据格式：对于最简单的RNN，我们可以使用两种方式来调用,torch.nn.RNNCell(),它只接受序列中的单步输入，必须显式的传入隐藏状态。torch.nn...
2019-04-29 15:46:44
1607
1
原创 强化学习：DP
欢迎加群：1012878218，一起学习、交流强化学习，里面会有关于深度学习、机器学习、强化学习的各种资料 。术语动态规划（DP）指的是一组算法，可以用来计算最佳策略，给定一个作为马尔可夫决策过程（MDP）的完美环境模型。 经典的DP算法在强化学习中的作用有限，因为它们都假设了一个完美的模型，并且由于它们的计算耗费巨大，但它们在理论上仍然很重要。 DP为理解本书其余部分介绍的方法提供了必要的基...
2019-04-19 16:06:54
824
原创 基于强化学习求解组合优化问题TSP
A Note on Learning Algorithms for Quadratic Assignment with Graph Neural Networks：使用图神经网络解TSPOptimization on a Budget A Reinforcement Learning Approach：介绍强化学习方法在预算优化中的应用Pointer Network:首次提出了...
2019-04-14 13:44:34
13979
原创 常见的最优化方法
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法...
2019-04-05 20:20:48
818
原创 深度学习各种优化方法总结
#!/usr/bin/env python3# encoding: utf-8"""@version: 0.1@author: lyrichu@license: Apache Licence @contact: [email protected]@site: http://www.github.com/Lyrichu@file: lyrichu_2...
2019-04-05 16:59:31
167
原创 Python3.5+Anaconda+win7，Pytorch安装
进入官网;get starthttps://pytorch.org/我是用的是win7 Python3.5 noCuda pytorch1.0.1打开Anaconda3的Anaconda prompt输入：conda install pytorch-cpu -c pytorch输入：y输入：pip3 install torchvision成功。...
2019-04-04 00:21:23
807
原创 LSTM和GRU
Long Short Term 网络，一般就叫做 LSTM ，是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！ 所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。...
2019-04-03 23:37:49
462
原创 神经网络发展史
人工神经网络(简称神经网络)是神经系统的模拟，包括了大脑神经系统的许多特征。人脑是一个高度复杂的、非线性的和并行的计算机器(信息处理系统)。人脑能够组织它的组成成分，即神经元，以比今天已有的最快的计算机还要快许多倍的速度进行特定的计算(如模式识别、感知和运动神经控制)。由于目前人类对大脑神经系统及其智能机理研究水平以及相关科学技术水平有限，神经网络对大脑神经系统进行了合理的简化和抽象。神经网络是一...
2019-04-03 23:36:50
7330
1
原创 RNN
先放四张RNN的示意图上图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。我们重点观察右边部分的图。 这幅图描述了在序列索引号t 附近RNN的模型。其中： 1）x(t)代表在序列索引号t 时训练样本的输入。同样的，x(t-1)和 x(t+1)代表在序列索引号t−1和t+1时训练样本的输入。 2）h(t)代表在序...
2019-04-03 23:32:05
2862
原创 Tensorflow实战笔记：下（RNN）
Word2Vec.pyimport collectionsimport mathimport osimport randomimport zipfileimport numpy as npimport urllibimport tensorflow as tf# Step 1: Download the data.url = 'http://mattmahoney.ne...
2019-04-03 18:59:45
328
原创 Python：reshape
使用数组的reshape方法，可以创建一个改变了尺寸的新数组，原数组的shape保持不变 1 >>> a = np.array([1, 2, 3, 4]);b = np.array((5, 6, 7, 8));c = np.array([[1, 2, 3, 4],[4, 5, 6, 7], [7, 8, 9, 10]]) 2 >>> b 3 arra...
2019-04-03 15:32:45
377
原创 机器学习：SVM
SVM的一般流程(1) 收集数据：可以使用任意方法。(2) 准备数据：需要数值型数据。(3) 分析数据：有助于可视化分隔超平面。(4) 训练算法：SVM的大部分时间都源自训练，该过程主要实现两个参数的调优。(5) 测试算法：十分简单的计算过程就可以实现。(6) 使用算法：几乎所有分类问题都可以使用SVM，值得一提的是，SVM本身是一个二类分类器，对多类问题应用SVM需要对代码做一些修...
2019-04-03 15:17:52
230
原创 机器学习：决策树
提供隐形眼镜数据集，绘制决策树的树形图，并保存相应结构信息。treePlotter和trees两个python文件中已包含所有函数，lenses.txt包含相应的数据信息，理解各函数的功能和作用以及输入输出，选择调用需要的函数，在脚本中完成函数的调用，得到要求格式的结果。treePlotter.pyimport matplotlib.pyplot as plt# 定义文本框和箭...
2019-04-03 15:05:10
182
原创 机器学习：贝叶斯
利用朴素贝叶斯方法，进行垃圾邮件分类，email文件夹下包含了25个正常留言和25个非正常留言的数据，训练一个贝叶斯分类器，并测试分类器。bayes.py包含了所有函数的实现，需要做的是，明白各个函数的功能作用及输入输出，在脚本中完成函数的调用，给出要求的格式的结果。from numpy import *import csvimport randomrandom.seed(2186...
2019-04-03 15:01:37
137
原创 Python：删除列表中的值
1.remove: 删除单个元素，删除首个符合条件的元素，按值删除举例说明:>>> str=[1,2,3,4,5,2,6]>>> str.remove(2)>>> str[1, 3, 4, 5, 2, 6]2.pop: 删除单个或多个元素，按位删除(根据索引删除)>>> str=[0,1,2,3,4,5,6]...
2019-04-02 20:01:39
2637
原创 Python：enumerate函数
enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。普通的 for 循环：>>>i = 0>>> seq = ['one', 'two', 'three']>>> for element in seq:... print i...
2019-04-02 17:51:39
78
原创 Caffe的LeNet实现
lenet_solver.prototxt：net: "/home/zhaoys/myf/lenet/lenet_caffe/lenet_train_test.prototxt"# 测试的时候，要迭代的次数。# 应该满足：test_iter * test_batchsize = testset_images，这样可以覆盖整个测试集。test_iter: 100# 训练的时候，经过多少...
2019-04-01 14:05:53
325
原创 蚁群算法Python3可运行代码
原理就不再赘述了，直接上代码：import numpy as npimport matplotlib.pyplot as pltimport pylabcoordinates = np.array([[565.0, 575.0], [25.0, 185.0], [345.0, 750.0], [945.0, 685.0], [845.0, 655.0], ...
2019-03-31 23:13:01
2754
7
CMOS模拟集成电路设计.2版-艾伦(原版)
2018-10-02
图像处理与计算机视觉基础总结
2018-10-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人