Juicy B-CSDN博客

文章目录1 摘要2 将决策树用于分类任务2.1 数据集的加载与模型训练2.2 决策树可视化工具的使用2.3 决策边界的绘制2.4 数学原理2.4.1 决策树分割的标准（度量不纯度的指标）2.4.2 三种分割标准的区别2.4.3 使用CART算法训练用于分类任务的决策树2.4.4 算法复杂度2.5 超参数2.5.1 常用超参数2.5.2 调参3 将决策树用于回归任务3.1 回归决策树的训练及拟合3.2 使用CART算法训练回归决策树1 摘要决策树可用于解决分类任务、回归任务甚至多输出任务。决策树是随机

2021-10-09 21:19:52 845

原创【机器学习算法介绍】朴素贝叶斯

文章目录1 概述2 原理2.1 贝叶斯定理2.2 属性条件独立假设2.3 高斯朴素贝叶斯2.3.1 计算方法2.3.2 API调用2.4 Multinomial Naive Bayes2.4.1 计算方法2.4.2 文本分类情景下的计算方法2.4.3 API调用2.5 Bernoulli Naive Bayes2.5.1 计算方法2.5.2 API调用3 注意事项1 概述一种监督学习算法“朴素”的原因：假设所有特征之间相互独立既可以用于处理连续数据，又可以用于处理离散数据处理连续数据

2021-10-09 20:11:26 345

原创【集成学习系列教程4】GBDT回归算法原理及sklearn应用

文章目录6 GBDT回归算法6.1 概述6.2 算法具体步骤6.3 sklearn中的GradientBoosting分类算法6.3.1 原型6.3.2 常用参数6.3.3 常用属性6.3.4 常用方法6.4 实例5：探索不同回归损失函数对GBDT回归模型拟合效果的影响6.4.1 创建数据集6.4.2 定义与拟合使用不同损失函数的GBDT回归模型6 GBDT回归算法6.1 概述GBDT不仅可以应用于分类任务，它在回归任务中也有很好的表现。GBDT回归算法的原理与二分类算法很相似，最大的区别在于目标函数

2021-10-08 20:43:16 1239

原创【集成学习系列教程2】AdaBoost回归算法原理及sklearn应用

文章目录4 AdaBoost回归算法4.1 概要4.2 算法步骤4.3 sklearn中的AdaBoost回归4.3.1 原型4.3.2 参数4.3.3 属性4.3.4 常用方法4.4 实例3：使用AdaBoostRegressor完成回归任务4.4.1 数据集的创建与可视化4.4.2 不同参数的AdaBoost回归器拟合效果对比4 AdaBoost回归算法4.1 概要AdaBoost算法不仅可以用于分类任务，还可以用于回归任务。由于回归预测得到的结果是连续数值，如股票价格，由于股票价格走势曲线是连续

2021-10-08 20:33:19 10724 11

原创【支持向量机SVM系列教程4】SVM应用实战

4 实例：使用SVM完成人脸分类任务SVM的功能十分强大，除了能完成线性分类任务，还能完成非线性分类任务；除了能完成二分类任务，还能完成多分类任务。下面将使用SVM完成一个较为复杂的多分类任务：LFW数据集人脸分类任务。该实战中一步步演示了使用SVM做人脸分类任务的流程，并且涉及到了sklearn中一些模型评估的方法。4.1 数据集的下载这里用的是Wild数据集。由于网络问题，直接在程序中加载数据集的速度很慢，所以要先将数据集下载到本地。下载链接为：http://vis-www.cs.umass

2021-09-30 17:02:29 2217

原创【支持向量机SVM系列教程3】支持向量回归SVR

3 支持向量回归SVR使用支持向量机算法不仅能解决分类问题，还能解决回归问题。3.1 解决的目标支持向量回归所要解决的问题是：对于给定如下的的训练数据集，D={(x1,y1),(x2,y2) ...,(xm,ym)},yi∈RD=\{(\boldsymbol x_1,y_1),(\boldsymbol x_2,y_2) \,...,(\boldsymbol x_m,y_m)\},y_i \in \mathbb{R}D={(x1,y1),(x2,y2)...,(xm,ym)},yi∈

2021-09-30 16:57:04 5910 3

原创【支持向量机SVM系列教程2】非线性SVM

2 非线性SVM2.1 SVM问题的对偶化在介绍非线性SVM之前，有必要先来看一下什么是SVM问题的对偶化，目的是：如何通过对偶化将线性SVM与非线性SVM联系起来；对偶问题是如何简化问题的求解的。2.1.1 对偶的概念大多数问题可以从两个角度来看待：Primal Problem（原问题）Dual Problem（对偶问题）而对偶问题中有一个非常重要的性质——强对偶性，它是指：对偶问题的解即为原问题的解，两者的解相互等价。所以，当原问题的求解过于复杂时，我们可以绕个圈子：先求对偶问

2021-09-30 16:52:20 1627

原创【支持向量机SVM系列教程1】线性SVM

1 线性SVM1.1 优化的目标线性SVM的优化目标，用一句话来概括就是：最大化间隔，同时尽可能减少分类错误。下面首先从图片展示的角度来对这句话进行解释。1.2 直观展示假设有红色和蓝色两类样本（如下图所示），其中蓝色表示正样本（标签为1），红色表示负样本（标签为-1）。SVM要做的，就是找到一个合适的边界，使得该边界能够较好地将两类样本分开。寻找边界的直观过程如下：如果想要画出一条边界将红蓝两类样本分开，实际上有非常多种画法：这就出现了一个问题：到底要选哪一条？哪条是最优的分法？对此，我们

2021-09-30 16:32:29 1555

原创【集成学习系列教程6】随机森林Random Forest原理及sklearn应用

2 Bagging2.1 概述前面我们介绍了集成学习中的一大类算法——Boosting算法，它利用基学习器之间的相关性，通过串行地生成多个新的基学习器，获得最终的强学习器，是一种非常具有代表性的“串行集成方法”。而集成学习方法中还有另一大类算法——Bagging算法，它利用的是基学习器之间的独立性，通过结合多个相互独立的基学习器，从整体上显著减小拟合的误差，是一种非常具有代表性的“并行集成方法”。本节就将对Bagging方法进行详细的介绍。2.2 算法介绍Bagging的全称为Bootstrap A

2021-09-30 15:39:29 1474 2

原创【集成学习系列教程5】LightGBM

1.7 LightGBM1.7.1 概述前面我们介绍了AdaBoost和GBDT这两种Boosting方法，它们已经在很多问题上发挥了强大的威力，也已经具有较好效率。但是，如今的数据集正在朝着样本数越来越巨大，特征维度也越来越高的方向发展，此时这两种传统的Boosting方法在效率和可扩展性上已经不能满足现在的需求了。主要原因是：传统的Boosting算法中的基学习器需要通过对所有样本点的每一个特征都进行扫描来计算信息增益，进而找到最佳的分割点，这在样本数和特征数巨大的情况下会相当耗时。为了解决传统Bo

2021-09-30 15:25:54 1368

原创【集成学习系列教程3】GBDT分类算法原理及sklearn应用

1.5 GBDT二分类算法1.5.1 概述前面我们介绍了AdaBoost的基本原理，并举了几个实例对AdaBoost的使用做了一些演示。简单来说，AdaBoost的大体思想就是：根据每个弱学习器的预测误差为每个弱学习器赋予不同的权重，并以上一个弱学习器的权重为依据更新数据集样本分布的权重（尤其是不断加大上一轮弱学习器预测错误的样本的权重），通过不断循环这一过程，最终得到一个在所有样本上均有较高预测准确率的强学习器，实现了串行提升整体拟合效果的目的。而Boosting系列算法中还有另一个非常具有代表性的算

2021-09-30 11:24:24 1949 1

原创【集成学习系列教程1】AdaBoost分类算法原理及sklearn应用

1 Boosting方法1.1 引言从小到大，我们的父母和老师经常教导我们，“团结就是力量”、“众人拾柴火焰高”，“三个臭皮匠，顶个诸葛亮”。小时候我们可能不能完全理解这些话的意思，但是随着年龄的增长，我们渐渐体会到了团队合作的重要性，也渐渐加深了对这些话的理解。非常幸运的是，有很多科学家参透了这些道理，并将它们应用到了机器学习领域。他们发现：将多个预测准确率不怎么高的基础机器学习模型结合成一个混合的模型，往往可以取得更高的准确率。他们将这些表现较差的基础机器学习模型称为“weak learner“（

2021-09-30 10:46:34 1377 2

原创【计算机面试题总结】计算机网络：应用层篇

应用层相对于其他层，是面向用户的一层，应用层协议主要解决了什么问题？应用层直接和应用程序接口对接，提供常见的网络应用服务。请列举5个以上的应用层协议。HTTP、FTP、SMTP、DNS、POP3、Telnet、TFTP、DHCP等。什么是域名？为什么需要域名？域名是指由一串用点分隔的名字（一般是英文字母）组成的网络上某一台计算机或某一个计算机组的名称。域名主要是为了解决IP地址...

2020-05-08 23:53:48 1314

原创【计算机面试题总结】计算机网络：概述篇

计算机网络的七层模型从顶往下分别是什么？请按顺序列举出来。应用层、表示层、会话层、传输层、网络层、数据链路层、物理层。现在开发者更喜欢使用TCP/IP四层模型来划分计算机网络，为什么TCP/IP四层模型会取代OSI七层模型被广泛使用？（复习）ARP协议、RARP协议属于计算机网络的哪一个层次？在TCP/IP模型中，属于网络层；在OSI模型中，属于数据链路层。...

2020-05-02 11:37:31 194

原创【Linux学习笔记】makefile与make简介

在介绍makefile和make的具体概念前，我们先通过一个例子来说明makefile和make到底是为解决什么问题而存在的。假设有一个如图所示的C工程：（图）那么要编译出我们的可执行程序project_demo，必须执行以下命令：# 步骤1：编译主程序模块$ gcc -o <100个主程序模块的o文件> -c <100个主程序模块的c文件># 步骤2：编译功...

2020-04-06 18:07:02 189

原创【计算机面试题总结】计算机网络：传输层篇

传输层主要工作在什么地方？传输层主要工作在终端设备（手机、计算机、笔记本、平板电脑等）上。传输层最重要的两个协议是什么？TCP协议和UDP协议。端口是什么，端口有什么作用？端口在协议中一般占用几个字节？端口是为了标记不同的使用网络的进程，端口使用16个比特为表示。UDP协议的中文全称是什么？UDP协议有什么特点？请分点说明。UDP全称是用户数据报协议(User Data...

2020-04-06 15:46:29 1071

原创【计算机面试题总结】计算机网络：网络层篇

什么是IP地址，IP地址有什么特征？IP地址和MAC地址有什么区别和联系？IP地址是唯一标记互联网中计算机的标识，IP地址共占用4个字节，使用点分十进制表示。IP地址和MAC地址都是一种标识，IP地址标记网络中的计算机，MAC地址标记网络硬件设备。IP报文由IP头部和IP数据两个部分组成，IP头部一般占用多少个字节？IP头部一般占用20个字节。请简述IP头部包含哪些数据？...

2020-04-06 13:55:30 2395

原创【概念介绍】人脸匹配

1.什么是人脸匹配人脸匹配大体上包括人脸验证、人脸识别和人脸检索三大方面。人脸验证：输入为一个人脸图片，要匹配的也是一张人脸，我们要做的，就是检验这两张脸是否是同一个人。这是一个 1：1 的问题。人脸签到、刷脸登录就是人脸验证的典型应用。人脸识别：给定一张人脸图，要去判断这个人脸对应的是谁。判断的方法是：将输入的人脸与数据库里已经存在的 n 张人脸分别进行相似度的计算，找出相似度最高的那...

2020-04-02 00:38:00 7144

原创【TensorFlow学习笔记】使用Tensorboard进行网络参数可视化

这里以Anaconda为例第一步：打开Anaconda Prompt，进入TensorFlow环境；第二步：输入tensorboard --logdir=log文件所在目录；（上面两步操作如下图所示：）第三步：打开浏览器，输入localhost:6006。如下图所示：OK，大功告成。...

2020-03-16 00:05:33 351

原创【计算机面试题总结】计算机组成原理：概述篇

计算机的发展历史大概可以分为几个阶段？每个阶段的计算机分别有什么特点？四个阶段：电子管计算机、晶体管计算机、集成电路计算机、超大规模集成电路计算机。你了解“摩尔定律”吗？“摩尔定律”对现代计算机产生了什么影响？摩尔定律：摩尔定律是由英特尔（Intel）创始人之一戈登·摩尔（Gordon Moore）提出来的。其内容为：当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-2...

2020-03-05 13:54:41 87

原创【计算机面试题总结】操作系统：基础篇

最早的计算机是没有操作系统的，操作系统的诞生解决了什么问题？操作系统的出现解决了计算机操作难度大、计算机资源利用效率低等问题。什么是批处理操作系统，它有什么特点？批处理操作系统的特点是批量输入任务，有效提升计算机资源利用率。什么是分时操作系统，它有什么特点？分时操作系统是指分时复用计算机资源的操作系统，可以多个用户使用一台计算机，多个程序分时共享计算机资源。操...

2020-03-05 13:54:19 166

原创【PAT】PAT A1020. Tree Traversals

题意（原题为英文，这里只介绍题目大意）给出一棵二叉树的后序遍历序列和中序遍历序列，求这棵二叉树的层序遍历序列（每个结点的值均不相同）。输入样例假设有一棵二叉树如下：对应该树的输入样例如下：7 //结点个数2 3 1 5 7 6 4 //后序遍历序列1 2 3 4 5 6 7 //中序遍历序列输出样例4 1 6 3 5 7 2 //层序遍历序列思路...

2020-02-27 10:46:03 213

原创【PAT】 PAT A1079.（两种解法）Total Sales of Supply Chain

题意（原题为英文，这里直接介绍题目大意，节省大家读题的时间）给出一棵供销树，树根唯一。在树根（根结点）处货物的价格为p，然后从根结点开始每往子结点走一层，货物的价格就在上一个结点价格的基础上增加 r%。现在给出每个叶子结点的货物量，求它们的价格之和。输入样例假设有一棵供销树如下：输入样例和样例解释如下，请对照上图进行理解：10 1.80 1.00 //结点总个数n、货物销售单价...

2020-02-27 10:09:19 1335

原创【PAT】PAT A1102. Invert a Binary Tree（反转二叉树）

题意（原题目为英文题，这里不放原题，只放题目大意）二叉树有n个结点（结点编号为 0 ~ n-1)，给出每个结点的编号，把该二叉树反转（把每个节点的左右子树进行交换），输出反转后的二叉树的层序遍历序列和中序遍历序列。反转效果如下图：输入样例下面的输入样例可以表示出上图左边的那棵二叉树：第一行给出正整数8，表示结点个数为8；下面8行按顺序分别给出结点0、1、2、3、4、5、6、7的左右...

2020-02-25 14:45:27 1109

原创【PAT】PAT A1020(改编). 给定二叉树的先序和中序遍历序列，求层序遍历序列

问题给出一棵二叉树的先序遍历序列和中序遍历序列，求这颗二叉树的层序遍历序列（假设这棵二叉树的每一个结点数值均不相同）。分析如果要用先序遍历的方法来遍历一棵二叉树，那么总是先访问根节点，再访问左子树和右子树，因此根节点一定位于先序遍历序列的第一位，只要给定先序遍历序列，我们就能直接找到根节点。但是，如果只给出先序遍历序列，那么我们仅仅能够确定根节点，左右子树却是没办法确定的。要唯一确定一...

2020-02-16 16:38:18 835 1

原创【Linux学习笔记】Linux下who命令的实现

1.1 实验内容UNIX 系统的正常运作需要使用大量与系统有关的数据文件，例如，口令文件 /etc/passwd 和组文件 /etc/group 就是经常被多个程序频繁使用的两个文件。用户每次登陆 UNIX 系统，以及每次执行 ls -l 命令时都要使用口令文件。本项目中的程序就是这样一个需要调用系统数据文件的程序，只不过调用的是 /var/run/utmp 和 /var/log/wtmp 文件...

2020-02-14 14:45:12 1281

原创【Linux学习笔记】makefile学习笔记（四）

上一篇：makefile学习笔记（三）介绍了makefile的多目标规则、多规则目标、静态模式规则和伪目标。本节将介绍makefile的更多内容。1. 命令命令的回显通常，make在执行命令行之前会把要执行的命令行进行输出，这就是命令的回显。如以下makefile所示：all: echo "Hello csdn！"在执行make时输出：$ make echo "Hel...

2020-02-11 14:58:17 252

原创【Linux学习笔记】makefile学习笔记（三）

上一篇笔记对makefile变量的用法做了一些介绍：makefile学习笔记（二），本文将介绍makefile的其他规则。1. 多目标规则与多规则目标多目标规则可以简单地理解为是一种将多条具有相同依赖和相同生成命令的规则合并成一条规则的语法。其基本格式为：targets...: prerequisites... commands ...假设有如下所示的makefile：...

2020-02-11 00:43:23 247

原创【Linux学习笔记】makefile学习笔记（二）

上一篇笔记对makefile与make做了基本介绍，并且用两个实例演示了makefile的编写和make的使用：makefile学习笔记（一）。下面将对makefile变量的用法做一些介绍。1. 变量的定义makefile中的变量，与C语言中的宏类似，它为一个文本字符串（变量的值，其类型只能是字符串类型）提供了一个名字(变量名)。变量定义的基本格式：变量名赋值符变量值变量名，...

2020-02-10 20:52:02 262

原创【Linux学习笔记】makefile学习笔记（一）

1. makefile与make基本介绍在linux/unix开发环境中，makefile文件描述了一个特定编译系统所需要的策略，而make工具则是通过解析makefile文件并执行相应的命令来帮助我们构建其编译系统。大致原理如下：1.makefile文件帮助我们记录了整个项目工程的所有需要编译的文件列表，这样我们在编译时仅需要输入简单的make命令就能编译出我们期望的结果；2.makef...

2020-02-10 14:59:04 495 1

原创【软件安装笔记】ubuntu 18.04添加 Clion 桌面快捷方式

问题在ubuntu上安装完clion后，在应用程序里并不能找到clion软件，每次运行都需要在定位到安装目录并在终端执行./clion.sh才可以打开clion，很是麻烦。但如果我们创建clion的快捷方式，一切就可以迎刃而解了。解决方法步骤一：打开usr/share/applications；cd /usr/share/applications步骤二：创建clion.deskto...

2020-02-09 21:38:44 4712

原创【环境配置笔记】windows10 Anaconda3 Tensorflow环境下安装facenet

一、下载facenet包。https://github.com/davidsandberg/facenet.git二、新建一个名为facenet的文件夹，并将下载的facenet包里面src文件夹下的文件全部拷贝到新的facenet文件夹中。三、找到安装Anaconda3的目录，并打开名为envs的文件夹，在这里我们可以看到Anaconda3下的各种环境，这里选择tf-gpu-new环境...

2020-02-09 13:21:03 574 2

原创【PAT】PAT B1004. 成绩排名

题目描述：读入 n（>0）名学生的姓名、学号、成绩，分别输出成绩最高和成绩最低学生的姓名和学号。输入格式：每个测试输入包含 1 个测试用例，格式为:第 1 行：正整数 n第 2 行：第 1 个学生的姓名学号成绩第 3 行：第 2 个学生的姓名学号成绩… … …第 n+1 行：第 n 个学生的姓名学号成绩其中姓名和学号均为不超过 10 个字符的字符串，成绩为 0 ...

2020-02-08 12:58:26 216 3

原创【PAT】PAT B1010. 一元多项式求导

题目要求设计函数求一元多项式的导数。输入格式以指数递降方式输入多项式非零项系数和指数（绝对值均为不超过 1000 的整数）。数字间以空格分隔。输出格式以与输入相同的格式输出导数多项式非零项的系数和指数。数字间以空格分隔，但结尾不能有多余空格。注意“零多项式”的指数和系数都是 0，但是表示为 0 0。输入样例3 4 -5 2 6 1 -2 0输出样例12 3 -10 1 6 0思...

2020-02-08 12:17:43 230

空空如也

空空如也