小胡同1991-CSDN博客

原创 Jupyter Notebook代码提示及补齐功能

1. 代码补齐功能和大多数的编译软件差不多，都是嗯Tab键即可。同样Jupyter Notebook也是，但是需要安装相应的插件才可以实现代码补全功能。2. 代码提示功能安装1.打开 Anaconda Navigator，点击 Environments -> base (root) -> Open Terminal：注意：Open Terminal是在base(root)的点击里才出现的，点右边的方框。2.在弹出命令框依次输入以下4个命令：pip install jupyter_c

2021-08-02 03:30:39 22417 3

原创 Linux系统修改为静态IP地址出错及解决办法

引言在做Hadoop集群的时候，需要把Linux系统的IP地址设置为静态IP。好多学生在做的时候，即便是相同的Linux系统，操作方法相同，也总是有个别同学出现修改后出现错误，不能正常访问外网的情况。本人也遇到过，找了好几天的资料，最终才得以解决，故写个博客记录下，方便未来的人。一、用vim或者vi编辑器编辑ifcfg-ens33文件我们用的centos7的版本，ens33的路径为/etc/sysconfig/network-scripts/ifcfg-ens33，在root权限下打开 [root@

2021-07-31 01:14:59 4858 2

原创针对Hadoop搭建完成后无法在web上利用主机名去浏览的解决方案

一、打开Hadoop的两种方式方法一：输入虚拟机ip：50070方法二：输入设置好的名称：50070二、问题1、方法一一般都没问题，安装完Hadoop后基本都能用IP地址的方式直接访问web端2、如果是使用自己设置好的名字打开，则直接显示无法访问回答：这个问题，如果是把你自己的设置的名字，如 hadoop01:50070 来访问。那么就需要这么操作：1、首先你肯定是要关闭防火墙，然后检查你的搭建过程有没有问题，若一切都没问题，请继续往下看。2、首先检查Linux中的/etc

2021-07-17 00:14:34 4026 5

原创【WPS】中插入“公式”后行距不正常的解决办法

word中插入公式后行距会变化，有时候与文章要求的格式不同，造成文章格式混乱不美观，如何解决呢？选中需要修改的含有公式的段落，右键打开“段落”属性设置窗口，如下图所示：红线标出的部分，word默认是选中的，只需去掉勾选→确认，OK，行距恢复正常！...

2021-07-04 22:50:55 7809

原创【机器学习】数据预处理中常见的独热编码（One-hot Encoding）与哑编码（Dummy Encoding）区别

参考博客：离散型特征编码方式：one-hot与哑变量*一、导语在机器学习问题中，我们通过训练数据集学习得到的其实就是一组模型的参数，然后通过学习得到的参数确定模型的表示，最后用这个模型再去进行我们后续的预测分类等工作。在模型训练过程中，我们会对训练数据集进行抽象、抽取大量特征，这些特征中有离散型特征也有连续型特征。若此时你使用的模型是简单模型（如LR），那么通常我们会对连续型特征进行离散化操作，然后再对离散的特征，进行one-hot编码或哑变量编码。这样的操作通常会使得我们模型具有较强...

2021-05-21 13:01:06 2634

原创【软件著作权】从申请到拿证的详细过程，价值400元

一、导读软著申请其实很简单的，没有想象中的那么难。虽然淘宝可以让代理来弄，但是价格一般都是在三四百左右。我因为研究生毕业需要至少两个软著，所以就尝试着自己弄，两个弄下来，只是花了个快递费，加起来还不到50块。而如果是代理的话，虽然快点，但是要花费七八百块钱，也是不少的。一句话，自己搞，虽然花费了时间，但是省去了金钱；如果时间上不允许的话，找代理也是个不错的选择。二、大体步骤1.办理流程填写在线申请表--→提交或者邮递纸质申请文件---→登记机构受理申请--→审查--→获得登记证书（前2步需要

2021-04-22 00:56:49 16959 7

原创【Pycharm】快捷键总结

准备不定期更新快捷键，一是为了方便大家查看，另一个作为自己的知识库，方便使用。1、快速复制当前行到下一行 Ctrl+D

2021-04-04 13:33:41 226 1

原创【考试记录】阿里云DevOps助理工程师（ACA）

一：考试总结这个考试之前花了60块钱买的，后来因为一直在弄实习和硕士论文，所以就么有考试，趁着有时间了，抓紧考完，也好对得起这60块钱。这部分的主要内容其实和读本科的时候学习的软件测试、读硕士时候的项目管理的课差不多的。内容基本都是学过的东西，不过这些东西好多都是自动测试的，感觉还是挺高级的，还是值得深入研究的。二：真题1.云计算模型中， “平台即服务”是指下面哪一项？A. laas B. Paas C. Saas D. Faas解析：平台即服务一般指PaaS2.下面哪一项...

2021-03-22 11:27:59 875

原创【WPS】数学公式用插入打的为什么公式显得比字体靠上

最近遇到个烦心事，数学公式用WPS插入后，部分字符明显比文字要高一快，怎么解决呢？解决方案：分两步：一：先全选文档，右击键后选“字体----字符间距----位置：标准----确定”；二：再全选文档，右击键后选“段落-----换行与分页------文本对齐方式----居中----确定。这样，整篇文档都对齐了。...

2021-01-10 01:13:56 3984 4

原创 Linux下配置Spark框架（Python）

0 背景今天在弄毕业论文，是关于XGBoost的，打开虚拟机后，提示说虚拟机内存不出，然后打开VMware后查看，的确是不足了，只剩下160M左右。那就扩充内存呗，结果自己没搞过这个，安装步骤来，失败了，reboot后不能正常启动了，搞了一上午还是不能正常启动,只好启动备用系统。当时的心哇凉哇凉的，感觉人生一片灰暗，因为光配环境就要耗费好多时间，但是代码数据也在里面啊，进不了系统，意味着之前的努力全白费了。不过，幸亏平时有备份的习惯，代码数据都在网盘了，可以下载出来，就是这个配置环境，又要花费好多好多时

2021-01-05 22:37:40 442

原创【网络】IP地址、子网掩码、默认网关、DNS服务器之间的联系与区别

0 前言最近在看网络的一些东西，因为给中专生代课---网络基础，所以需要讲一些关于网络的基础知识，为了给他们讲清楚，主要是因为他们的底子太单薄了，需要慢慢的讲才行，并且知识深了，他们还不乐意听，所以就需要通俗易懂点。于是，整理下IP地址、子网掩码、默认网关、DNS服务器之间的联系与区别。1 概念初探1.1什么是IP地址所谓IP地址就是给每个连接在Internet上的主机分配的一个32bit地址。按照TCP/IP协议规定，IP地址用二进制来表示，每个IP地址长32bit，比特换算成字节，就是.

2020-09-25 23:17:04 7389 2

原创【云计算】初入云计算

0.前言三天后，就要去本地的一个大学（职业技术大学）去应聘云计算老师了，研究生学的方法是云计算与大数据，硕士论文也在辛苦的研习中。因为是两年制的专硕，所以现在面临着秋招和来年的春招。如果这次应聘能成功当上云计算的老师，那么就一直干下去，毕竟当年工作了四年后考研辞职的目标就是想去个学校当个大学老师，所以特别珍惜此次机会。如果没有当选，那么继续努力半年多，等到毕业的时候，再去应聘一次。现在在本地的一个工业学校代课，主要教授网络基础和计算机的组装与维修，教的孩子也都是没有考上高中的初中孩子。虽然两者都是老师，

2020-09-20 23:53:32 408

原创【Spark】NativeCodeLoader:62Unable to load native-hadoop library for your platform... using builtin-ja

一、错误重现[root@hadoop102 sparkProject]# python RFModelTrain_new.py 2020-09-11 12:56:01 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicableSetting default log level to "WARN".T

2020-09-11 13:12:34 2576 2

原创【Joblib】DeprecationWarning: sklearn.externals.joblib is deprecated in 0.21 and will be removed in 0.

一、错误在跑spark的时候，出现了一个警告，虽然没啥事，可是老是出现，也觉得挺烦的，所以就百度了下怎么解决。警告信息/root/anaconda3/lib/python3.7/site-packages/sklearn/externals/joblib/__init__.py:15: DeprecationWarning: sklearn.externals.joblib is deprecated in 0.21 and will be removed in 0.23. Please

2020-09-11 12:18:23 1328

原创【Python】py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled

一、背景在Linux下使用pyspark的时候会不定时的出现一个错误，就是“py4j.protocol.Py4JError:org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM”，这个错误之前也是遇到过的，并且会不定时的出现，刚开始没怎么在意，但是后来在写新的程序的时候，就会出现，所以把这个错误记录下来，给后来人和自己翻看。二、具体解决方法在从pyspark导入Sp

2020-09-08 16:16:03 2853

原创【机器学习】训练好的模型的保存与恢复----joblib模块

在做模型训练的时候，尤其是在训练集上做交叉验证，因为交叉验证的模型训练通常要耗费很长时间，如果再结合大数据，那么这个时间的耗费通常可以用天来计算，那么，现在就通常想要将模型保存下来，然后放到独立的测试集上测试。下面介绍的是Python中训练模型的保存和再使用。一、训练模型，显示常用的模型属性此数据为随机的自己瞎编的数据，只做演示用，各位可以通过自己的具体业务自己更改代码，此代码仅限演示用，可以当做一个test来学习。import numpy as npfrom sklearn.lin

2020-09-08 15:43:20 845

原创【Linux】RuntimeWarning: Glyph 27979 missing from current font. font.set_text(s, 0, flags=flags)

一、错误背景在弄硕士论文的时候，用的是Linux系统，跑的是python的代码，需要用到matplotlib来画图，图中有中文，但是显示框框，不能显示中文，所以就花了很长时间百度，用了很多方法，都不行。在win下，常规的方法可以，但是在Linux下，这个方法却不行# 此方法在win下测试没问题，但是在Linux下却不行import matplotlib as pltplt.rcParams['font.sans-serif']=['SimHei'] #显示中文标签plt.rcParams[

2020-09-08 13:24:38 2232

原创【机器学习小论文】xgboost模型及其集成调优

一、前言之前的模型，线性模型，随机森林模型的预测房价，准确率一般，没有达到预期效果，感觉还可以提升，所以就用xgboost模型来提升准确率，感觉效果不错，毕竟是经过优化的，能够很大程度的提升准确率。二、算法简介2.1 算法思想XGBoost的集成表示是什么？怎么预测？求最优解的目标是什么？看下图的说明你就能一目了然。在XGBoost里，每棵树是一个一个往里面加的，每加一个都是希望效果能够提升，下图就是XGBoost这个集成的表示（核心）。一开始树是0，然后往里面加树，相当于多

2020-08-23 23:31:50 1248

原创【机器学习小论文】sklearn随机森林RandomForestRegressor代码及调参

一、前言前一篇是写的线性回归模型，这一篇为随机森林，下一篇为xgboost。二、算法简介2.1 随机森林概述随机森林是集成学习方法bagging类中的翘楚。与集成学习boosting类的GBDT分庭抗礼。bagging类集成学习采用的方法是：用部分数据 or 部分特征 or 多个算法训练一些模型；然后再组合这些模型，对于分类问题采用投票多数表决，回归问题采用求平均。各个模型训练之间互不影响，天生就适合并行化处理。在如今大数据时代背景下很有诱惑力。主要效果：重点关注降低方差，防止过

2020-08-23 01:28:50 16237 7

原创【Python】几种Python执行时间的计算方法

最近在跑机器学习的代码，需要很长时间，所以想知道是具体跑了多少时间，所以就百度整理了下。方法1：import datetimestarttime = datetime.datetime.now()#long running#do something otherendtime = datetime.datetime.now()print (endtime - starttime).secondsdatetime.datetime.now()获取的是当前日期，在程序执行结束之后，这个方式

2020-08-23 00:20:02 5070 3

原创【机器学习小论文】sklearn线性回归LinearRegression代码及调参

一、前言最近在写小论文，就是硕士毕业论文的部分成果，需要用到线性回归，所以就把相关代码贴上，便于日后写论文时总结，也顺便给后来者提供思路。小论文的思路主要是，先用线性回归，再用随机森林，最后再用xgboost，来预测房价，最后得出结论。所以，这个会陆续的贴出相关代码。至于数据清洗那一块，暂时不贴上了，主要原因就是数据清洗不容易，并且每个人的清洗方法也不一样，所以主要还是看思路。二、算法简介2.1 什么是回归分析回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关

2020-08-23 00:00:18 6325

原创【机器学习】sklearn中的回归问题性能评估方法----------图像计算常用的指标

一、前言回归问题解决的是对具体数值的预测，比如房价预测、销量预测等等，解决回归问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。回归模型是机器学习中很重要的一类模型，不同于常见的分类模型，回归模型的性能评价指标跟分类模型也相差很大，这里记录一下基于sklearn库计算回归模型中常用的四大评价指标主要包括：explained_variance_score、mean_absolute_error、mean_squared_error、r2_score二、性能评估方法概述2.1SSE（.

2020-08-19 21:16:06 4241 1

原创【模型融合】Bagging，Boosting，Stacking

一、引言我理解的Kaggle比赛中提高成绩主要有3个地方特征工程调参模型融合在机器学习训练完模型之后我们要考虑模型的效率问题，常用的模型效率分析手段有：研究模型学习曲线，判断模型是否过拟合或者欠拟合，并做出相应的调整；对于模型权重参数进行分析，对于权重绝对值高/低的特征，可以对特征进行更细化的工作，也可以进行特征组合；进行bad-case分析，对错误的例子分析是否还有什么可以修改挖掘模型融合：模型融合就是训练多个模型，然后按照一定的方法集成过个模型，应为它容易理解、

2020-08-13 17:35:25 6714

原创【机器学习】Lasso模型

大V

2020-08-13 01:03:43 24501 3

原创 Grid SearchCV（网格搜索）与RandomizedSearchCV （随机搜索）

一、引言在机器学习模型中，需要人工选择的参数称为超参数。比如随机森林中决策树的个数，人工神经网络模型中隐藏层层数和每层的节点个数，正则项中常数大小等等，他们都需要事先指定。超参数选择不恰当，就会出现欠拟合或者过拟合的问题。而在选择超参数的时候，有两个途径，一个是凭经验微调，另一个就是选择不同大小的参数，带入模型中，挑选表现最好的参数。微调的一种方法是手工调制超参数，直到找到一个好的超参数组合，这么做的话会非常冗长，你也可能没有时间探索多种组合，所以可以使用Scikit-Learn的GridSearc

2020-08-12 01:35:53 6846 1

原创【特征工程】多项式特征PolynomialFeatures(将数据变化为多项式特征)

使用sklearn.preprocessing.PolynomialFeatures来进行特征的构造。它是使用多项式的方法来进行的，如果有a，b两个特征，那么它的2次多项式为（1,a,b,a^2,ab, b^2）。PolynomialFeatures有三个参数degree：控制多项式的度interaction_only：默认为False，如果指定为True，那么就不会有特征自己和自己结合的项，上面的二次项中没有a^2和b^2。include_bias：默认为True。如果为True的

2020-08-11 22:29:17 3268 1

原创 sklearn.pipeline.Pipeline()

方法

2020-08-11 20:31:11 2205

原创 KFold----交叉验证

一、前言在机器学习建模过程中，通行的做法是将数据分为训练集和测试集。测试集是与训练独立的数据，完全不参与训练，用于最终模型的评估。在训练过程中，经常会出现过拟合的问题，就是模型可以很好的匹配训练数据，却不能很好在预测训练集外的数据。如果此时就使用测试数据来调整模型参数，就相当于在训练时已知部分测试数据的信息，会影响最终评估结果的准确性。通常的做法是在训练数据再中分出一部分做为验证(Validation)数据，用来评估模型的训练效果。验证数据取自训练数据，但不参与训练，这样可以相对客观的评估模型对于训

2020-08-11 00:35:31 25870 7

原创【总结】python sklearn模型中random_state参数的意义

一、前言在学习机器学习的过程中，常常遇到random_state这个参数，并且好多时候都是 random_state=42，感觉挺有意思的，于是，百度一下，然后做一个总结。作用：控制随机状态。问题：为什么需要用到这样一个参数random_state（随机状态）？看完文章你就会知道了。一句话概括：random_state是一个随机种子，是在任意带有随机性的类或函数里作为参数来控制随机模式。当random_state取某一个值时，也就确定了一种规则。random_state可以用于很多函数，

2020-08-10 22:58:05 78257 8

原创【随笔】同样的代码运行效率竟然差别这么大

最近在弄硕士论文嘛，所以每天都会跑跑程序，调试下参数啥的。之前跑的数据集是8000多，老是断，不能完整跑完，其实数据的计算不多，就是根据经纬度调用百度地图的API然后在地图上找到有没有对应的小学、医院等特殊地段。之前八千的数据集断断续续跑了三天，为了减少程序崩溃，还是分段跑的f双重for循环。今天，试着没事，就跑了另一段的数据集，大概是5000条数据，但是字段都是完全一样的，本来抱着试试看的态度跑的，结果一口气一个多小时跑完了，并且没有一次中断和崩溃。当时，我自己都惊呆了，这个还是我的电脑么。所以，今天心情

2020-08-10 22:35:23 800

原创回归模型中的离散型特征编码方式-----Dummy Coding对比One-hot encoding

一、哑变量定义哑变量（DummyVariable），也叫虚拟变量，引入哑变量的目的是，将不能够定量处理的变量量化，在线性回归分析中引入哑变量的目的是，可以考察定性因素对因变量的影响，它是人为虚设的变量，通常取值为0或1，来反映某个变量的不同属性。对于有n个分类属性的自变量，通常需要选取1个分类作为参照，因此可以产生n-1个哑变量。如职业、性别对收入的影响，战争、自然灾害对GDP的影响，季节对某些产品（如冷饮）销售的影响等等。这种“量化”通常是通过引入“哑变量”来完成的。根据这些因素的属性类型，构造只取“

2020-08-10 00:26:54 4991

原创用poi获取来增加数据维度——基于百度地图开放平台api

背景最近在整理毕业设计，由于原来的数据只有经纬度，但是可以利用的信息比较少。由于是预测房价的，那么就可以根据经纬度来找到周围的医院、学校、公交站点等，看是不是这些元素是不是跟房价有很大的关系。所以，就可以利用百度地图提供的API来增加维度，使数据更加丰满。一、什么是POIPOI是“PointofInterest”的缩写，可以翻译成“兴趣点”，每个POI包含四方面信息，名称、类别、经度、纬度。可以理解为：对于地图产品而言，某个地理位置周边的信息，称为POI。根据POI的关键字，我们..

2020-08-09 01:02:38 1234 3

原创 Data with input dtype int64, float64 were all converted to float64 by StandardScaler

最近的程序每次运行都会报出这样的提醒，很是烦恼，就想去解决。意思是说：输入数据类型为int64、float64的数据都被StandardScaler转换为float64。解决办法 :需要指定数据类型X_train = X_train.astype(np.float64)X_test = X_test.astype(np.float64)X = df_merge.drop(['成交价'],axis=1)y = df_merge['成交价']xtrain,xtest,ytrai

2020-08-06 22:34:10 1293

原创 sklearn.externals.joblib.externals.loky.process_executor.BrokenProcessPool: A task has 未能取消序列化

背景在做硕士毕业设计的时候，用到随机森林这个模型，在写完代码的时候，跑的时候，老是出现sklearn.externals.joblib.externals.loky.process_executor.BrokenProcessPool: A task has failed to un-serialize. Please ensure that the arguments of the function are all picklable.翻译为中文是说：如果一个任务未能取消序列化，请确保函数的参数都是可

2020-08-06 01:18:24 9449 1

原创【华为云学院】OpenStack原理及在华为云中的应用---知识总结

前言此课程为华为云学院的免费课程，从今天开始陆续学习华为和阿里的云课程，一是为了增加知识量，二是为了硕士毕业后能实现当老师的夙愿，所以会不定时的更新。再说下，写论文做实验，真是头大！！！第一章什么是OpenStackOpenStack是一个云操作系统，通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成，同样也可以通过web接口让最终用户部署资源。下图为华为云IaaS架构OpenStack的定位：OpenStack只是云计算系统的控制面

2020-08-05 19:03:02 2665

原创 Input contains NaN, infinity or a value too large for dtype(‘float64‘).读取的文件中含有大量的空值

一、出错提示ValueError: Input contains NaN, infinity or a value too large for dtype('float64').意思是：读取的文件中含有大量的空值整个错误提示，一大堆，重点是最后一句！！！Traceback (most recent call last): File "<input>", line 1, in <module> File "C:\Program Files (x86)\my..

2020-08-05 13:14:15 30666 2

原创 from sklearn.proprecessing import Imputer：sklearn库中找不到Imputer包问题-------SimpleImputer

一、背景在解决ValueError: Input contains NaN, infinity or a value too large for dtype('float64').的问题时，也就是解决缺失值的时候，需要导入from sklearn.proprecessing import Imputer，也就是Imputer这个模块，但是运行时却又出来‘ModuleNotFoundError: No module named 'sklearn.proprecessing'，后来通过百度，才知道原来0.

2020-08-05 12:37:33 3405

Apsara Clouder云计算技能认证：云数据库管理与数据迁移--试题.doc

Apsara Clouder云计算技能认证：云服务器基础运维与管理--原题.doc

使用QuickBI 制作企业数据分析报表15道原题.zip

阿里云RPA（机器人流程自动化）- 初级入门（可视化）.zip

空空如也