wanglele1的博客

原创 numpy中np.random.rand()与np.random.randn()与range()与np.arange()

1，np.random.rand()通过本函数可以返回一个或一组服从“0~1”均匀分布的随机样本值。随机样本取值范围是[0,1)，不包括1。2,np.random.randn()函数通过本函数可以返回一个或一组服从标准正态分布的随机样本值。3,range()与np.arange()区别range()返回的是range object，而np.nrange()返回的是numpy.adarr...

原创 遇到pandas不能读取csv文件时

data1_guokong = pd.read_csv(r'C:\Users\Administrator\Desktop\weather_data\附件1(2).csv',encoding = 'gb18030')

原创 数据处理与特征工程

**数据挖掘的五大流程**1.数据获取2. 数据预处理数据预处理是从数据中检测，纠正或删除损坏，不准确或不适用于模型的记录的过程可能面对的问题有：数据类型不同，比如有的是文字，有的是数字，有的含时间序列，有的连续，有的间断。也可能，数据的质量不行，有噪声，有异常，有缺失，数据出错，量纲不一，有重复，数据是偏态，数据量太大或太小数据预处理的目的：让数据适应模型，匹配模型的需求3. ...

原创 随机森林在乳腺癌数据上的调查

本次数据来源于kaggle上的自带数据，结构相对清晰简单，所有数据已经特征化1，先导入需要的库from sklearn.datasets import load_breast_cancerfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import GridSearchCVfr...

原创 numpy切片

原创 卷积神经网络（四）应用

应用简介首先应用于机器视觉/图像分类问题， 后来用于自然语言处理、 图形学等领域只要是具有空间结构的数据， 都可以用卷积神经网络进行处理卷积神经网络在解决很多实际问题时， 设计出了专门的网络结构和损失函数理解的关键点：网络结构。 即网络由哪些层组成， 各个层的作用是什么， 它们的输入数据是什么， 输出数据是什么训练目标。 即损失函数， 这直接取决于要解决的问题人脸检测在CNN用于人...

原创 卷积神经网络（三）面临的挑战与改进措施

**一，面临的挑战**1，梯度消失问题2，退化问题

原创 卷积神经网络（二）

**一，四种经典网络结构**LeNet网络AlexNet网络VGG网络GoogLeNet网络用 1*1卷积进行降维不会改变图像的高度和宽度， 只会改变通道数**二，反卷积运算卷积层可视化用反卷积进行卷积层可视化：将卷积网络学习到的特征图像左乘**得到这些特征图像的卷积核的转置矩阵， 将图像从特征图像空间转换到原始的像素空间， 以发现是哪些像素激活了特定的特征图像...

原创 卷积神经网络（一）

**卷积网络结构**一，卷积神经网络的核心思想1，卷积神经网络可以看成是对视觉神经系统机制的简单模仿2，由卷积层， 池化层， 全连接层构成， 通过多个卷积、 池化层提取图像在各个尺度上的特征3，每个卷积层包含多个卷积核， 用这些卷积核从左向右、 从上往下依次扫描整个图像， 得到称为特征图（featuremap） 的输出数据3，网络前面的卷积层捕捉图像局部、 细节信息， 有小的感受野，...

原创 决策树

一，决策树算法的核心是要解决两个问题：1）如何从数据表中找出最佳节点和最佳分枝？2）如何让决策树停止生长，防止过拟合？**sklearn中的决策树二，sklearn的基本建模流程重要参数一，criterion1，为了要将表格转化为一棵树，决策树需要找出最佳节点和最佳的分枝方法，对分类树来说，衡量这个“最佳”的指标叫做“不纯度”。2，通常来说，不纯度越低，决策树对训练集的拟合越好...

原创 oracle工作原理

1，在运行Oracle的计算机上启动实例2，运行应用的计算机在用户进程中运行应用，客户应用使用Oracle网络服务驱动程序建立同服务器的链接3，服务器运行Oracle网络服务驱动程序，检查来自应用的连接请求，对用户进程创建适当的服务器进程。4，用户运行一个SQL语句，提交事务。5，服务器进程接收语句，检查包含类似SQL语句的任何共享SQL区。如果发现共享SQL区，服务器进程检查用户的访问权...

原创 一，Oracle体系结构

Oracle Server = 实例（instance）+数据库(database)。实例是由一组内存结构（SGA system global area ）+后台进程+PGA数据库是由一组OS文件组成，它由数据文件、参数文件、控制文件、重做日志文件组成。SGA是所有服务器进程和后台进程共享的内存区域，当instance启动时创建该区域。它在内在区域中有且只有一个。它由数据高速缓存（data...

原创 java——Collection、泛型

day02【Collection、泛型】主要内容Collection集合迭代器增强for泛型教学目标 能够说出集合与数组的区别 说出Collection集合的常用功能 能够使用迭代器对集合进行取元素 能够说出集合的使用细节 能够使用集合存储自定义类型 能够使用foreach循环遍历集合 能够使用泛型定义集合对象 能够理解泛型上下限 能够阐述泛型通配符的作用第...

原创 java——Object类、常用API

day01【Object类、常用API】主要内容Object类Date类DateFormat类Calendar类System类StringBuilder类包装类教学目标-[ ] 能够说出Object类的特点-[ ] 能够重写Object类的toString方法-[ ] 能够重写Object类的equals方法-[ ] 能够使用日期类输出当前日期-[ ] 能够使用将日...

原创 java——final、权限、内部类

原创 java——接口，多态

原创 java——继承、super、this、抽象类

原创 java——String类、static、Arrays类、Math类

原创 java——Scanner类、Random类、ArrayList类

原创 java——类

原创 JavaScript高级笔记

今日内容：1. JavaScript： 1. ECMAScript： 2. BOM： 3. DOM： 1. 事件DOM简单学习：为了满足案例要求* 功能：控制html文档的内容* 获取页面标签(元素)对象：Element * document.getElementById("id值"):通过元素的id获取元素对象* 操作Element对象： 1. 修改属性值： 1....

原创 JavaScript基础

今日内容1. JavaScript基础JavaScript：* 概念： 一门客户端脚本语言 * 运行在客户端浏览器中的。每一个浏览器都有JavaScript的解析引擎 * 脚本语言：不需要编译，直接就可以被浏览器解析执行了* 功能： * 可以来增强用户和html页面的交互过程，可以来控制html元素，让页面有一些动态的效果，增强用户的体验。* JavaScript发展史： ...

原创 HTML&CSS

今日内容：1. HTML标签：表单标签2. CSS：HTML标签：表单标签* 表单： * 概念：用于采集用户输入的数据的。用于和服务器进行交互。 * form：用于定义表单的。可以定义一个范围，范围代表采集用户数据的范围 * 属性： * action：指定提交数据的URL * method:指定提交方式 ...

原创 HTML学习

今日内容1. web概念概述2. HTMLweb概念概述* JavaWeb： * 使用Java语言开发基于互联网的项目* 软件架构： 1. C/S: Client/Server 客户端/服务器端 * 在用户本地有一个客户端程序，在远程有一个服务器端程序 * 如：QQ，迅雷... * 优点： 1. 用户体验好 * 缺点： 1. 开发、安装，部署，维护 麻...

原创 java基础一

java语言跨平台的 ： 它的程序是由jvm来执行的，不是直接让操作系统执行java语言：面向对象的语言java编程的最基本单元就是： class类类里面能写什么？ 成员变量定义或者直接赋初始值 成员方法 构造方法 public class Test{ private String id; // 私有成员变量 public String n...

原创 MySQL基础 二，

常见函数一、单行函数1、字符函数concat拼接substr截取子串upper转换成大写lower转换成小写trim去前后指定的空格和字符ltrim去左边空格rtrim去右边空格replace替换lpad左填充rpad右填充instr返回子串第一次出现的索引length 获取字节个数2、数学函数round 四舍五入rand 随机数floor向下取整ceil向上...

原创 MySQL基础 一，基础查询，条件查询，排序查询

##本单元目标一、为什么要学习数据库二、数据库的相关概念DBMS、DB、SQL三、数据库存储数据的特点四、初始MySQLMySQL产品的介绍MySQL产品的安装 ★MySQL服务的启动和停止 ★MySQL服务的登录和退出 ★MySQL的常见命令和语法规范五、DQL语言的学习 ★基础查询 ★条件查询 ★ 排...

原创 NameNode和SecondaryNameNode（面试开发重点）

一，NN和2NN工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新Fs...

原创 HDFS的数据流（面试重点）

一，HDFS写数据流程1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2）NameNode返回是否可以上传。3）客户端请求第一个 Block上传到哪几个DataNode服务器上。4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。5）客户端通过FSDataO...

原创 HDFS的Shell操作

1．基本语法bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令dfs是fs的实现类。2．命令大全[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs[-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp [-R] GROUP PATH…]...

原创 《一》MySQL基本使用

在使用 Linux 环境进行本次实验之前，先用以下两条命令打开 MySQL 服务并使用 root 登录：# 打开 MySQL 服务sudo service mysql start#使用 root 用户登录，密码为空mysql -u root一，新建数据库首先，我们创建一个数据库，给它一个名字，比如 mysql_shiyan，以后的几次实验也是对 mysql_shiyan 这个数据库...

原创 Hadoop2.x 常见端口号

原创 大数据学习路线

大数据学习步骤　　上面虽然列出来了很多框架，但是最开始学习的时候没必要全部都学，就算是在工作中，这些框架也不一定会全部用到。下面我就大致列一下，各种框架的一个学习步骤吧：注意：下面列出来的顺序只是个人建议，可以根据个人实际情况来调整顺序linux基础和javase基础【包含mysql】这些是基本功，刚开始也不可能学的很精通，最起码要对linux中的一些基本的命令混个脸熟，后面学习各种框架...

原创 高并发与负载均衡-lvs-DR模型试验1

一， 前期准备二，如何搭建

原创 《机器学习》 四，聚类算法①KMEANS算法

聚类算法对于"监督学习"(supervised learning)，其训练样本是带有标记信息的，并且监督学习的目的是：对带有标记的数据集进行模型学习，从而便于对新的样本进行分类。而在“无监督学习”(unsupervised learning)中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础。对于无监督学习，应用最广的便是"聚类...

原创 数据结构——超全的数据结构思维导图

作者：王乐乐0727来源：CSDN原文：https://blog.csdn.net/wanglele1/article/details/86564693版权声明：本文为博主原创文章，转载请附上博文链接！

原创 计算机网络——网络基础知识——思维导图（超全）

原创 高并发与负载均衡——网络TCP-IP基础知识

Linux下查看路由表[root@node01 root]# route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface192.168.227.0 0.0.0.0 255.255.255.0 U 0 ...

原创 Linux与高并发

一、什么是高并发高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。响应时间：系统对请求做出响应的时间。例如系统处理一个HTTP请求需要...

原创 《机器学习》三，支持向量机

支持向量机