Jayson19-CSDN博客

原创十大基础排序算法解析和实现——基于Python（二）

基于Python的十大基础排序算法解析和实现本章总结希尔排序，归并排序和快速排序编程环境Win10、Python3.7.0、Jupyter Notebook思想与实现1、希尔排序希尔排序也叫做递减增量排序法，是插入排序的优化版本。先将整个待排序的记录序列分割成为若干子序列，然后分别进行直接插入排序，待整个序列中的记录"基本有序"时，再对全体记录进行依次直接插入排序。算法步骤：1、选择一个增量序列 t1，t2，……，tk，其中 ti > tj, tk = 1；2、按增量序列个数 k，对

2021-01-21 15:57:00 175

原创十大基础排序算法解析和实现——基于Python（一）

基于Python的十大基础排序算法解析和实现编程环境Win10、Python3.7.0、Jupyter Notebook思想与实现1.冒泡排序冒泡排序可以说是最简单的排序，简单来说就是一遍又一遍地比较未排序的元素，如果他们的顺序错误就把他们交换过来。时间复杂度：最坏情况O(n²)，最好情况O(n)，平均O(n²)算法步骤循环比较相邻的元素，如果前者比后者大，就交换两者位置。每一对相邻元素作都同样的工作，从第一对比到结尾的最后一对，最后的元素会是最大的数。最后一个确定是当前最大的元素之后

2020-12-19 16:02:19 130 1

原创鸢尾花分类算法——机器学习笔记

鸢尾花分类算法——机器学习笔记开发环境python、pycharm、sklearn模块。作者想说最近正在学习机器学习和参加JavaScript的项目，现在来整理一下机器学习的一些知识点。如果有喜欢的朋友请点个赞和关注，我会继续发一下有趣的博客一起学习。机器学习首先我们先来看一下机器学习的主要步骤：数据的加载：加载、处理（清洗、规约等）数据模型的选择：选择处理数据的模型模型的训练...

2020-07-09 11:15:30 2954

原创 Spark SQL解决多种常规问题

使用环境Win10、Python、PySpark库、Spark、JDK、ScalaSpark SQL简介Spark SQL是DataFrame的派生，是一种分布式SQL查询工具，设计目标是兼容Hive。Spark SQL近似关系型数据库，语句是由Projection（a1，a2…），Data Source（tableA），Filter（condition）组成，对应SQL查询过程的Result，Data Source，Operation。问题与源码启动jupyter notebook（也可以使用P

2020-07-08 16:25:16 1384

原创 Spark RDD解决多种常规问题

使用的环境win10、Python、PySpark库、Spark、JDK、ScalaSpark简介Spark是专为大规模数据处理而设计的快速通用的计算引擎，拥有Hadoop MapReduce所具有的优点，但Spark不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。问题与源码cmd命令窗口pyspark启动Spark，并在此环境下操作数据源在百度网盘：数据源链接，提取码：vfn21、WordCount程序使用data.txt代码

2020-07-08 15:46:51 756

原创 HDFS的Shell操作

HDFS的Shell操作使用的软件或系统VMware14、CentOS7、Hadoop2.7.3、JDK1.8.0_81、Xshell工具如果还没搭建hadoop的请参考我的另一篇博客：搭建Hadoop单机版HDFS Shell介绍Shell是计算机科学中俗称的“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接受用户输入的命令执行相应的操作。在HDFS中，Shell分为两大类...

2019-11-14 20:54:26 425

原创搭建Hadoop单机版

搭建Hadoop单机版使用的软件或系统VMware14、CentOS7、Hadoop2.7.3VM与CentOS7可以参考其他的文章搭建起来温馨提示创建用户推荐创建你自己的用户并将你加入到sudoers中，避免使用root用户时误操作删除掉一些关键文件，修改配置文件不需要动profile文件，只需要修改./bashrc文件。Hadoop搭建1、创建用户，创建密码（1）usernam...

2019-11-13 10:22:36 210

Jayson