- 博客(70)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 python爬取招聘网站（实习网）并可视化展示
2、处理爬取到的数据import pandas as pddata = pd.read_csv('data/work_data.csv')# 处理城市列，只取前面两个字符data['place'] = data["place"].str[:2]# 去除salary列含有“￥2000/月”的行data=data[~data['salary'].isin(['￥2000/月'])]# people_num列和salary只保留整数，比如￥250/天保留250data['people_num
2020-10-25 09:01:04
3113
5
原创 vue-router的基本使用和配置
阅读目录1、在模块化工程中使用它2、使用vue-router的步骤:3、路由的默认路径4、HTML5的History模式5、router-link补充6、路由代码跳转7、动态路由8、路由懒加载9、认识嵌套路由10、传递参数11、$ route和$ router是有区别的12、导航守卫使用13、keep-alive遇见vue-router1、在模块化工程中使用它(因为是一个插件, 所以可以通过Vue.use()来安装路由功能)第一步：导入路由对象，并且调用 Vue.use(VueRouter)第二步
2020-08-19 13:32:53
470
原创 webpack的基本使用和配置
什么是Webpack？官方解析：从本质上来讲，webpack是一个现代的JavaScript应用的静态模块打包工具。webpack安装安装webpack首先需要安装Node.js，Node.js自带了软件包管理工具npm查看自己的node版本：node -v全局安装webpack(指定版本号3.6.0，因为vue cli2依赖该版本)npm install [email protected] -g一、简单一个webpack项目1、手动创建以下文件dist文件夹：用于存放之后打包的文件src
2020-08-16 15:07:04
1495
原创 vue的组件化开发
阅读目录1、注册组件的基本步骤2、全局组件和局部组件3、组件语法糖（参照上面的例子）4、模板的分离写法5、组件数据的存放位置6、组件的data为什么是一个函数7、父组件和子组件8、父子组件的通信9、父组件传子组件（props）的驼峰标识10、子级向父级传递1、注册组件的基本步骤（1）、组件的使用分成三个步骤：创建组件构造器注册组件使用组件<div id="app"> <!-- 3.使用组件 --> <my-cpn></my-cpn&g
2020-08-14 15:53:31
300
原创 vue的基础语法
第一个vue程序 hello.html<div id="app"> <h2>{{message}}</h2> </div><script src="./js/vue.js"></script><script> var app = new Vue({ el:"#app", data:{ message: "hello vue !"
2020-08-12 21:00:06
176
原创 Scala的Set+Map+Tuple
1、Set（1）、创建无序的setobject lesson_set { def main(args: Array[String]): Unit = { val set = Set[Int](1,2,3,4,5) set.foreach(println) }}结果：（2）交集object lesson_set { def main(args: Array[String]): Unit = { val set = Set[Int](1,2,3,4,5)
2020-07-10 16:17:28
170
原创 Scala的字符串、Array和List
1、字符串object String { def main(args: Array[String]): Unit = { val s = "scala" val s1 = "SCALA" println(s.indexOf(97)) //返回a的下标 println(s.indexOf(98)) //字符串没有b返回-1 println(s.equals(s1)) println(s.equalsIgnoreCase(s1)) //不区分大小写
2020-07-10 14:07:04
425
原创 Scala方法与函数
Scala方法与函数1、Scala方法的定义（1）、方法中最后返回可以使用return，如果使用了return，那么方法体的返回值类型一定要指定object function { def main(args: Array[String]): Unit = { def max(a:Int,b:Int): Int ={ if(a>b){ return a } else{ return b } }
2020-07-10 11:13:39
333
原创 redis安装和简单案例演示
一、Java API1、pom.xml<dependencies> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.7.0</version> </dependency>
2020-06-23 16:10:06
306
原创 Spark Streaming基础案例实现
文件流在文件流的应用场景中，需要编写Spark Streaming 程序，一直对文件系统的某个目录进行监听，一旦发现有新的文件生成，Spark Streaming就会自动把文件内容读取过来，使用用户自定义的处理逻辑进行处理套接字流Spark Streaming可以通过Socket端口监听并接收数据，然后进行相应的处理一、在spark-shell中创建文件流1、创建一个目录 logfilecd /usr/local/spark/mycodemkdir streamingcd stream.
2020-06-19 16:39:45
1719
原创 spark sql 的一些基本操作
一、dataframe的创建scala> import spark.implicits._import spark.implicits._scala> val df = spark.read.json("file:///usr/local/spark/examples/src/main/resources/people.json")df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
2020-06-16 23:26:23
1603
原创 hbase伪分布安装和hbase案例
一、安装hbase1、下载wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/hbase-2.2.4-bin.tar.gz2、解压并修改文件名tar xzvf hbase-2.2.4-bin.tar.gz -C /usr/local/mv ./hbase-2.2.4 ./hbase3、修改配置文件并使他生效vi /etc/profile添加以下内容：export HBASE_HOME=/usr/local/hbas
2020-06-09 21:13:39
296
原创 Sqoop的安装与简单案例分析
一、安装Sqoop（1）下载并解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local（2）将解压后生成的文件夹重命名mv ./sqoop-1.4.7.bin__hadoop-2.6.0 ./sqoop（3）配置环境变量export SQOOP_HOME=/usr/local/sqoopexport PATH+$SQOOP_HOME/bin（4） 重命名配置文件mv sqoop-env-template.sh sqoop
2020-05-29 15:09:21
201
原创 Zookeeper的一些Java API简单操作
阅读目录一、启动Zookeeper二、Zookeeper命令行操作三、Zookeeper Java API操作1、pom.xml文件2、创建节点3、修改数据4、获取数据5、删除节点一、启动Zookeeper进入zookeeper安装目录下的bin目录内，通过命令启动./zkServer.sh start通过命令查看节点状态./zkServer.sh status通过命令关闭./z...
2020-04-21 22:38:40
524
原创 Spark之RDD编程常用算子代码例子
阅读目录RDD一、创建RDD1、从对象集合创建RDD2、从外部存储创建RDD（1）从HDFS文件创建RDD（2）从Linux本地文件创建RDD二、转换算子1、map()算子2、filter()算子3、flatMap()算子4、distinct()算子5、groupByKey()算子6、reduceByKey()算子7、sortBy()算子8、union()算子三、行动算子1、reduce()算子2...
2020-04-20 14:27:38
639
原创 Spark之wordcount小案例
在虚拟机里1、编辑需要词频计算的文件（用空格隔开）2、在hdfs里新建文件夹WordCount，并把刚刚的words.txt文件上传上去3、在spark的目录中启动： bin/spark-shell 进入spark shell中输入： sc.textFile("/WordCount/").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)...
2020-04-17 22:33:38
425
原创 Hadoop之mapreduce数据去重和求平均分（案例）
阅读目录一、数据去重使用idea创建Maven项目在pom.xml文件添加Hadoop的依赖库，内容如下：编写Dedup.class运行程序二、求平均分关于部分详细说明一、数据去重使相同的数据在最终的输出结果中只保留一份，使用idea创建Maven项目在pom.xml文件添加Hadoop的依赖库，内容如下： <dependencies> <dep...
2020-04-05 16:23:57
1392
原创 Hadoop之mapreduce数据排序案例（详细代码）
阅读目录mapreduce排序案例1、需求2、分析3、代码实现EmployeeSortMapper.classEmployee.classEmployeeSortMain.class4、提交作业到集群运行mapreduce排序案例1、需求查看员工的薪资，按部门、薪资升序排序。2、分析如果key属于某个自定义类，且期望key按某种力式进行排序，此时这个自定类就要实现Java中的Compar...
2020-04-03 22:34:21
3677
原创 Hadoop之HDFS读写文件过程（流程图+代码）
阅读目录一、HDFS文件读取过程HDFS文件读取的流程图：流程图的说明：代码：二、HDFS文件写入过程HDFS文件写入的流程图流程图的说明：代码：一、HDFS文件读取过程当客户端需要读取文件时，首先向NameNode发起读请求， NameNode收到请求后，会将请求文件的数据块在DataNode中的具体位置(元数据信息)返回给客户端，客户端根据文件数据块的位置，直接找到相应的DataNode...
2020-04-03 00:18:29
5223
1
原创 Hadoop 之Mapreduce wordcount词频统计案例（详解）
阅读目录一、创建项目 ：example-hdfs二、项目目录三、WordCountMapper.class四、WordCountReducer.class五、WordCounfDriver.class六、pom.xml七、打包jar包八、在SecureCRT软件上传刚刚生成的jar包九、运行十、错误及解决MapReduce是什么？Map Reduce是Google公司开源的一项重要技术，它...
2020-03-22 21:17:43
7596
1
原创 HDFS的JAVA API操作（上传文件和下载文件）
阅读目录HDFS Java API一、创建项目 ：example-hdfs二、修改pom.xml文件三、创建类TestHDFSClient.java四、创建文件五、下载文件六、上传文件七、其他常见的操作(这里不做演示了）八、FileSystem类常用方法九、遇到的错误及解决方法HDFS Java APIHDFS Java API 位于“org.apache.hadoop.fs"包中，这些AP...
2020-03-22 13:53:55
14947
原创 Hadoop之HDFS Shell的常用命令的使用
HDFS Shell 命令是由一系列类似Linux Shell的命令组成的1、创建文件夹2、列出指定的目录或文件3、新建文件4、上传文件5、将本地文件移动到HDFS6、下载文件7、查看文件8、追写文件9、删除目录或者文件10、显示占用的磁盘空间大小11、 HDFS中的文件复制12、HDFS中的文件移动(改名)13 、 HDFS中的文件合并后下载操作命令是以“hdfs dfs”开头的命令。通过这些...
2020-03-21 16:37:16
602
原创 数据结构与算法——队列（笔记）
目录队列1、定义2、队列特点：先进先出(FIFO)3、队列的基本运算：4、队列的存储结构（1）队列的顺序存储。为了区别对空和队满的情况：设队列中的元素为整型，则循环队列的类型定义为：创建一个空的循环队列：判断队列是否为空元素入循环队列元素出循环队列（2）队列的链式存储5、队列的应用队列1、定义队列是限定只能在表的一端进行插入，在表的另一端进行删除的线性表。队尾(rear)——允许插入的一...
2020-03-17 00:54:51
414
原创 数据结构与算法——栈（做题笔记）
栈1、栈的定义栈是限定在表的同一端进行插入或删除操作的线性表。进行插入或删除操作的一端称为栈顶，另一端称为栈底。没有数据元素的栈称为空栈。插入数据元素的栈称为入栈 ，删除数据元素的栈称为出栈。2、栈的运算特性：先进后出3、基于栈结构的特点，在实际应用中，通常只会对栈执行以下两种操作：向栈中添加元素，此过程被称为"进栈"（入栈或压栈）；从栈中提取出指定元素，此过程被称为"出栈"（或弹...
2020-03-15 15:51:58
545
原创 机器学习笔记（三）：决策树
决策树决策树（DT）是一种用于分类和回归的非参数监督学习方法。目的是创建一个模型，通过学习从数据特征推断出的简单决策规则来预测目标变量的值。1、常用的决策树算法见下表：2、分类——实现类是DecisionTreeClassifier，能够执行数据集的多类分类输入参数为两个数组X[n_samples,n_features]和 y[n_samples],X 为训练数据，y 为训练数据的标记...
2020-03-10 17:29:56
304
原创 机器学习笔记（二）：回归分析
线性模型1、基本形式给定由 d个属性描述的示例 x= (x1; x2;…;xd ) 其中均是 在第 i个属性上的取值，线性模型(linear model) 试图学得一个通过属性的线性组合来进行预测的函数，即一般用向量形式写成其中 ω=(ω1 ;ω2;…;ωd) ω 和 d 学得之后，模型就得以确定。线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想.许多功能更为...
2020-03-10 16:06:29
2088
原创 机器学习笔记（一）：绪论、模型评估与选择
阅读目录什么是机器学习？基本术语归纳与演绎归纳偏好经验误差与过拟合评估方法性能度量比较检验与偏差方差练习什么是机器学习？利用计算机从历史数据在找出规律，并把这些规律用到对未来不确定场景的决策。机器学习的典型应用：（1）关联规则：啤酒+纸尿片，购物篮分析（2）聚类：用户细分精准营销（3）朴素贝叶斯：垃圾邮件检测（4）决策树：风险识别（5）ctr预估：互联网广告：...
2020-03-10 00:47:38
340
原创 ubuntu中vi上下左右键删除键不管用的解决方法
ubuntu的vim真的太难受了，上下左右键删除键都用不了，还好有办法解决解决办法：1、卸载原来的vim：sudo apt-get remove vim-common2、安装新的vim：sudo apt-get install vim...
2020-03-06 15:55:03
1418
原创 python学习笔记（进阶）
一、 *args与**kwargs的用法args 和 **kwargs 主要⽤于函数定义。 你可以将不定数量的参数传递给⼀个函数。这⾥的不定的意思是：预先并不知道, 函数使⽤者会传递多少个参数给你, 所以在这个场景下使⽤这两个关键字。*args 是⽤来发送⼀个⾮键值对的可变数量的参数列表给⼀个函数.def test_var_args(f_arg,*argv): print("F...
2020-03-06 09:49:48
190
原创 SecureCRT无法退格和删除、中文乱码的解决方法
1、无法退格和删除选择----->会话选项---->映射键---->勾选两个勾仿真---->终端选择linux2、中文乱码的解决方法修改完编码格式可能不会立即生效，需要重启SercureCRT。外观---->字符编码选择UTF-8...
2020-03-04 12:12:29
1436
1
原创 虚拟机centos7繁忙关不了机的解决方法
这个问题困扰我一个多月了！！！环境Windows10（1903版本），centos7，VMware Workstation Pro15.0。在网上看了很多方法都解决不了，比如：1、进入关不了机的虚拟机目录删除.lck文件夹2、结束VMware WorkStation VMX进程3、通过windows程序与功能将VMware 修复后来看到有人说是是win10 1903版本与VMw...
2020-03-04 00:39:54
6885
原创 Flask+Echarts+Ajax：异步加载数据并可视化展示
先看效果：http://127.0.0.1:5111/lineAjaxjson数据：http://127.0.0.1:5111/lineApi项目目录Flask_Echarts_Ajax.pyfrom flask import Flaskfrom flask import redirect,render_template,jsonifyapp = Flask(__name__)...
2020-02-29 22:45:17
1430
原创 Flask-WTF之表单验证
Flask-WTF之表单验证目的：实现一个简单的登陆的逻辑处理1.路由需要有get和post两种请求方式 --> 需要判断请求方式2.获取请求的参数（从表单中拿到数据）3.判断参数是否填写，以及密码是否相同4.如果判断都没有问题，就返回一个success安装Flask-WTFpip install Flask-WTF目录结构Flask_WTF.pyfrom flas...
2020-02-29 16:39:02
875
原创 Hadoop学习笔记：HDFS理论知识
HDFS介绍HDFS是hadoop自带的分布式文件系统，英文名为：Hadoop Distributed Filesystem，HDFS以流式数据访问模式来存储超大文件。分布式文件系统的结构分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（Slave Node...
2020-02-26 21:03:44
944
原创 Hadoop学习笔记：Hadoop基础知识
目录一、Hadoop简介二、Hadoop的特性三、hadoop组成与体系结构四、Hadoop安装方式五、Hadoop集群中的节点类型一、Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中Hadoop的核心是H...
2020-02-26 14:00:58
424
原创 MySQL的增删改查（语句+执行结果）
什么是数据库？数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。SQL语句不区分大小写,语句以” ; “结束一、创建数据库数据表1、查看数据库show databases;2、创建数据库（report是数据库的名字）create database report;3、创建数据表（bigdata）如果你不想字段为 NULL 可以设置字段的属性为 NOT...
2020-02-20 15:16:16
354
原创 冒泡排序、选择排序、快速排序和归并排序（图解+代码）
阅读目录一、排序的基本概念二、直接插入排序三、冒泡排序四、简单选择排序五、快速排序六、归并排序七、内部排序方法小节一、排序的基本概念1、排序假设含n个记录的序列为{ R1, R2, …， Rn }其相应的关键字序列为 { K1,K2, …，Kn }。经过排序确定一种排列{ Rp1≤Rp2≤…≤Rpn}，使得它们的关键码满足如下递增或递减的关系 Kp1≤ Kp2 ≤…≤ Kp...
2020-02-19 16:58:37
1507
原创 Java连接数据库
一、启动MySQL并建立数据库表的类型：二、加载mysql驱动包三、建立Java项目1、目录情况：2、JDBC.javapackage connect;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;...
2020-02-18 15:41:44
122
原创 c语言经典例题
阅读目录：1、计算 int, float, double 和 char 字节大小2、交换两个数的值，使用临时变量3、判断奇数/偶数4、循环区间范围内的奇数/偶数5、判断三个数中的最大数6、求一元二次方程：ax2+bx+c=0 的根。输入三个实数a, b, c的值，且a不等于07、用户输入年份，判断该年份是否为闰年。8、for和while计算自然数的和9、输出9x9乘法表10、...
2020-02-17 16:30:34
2033
原创 python爬虫之Request库的使用
目录一、Requests的安装二、Request的使用1、提取目标网站的代码2、Request基本请求方式3、Requests库的get（）方法4、Response 对象的属性5、理解Requests库和Response的异常6、爬取网页的通用代码框架7、HTTP协议三、爬取中国大学排名RequestsRequests是用python语言基于urllib编写的，采用...
2020-02-16 15:37:44
514
数据整理和合并工作表.ipynb
2020-02-07
数据修改和查找.ipynb
2020-02-07
数据的增加与删除.ipynb
2020-02-07
数据筛选.ipynb
2020-02-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人