- 博客(40)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 使用scala语言编写Spark独立应用程序实现词频统计
实验内容：下载一篇英文短文，编写spark独立应用程序，完成词频统计。代码：WordCount.scalaimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobject WordCount{ def main(args:Array[String]){ val logFile = "file:///home/hadoop
2022-01-08 10:15:02
980
原创 使用scala语言编写Spark独立应用程序计算学生成绩平均值
实验内容：每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写spark独立应用程序求出所有学生的平均成绩。下面是输入文件和输出文件的一个样例：Algorithm成绩：小明 92小红 87小新 82小丽 90Database成绩：小明 95小红 81小新 89小丽 85Python成绩：小明 82小红 83小新 94小丽 91平均成绩如下：(小红,83.67)(小新,88.33)(小明,89.67)(小丽,88
2022-01-08 10:11:51
6197
原创 使用scala语言编写Spark独立应用程序合并两个文件
实验内容：对于两个输入文件A和B，编写Spark独立程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的样例：输入文件A的样例如下：20170101 x20170102 y20170103 x20170104 y20170105 z20170106 z输入文件B的样例如下：20170101 y20170102 y20170103 x20170104 z20170105 y根
2022-01-08 10:04:08
2636
原创 使用scala语言编写Spark独立应用程序统计文件行数
实现内容：使用scala语言编写独立应用程序，读取HDFS系统文件“/user/hadoop/test.txt”，统计文件行数；通过使用sbt工具将整个应用程序打包成jar包，并将jar包通过spark-submit提交到spark中运行。代码：SimpleApp.scalaimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobj
2022-01-08 09:49:56
2488
原创 Spark安装
实验环境：（1）操作系统：Linux；（2）Hadoop版本：3.3.0；（3）Spark版本：3.1.2实验内容：根据自己安装的Hadoop模式，选择对应的Spark配置模式。本文中我们安装Spark的伪分布式1.Spark配置文件清单下载Spark包之后解压。配置环境变量：老规矩，依旧需要source /etc/profile配置文件：1> spark-env.sh2>workers写入自己的ip地址启动spark集群网页显示一波在网址栏输入
2022-01-08 09:44:36
410
原创 使用HIVEQL程序完成词频统计
实验环境：（1）操作系统：Linux；（2）Hadoop版本：3.3.0；（3）JDK版本：1.8；（4）Hive版本：3.1.2在网上找一篇英文短文，进行后序操作！实验内容：步骤：1.在test数据库中创建表docs并导入数据2.词频统计查看结果：（部分截图）...
2022-01-08 09:31:43
805
原创 常用的Hive操作
实验环境：（1）操作系统：Linux；（2）Hadoop版本：3.3.0；（3）JDK版本：1.8；（4）Hive版本：3.1.2实验内容：（一）安装Hive环境：1.完成Hive安装，根据实验1所安装的Hadoop模式，选择Hive的配置模式；Hive安装：配置profile，并使之生效：然后source /etc/profile2.Hive的配置文件1》 进入hive的conf目录，把hive-default.xml.template复制出一个副本，重命名为hive-sit
2022-01-08 09:27:52
653
原创 基于MapReduce的文件合并
实验环境：centos7（桌面版）+Intellij IDEA 2021.2实验内容：对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。要求在代码中给出注释说明，并给出程序运行结果截图。输入文件A的样例如下：20170101 x20170102 y20170103 x20170104 y20170105 z20170106
2022-01-07 16:43:30
2032
原创 基于MapReduce的词频统计
实验环境：centos7（桌面版）+Intellij IDEA 2021.2实验内容：自行在网上搜索一篇英文短文，编写MapReduce程序，完成词频统计。代码：1》 WordCount.class:package MapReduce_1;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import
2022-01-07 16:35:52
1289
原创 HDFS的java API编程
实验环境：centos（桌面版）+Intellij IDEA 2021.2最开始为最小安装，只需要改为桌面安装即可！实验内容：(1) 从本地向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在则覆盖，由用户来指定是复制操作还是剪切操作；提示：FileSystem类提供exists函数判断文件是否存在；提供copyFromLocalFile函数复制文件，该函数可以接受四个参数，第一个参数表示是否删除源文件，第二个参数表示是否覆盖，后两个参数为源路径和hdfs路径本地文件为：text.t
2022-01-07 16:28:05
1204
原创 熟悉常用的HDFS操作
实验环境：Centos7（1）查看hadoop版本号（2）查看hadoop集群磁盘使用情况（3）向HDFS系统目录”/src”上传任意内容的文本文件（4）查看该文本文件，并输出到终端中（5）将查看结果重定向到本地文件（6）将HDFS系统/src目录下的文本文件复制到HDFS系统/src2目录下（7）查看/src目录和/src2目录下所有文件大小（8）从HDFS系统/src目录和/src2目录中下载所有文件到本地/home/hadoop目录Src和src2中文件相同，故而会
2022-01-07 16:03:52
1186
原创 Hadoop集群环境搭建和熟悉常用的Linux操作
实验环境：Centos7Hadoop-3.3.00．安装Linux操作系统（虚拟机）主机名：yannick_Master0011．熟悉常用的Linux操作1）cd命令：切换目录（1）切换到目录“/usr/local”（2）切换到当前目录的上一级目录（3）切换到当前登录Linux系统的用户的自己的主文件夹2）ls命令：查看文件与目录查看目录“/usr”下的所有文件和目录3）mkdir命令：新建目录（1）进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经
2022-01-07 15:44:42
1208
原创 python爬数据到mysql数据库
要求爬取中国大学排名数据，并且将结果保存到数据库中，表格取名为school。爬取排名url为：https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2020mysql体现看下执行完后的效果：准备工作首先需要下载对应的包。pymysql命令行:pip install pymysql代码代码中的<******>自行填写自己的密码具体的代码展现为：import jsonimport r
2022-01-07 15:19:35
735
原创 2021-06-24 Python快速学习6（异常处理）
异常处理常见异常实例Python的异常处理使用try…except语句常见异常异常描述BaseException所有异常的基类SystemExit解释器请求退出KeyboardInterrupt用户中断执行(通常是输入^C)Exception常规错误的基类StopIteration迭代器没有更多的值GeneratorExit生成器(generator)发生异常来通知退出StandardError所有的内建标准异常的基类Arit
2021-06-24 11:37:36
98
原创 2021-06-24 Python快速学习5（文件操作）
文件操作文件操作文件的打开与关闭文件其他操作文件重命名删除文件创建文件夹获取当前目录改变默认目录获取目录列表删除文件夹文件操作文件的打开与关闭访问模式说明r（默认模式）以只读的方式打开文件，文件指针放在文件的开头w以写入的方式打开文件，如果文件存在则将内容覆盖，如果文件不存在则创建新文件a以追加的方式打开文件，如果文件存在，则指针放在文件结尾，如果不存在则创建新文件rb以二进制且只读的方式打开文件，文件指针放在文件的开头wb以二进制且写入的方式打开
2021-06-24 10:34:57
84
原创 2021-06-23 Python快速学习4（函数，全局变量）
函数无参函数带参函数不可变参数列表不定长位置参数不定长关键字参数声明定义函数：def 函数名（参数列表）： 函数体函数返回值：如果函数体中有return，则函数有返回值。可以不return。无参函数含参列表为空。打印’’’def print_hello(): print("Hello World!")print_hello()---------------------运行结果Hello World!带参函数不可变参数列表无默认值在调用函数的时候必须传入对
2021-06-24 09:27:33
196
原创 2021-06-22 Python快速学习3（列表，元组，字典）
列表Python的列表与其他语言的列表相似，可以：容纳不同类型的数据切割列表拼接操作直接改变其中元素（单个或者某区间元素），包含修改和移除在末尾添加新项容纳不同类型的数据# -*- codeing = utf-8 -*-# @Time :2021/6/22 8:58# @File : demo2.py# @Author :Yannick Liarray=["Hello",'h',1,4,[3,5,"yzr"]]print(array)print(array[1])pri
2021-06-22 11:24:43
108
原创 2021-06-21 Python快速学习2（条件判断，循环）
2 Python语句学习条件判断语句2.1 for语法：if 条件 : 语句1elif 条件 : 语句2else : 语句3示例if True:# 注意：True和False首字母必须大写 print("True")else: print("False")Python指定任何非0和非空值为True，0或者None为False注意事项：if 后面的条件没有符号，且 : 必须要英文字符且if 后面的语句必须要缩进，且同一个层次的代码缩进必须一样（Pyth
2021-06-21 17:32:41
70
原创 2021-06-21 Python快速学习1（基础）
1 Python基础1.1 基础的输入输出# -*- codeing = utf-8 -*-# @Time :2021/6/21 9:45# @File : demo.py# @Author :Yannick Liage=21print("my age is %d 岁"%age)#一个占位符print("my name is %s ，my conutry is %s"%("Yannick","China"))#多个占位符输入print("www","baidu","com",sep="."
2021-06-21 10:37:04
86
原创 GC算法——垃圾收集算法
GC作用区域：方法区+堆GC（又称）：分代收集算法GC之引用计数法给每一个对象分配一个计数器，若某对象用了0次，即会被当做垃圾清除。GC之复制算法每次GC都会将Eden存活的对象移到幸存区，Eden被GC后就空了新生区主要用的复制算法优点：没有内存碎片缺点：浪费内存空间，多了一般空间永远是空的（to区）GC之标记压缩清除算法标记清除算法过程： 回收的时候对存活对象进行标记，然后对没有标记的对象进行清除。优点：不需要额外的空间缺点：两次扫描，造成时间浪费，会产生内存碎片。
2020-10-11 16:03:36
73
原创 JVM基础知识（2）:Native、堆栈
在java文件中，凡是带了native关键字的，说明java作用范围达不到了，调用底层C语言的库。方法会进入“本地方法栈”，调用本地方法接口JNI（JNI作用：扩展java的使用，融合不同的编程语言。）java在内存区域中专门开辟了一块标记区域：Native Method Stack，登记native方法，在最终执行的时候，加载本地方法库中的方法通过JNIPC寄存器每一个线程都有一个程序计数器（Program Counter Register），是线程私有的，就是一个指针，指向方法区中的方法字节码
2020-10-11 13:56:34
518
原创 JVM--java沙箱安全机制
组成沙箱的基本组件字节码校验器（bytecode verifier）：确保java类文件遵循java语言规范，可以帮助java程序实现内存保护。但不是所有的类文件都会经过字节码校验，比如核心类。类装载器（class loader）：类装载器在三个方面对java沙箱起作用防止恶意代码干涉善意代码---->双亲委派机制守护了被信任的类库边界将代码归入保护域，确定了代码可以进行哪些操作。· 从最内层JVM自带类加载器开始加载，外层恶意同名类得不到加载。· 严格通过包来区分访问与，外
2020-10-11 12:10:57
281
原创 那些年学过的java网络编程（下）
Tomcat服务端自定义 STomcat服务器 S 在：java后台开发客户端自定义 C浏览器 B1.7 UDPClientpackage UDP;import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.InetAddress;/* * by Yannick * key words： * data:2020.09.07 */public class UdpClien
2020-10-03 22:45:48
72
原创 CSS实现开关特效
点击后index.css:*{ margin: 0; padding: 0;}body{ height: 100vh; display: flex; justify-content: center; align-items: center;}label{ transform: scale(2); width: 100px; height: 50px; border: solid 1px #ddd; bac.
2020-10-03 19:20:09
1550
原创 那些年学过的java网络编程（上）
1.1 概述计算机网络：（computer network），简称网络，是利用通信设备和线路将地理位置不同的、功能独立的多个计算机系统连接起来，以功能完善的网络软件实现网络的硬件、软件及资源共享和信息传递的系统，简单的说即连接两台或多台计算机进行通信的系统。网络编程的目的：无限电台…传播交流信息，数据交换。通信想要达到这个效果需要：1.如何准确的定位网络上的一台主机：（例如）192.168.17.104：（端口）5000，定位到这个计算机上的某个资源2.找到这个主机，如何传输数据呢
2020-09-06 00:17:19
191
原创 算法竞赛中的输入输出
题目：输入一些整数，求出它们的最小值、最大值和平均值（保留3位小数）。输入保证这些 数都是不超过1000的整数。样例输入： 2 8 3 5 1 7 3 6样例输出： 1 8 4.375**【分析】**如果是先输入整数n，然后输入n个整数，相信读者能够写出程序。关键在于：整数的个 数是不确定的。下面直接给出java程序：package OwnCode.Algorithms;import java.util.Scanner;public class Exchange { public
2020-07-01 19:34:54
567
原创 接口、接口回调技术
接口接口（interface）是所提供的一种重要技术，也是一种特殊的类，结构与抽象类相似。接口体中包含常量的声明（没有变量）和抽象方法两部分。接口中的所有常量访问权限为public，且为static（可以省略public、final、static修饰符），所有抽象方法的访问权为public，且为abstract。Column 1Column 2public static final int n = 10;int n = 10;public abstract void
2020-05-20 21:12:36
203
原创 Java常用集合List,Set,Map
Java常用集合概述ListSetHashSetTreeSetMapHashMapHashTable小结概述现实生活中，人们会遇到许多集合的情况，比如人的Name与电话号码的对应，或者是教室里面的所有学生的集合。在爪哇语言中，我们用一系列接口及其实现来表示这种集合对象。所有表示集合对象的接口和类统称为集合框架CollectionSetListQueueSortedSetMapSortedMapList在代码中体会吧！package OwnCode.LSM;import java.util.
2020-05-19 16:39:34
155
原创 异常处理Exception—— C++ & Java
C++异常处理Exceptionthrow 关键字抛出异常；try 块中放置可能抛出异常的代码，try 块中的代码被称为保护代码；catch关键字捕捉异常，并在catch块中处理。如果在当前的try…catch…块内找不到匹配该异常对象的catch语句,则由更外层的try…catch…块来处理该异常；如果当前函数内所有的try…catch…块都不能匹配该异常，则递归回退到调用栈的上一层去处理...
2020-05-02 21:19:05
384
原创 T1084 雇佣兵问题
T1084雇佣兵的体力最大值为 M，初始体力值为 0、战斗力为 N、拥有 X 个能量元素。当雇佣兵的体力值恰好为 MM 时，才可以参加一个为期 MM 天的战斗期，战斗期结束体力值将为 00。在同一个战斗期内，雇佣兵每连续战斗 nn 天，战斗力就会上升 11 点，nn 为当前战斗期开始时的战斗力。一个战斗期结束后，雇佣兵需要用若干个能量元素使其体力恢复到最大值 MM，从而参加下一个战斗期。每个能量...
2020-04-27 21:32:50
952
原创 两个指定顶点之间最短路问题Lingo解法
两个指定顶点之间最短路问题见下图，用点表示城市，现有 A,B1,B2 ,C1,C2 ,C3, D共 7 个城市。点与点之间的连线表示城市间有道路相连。连线旁的数字表示道路的长度。现计划从城市A到城市D 铺设一条天然气管道，请设计出最小价格管道铺设方案。lingo程序：model:sets:cities/A,B1,B2,C1,C2,C3,D/;roads(cities,cities)/...
2020-04-24 11:50:02
3904
8
原创 JavaScript数组简介
数组的定义*通过构造函数创建数组语法：var 数组名 = new Array(数组长度，或初始化值)数组长度为空var array = new Array();console.log(array);我们可以得到运行结果：==>Array(0)或者：==>[]加入数组长度var array = new Array(5);console.log(array);...
2020-04-11 14:11:00
13
原创 JavaScript数组初步认识
数组的定义==通过构造函数创建数组==通过构造函数创建数组语法：var 数组名 = new Array(数组长度)var array = new Array();console.log(array);我们可以得到运行结果：==>Array(0)高版本浏览器显示结果为：==>[]var array = new Array(5);console.log(ar...
2020-04-11 14:03:31
135
原创 运输问题中产销不平衡问题（表上作业法和LINGO方法）
对于产销不平衡问题有两种情况： 供大于求（产大于销）→增加虚拟销地 供不应求（产小于销）→增加虚拟产地例如以下例题：1.这个问题可以采用笔算的方式：表上作业法↓得到初始方案↓检验基变量个数是否为m+n-1个，若不是，则说明初始解退化，需要不足基变量个数（如填写一个数字同时满足了一厂一商，则需在同行或同列中填写一个数字0，以保证恰好有m+n-1个数字）【注意：基可行解中不能有...
2020-03-29 21:42:44
21512
2
原创 纯数组学生成绩管理系统（不使用链表）
在不使用链表的情况下，我们可以使用数组储存多个数据。代码如下：#include <stdio.h>#include <stdlib.h>#include <iostream> #include <string>#include <iomanip>#include <conio.h>#include <ti...
2020-03-28 18:48:02
788
原创 十进制转化为非十进制C++代码
转化原理：假设余数为 r ，十进制数为 n ：（拆分为整数 zs ，余数 ys）对 zs：需要将 zs 除 r 取余数，直到商为 0 停止，将余数倒序排列即可。对 ys：需要将 ys乘 r 取整数部分，直到小数部分为 0 停止，将所得整数正序排列。C++代码：#include <stdio.h>#include <stdlib.h>#include <...
2020-03-28 18:06:18
860
原创 Johnson-Trotter算法求全排列
下面我将贴出Johnson-Trotter算法的JAVA代码1 package JT; 2 3 import java.util.Scanner; 4 5 public class Johnson_Trotter { 6 //求最大的移动元素 7 public static int maxk(int n, int[] array, boolean[...
2020-03-28 14:09:41
1975
原创 Johnson-Trotter（JT）算法求全排列
Johnson-Trotter算法描述算法 JohnsonTrotter(n) //实现用来生成排序的 Johnson-Trotter 算法 //输入：正整数n(代表序列1,2，···，n) //输出：{1,2，···，n}的全排列 将第一个全排列初始化为 while 存在一个移动元素 do 求最大的移动元素 k 把 k 和它箭头指向的相邻元素...
2020-03-28 13:34:00
163
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人