- 博客(54)
- 收藏
- 关注
RSS订阅原创 Hadoop编程——第五章：(7) MapReduce自定义分区案例
1、将美国疫情数据不同州的输出到不同文件中，属于同一个州的各个县输出到同一个结果文件中。输出到不同文件中–>reducetask有多个(>2)–>默认只有1个，如何有多个?—>可以设置，job. setNumReduceTasks(N)—>当有多个reducetask意味着数据分区---->默认分区规则是什么? hashPartitioner–→>默认分区规则符合你的业务需求么?---->符合，直接使用—>不符合，自定义分区。HashPartitioner默认规则.........
2022-07-15 10:34:39
654
2
原创 Hadoop编程——第五章：（6）MapReduce自定义排序案例
将美国每个州state的确诊案例数进行倒序排序。如果你的需求中需要根据某个属性进行排序，不妨把这个属性作为key。因为MapReduce中key有默认排序行为的。可使用案例1的输出结果表作为本案例的输入表。1、如果你的需求是正序，并且数据类型是Hadoop封装好的类型。这种情况下不需要任何修改，直接使用lHadoop类型作为kcy即可。因为Hadoop封装好的类型已经实现了排序规则。2、如果你的需求是倒序，或者数据类型是自定义对象。需要重写排序规则。对象实现Comparable接口重写CompareTo方法
2022-07-14 15:21:34
725
2
原创 Hadoop编程——第五章：（5）MapReduce自定义对象序列化案例
有一份2020-12-01号美国各县county的新冠疫情统计数据，包括累计确诊病例、累计死亡病例。使用MapReduce对疫情数据进行各种分析统计。案例背后的核心是学会自定义MapReduce各个组件。包括自定义对象、序列化、排序、分区、分组。date (日期) , county(县) , state(州 ) , fips(县编码code ) , cases（累计确诊病例) , deaths(索计死亡病例)。MapReduce自定义对象序列化MapReduce自定义排序MapReduce自定义分区
2022-07-14 10:38:34
691
原创 Type mismatch in value from map: expected org.apache.hadoop.io.LongWritable, received
java.lang.Exception: java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.io.LongWritable, received
2022-07-14 10:13:04
469
1
原创 Hadoop编程——第五章：(4) MapReduce小结
MapReduce输入和输出MapReduce流程梳理MapReduce Partition分区MapReduce Combiner规约
2022-07-13 14:42:12
1125
原创 Hadoop编程——第五章：(1) MapReduce执行流程
虽然MapReduce从外表看起来就两个阶段Map和Reduce,但是内部却包含了很多默认组件和默认的行为。包括:组件：读取数据组件InputFormat、输出数据组件0utputFormat ;行为：排序( key的字典序排序)、分组( reduce阶段key相同的分为一组，一组调用一次reduce处理）;**序列化(Serialization)**是将结构化对象转换成字节流以便于进行网络传输或写入持久储存的过程。**反序列化( Deserialization )**是将字节流转换为一系列结构化对
2022-07-13 10:14:50
338
原创 Hadoop编程——第五章：(2) MapReduce: WordCount案例详解
WordCountMapperWordCountReducerWordCountDriverWordCountDriver使用工具类ToolRunner提交MapReduce作业与上一个方法选一个即可，官方推荐用本方法二、MapReduce程序运行模式（一）YARN集群模式MapReduce程序提交给yarn集群，分发到多个节点上分布式并发执行。数据通常位于HDFS.需要配置参数︰mapreduce.framework. name=yarnyarn. resourcemanager.
2022-07-12 14:53:59
1244
3
原创 Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the corr
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.报错信息解决方法在pom文件中添加以下依赖：
2022-07-12 14:47:59
2645
4
原创 Hadoop编程——第五章：(3) MapReduce集群与本地local运行模式
MapReduce经典入门案例:WordCountWordCount中文叫做单词统计、词频统计，指的是统计指定文件中，每个单词出现的总次数。这个是大数据计算领域经典的入门案例，相当于Hello World。虽然WordCount业务及其简单，但是希望能够通过案例感受背后MapReduce的执行流程和默认的行为机制，这才是关键。map阶段的核心∶把输入的数据经过切割，全部标记1。因此输出就是。shuffle阶段核心∶经过默认的排序分区分组，key相同的单词会作为一组数据构成新的kv对。re......
2022-07-05 09:28:07
648
原创 Hadoop编程——第三章：（3）Linux常用命令
命令属于死东西，属于多用多会，不用就忘的知识，孰能生巧；Tab键可以实现自动补全和提示，要合理使用；history命令可以显示历史执行记录，或者使用方向键来切换前后执行过的命令该命令的英文解释为print working directory(打印工作目录)。输入pwd命令，Linux会输出当前目录用于切换当前工作目录。切换的路径可为绝对路径或相对路径。若路径省略，则变换至使用者的home目录 。用于显示指定工作目录下之内容（列出目前工作目录所含之文件及子目录)。可以用来合并文件可以用来在屏幕上显示整个
2022-07-01 14:34:35
521
原创 Hadoop编程——第三章：（2）Linux文件系统基础知识
操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统；文件系统的结构通常叫做目录树结构，从斜杠/根目录开始；Linux号称“万物皆文件”，意味着针对Linux的操作，大多数时间是在针对Linux文件系统操作。几乎主流的文件系统都是从/根目录开始的，Linux也不例外，而windows文件系统会以盘符来区分不同文件系统；目录树中节点分为两个种类：目录（directory）、文件（file）;从根目录开始，路径具有唯一性；只有在目录下才可以继续创建下一级目录，换句话说目录树到文件终
2022-06-29 16:07:49
138
原创 Hadoop编程——第二章：（5）VMware虚拟机常规使用
在虚拟机关机状态下，可以根据需求调整每台机器的资源大小选中虚拟机，进行启动、停止、重启、挂起等操作VMware虚拟机软件提供了非常便捷的快照功能，用于记录某一时间点的状态，用于备份恢复；拍好快照之后，可以在任何时间恢复到指定的快照时间点；可以选择任意快照，跳转到指定快照的时间点。注意：如果需要快照跳转恢复，3台虚拟机必须都要同时进行恢复，避免彼此之间时间状态不同步。.........
2022-06-29 15:31:59
236
原创 Hadoop编程——第二章：（3）Centos操作系统创建虚拟机
阿里云官方镜像站:http://mirrors.aliyun.com一般下载 DVD 是标准安装盘CentOS-6.1-x86_64-bin-DVD1.iso打开虚拟机，选择文件-创建虚拟机
2022-06-29 14:36:13
225
原创 Hadoop编程——第二章：（2）Centos操作系统的虚拟机导入
编辑–>虚拟网络编辑器更改设置–>用管理员权限运行选中NAT模式–>修改网段为192.168.88.0选中NAT模式–>NAT设置–>修改网关为192.168.88.2windows系统全局搜索框输入：网络连接找到VMware Network Adapter VMnet8虚拟网卡修改VMware Network Adapter VMnet8虚拟网卡的IP右键——属性选中——双击修改VMware Network Adapter VMnet8虚拟网卡的IP最好解压至：没有中文、没有空格的目
2022-06-24 22:47:10
651
原创 Hadoop编程——第二章：（1）VMware Workstation虚拟机安装
在PC上安装VMware Workstation虚拟机软件First step： 运行“VMware_workstation_full_12.5.2.exe”（或者其他版本）Second step：引导页面，直接点击下一步Third step： 同意许可，然后继续点击下一步Forth step： 选择VMware安装位置，然后点击下一步Fifth step： 用户体验设置，建议全部取消勾选，然后点击下一步Sixth step： 根据个人喜好选择，然后点击下一步Seventh st
2022-06-24 21:21:17
321
原创 Hadoop编程——第一章：大数据概念
什么是大数据？Hadoop生态系统工具分布式与集群指“无法由现有软件工具提取，存储，搜索，共享，分析和处理的庞大而复杂的数据集”。行业通常使用五个V总结大数据的特征如下：Volume（数据体量大）Variety（种类、来源多样化）Value（低价值密度）Velocity（速度快）Veracity（数据的质量）Hadoop是由Apache Foundation开发的分布式系统基础结构。 Doug Cutting受到GoogleLab开发的Map/Reduce和Google File System（GF
2022-06-24 16:47:15
356
原创 Hadoop编程——第三章：（1）Linux操作系统基础
操作系统（ operating system，简称OS）是管理计算机硬件与软件资源的程序，需要处理如︰管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件系统等基本事务;没有操作系统的机器称之为裸机，不管是开发还是使用都十分不便。操作系统也提供一个让用户与系统交互的操作界面。操作系统发展至今，种类繁多，可以根据应用的不同领域进行划分∶Unix系统是较早被广泛使用的计算机操作系统之一，由Ken Thompson在AT&T贝尔实验室实现，后续发展中，因开源、版权等问题陷入不断纠
2022-06-24 15:03:07
118
原创 The dependencies of the beans in the application context form a cycle
在引入pagehelper依赖以后，报以下错误可能因为版本太低，不兼容，把pagehelper的版本号改成1.4.1.<groupId>com.github.pagehelper</groupId><artifactId>pagehelper-spring-boot-starter</artifactId><version>1.4.1</version>还不行的话再加以下代码试试 <dependency&g
2022-04-15 14:06:32
185
原创 pagehelper自动加limit——MySQL server version for the right syntax to use near ‘LIMIT 10, 10‘ at line 3
Error querying database. Cause: java.sql.SQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘LIMIT 10, 10’ at line 3要了老命了，这个问题查了好久原因：查询语句：
2022-04-04 19:40:12
887
1
原创 CSS基础——导入方式及选择器
什么是CSS?CSS是一门语言，用于控制网页表现，CSS(Cascading Style Sheet):层叠样式表W3C标准：网页主要由三部分组成结构:HTML表现:CSS行为:JavaScript
2022-03-24 16:39:54
224
1
原创 HTML基础标签
一、HTML介绍1、什么是HTML?HTML是一门语言，所有的网页都是用HTML这门语言编写出来的。HTML(HyperText Markup Language):超文本标记语言。超文本：超越了文本的限制，比普通文本更强大。除了文字信息，还可以定义图片、音频、视频等内容。标记语言：由标签构成的语言HTML运行在浏览器上，HTML标签由浏览器来解析HTML标签都是预定义好的。例如:使用< img>展示图片2、W3C标准:网页主要由三部分组成结构:HTML表现:css行为:
2022-03-23 16:13:06
6023
原创 MyBatis——配置文件完成增删改查——删除
一、删除删除一个批量删除（一）删除一个编写接口方法: Mapper接口 ： void deleteById(int id);参数:id结果: void编写SQL语句: SQL映射文件执行方法，测试1、编写接口方法: Mapper接口 /** * 根据id删除 * */ void deleteById(int id);2、编写SQL语句: SQL映射文件<!--删除一个--> <delete id="del
2022-03-22 16:40:29
1386
原创 MyBatis——配置文件完成增删改查——修改
一、修改修改全部字段修改动态字段（一）修改全部字段编写接口方法: Mapper接口 ：void update(Brand brand);参数:所有数据结果: void编写SQL语句:SQL映射文件执行方法，测试1、编写接口方法: Mapper接口 void update(Brand brand);2、编写SQL语句:SQL映射文件 <update id="update"> update tb_brand set bran
2022-03-22 15:42:30
902
原创 MyBatis——配置文件完成增删改查——添加
一、添加把用户输入的数据，封装成一个对象，执行对应的insert语句，来添加到数据库内。编写接口方法: Mapper接口 ：void add(Brand brand);参数:除了id之外的所有数据结果: void（可以不返回任何结果，通过异常的方式判断是否添加成功：如果不出异常就是添加成功，出了异常就是添加失败）编写SQL语句:SQL映射文件1、编写接口方法: Mapper接口void add(Brand brand);2、编写SQL语句:SQL映射文件 <insert
2022-03-22 14:02:56
1524
原创 MyBatis——配置文件完成增删改查——查询
要完成的功能列表清单:1、查询查询所有数据查看详情条件查询2、添加3、修改修改全部字段修改动态字段4.删除删除一个批量删除一、准备环境数据库表tb_brand实体类Brand测试用例安装MyBatisX插件（一）数据库表tb_brand（二）实体类Brandpackage com.itmybatis.pojo;/** * 品牌 * alt+鼠标左键，整列编辑 * 在实体类中，基本数据类型建议使用其对应的包装类型 * 如int换成Integ
2022-03-21 18:07:08
1344
7
原创 MyBatis代理开发与核心配置文件
一、MyBatis简介什么是MyBatis?MyBatis 是一款优秀的持久层框架，用于简化JDBC开发。MyBatis 本是 Apache 的一个开源项目iBatis, 2010年这个项目由apache softwarefoundation迁移到了google code，并且改名为MyBatis。2013年11月迁移到Github官网: https://mybatis.org/mybatis-3/zh/index.html持久层负责将数据到保存到数据库的那一层代码JavaEE三层架构:表现层（用
2022-03-20 16:06:34
841
原创 JDBC——商品品牌数据的增删改查操作
JDBC练习——完成商品品牌数据的增删改查操作一、准备环境1、数据库表tb_brand2、实体类Brand/** * 品牌 * alt+鼠标左键，整列编辑 * 在实体类中，基本数据类型建议使用其对应的包装类型 * 如int换成Integer，因为int的默认值是0，可能会对结果产生影响，而Integer的默认值是null * */public class Brand { //要与表中字段的类型和名称对应 private Integer id; privat
2022-03-16 16:21:05
2883
原创 JDBC API详解——PreparedStatement
JDBC API详解——PreparedStatementPreparedStatement是一个接口，继承自Statement，表示预编译SQL语句的对象。作用：1.预编译SQL语句，性能更高；2.预防SQL注入问题，将敏感字符进行转义SQL注入：SQL注入是通过操作输入来修改事先定义好的SQL语句。用以达到执行代码对服务器进行攻击的方法。以下是一个简单的登录代码：//接受用户输入的用户名和密码 String input_name = "Mike"; St
2022-03-15 17:26:28
1269
原创 JDBC API详解——ResultSet
ResultSet基础在Statement详解后一部分【ResultSet案例】我们已经从上述代码中获取了数据库中的数据，每一行就是一个java对象，形成很多个java对象。在实际应用中，我们希望以一个表的形式来展现，就需要对这些java对象进一步处理，放到一个容器内，而集合就是一个专门装对象的容器，然后把这个容器给页面，页面就可以展示这些数据。需求：查询account账户表数据，封装为Account对象中，并存储到ArrayList集合中。第一步：定义实体类Account新建一个包pojo（这个
2022-03-14 20:10:09
1264
原创 JDBC API详解——Statement
JDBC详解——Statement作用：执行SQL语句1、int executeUpdate(sql)：执行DML（对数据增删改）、DDL（对表和库的增删改查）语句返回值：（1）DML语句影响的行数//3、定义sql String sql1 = "UPDATE account set money = 2000 where id = 1"; //4、获取执行sql的对象Statement Statement stmt = conn.createSta
2022-03-14 20:04:41
1812
原创 JDBC API详解——Connection事务处理
JDBC API详解——Connection1、获取执行SQL的对象（1）普通执行SQL对象Statement stmt = conn.createStatement();（2）预编译SQL的执行SQL对象，防止SQL注入PreparedStatement preparedStatement(sql)（3）执行存储过程的对象（不常用）CallableStatement prepareCall(sql)2、事务管理（1）MYSQL事务管理开启事务：BEGIN;
2022-03-14 19:54:24
2340
原创 JDBC API详解——DriverManager
JDBC API详解——DriverManager（驱动管理类）1、注册驱动Class.forName(“com.mysql.cj.jdbc.Driver”);MYSQL5之后的驱动包可以省略注册驱动的步骤，因为会自动加载jar包中META-INF/services/java.sql.Driver文件中的驱动类2、获取数据库连接Connection conn = DriverManager.getConnection(url,username,password);（1）url:连接路径语法：j
2022-03-14 19:49:31
4206
原创 MySQL安装与环境配置
1.下载地址官网：https://www.mysql.com2. 打开官网，点击DOWNLOADS，然后，点击MySQL Community(GPL) Downloads
2022-03-12 22:40:55
631
原创 Navicat连接MySQL问题解决方案
navicat连接mysql时出现问题，以下为解决方案一、将Date目录下的my.ini文件复制到所安装位置目录下。（如果有可跳过）二、在cmd命令提示符下输入mysql -u root -p 回车输入密码三、输入 select user,host,plugin from mysql.user; 回车看到root后的plugin是caching_sha2_password，我们需要修改这个地方四、输入 ALTER USER ‘root’@‘localhost’ IDENTIFIED WIT
2022-03-11 17:15:28
3161
原创 JAVA基础——1、Java语言概述
一、软件开发介绍1.软件分为系统软件（即操作系统）和应用软件，层次为硬件、操作程序（Windows、Linux、安卓、IOS等）、应用软件、用户；2.人机交互方式：图形化界面（GUI）（更常用，如点一下“B”，就加粗，而不去关心底层）命令行方式（CLI）3.常用的DOS命令：dir 列出当前目录下的文件及文件夹（directory），直接输入dir然后回车md 创建目录（make directory），（md 文件夹名字）rd 删除目录cd 进入指定的目录，（cd 文件夹名/路径
2022-03-06 15:33:39
585
原创 DBeaver连接超时解决方法
服务已全部启动，在所有条件都正常的情况下，仍连接失败，如下图：防火墙的问题，将10000端口拦截了。在虚拟机中输入systemctl status firewalld查看防火墙的状态，发现正在运行中：这里提供两种方式：方法1: 在宝塔里放行端口10000方法2：在linux中直接停掉防火墙：sudo systemctl disable firewalld重新连接，可以连接成功...
2021-04-09 14:51:47
10681
原创 Sqoop环境配置
1.已安装了JDK和hadoop2.将sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到虚拟机中3.分别输入“java -version”和“hadoop version”验证JDK和hadoop的环境4.解压sqoop的压缩包并放入/usr/local目录下：tar -xf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzsudo mv sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop-1.4.7
2021-04-01 16:56:05
1362
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人