- 博客(16)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 大数据核心之框架Hadoop系列4
大数据笔记 4（hadoop环境搭建）Hadoop运行环境搭建（开发重点）一、虚拟机环境准备1、克隆虚拟机（三台及以上）可以在vm里面直接进行克隆，注意要是完全克隆。2、修改克隆虚拟机的静态IP在这里面找到自己的名字，我的是ifcfg-ens33然后进入vi编辑器，这里面可以设置网络的所有配置：IP、网关、DNS等3、修改主机名vi /etc/hostname直接设置名字就行。4、关闭防火墙（可以设置启动关闭防火墙或者每次关闭【不推荐这种做法】）这里关闭防火墙有很多方式，有些
2021-02-04 15:03:04
68
原创 大数据核心之框架Hadoop系列3
大数据笔记 3（hadoop入门基础）第1章 大数据概论1.1 大数据概念大数据（Big Data)︰指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。（来源于百度百科）主要解决，海量数据的存储和海量数据的分析计算问题。按顺序给出数据存储单位: bit、Byte、KB、MB、(GB、TB、PB、EB、ZB、YB、BB、NB、DB。1 Byte = 8 bit1 K= 1024 B
2021-02-02 13:00:11
97
原创 大数据核心之框架Hadoop系列2
大数据核心之框架Hadoop大数据笔记 2（安装hadoop2.7.2）1、安装前准备可以观看我笔记1，使用WinSCP软件或者xftp软件将hadoop的安装包（一定是Linux版）传入到Linux中。特别注意：① 在配置Linux系统的时候一定要讲ip地址配置成静态的，不然到时候使用WinSCP软件传入文件不可行，linux下也要讲防火墙关闭。② 这次我使用的ftp软件进行传输的文件；这个软化和WinSCP一样的使用方式。③ 我使用的是hadoop2.7.2版本的。④ 在此之前，大家可
2021-01-24 18:32:58
122
1
原创 大数据核心之框架Hadoop系列1
大数据核心之框架Hadoop大数据笔记 1（安装jdk）1.使用WinSCP软件对Linux系统传送jdk-8u144-linux-x64.tar.gzhadoop-2.7.2.tar.gzapache-hive-2.3.6-bin.tar.gz暂时可以只传这三个下面图是在Linux系统下已经在/usr/java这个目录已经创建完成的情况下。才使用这样直接传入的。打开创建好的linux系统，并且已经配置完成。特别注意：在配置Linux系统的时候一定要讲ip地址配置成静态的，不然到时候使
2021-01-16 20:19:51
192
翻译 基于Python的Tablib库做数据的表格存储
- 本文借鉴于知乎id [bugfeng](https://zhuanlan.zhihu.com/p/420652032)的基础上进行了整理，若侵权及删 - 本文基于两个库进行数据的生成以及存储(xlsx格式，其他格式还在研究中). - 本文以函数的形式进行开发，目前只对**元组**和**列表**进行的处理(其他数据类型还在学习中)且可能还存在一些bug，如有发现可指正. - 最后结果的数据为模拟数据，并非个人真是数据。 - 本文只用作于笔记的存储，无其他意义.
2022-11-11 21:04:00
212
1
原创 UiBot进行谷歌浏览器长截屏办法
声明：本章仅是做笔记而已，无其他用途。若侵权联系作者将进行删除。 标题是因为我是在使用RPA的uibot工具的时候出现的问题，所有选用这个标题。 转载：原著一、打开谷歌浏览器（网址可以随便一个 仅测试）运行F5二、进入检查模式 F12这里可以有多种方式进入到检查模式，模拟按键仅为方便的一种三、使用模拟键盘 快捷键Ctrl+Shift+P代码：">capture full size screenshot"如果是在程序要截取多个图的时候 就可以添加一个 Ctrl+A1 的组合键，这
2021-08-16 15:17:45
1066
原创 中级认证宝典【全理论】
中级认证宝典----------------------全是理论，可能会有点枯燥---------------------------一、HTTP/FTP的应用1 HTTPGET：可以返回一串JSON字符串，uibot还提供了设置HTTP请求头和cookies功能，分别为“设置cookies”和‘设置headers’两个命令，cookies一般存储网页的状态信息。设置Headers”命令的则可以帮助我们模拟浏览器访问目标页面，因为它可以携带请求方的一些信息，例如我们用的什么浏览器、请求的来源等
2021-08-11 12:02:52
2988
原创 RPA官网视频学习笔记【全理论】
----------------------全是理论，可能会有点枯燥---------------------------RPA官网视频学习笔记初级认证宝典一、RPA相关地址考试地址文档地址视频地址命令指南二、RPA行业介绍诞生于财务行业。三大特性：强大、简单、快捷三、视图变量考点1 UiBot界面考点录制功能可以在可视化视图，源码视图使用数据抓取功能，属于工具栏，不能抓取Excel、word中的内容uibot支持四种浏览器，其中UB浏览器、IE浏览器不需要扩展选择目标的时候
2021-08-11 11:51:48
1378
原创 Uibot实践题（非企业级框架）
实践题：预订机票1）打开新的浏览器（Chrome和IE均可），访问 携程网（https://www.ctrip.com/），查询 第二天“长沙”->“北京” 的机票。2）将查询到的结果保存到Excel表格 xlsx 格式；3）打开第二步保存的Excel表格，读取结果，打开Excel，最大化，输入信息，格式如下：4）弹出对话框，询问用户需要订第几张机票，用户输入后，检查输入数值是否合法，若不合法（超出第三步的范围）给出提示，提示用户重新输入。如果合法，进行第5步。5）弹出提示框，告知用户选择机
2021-08-05 11:27:17
653
3
原创 搭建hive、mysq(细)
搭建hive、mysq(细)搭建hive和mysql是如何实现的呢？hive的官网http://hive.apache.org/HIVE?The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data a
2021-04-21 14:43:57
161
原创 集群hadoop的配置文件（细）
配置文件一、常用配置文件的文件core-site.xmlhdfs-site.xmlhdfs-env.shmapred-site.xmlmapred-env.shyarn-site.xmlyarn-env.shslaves二、配置文件中的内容①核心配置文件：core-site.xml[root@HadoopMaster module]# `cd /opt/module/hadoop-2.7.2/etc/hadoop/`[root@Hadoo
2021-04-20 10:39:26
577
原创 HDFS：在集群上操作文件目录
HDFS：在集群上下载文件到本地（windows）package com.rzhao;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.junit.Before;import org.junit.After;import org.junit.Test;import java.io.IOE
2021-03-31 19:48:32
334
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人