- 博客(11)
- 收藏
- 关注
RSS订阅原创 HDFS在上传文件时，有一个datanode挂掉怎么办
当一个DN挂掉之后，客户端接受不到这个DN的ack确认，客户端会通知NameNode，NameNode会检查该块与规定的是否相符，NN通知DN复制该块，并将挂掉的DN下线。hdfs的客户端和DataNode之间会建立pipeline通道。正向为客户端向DN写入文件 反向为DN向客户端发送ack应答。ack应答：正确接收到数据包之后发送一个已确认接收到的应答。
2024-01-05 10:31:01
458
1
原创 数据倾斜怎么解决
1：空值引起的数据倾斜2：数据类型不同引起的数据倾斜3：不可拆分大文件引起的4：数据膨胀引起的5：表连接6：确实无法减少数据量引起的数据膨胀是指任务的输出条数/数据量级比输入条数/数据量级大很多。
2024-01-05 09:38:27
355
1
原创 python基础：‘ ‘.join(data)时报错处理
join()函数可以将容器里的数据连接起来，但要求数据必须是字符串格式。因此可以写一个for循环，将不符合要求的更改为str。当list里包含整形数字，时间格式等，则无法连接。
2023-12-01 17:12:42
454
1
原创 PyCharm国内源下载包报错：ERROR: Cannot determine archive format of xxx
PyCharm国内源下载包报错：ERROR: Cannot determine archive format of xxx。
2023-12-01 16:56:29
564
1
原创 如何爬取论坛网站
import requestsfrom lxml import etreeimport refrom bs4 import BeautifulSoup as bsclass Spider(): def __init__(self,path): self.path=path self.file="discuz.txt" def get_data(self,url): html=self.get_page(url) for
2021-05-19 18:29:54
621
原创 SQLyog打开显示连接错误，成功连接后之前的代码消失
标题 SQLyog打开显示连接错误，成功连接后之前的代码消失打开sqlyog时显示连接失败，多半是服务未打开，找到服务下的MySQL打开即可sqlyog-文件-打开之前的会话点，找到自己相应的代码，打开既可恢复之前未保存的代码sqlyog默认路径：C:\Users\用户名\AppData\Roaming\SQLyog...
2020-11-11 10:01:41
1056
2
原创 python的requests库概述
爬取网页数据requests库概述安装与导入：* pip install requests导入：* import requestsrequests库的主要方法：1. requests.get():获取HTML网页的主要方法，对应与HTML的GET2. requests.post()向HTML网页提交POST请求的方法，对应于HTTP的POST3. requests.head()获取H...
2020-04-06 00:48:10
292
原创 绝对路径和相对路径
绝对路径和相对路径绝对路径就是文件的真正存在的路径，是指从硬盘的根目录(盘符)开始，进行一级级目录指向文件。相对路径就是以当前文件为基准进行一级级目录指向被引用的资源文件。 以下是常用的表示当前目录和当前目录的父级目录的标识符。../ 表示当前文件所在的目录的上一级目录 ./ 表示当前文件所在的目录(可以省略) / 表示当前站点的根目录(域名映...
2019-11-10 13:53:56
106
原创 Python set() 函数
Python set() 函数描述：set() 函数创建一个无序不重复元素集，可进行关系测试，删除重复数据，还可以计算交集、差集、并集等。set 和 dict 类似，也是一组 key 的集合，但是不存储 value. 由于 key 不重复，所以，在 set 中， 没有重复的 key 集合是可变类型语法：set语法：class set([iterable])参数说明：it...
2019-10-22 20:04:14
120
原创 Python3 基本数据类型
Python3 基本数据类型Python 中的变量不需要声明。每个变量在使用前都必须赋值，变量赋值以后该变量才会被创建。在 Python 中，变量就是变量，它没有类型，我们所说的"类型"是变量所指的内存中对象的类型。等号（=）用来给变量赋值。等号（=）运算符左边是一个变量名,等号（=）运算符右边是存储在变量中的值。例如：#!/usr/bin/python3counter = 100 ...
2019-10-20 20:49:34
90
原创 Python 字符串大小写转换
Python 字符串大小写转换以下代码演示了如何将字符串转换为大写字母，或者将字符串转为小写字母等：str = "Life is short, we used python!"print(str.upper()) # 把所有字符中的小写字母转换成大写字母print(str.lower()) # 把所有字符中的大写字母转换成小写字母print(str.c...
2019-10-20 20:27:12
431
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人