lihuanqing011-CSDN博客

原创 Python相关记录

Unbuntu 更换pip 数据源:pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simplepip3 config set global.index-url http://pypi.douban.com/simple阿里云http://mirrors.aliyun.com/pypi/simple/ 中国科技大学https://pypi.mirrors.ustc.edu.cn/simple/...

2020-08-06 11:29:44 110

原创使用Python处理Json数据----pandas之json数据预处理

使用Python3中内置Json模块处理常用的方法:处理文件:json.load(open('f.json','r'))读取json文件并转为python对象; #文本中只能有一个json对象,否则可以加[] json.dump(data,open('f1.json','w'))将python对象序列化为json流到可写入的file对象;处理对象:json.loads(json_str)json对象转为python对象;(反序列化) json.dumps(data)序列化python对.

2020-07-26 12:31:51 1422

原创 Ubuntu 20.04 LTS 安装hive配置metastore、mysql和JDBC

前提：hive是基于hadoop的数据仓库工具，将一定格式的文件映射为一张张表，因此hive版本和hadoop版本有对应关系，一定要检查自己安装的hadoop和hive版本是否兼容；（文末会给出一些安装包，最新的可以到官网下载）本人hadoop版本：2.7.1，hive版本：1.2.1，jdk：1.8.0_162，mysql：8.0.20hive1.2.1 兼容Hadoop 2.x.y.-------在链接内自己可以查看hive，hadoop关系（http://hive.apache.org/dow

2020-06-13 21:08:46 2522 2

原创 Ubuntu20安装mysql8.0没有提示输入密码，第一次进入mysql

以前安装过一次，在安装过程中提示输入密码，这一次安装没有出现输入秘密，mysql -u root -pERROR 1698 (28000): Access denied for user ‘root’@‘localhost’顿时蒙蔽，试了网友的方法：cat /etc/mysql/debian.cnf …不行看其他帖子介绍安装后root默认密码为空，就输入空格试试，结果成功，是不是很简单sudo mysql -u root -p(root用户或者sudo，不然不行哦）...

2020-06-12 20:52:24 1707

原创 Linux命令入门--简介

linux介绍 Linux服务器型操作系统，产生于20世纪90年代，是个文件操作系统。它具备安全性好，性能好，维护性好，开源等优点。它是多用户多任务操作系统。常见的发行版本： Redhat Suse Centos Ubuntu Fedora Debian 红旗Linux 内核版本：a.bb.cc a表示主版本号，bb表示次版本号，cc表示修订版本号ShellShell是介于使用者和操作系统核心程序（Kernel）间的接...

2020-05-27 00:41:01 140

原创分布式文件系统HDFS的结构及运行

--内容来自厦门大学林子雨教授的《大数据技术原理》课程，作为学习笔记。分布式文件系统是大数据时代解决大规模数据存储问题的有效解决方案，HDFS开源实现了谷歌GFS，可以利用由廉价硬件构成的计算机集群实现海量数据的分布式存储； HDFS具有兼容廉价的硬件设备、流数据读写、大数据集、简单的文件模型、强大的跨平台兼容性等特点。缺点：不适合低延迟数据访问，无法高效存储大量小文件、不支持多用户写入，以...

2020-04-25 15:48:49 1322

原创 VirtualBox下Ubuntu安装

1.1Linux的选择；1.2安装Linux虚拟机；1.3安装Ubuntu；1.1Linux的选择在Linux系统各个发行版本中，CentOS系统和Ubuntu系统在服务端和桌面端使用占比最高，网上资料最是齐全，因此建议使用CentO S或Ubuntu；本人电脑大于4G，选择64位的版本，虚拟机安装的方式；1.2安装虚拟机VirtualBox； ...

2020-04-12 17:57:53 294

原创第二讲：大数据处理架构Hadoop

--内容来自与厦门大学林子雨教授的《大数据技术原理》课程，作为学习笔记。2.1概述2.2Hadoop项目结构2.3Hadoop的安装和使用2.4Hadoop集群的部署与使用2.1.1Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构； Hadoop是基于Java语言开发的，具有很好...

2020-04-11 17:51:04 1500

原创第一讲：大数据概述

--内容来自与厦门大学林子雨教授的《大数据技术原理》课程，作为学习笔记。1.1大数据时代；1.2大数据概念；1.3大数据的影响；1.4大数据的应用；1.5大数据关键技术；1.6大数据计算模式；1.7大数据产业；1.8大数据与云计算、物联网的关系1.1.1第三次信息化浪潮第一次：1980年前后个人计算机解决信息处理；第二次：1995年前后...

2020-04-09 15:24:38 486

原创 web自动化驱动下载地址

Chromechrome的webdriver：http://chromedriver.storage.googleapis.com/index.html不同的Chrome的版本对应的chromedriver.exe 版本也不一样。如果是最新的Chrome, 下载最新的chromedriver.exe 即可。FirefoxFirefox的webdriver下载地址为：https:/...

2020-01-17 15:58:34 149

lihuanqing011的博客