- 博客(16)
- 收藏
- 关注
RSS订阅原创 linux遇到的问题
Linux 中遇到的问题及解决方案1.java.io.IOException: Cannot run program “lsb_release”: error=2这个是在linux中启动一个界面化应用时出现的错误解决方案：这个文件的意思就是缺少该文件， 方案就是 yum install -y redhat-lsblsb_release 命令是为了查看当前系统发行版信息的，说明启动界面化应用时有个查询系统发行版的过程。2.定时运行脚本，脚本运行时间长导致同时存在两个或多个脚本同时运行解决方式
2021-03-03 10:03:32
1088
原创 将Excel文件都转换为csv格式文件，并删除原文件
将某个目录下所有非csv后缀的excel文件转换为csv文件，并改变目录。同时将原数据删除# The purpose of this script to convert the xlsx and xls suffixes into csv suffixed files while deleting the original filesimport osimport pandas as pdsrc = '/opt/tool/python3/reptile'dst = '/opt/tool/pytho
2020-12-24 16:36:42
369
1
原创 .xlsx文件与.csv文件的区别以及转换问题
今天遇到一个问题，才发现Excel中.xlsx/.xls文件 和.csv文件的区别查了查资料,发现 .csv文件其实相当于使用英文逗号分隔的文本而.xlsx/xls文件则是真正的表格 若是想要多个sheet则使用.xlsx/.xls文件而因为本人需求,需要将.xlsx文件转换为.csv文件进行保存使用pandas进行转换import pandas as pddef xlsx_to_csv_pd(): data_xls = pd.read_excel(r"C:\Users\dell\P
2020-12-24 11:05:20
2421
原创 【Python爬虫】爬取博主博客标题
请求库：requests解析库：lxml目的：爬取某位CSDN博主的文章标题import requestsfrom lxml import etreeurl = "https://yetingyun.blog.csdn.net/article/list/1"headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/8
2020-12-23 14:08:18
574
7
原创 Linux中环境变量配置文件的区别
Linux中环境变量配置文件的区别在我们查阅一些资料的时候，我们会发现针对环境变量的配置文件存在一些区别，其中包含 /etc/profile ，~/.bash_profile，~/.bashrc等这时候可能就会产生疑惑,这三者的区别在哪里,在配置环境变量的时候究竟在哪个文件中进行配置.这里将会对这三个文件进行解释,以便以后进行环境变量配置的时候能够做最好的选择.1) /etc/profile: 此文件中的环境变量表示的是全局类型的 ,就是在这个文件中配置后,所有用户都可以使用该文件中的变量. 每当这
2020-12-16 11:29:27
394
1
原创 【PySpark】 pycharm安装配置pyspark所需环境
第一步下载安装包spark安装包：http://mirrors.hust.edu.cn/apache/spark/下载好后将安装包放在没有空格的目录中第二步配置环境找到环境变量进去后点击+号，添加环境的变量SPARK_HOME 你所安装spark的目录PYTHONPATH 这个python位置在你spark目录下随后点击 Apply ->OK第三步添加pyspark需要的根文件py4j.zip, pyspark.zip文件py4j涉及到底层以后讨论点击File->
2020-12-14 10:49:06
880
原创 Sublime Text3连接虚拟机
Sublime Text3 连接虚拟机第一步 下载sftp安装方法：在sublime界面中使用快捷键shift+ctrl+p（该快捷键是打开命令框）若是第一次使用该命令，可能需要一段时间然后 （没有安装过sftp） （安装过sftp）安装过后，需要进行相关的配置菜单栏File->SFTP/FTP->SetUp Server其中路径的设置是为了能够更快打开自己所需要的的目录然后保存File->SFTP/FTP-&
2020-12-10 10:31:32
1760
2
原创 Linux定时任务crontab出现的问题及解决方法
Q：手动执行脚本可运行，定时任务时，则无反应A：主要的问题来源于crontab本身，因为在我们执行的脚本中，会涉及到一些环境变量，当手动执行时，实在shell环境中进行，脚本会自动查找环境变量。而当使用任务调度时，由于crontab本身是不会加载变量，因此就会导致运行失败。解决方案：* * * * * ./etc/profile; mycommand OR* * * * * . ~/.bash_profile; mycommand看你环境变量究竟在哪写着两者区别：前者是系统整体的设置，后者
2020-12-08 13:49:50
918
原创 Hive2.3.7整合mysql8.0遇到的问题
Hive整合mysql8.0遇到的问题执行schematool -dbType mysql -initSchema 后出现使用这个方法1.改表法可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 “mysql” 数据库里的 “user” 表里的 “host” 项，从"localhost"改称"%"mysql -u root –p123456mysql>use mysql;mysql>update user
2020-11-02 16:04:29
534
原创 Leetcode-python3-最长公共前缀
关于Leetcode中求最长公共前缀的答案，其中有一个答案是Python 特性，取每一个单词的同一位置的字母，看是否相同。```Python []class Solution: def longestCommonPrefix(self, strs): """ :type strs: List[str] :rtype: str """ res = "" for tmp in zip(*strs):
2020-10-29 11:02:09
206
原创 腾讯云安装Hadoop单机版出现的问题
安装可以参考https://www.cnblogs.com/limaosheng/p/10029925.html我在启动namenode的时候一直失败，后来经过查找，发现是腾讯云ip绑定的问题，需要在/etc/hosts中进行设置编辑为：外网IP hostname此处的hostname可以通过 直接输入命令hostname 查看...
2020-10-14 16:00:08
183
原创 PostGreSQL开窗函数
PostGreSQL开窗函数语法<窗口函数>over（partition by 分组列 order by 排序列）order by 并非必要over() 是开窗函数的关键词窗口函数存在哪些 ？聚合类：sum() avg() max() min() count()内置函数：RANK DENSE_RANK ROW_NUMBER等等聚合类的窗口函数使用方法和平时使用相同以sum()为例id type name amount1 1 liliya 36002 1 wil
2020-09-14 15:49:34
4208
2
原创 PostGreSQL使用记录(个人版)
1.将数组转换为行可以使用unnset函数 unnset(数组)。2.age()函数 使用该函数,其中的参数为日期， 获取的值为详细的年月日，结果的类型为：3years 5months 20days。3.若只想获取年龄(几年) 可以使用extract(year from age(current_date,birthday))，只获取相对应的年份。4.coalesce()是返回参数中第一个非null的值，若参数中的值都为null，则会报错。5.PostGreSQL中to_date 函数 获取的只会是年
2020-08-12 15:13:50
306
原创 PostGreSQL中使用to_timestamp函数出现 ERROR: invalid value “empt“ for “yyyy“
使用to_timestamp函数对字符串类型的日期进行操作,出现ERROR: invalid value “empt” for “yyyy”,该怎么解决, 目的是为了获取两个时间的小时差
2020-08-07 17:10:32
3313
原创 Azkaban安装
Azkaban的安装Azkaban是一个工作流调度系统因为一个完整的数据分析系统通常由大量的单元组成，而各单元间又存在许多关系，而为了很好的组织好复杂的执行计划，就需要一个工作流调度系统----->AzkabanAzkaban定义了一中kv文件格式来建立任务之间的依赖关系,并提供了一个易于使用的web用户界面维护和跟踪工作流准备工作Azkaban Web服务器Azkaban 执行...
2019-10-04 17:45:19
316
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人