- 博客(54)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive grouping sets ParseException line 88:21 missing ) at ‘,‘ near ‘)‘ in subquery source
hive grouping sets error
2022-06-27 15:04:53
710
原创 could not find artifact eigenbase:eigenbase-properties:pom:1.1.4 in cloudera
正确上网后的解决在mvn.conf中的settings.xml文件中增加源到以下三个 <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/r
2022-03-22 14:41:32
1886
2
原创 java螺旋数组顺逆时针，z型打印+中心打印
import java.util.ArrayList;import java.util.Arrays;import java.util.HashSet;import java.util.LinkedList;public class Sword { public static int[] spiralOrder(int[][] matrix) { if(matrix.length == 0) return new int[0]; int l = 0, r
2021-09-12 20:21:54
235
原创 celery不定式任务执行，父子关系+并行计算
celery 进阶目录结构proj/__init__.py/celery.py/tasks.py文件内容tasks.pyfrom __future__ import absolute_import, unicode_literalsfrom .celery import appfrom time import [email protected]()def add(x, y): print("add:",x,y) return x + [email protected]()def m
2021-08-17 15:20:11
401
2
原创 spark常用命令
常见命令函数名功能实例parallelize makeRDDrangerdd创建sc.parallelize(Array(1,2,3,4))sc.parallelize(1 to 100)sc.makeRDD(List(1,2,3,4,5))sc.makeRDD(1 to 100)sc.range(1,100,3)getNumPartitions检查rdd分区数rdd.getNumPartitionsrdd.partitions.lengthtextFile文件
2021-07-02 15:52:40
736
1
原创 ImportError: libmysqlclient.so.18: cannot open shared object file: No such file or directory
下载对应文件http://files.directadmin.com/services/es_7.0_64/libmysqlclient.so.18上传到/usr/libvim /etc/ld.so.confinclude ld.so.conf.d/*.conf/usr/lib/添加上/usr/lib执行ldconfig
2021-06-23 10:54:54
146
2
原创 InnoDB: mmap(137428992 bytes) failed； errno 12 mysql启动失败
解决方法在/etc/my.cnf最后添加上innodb_buffer_pool_size = 20M然后在启动systemctl start mysqld
2021-05-11 14:43:47
359
原创 azkaban 启动web报错java.sql.SQLException: Cannot create PoolableConnectionFactory
web节点启动bin/start-web.sh后查看日志报错解决查看conf/azkaban.properties中的Mysql用户在对应mysql权限如果是远程连接修改host为%刷新缓存flush privileges;
2021-05-10 16:24:35
974
原创 at org.apache.hadoop.hbase.client.AsyncProcess$BatchErrors.makeException hbase clientput数据失败
java clientput失败解决方式1.查看hbase的log日志2021-05-07 22:04:45,997 INFO [AM.ZK.Worker-pool2-t17] master.RegionStates: Transition {5391dee324fcf5e26990ecea202be098 state=PENDING_OPEN, ts=1620396285688, server=hadoop02,16020,1620396224804} to {5391dee324fcf5e2699
2021-05-07 22:58:52
569
原创 fatal error: my_config.h: No such file or directory
安装hue遇到的问题进入copy下对应内容，粘贴到/usr/include命名为my_cofig.hhttps://dev.mysql.com/doc/dev/mysql-server/8.0.11/my__config_8h_source.html
2021-04-18 18:19:25
747
1
原创 mac完全卸载Pycharm亲测
解决在网上找的都是删除log，cache 根本就没有相关文件，最后翻出去找到完全删除的相关命令，针对linux找到的解析Here’s what worked best for me.Go to Applications > right click PyCharm > move to trashopen a terminal and run the following: find ~/Library/ -iname “pycharm”verify that all of t
2021-04-12 11:02:16
1702
原创 hadoop client返回内网ip报错ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGT
在hdfs-site.xml加入<property> <name>dfs.client.use.datanode.hostname</name> <value>true</value></property>重启集群hadoop dfsadmin -refreshNodesclient代码加入configuration.set("dfs.client.use.datanode.hostna.
2021-04-07 19:03:43
3350
转载 docker Some index files failed to download.” Error In Ubuntu apt-get update报错
docker Some index files failed to download.” Error In Ubuntu apt-get update报错在百度搜的基本都不行，最后飞机出去搜到一个解决方法建议删除之前进行备份一下sudo mv /etc/apt/sources.list{,.backup}sudo mv /etc/apt/sources.list.d{,.backup}Ubuntu在/usr/share/doc/apt/examples/sources中有一个示例源列表文件
2021-01-13 15:50:58
339
原创 mysql too many connections
使用mysql -uroot -p连接不进去mysql可以/etc/my.cnf文件中添加wait_timeout = 600interactive_timeout = 600进入mysql 命令行后：show full processlist; --查看哪些进程正在运行show variables like '%max_connections%'; --查看mysql的最大连接数：show global status like 'Max_used_connections';查看服务
2020-12-23 09:58:31
111
原创 uwsgi: error while loading shared libraries: libcrypto.so.1.1: cannot open shared object file: No su
find / -name libssl.so.1.1 uwsgi ln -s /home/hadoop/anaconda3/lib/libssl.so.1.1 /usr/lib64/libssl.so.1.1 uwsgi find / -name libcrypto.so.1.1 ln -s /home/hadoop/anaconda3/lib/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1 uwsgi
2020-11-17 11:40:31
632
原创 spark ssh ssh: connect to host name1 port 22: Connection refused
spark安装配置后启动start-all.sh脚本时，与节点之间ssh不上默认是22端口vi /etc/profile 在profile 文件最后一行加入命令：export SPARK_SSH_OPTS="-p 9999" #注：9999是ssh 端口 sorce /etc/profile然后就可以启动了...
2020-10-13 09:49:34
669
原创 hive启动报错Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.Safe
原因是没有关闭安全模式解决hdfs dfsadmin -safemode leave
2020-08-06 10:21:58
1052
原创 Leetcode 1472. 设计浏览器历史记录 python3
"""1472. 设计浏览器历史记录你有一个只支持单个标签页的 浏览器 ，最开始你浏览的网页是 homepage ，你可以访问其他的网站 url ，也可以在浏览历史中后退 steps 步或前进 steps 步。请你实现 BrowserHistory 类：BrowserHistory(string homepage) ，用 homepage 初始化浏览器类。void visit(string url) 从当前页跳转访问 url 对应的页面 。执行此操作会把浏览历史前进的记录全部删除。string
2020-07-13 17:02:11
140
原创 ffmpeg合并视频
新建一个文件file.txtfile ‘1.avi’file ‘2.avi’file ‘3.avi’file ‘4.avi’ffmpeg -f concat -i file.txt -c copy output_4G.avi
2020-07-13 16:43:04
101
原创 Leetcode 819 python3
class Solution: def mostCommonWord(self, paragraph, banned): import re res = paragraph#中间变量 banned=sorted(banned,key=len,reverse=True)#根据修改的长度进行排序 if banned: while banned: pattern = '{}'.forma
2020-07-08 15:29:52
81
原创 leetcode 面试一次编辑01.05python3
"""字符串有三种编辑操作:插入一个字符、删除一个字符或者替换一个字符。 给定两个字符串，编写一个函数判定它们是否只需要一次(或者零次)编辑。示例 1:输入:first = "pale"second = "ple"输出: True示例 2:输入:first = "pales"second = "pal"输出: False"""class Solution: def get_flag(self,first,second):#获取两个字典中不同的个数 eg:建值一个存在一个不存在
2020-06-29 09:53:02
173
原创 leetcode 1405 python3
"""如果字符串中不含有任何 'aaa'，'bbb' 或 'ccc' 这样的字符串作为子串，那么该字符串就是一个「快乐字符串」。给你三个整数 a，b ，c，请你返回 任意一个 满足下列全部条件的字符串 s：s 是一个尽可能长的快乐字符串。s 中 最多 有a 个字母 'a'、b个字母 'b'、c 个字母 'c' 。s 中只含有 'a'、'b' 、'c' 三种字母。如果不存在这样的字符串 s ，请返回一个空字符串 ""。示例 1：输入：a = 1, b = 1, c = 7输出："ccacc..
2020-06-28 16:56:54
170
原创 mp3转pcm
安装ffmeg后ffmpeg -y -i youxiyuyin0802002.mp3 -acodec pcm_s16le -f s16le -ac 2 -ar 16000 youxiyuyin0802002.pcm
2020-06-18 17:22:44
755
原创 pandas read_csv报错Skipping line 749030: expected 30 fields, saw 31
最近处理个需求需要在hive导出文件后用pandas进行处理生成个新的csv。 然后在read_csv时，遇到了这个跳过这以行的提醒，文件100行可能读进dataframe中可能只剩下了8行，这是因为在csv中的分隔符是',',在hive字段中如果有英文逗号就会在pandas转成多列就不会读进dataframe 解决方法：在hive -e进行重定向之前，将hive的对应字段进行一步清洗工作，比如translate(name,",","") as name,这样在hive -e导出的csv读取...
2020-05-14 12:01:35
1952
原创 awk学习
-新创建个文件testuid,phone,name1,123,小明2,234,小红3,123,小小4,123,dada5,256,qwqw6,234,erer7,3432,zxzx8,121,zzxzx9,122,wq打印每一行awk -F"," '{print $0}' test打印第一列awk -F"," '{print $1}' test打印分别列加列名-awk -F"," '{print "uid:"$1"\tphone:"$2"\tname\t"$3 }' te
2020-05-14 11:44:36
239
原创 pandas to_csv在excel中乱码
使用pandas to_csv时，输出文件用excel打开时，所有内容会乱码的情况：解决：1.查到的资料有的说在to_csv中加上coding='gbk’的参数（csv文件中文以GBK编码），加上参数后遇到/x01字符解析不了成gbk的情况，进行replace可以正常解决，不过会缺少数据。换个方式解决，在输出to_csv时，指定coding='utf_8_sig’或者’utf-8’或者’Ascii’选一个能正常输出的。然后对结果文件进行iconv操作，如下iconv -c -f UTF-8 -t
2020-05-12 10:57:38
694
原创 hive md5 udf
java代码：package testmvn_project;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.hive.ql.exec.UDF;import java.security.MessageDigest;public class MD5 extends UDF { publi...
2020-05-07 18:25:41
496
原创 sqoop安装及导入hdfs hive
一.sqoop的下载安装1.下载地址：http://ftp.wayne.edu/apache/sqoop/（推荐下载sqoop1版本）2.将下载的sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到服务器对应目录下3.对下载的包进行操作，编辑对应设置tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C app/cd ...
2020-04-17 13:43:19
192
转载 securecrt遇到一个致命的错误且必须关闭问题解决
securecrt遇到一个致命的错误且必须关闭问题解决一个崩溃转储文件已创建于:C:***\secureCRT.dmp1.将对应崩溃转储文件进行删除2.打开cmd->输入regedit打开注册表搜索 VanDyke的项全部删除即可。我是win764位的HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\下有个vandyke项删了就能启动了...
2020-04-03 09:54:41
1888
原创 django运行时报错Error: [WinError 10013] 以一种访问权限不允许的方式做了一个访问套接字的尝试。解决
windows环境运行django项目中遇到题目的问题原因是启动的端口被原来的某个进程正在运行查看对应的端口的占用情况：netstat -aon|findstr "8000"查看到对应的进程对应78740进程在通过命令查找78740的是什么应用占用的:tasklist|findstr "78740"结束对应进程： taskkill /f /t /im WXDrive.e...
2020-01-13 14:14:40
490
转载 mysql根据一个表数据修改另一个表
update table_2 m set m.column = (select column from table_1 mp where mp.id= m.id);
2019-11-13 14:13:12
6859
转载 转.Git出现冲突error: Your local changes to the following files would be overwritten by merge: xxx/...
步骤如下：通过git stash将工作区恢复到上次提交的内容，同时备份本地所做的修改，之后就可以正常git pull了，git pull完成后，执行git stash pop将之前本地做的修改应用到当前工作区。git stashgit pullgit stash pop看到这里有些人就懵逼了，我也一样，使用SourceTree的对于git命令的就是白痴的，下面我就介绍一下这三行代...
2019-11-08 16:31:05
99
原创 python3获取经纬度根据百度api获取一个地点的经纬度及用经纬度返回所在地点信息
def get_station_informations(address):#根据一个地点通过api获得经纬度，再通过经纬度获取对应地点的信息 print('address:',address) queryStr = '/geocoder/v2/?address=%s&output=json&ak=yourak' % address encodedStr ...
2019-11-07 10:50:44
402
原创 update case when批量修改并保存原来个别信息
UPDATE table_nameset province =CASE provinceWHEN '安徽省' THEN '安徽'WHEN '河北省' THEN '河北'WHEN '广西壮族自治区' THEN '广西'WHEN '北京市' THEN '北京'WHEN '江苏省' THEN '江苏'WHEN '四川省' THEN '四川'WHEN '山东省' THEN '山东'WH...
2019-11-01 17:46:57
202
原创 python3转Python2中使用quote，以及字符编码的坑
在对python3的自动获取百度api脚本，转到python2时，原百度地图api的加密queryStr = '/geocoder/v2/?address=%s&output=json&ak=yourak' % addressurl = parse.quote("http://api.map.baidu.com" + queryStr +'&callback=sho...
2019-10-23 16:19:39
1705
原创 flask报错TypeError: 'dict' object is not callable
在本地进行flask一个接口测试（请求体为json），用postman进行请求返回的都是正常信息，在上传到服务器时，运行该借口，其他终端进行运行测试脚本时，会报该错误，且提示错误都是在包的位置，没有对脚本本身进行提示，路由函数最后返回的是一个字段，return res.解决：将最后返回的结果转换为json格式json.dumps(res,ensure_ascii=False)...
2019-10-21 13:43:42
764
原创 python2 u'\u..输出问题
循环输出一个list是正常显示汉字，直接输出list，list中的元素都是以u'\u..'开头，网上的答案大多数都是对元素先编码在解码，不过并不能解决该问题解决方法：def printlist (alist): liststr = '' for ele in alist: liststr = liststr + ele + ',' return "...
2019-10-18 14:19:10
1421
原创 ImportError: No module named MySQLdb解决
ImportError: No module named MySQLdb解决在网上查询到的大多都是安装缺失的模块，遇到这个问题在使用sqlalchemy.create_engine方法连接数据库时遇到的报错，我的python版本为2.7,在使用pip install mysqldb显示没有该模块在https://stackoverflow.com/questions/22252397/im...
2019-10-18 09:51:44
409
原创 python 处理xls遇到的坑
再用pandas.read_csv,read_excel都处理不了xls文件，会遇到各种编码错误，在网上查到的大多数都是对源文件进行修改格式，转换成utf-8格式（例如使用sublime,或者记事本）不过对低版本的xls文件进行转换编码操作会损坏源文件最开始我手动使用excel对xls另存为保存为csv文件在用pd.read_csv进行处理，部分数据确实可以处理不过对于长整形数类型...
2019-10-10 18:01:17
1141
原创 xlsxwriter写入后只能在wps打开无法在excel打开，文件已经损坏
在进行xlsxwriter进行对表格操作时，遇到了这种问题，最开始将后缀修改成xls也不行解决：在wps中 文件选项另存为为wps_1997_2003格式再用excel就可以正常打开了...
2019-09-24 15:20:48
1991
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人