- 博客(50)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 Hive初始化元数据常见报错
目录 Hive元数据相关配置一、hive的配置二、mysql数据库配置三、使用schematool 初始化hive的元数据四、检查数据库 hive初始化元数据常见的报错 Hive元数据相关配置一、hive的配置下面是Hive元存储”的存储位置为MySQL数据库，必要...
2019-06-04 11:42:12
18535
36
转载 sortBy(-_._2 ) in scala
sortBy(-_._2 ) in scala_._2表示按照第二个字符进行排序前面的-号表示逆序（降序）排序，默认是升序排序scala> List(1,2,3).sortBy(-_)res0: List[Int] = List(3, 2, 1)scala> List("a"->1,"b"->2, "c"->3).sortBy(-_._2)res1: L...
2020-04-14 14:43:43
1133
原创 卡牌分组
卡牌分组题目：卡牌分组给定一副牌，每张牌上都写着一个整数。此时，你需要选定一个数字 X，使我们可以将整副牌按下述规则分成 1 组或更多组：每组都有 X 张牌。组内所有的牌上都写着相同的整数。仅当你可选的 X >= 2 时返回 true。示例 1：输入：[1,2,3,4,4,3,2,1]输出：true解释：可行的分组是 [1,1]，[2,2]，[3,3]，[4,4]示例...
2020-03-27 18:13:40
489
原创 车的可用捕获量
leetcode 每日一题题目：车的可用捕获量在一个 8 x 8 的棋盘上，有一个白色车（rook）。也可能有空方块，白色的象（bishop）和黑色的卒（pawn）。它们分别以字符 “R”，“.”，“B” 和 “p” 给出。大写字符表示白棋，小写字符表示黑棋。车按国际象棋中的规则移动：它选择四个基本方向中的一个（北，东，西和南），然后朝那个方向移动，直到它选择停止、到达棋盘的边缘或移动到同...
2020-03-26 16:09:44
287
原创 Python反射机制
python反射什么是反射?这时摘自维基百科的解释在计算机学中，反射（英语：reflection）是指计算机程序在运行时（runtime）可以访问、检测和修改它本身状态或行为的一种能力。[1]用比喻来说，反射就是程序在运行的时候能够“观察”并且修改自己的行为。和反射还有一个很相似的机制：自省很多人可能觉得反射和自省是一样的，但是反射机制不仅包括要能在运行时对程序自身信息进行检测，还要...
2020-03-24 17:25:16
533
原创 markdown 图片居中
<style> img { float: center;margin-right: auto;margin-left: auto;"}</style>
2020-03-24 14:23:54
355
原创 深入了解JSON
深入聊聊Json因为这几天的工作主要是把excel表格的数据转换为json数据接口，所以借此机会来深入了解一下Json在此之前，我接触的大多数json数据接口都是类似python字典的接口，所以天真地以为把json当做python的字典来用就可以了但是我发现列表结构的数据也是可以转换成json格式的，甚至是一个简单的数字，一个字符串或者布尔类型都是可以转换为json格式数据的于是我...
2020-03-23 16:28:37
370
原创 关于scala :_* 的用法
在scala中，在传入一个可变参数的时候，实际上是传入一个varargs而:_*可以将你的集合变成一个varargs看一个案例：package chapter11.homeworkimport scala.collection.mutableimport scala.collection.immutable.ListMapobject Exercise03 { d...
2020-01-20 10:43:41
4008
原创 scala将列表里面的元素全部转换为大写/小写
字符串转换为大写：str.toUpperCase()字符串转换为小写：str.toLowerCase()使用map进行全部转换 def main(args: Array[String]): Unit = { /* 将 val names = List("ALice","Bob","Nick"）中所有单词，全部转成大写 */ var n...
2020-01-19 15:27:08
4837
转载 HDFS坏块修复
检测路径下是否有坏块：bin/hdfs fsck /删除路径下的坏块：bin/hdfs fsck / -delete修复坏块：hdfs debug recoverLease -path / -retries 5retries 为重试次数
2020-01-10 11:33:30
1007
原创 scala命名规范
包名规范一般是小写字母、数字、点组成不能以数字开头不能使用关键字示例com.公司名.项目名.模块名com.guigu.oa.modelcom.sina.user类名规范数字、字母、下划线、美元符号组成一般以大写字母开头一般使用驼峰命名法不能使用关键字示例PersonEduAnalysisobject规范数字、字母、下划线组成一般以小...
2020-01-09 14:13:22
897
原创 无界面虚拟机安装vm-tools
参考：https://docs.vmware.com/cn/VMware-Workstation-Player-for-Windows/15.0/com.vmware.player.win.using.doc/GUID-08BB9465-D40A-4E16-9E15-8C016CC8166F.html?tdsourcetag=s_pctim_aiomsg1.创建挂载点：mkdir ...
2020-01-02 17:20:43
972
转载 Hive创建表时添加中文注释后乱码问题
创建数据表时我们经验会添加一些中文注释到表里面方便识别，最近在测试hive的时候，发现添在Hive创建表时添加COMMENT时的中文注释就会出现乱码，如下：解决方法一：建议使用此方法登陆Mysql数据库切换到Hive库：usehive修改以下两张表即可；altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)c...
2019-12-28 17:49:28
204
原创 scala获取字符串首字符和尾字符
一、获取第一个元素1.take()scala> "hello".take(1)res12: String = h2.索引法因为字符串的本质是字符数组scala> "hello"(0)res13: Char = h3.字符串截取scala> "hello".substring(0,1)res15: String = h二、获取最后...
2019-12-03 11:18:40
6509
原创 kafka topic常用命令
创建topic./bin/kafka-topics.sh--create--zookeeper localhost:2181--replication-factor 1 #副本数量--partitions 1 #分区数量--topic test1查看topic./bin/kafka
2019-11-29 14:06:12
532
原创 supervisord实例配置
在supervisord初体验篇我们已经把supervisord搭建起来了，也了解了一些基本的使用方法下面我们就开始配置一个实际使用的实例程序supervisord初体验传送门[^1]supervisord实例配置的一些参数...
2019-11-28 16:14:42
366
原创 pandas写数据进入数据库
这里是写入mysql和oracle的两个例子from sqlalchemy import create_engineimport pandas as pduser=""password=""host=""port=""database=""mysql_engine = create_engine(f"mysql+pymysql://{user}:{password}@{host...
2019-11-28 15:44:54
1238
原创 supervisord初体验
Supervisor是一个客户端/服务器系统，允许其用户监视和控制类似UNIX的操作系统上的许多进程。安装1.supervisord是python的一个库可以直接用过pip来进行安装pip install supervisord2.如果没有pip可以在PyPi[https://pypi.org/project/supervisor/]上下载supervisord的安装包来进行手动安装......
2019-11-27 10:02:57
455
原创 python将字符串转换成列表
import res = "[[sd,httf,g],[sd,httf,g]]"s = eval(re.sub("(?P<value>\w+)",lambda x:repr(x.group("value")),s))print(s[0])输出结果：
2019-11-15 09:40:38
5973
原创 python3 安装impyla相关的包
安装相关的包顺序pip3 install six bit_array bitarraypip3 install thriftpy==0.3.8 pure-saslpip3 install thrift-sasl==0.2.1 --no-depspip3 install impyla==0.14.1然后修改\thrift_sasl\__init__.py文件一般这个文件在/u...
2019-11-14 17:42:52
766
转载 scala对应python的语法参照
给Python程序员的Scala入门教程转载自：https://www.jianshu.com/p/59dbb62ab358快速语法对照List Python Scala 空List a = [] val a = List()//List[Nothing] Int a = [1,2,3,4,5] val a = List(1,2,3,...
2019-10-23 14:49:32
375
原创 python 内置方法hassttr()、setattr()、getattr()
目录一、hasatt()二、getattr()三、setattr()一、hasatt()判断一个对象是否拥有某属性，返回一个布尔值#hasattr:判断对于一个对象是否存在这个属性,返回一个布尔值class test(): a=1 b=2if __name__ == '__main__': t=test() print(hasatt...
2019-07-02 10:08:31
2327
原创 python getpsss模块
一、getpass模块getpass模块使用于隐藏输入信息的模块，一般用于在保护密码输入的时候是使用二、使用：#encoding=utf-8import getpasspwd = getpass.getpass("请输入密码： ")print("密码输入成功！")print("你的密码是：%s" % pwd)三、缺点;该模块只能在交互模式下使用，在py...
2019-07-01 18:15:26
202
原创 python查看迭代器可迭代次数
这里要使用到more_itertools这个包，直接用pip安装就可以了pip installmore_itertools#迭代器可迭代的次数# import more_itertools# print(more_itertools.ilen(data))...
2019-06-21 16:04:16
3296
3
原创 pandas dataframe 将一行按拆分成多行
方法一：df=df.drop('cont', axis=1).join(df['cont'].str.split('/', expand=True).stack().reset_index(level=1, drop=True).rename('tag'))方法二：df=df['cont'].str.split('/', expand=True).stack().re...
2019-06-20 14:20:51
9517
原创 idea scala插件
<build> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> &l...
2019-06-18 17:08:19
580
原创 HIve view 查询出错
1.创建/user/adminsu hdfshdfs dfs -mkdir /user/adminhdfs dfs -chown admin:hdfs /user/admin2.创建数据库DS_JOBIMPL_11/6CREATE TABLE DS_JOBIMPL_11 ( DS_id VARCHAR(255) NOT NULL, DS_application...
2019-04-23 11:04:02
466
原创 selenium获取全部页面的html
执行js得到整个HTMLhtml = driver.execute_script("return document.documentElement.outerHTML")
2019-04-15 17:18:55
16306
2
原创 windows安装pytesser3进行图像识别
PIL安装Windos平台可以直接去PIL官网下载exe安装包。http://pythonware.com/products/pil/注：官网提供的安装包是32位的，63位系统请前往这里http://www.lfd.uci.edu/~gohlke/pythonlibs/#pillow下载替代包pillow。pytesser3安装下载地址：https://github.c...
2019-04-15 17:13:48
370
原创 python删除hbase一整列数据
hbase删除数据每次都要传入一的rowkey，然后按行删除数据，所以我们删除一列只需要获取到这一列数据的行号就行了。from happybase import ConnectionCLIENT=Connection(host='xxxxxxxx',port=xxxxx)table=CLIENT.table('xxxxx')data=table.scan(columns=['colu...
2019-04-12 10:45:22
846
原创 selenium基本操作
firefox设置selenium无界面from selenium import webdriveroptions = webdriver.FirefoxOptions()options.set_headless()driver=webdriver.Firefox(firefox_options=options)driver.get("http://www.baidu.com")...
2019-04-09 11:46:32
1026
原创 python去除html标签及标签里面的内容
使用正则表达式import rehtml='<p class="txt" node-type="feed_list_content" nick-name="人民日报">\n 【<a href="http://s.weibo.com/weibo?q=" target="_blank">#13个求职新方向#</a>！有...
2019-04-08 14:00:55
4838
原创 Ambari-server 启动错误
确实Mysql JDBC驱动导致数据库检查失败错误解决方法：把Mysql的JDBC驱动放在这几个目录下，且命名必须为：mysql-connector-java.jar不然ambari识别不出来1 /usr/share/java2 /var/lib/ambari-server/resources3 /var/lib/ambari-server...
2019-03-21 14:21:33
1885
3
原创 Ambari openssl错误
编辑 /etc/python/cert-verification.cfg 配置文件，将 [https] 节的 verify 项设为禁用：sed -i 's/verify=platform_default/verify=disable/' /etc/python/cert-verification.cfg
2019-03-21 14:17:26
410
原创 设置Myql远程连接
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Zgw-123' WITH GRANT OPTION;mysql>FLUSH PRIVILEGES;mysql>exit;
2019-03-19 16:53:03
155
转载 JMS
简介：JSM是java消息服务应用程序接口，是一个java平台中面向消息中间件（MOM）的API，用于两个应用程序之间，或分布式系统中发送消息，进行异步通讯。体系架构:JSM由以下元素组成：JSM提供者、JMS客户、JMS生产者、JMS消息、JMS队列、JMS主题JMS提供者：连接面向消息中间件的JSM接口的一个实现。提供者可以是JAVA平台的JSN实现，也可以是非java平台...
2019-03-19 15:51:22
345
原创 node渲染html模板的两种方法
Nodejs在进行渲染前端文件的时候，可以使用ejs或者swig渲染引擎下面是两种方法来进行渲染html文件目录方式一：使用ejs渲染引擎后台JS文件HTML模板文件方式二：使用ｓｗｉｇ进行渲染ＨＴＭＬ模板后台JS文件HTML模板文件总结：引擎设置接收参数方式一：使用ejs渲染引擎后台JS文件var express=require('exp...
2019-03-10 15:14:11
8622
原创 Nodejs+MySql+Echart(html模板渲染)
使用nodejs编写后台从数据库中读取数据，再渲染到前端html文件用Echart画图1.nodejs后台var express = require('express');var swig = require('swig');var app = express();var mysql=require('mysql');//设置swig页面不缓存// swig.setDefau...
2019-03-08 14:29:23
3908
7
原创 node版本控制nvm安装及配置
目录一、安装NVM版本控制工具1.访问guthub项目网址下载nvm2.解压出来直接双击安装3.验证安装二、设置NVM三、管理node.js1.下载node2.查看可下载版本3.查看已安装的node版本4.切换node的版本5.查看当前node版本一、安装NVM版本控制工具1.访问guthub项目网址下载nvmhttps://github.c...
2019-03-02 17:18:07
1040
1
原创 linux设置时间大全
我们在使用linux的时候，会经常发现时间不对。一般时间不对的原因有时区不对、或者是时间本身设置错误。我们可以通过自动同步或者手动设置时间的方式来修改我们的系统时间。一、查看系统时间：date二、设置时区查看时区：date -R修改时区：1.使用tzselect进行修改我们要把时区设置为亚洲→ 中国→ 上海。记住口诀49112.直接把时区...
2019-02-20 15:34:30
1555
Centos7+hadoop2.6.0分布式集群搭建
2019-01-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人