- 博客(12)
- 收藏
- 关注
RSS订阅原创 IDEA基础
IDEA基础基本配置常用快捷键基本配置project Settings 设置JDK—projectSettings 忽略项目基础文件.idea;.imlEditor–File Types–Ignore foles and folders(忽略文件和文件夹)添加 .idea;.iml–Fond 设置字体 Courier–File Encodings 设置编码集–Gl...
2019-08-17 13:47:02
233
原创 Python之路（垃圾回收和分支语句）
内存管理变量无需事先声明，也不需要知指定类型 动态语言特性编程中一般无须关系变量的存亡，也不用关心内存的管理python使用引用计数记录所有对象的引用数 1，当对象引用数变为0，它就可以被回收GC 2，计数增加：赋值给其他变量就增加引用计数，如x=3;y=x（x记一次，y记一次） 3，计数减少： 函数运行结束时，局部变量就会知道销毁，对象引用计数减少 ...
2019-07-17 00:41:16
205
原创 Python之路（Python基础语法）
Python 基础语法注释： # 标注的文本数字 整数，不区分long,int 进制：0xa(十六进制),0o10（八进制）,0b10（二进制） bool:2个值 True,False 浮点数： 1.2,3。1415，-0.12，1.46e9=1.46*10⁹ 复数：1+2j字符串 使用' "单双引号引用的字符的序列 ...
2019-07-15 23:57:49
132
原创 Python之路（计算机理论基础）
计算机基础知识编程基础程序 一组能让计算机识别和执行的指令现代计算机冯诺依曼体系：CPU ：运算器和控制器组成 CPU中还有寄存器和多级缓存Cache(缓存寄存器内容) CPU支持指令集X86,64等 CPU粘性或绑定主要考虑到的因素之一是缓存（一级缓存二级缓存高，性能也高， 三级缓存一般是多核CPU共享）运算器：...
2019-07-14 21:19:30
293
原创 Python之路（Linux下pyenv开发环境部署）
Linux下Python开发环境部署推荐对Python有一定了解的时候，阅读书籍开发环境 Pyenv1.Python版本：Python 3.62. Python多版本管理工具3. 下载Pyenv (Git)4. 安装Pyenv安装准备安装方式Git安装功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居...
2019-07-13 22:09:25
200
原创 Scala开篇（一）阶乘
object scalaTest0430 {def main(args: Array[String]): Unit = { println("hello") var capital = Map("US" -> "Washington" , "France" -> "Paris" ) capital += ("Japan" -> "Tokyo")val f = fa...
2019-04-30 08:42:17
1006
转载 Hive常用函数大全一览(转)
1 关系运算1.1 1、等值比较: =1.2 2、不等值比较:1.3 3、小于比较: <1.4 4、小于等于比较: <=1.5 5、大于比较: >1.6 6、大于等于比较: >=1.7 7、空值判断: IS NULL1.8 8、非空判断: IS NOT NULL1.9 9、LIKE比较: LIKE1.10 10、JAVA的LIKE操作: RLIKE1....
2019-04-29 16:54:21
185
原创 hive常用 语句合集
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)][CLUST...
2019-04-27 11:27:58
508
原创 hive常用指令
左连接：select * from a left join b on a.id=b.id;创建分区表（external）create external table if not exists testdemo(id int comment ‘id’,name string comment ‘name’ ,salary double comment ‘salary’)partitioned...
2019-03-19 08:54:24
159
原创 DD分区是为了减少shuffle中数据混洗
，就把show限制去掉，不过如果有10g内容的话建议写入到文件，写入可以使用分区，这样查询会比较快RDD分区是为了减少shuffle中数据混洗 导致的大量网络消耗，你的这个程序是没有混洗操作，所以在执行过程中不需要分区建议处理步骤：1、读取数据2、创建临时表3、在临时表中查询数据–已经查到，放入result4、将数据写回HDFS：result…write().partitionBy(“...
2019-03-16 18:17:09
134
原创 集群进入安全模式 故障案例01
安全模式 是NN启动的时候 锁定edits日志文件，并开始检查数据块信息。此时集群只能执行读操作而不能执行写操作，当检查结束的时候就会退出安全模式，然后集群就能正常使用了但是有一种情况，就是NN配置项中的 dfs.namenode.dir所在的目录 所在的磁盘如果满了，那就无法增加操作记录，NN也无法执行更新目录操作，所以此时是不能退出安全模式的...
2019-03-16 15:51:21
274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人