- 博客(52)
- 收藏
- 关注
RSS订阅原创 python连接oracle数据库 插入clob类型数据
python连接oracle数据库 插入clob类型数据连接数据库import cx_Oracle as cx #导入模块con = cx.connect('root', 'root123', '127.0.0.1:1521/ORCL') #创建连接cursor = con.cursor() #创建游标执行sql id='123'clob='a'*2**20 # 重复2的20次方次param=[id, colb]sql = "insert into table
2021-11-29 19:39:39
1661
转载 超详细mysql left join,right join,inner join用法分析
下面是例子分析 表A记录如下： aID aNum 1 a20050111 2 a20050112 3 a20050113 4 a20050114 5 a20050115 表B记录如下: bID bName 1 2...
2018-09-01 22:16:39
890
转载 经典SQL练习题
今天在网上找了几道经典的SQL练习题做了一下，虽然都不难，但是对打基础是很有好处的，在明白的基础上可以进一步做分析，来研究一下各种解法的优劣，甚至进行简单的优化。。 现在将题目和答案分享一下。我使用的是MYSQL 5.0，但是绝大部分都是标准SQL。 表结构： CREATE TABLE STUDENT (SNO VARCHAR(3) NOT NULL, SNAME VARCHAR(4)...
2018-09-01 13:50:54
371
转载 Spark数据本地性
分布式数据并行环境下，保持数据的本地性是非常重要的内容，事关分布式系统性能高下。概念：block ： HDFS的物理空间概念，固定大小，最小是64M，可以是128,256 。。也就是说单个文件大于block的大小，肯定会被切分，被切分的数目大概是：比如文件是250M，block是64M，就会被分为4个block，64+64+64+58，最后一个block没有满，一个block只能有一个文件...
2018-08-14 10:44:47
526
转载 如何管理Spark Streaming消费Kafka的偏移量（一）
park streaming 版本 2.1kafka 版本0.9.0.0在这之前，先重述下spark streaming里面管理偏移量的策略，默认的spark streaming它自带管理的offset的方式是通过checkpoint来记录每个批次的状态持久化到HDFS中，如果机器发生故障，或者程序故障停止，下次启动时候，仍然可以从checkpoint的目录中读取故障时候rdd的状态，便能...
2018-08-13 22:05:08
625
转载 mapreduce的map个数决定因素
转载：https://blog.csdn.net/it_dao/article/details/79417416
2018-07-28 21:42:14
1237
原创 scala基本语法
1、定义变量 val name:String=_ val/var 参数名：参数类型=默认值或初值，一般数据类型可以根据数值推断出，不用指定数据类型，但是一旦使用默认值，一定要指明数据类型。 _(下划线)表示默认值 string类型的默认值为null Int的默认值为0 val name1:String=”xiaoxiao” var name2:String=xiaoming” name...
2018-07-22 22:47:49
208
原创 格林威治时间转换成字符串
字符串转相应格式的日期再转成特定格式字符串 public Text evaluate(Text date1 ) { //源数据格式 "31/Aug/2015:00:04:37 +0800" // 目标格式 20150831000437 /* 思路： 1、将字符串转成一样格式的日期 也就是将字符串解析成相...
2018-06-26 20:55:14
2046
原创 hive 实现分组取每组的前三条记录
业务需求有以下两张表--雇员表create table emp(empno INT,COMMENT '雇员编号'ename STRING,COMMENT '雇员名字'job STRING,COMMENT '雇员职位'mgr INT,COMMENT '雇员领导编号'hiredate STRING,COMMENT '雇员入职时间'sal DOUBLE,COMMENT '雇员薪...
2018-06-26 20:27:12
8603
3
原创 yum安装mysql
1、查看是否已有yum 安装的MySQLyum list installed | grep mysql2.删除yum安装的mysql**yum -y remove mysql-libs.x86_64，若有多个依赖文件则依次卸载。 当结果显示为Complete！即卸载完毕。** 其中mysql-libs.x86_64为查询已经存在的mysql 3.安装mysql -server服...
2018-06-22 21:40:22
145
原创 Secondary NameNode的作用
NameNode的工作1、处理客户端发过来的请求 2、管理子节点 3、管理元数据元数据存储处一定不是存放在hdfs，死循环 为了加快访问，元数据放在NameNode那台主机的内存里面 内存读写速度很快，可以加快请求，但是，主机关机怎么办？？？ 元数据存储在内存中，也存储在磁盘中，也就是一个文件。 这个文件名名称fsimage, /opt/modules/hadoop-...
2018-06-15 23:30:14
536
原创 MapReduce运行到YARN的过程详解
MapReduce运行到YARN的过程详解1、客户端client向YARN主节点ResourceManager提交作业job 比如统计4G文件中每个单词出现的次数统计结果 在hadoop环境下提交作业的语句：bin/yarn jar XXX.jar MainClass args2、主节点ResourceManager在某个DataNode从节点上启动一个Container运行appli...
2018-06-15 23:20:46
1019
原创 hadoop伪分布式环境搭建过程
何为伪分布式？ 将一个任务分为几个任务去执行，只是这个任务都是运行在同一个机器上，只是模拟了分布式的过程。伪分布式安装过程2.7.6版本安装过程http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation...
2018-06-12 21:03:37
455
原创 大数据学习路线
1、何为大数据？大数据是指很多很多的数据，主要源于web2.0之后，数据库中的数据量累计起来很庞大，在对数据进行操作（主要指查询）会变得很慢，对机器的性能要求会很高，如果数据量达到足够大（如十几亿），那服务器会崩溃的2、大数据解决什么问题？大数据解决对海量数据的存储、查询、分析计算等操作，主要应用在利用庞大的数据归类分析用户的偏好，利用用户的历史信息得出相应的统计账单等，将同行业的...
2018-06-12 20:13:23
231
原创 idea以maven的形式导入项目
1、打开idea 选择import project2、找到要导入的项目在电脑磁盘的位置 选择ok3、选择maven模型4、下一步的操作如下图 5、之后都是next就好 导入完成6、之后敲打命令生成相应的jar包或者war包mvn clean:清除编译的文件，删除target目录mvn compile:编译主目录文件mvn package：打包--java工程 打的是jar包--web项目 打...
2018-06-07 22:44:17
5922
4
原创 实现读取txt文本 统计文本单词出现次数
//介绍：//InputStream 是所有字节输入流的超类，一般使用它的子类：FileInputStream等，它能输出字节流；其他地方往应用程序输入数据，也就是从其他位置读取数据在应用程序中；//InputStreamReader是字节流与字符流之间的桥梁，能将字节流输出为字符流，并且能为字节流指定字符集，可输出一个个的字符。//FileInputStream 继承于InputStream 用...
2018-06-06 21:44:42
15414
3
原创 用shell编程实现linux JDK安装
1、使用远程工具将本地的jdk安装压缩包上传至linux的某个目录下这里我是使用SecureCRTP远程工具将本地的jdk压缩包上传至linux 的/opt/software2、新建一个文件 jdk.sh，扩展名为 sh（sh代表shell）,扩展名并不影响脚本执行，见名知意就好shell脚本即是一种命令语言，又是一种程序设计语言，也就是说可以直接敲打命令也可以像写java程序一样 也可以结合使用...
2018-06-06 10:28:50
2027
原创 linux 定时任务
1、at 设定一次的定时任务at 时间+回车commandCtrL+d保存退出2、利用crontab设置多次定时任务1）启动crontab服务 service crond start chkconfig crond on 编辑定时任务 crontab -e 删除定时任务 crontab -d 2）格式：* * * * ...
2018-06-05 21:19:26
186
1
原创 linux虚拟机克隆
1、克隆的作用复制出完全一样的配置的机器。2、克隆后重新设置ip地址、网关、MAC地址因为克隆是将先前的机器完整的复制了 除了复制先前的mac地址 克隆出来的机器也会自动生成一个mac地址 mac地址是每个机器的唯一标识 物理上的唯一标识 每一台电脑具有唯一性 因此要将之前复制过来的mac地址删除 并将系统使用的mac地址改为自动生成的mac地址 在局域网防止ip地址冲突 需修改ip地址 主机名 ...
2018-06-05 20:12:07
378
原创 linux系统管理命令
1、硬盘管理常用命令：df -hdf用于显示目前在Linux系统上的文件系统的磁盘使用情况统计 -h使用人类可读的格式2、网络管理常用命令：1）ifconfig可设置网络设备的状态，或是显示目前的设置。3、服务管理命令1）查看或修改服务状态只要管理员才能最服务进行管理 如果是普通用户必须授权后才能进行相关操作格式：service 服务名称 status|start|stop|restart管理员...
2018-06-05 17:45:29
1185
原创 linux文本编辑器vi的操作
1、vi文本编辑器有三大模式：命令模式 插入模式 最后行模式1）命令模式进入vi 编辑器默认的模式就是命令模式 对文本内容的操作一般有（复制、粘贴记得配合使用 不然效果可是看不见的哦）行内容、删除行内容、跳转至某行（和显示行号配合使用 通常需求：先显示行号再跳转至某行号再操作（复制、粘贴、删除））但是显示行号的设定是在最后行模式中进行的 所以建议在一进入编辑器就建议先切换至最后行模式将行号显示出来...
2018-06-05 09:47:49
442
原创 linux用户管理和权限管理
1、用户管理1）用户分类：管理员和普通用户2）查看正在登陆的用户的详细信息id+回车3）查看所有用户信息cat /etc/passwdroot :x : 0 : 0: root: /root :/bin/bash 用户名 密码 uid gid 组名 家目录 所用是shellroot :x : 0 : 0: root: /root :/bin/bash用户名 密码 uid gid 组名 家目录...
2018-06-05 00:07:33
214
原创 linux sudo授权命令
1、帮助命令man+命令名称 这个是提供帮助的命令2、文本统计wc bb.text2 2 6 bb.text行数 单词 字符 文件名-l -w -c3、du -h 文件大小统计-h可显示文件大小的所使用的单位4、sudo命令 sudo命令用来以其他身份来执行命令，预设的身份为root。背景介绍：普通用户是不能查看防火墙状态的 管理员将权限授予给普通用户 普通用户有了授权以管理员的身...
2018-06-04 18:49:43
1821
原创 linux文件和文件夹操作
1、在linux没有盘符的概念 有的只是文件夹及目录2、linux中文件、设备、目录皆是文件 目录是一种特殊的文件 在linux文件系统的最顶端是/，我们称/为Linux的root，是 Linux操作系统的文件系统。3、使用ll / linux目录3、与文件路径相关的符号意义“.”：当前目录"..":代表上一级目录“/”下一级目录4、在linux中命令有很多的选项 命令可以认为是方法 选项可以...
2018-06-04 18:14:22
15791
2
原创 linux ip地址、网关等基本网络配置
1、安装 使用虚拟机VMware安装linux centOS6.42、基本环境配置（root）1）修改主机名进入文本编辑模式 vi /etc/sysconfig/network设置hostname=主机名2）配置ip地址、网关、DNS图形化设置网卡的步骤 ii:命令的方式配置ip地址先鼠标右键打开命令界面vi /etc/sysconfig/network-scripts/ifcfg-eth03）网...
2018-06-04 14:12:35
977
原创 linux介绍
1、常见的操作系统Windows、linux、unix、Android、IOS、OS X2、linux的应用：服务器（成本低）、电视机顶盒、手机操作系统、嵌入式linux的代表：（原生命令行操作linux）Redhat、centos(6.X)、suse linux（图形化较好的linux）debain、Ubuntu3、linux的思想 一切皆文件 包括设备（声卡） 只要找到相应的文件操作即可 在l...
2018-06-02 22:52:55
262
原创 html基础
1、html文本html是超文本文件 所谓的超就是不仅仅只显示文字 除此之外还有图片、音频、视频 而且网页可以通过超链接等进行页面之间的随意跳转 不像书籍那样只能一张一张的翻 网页可以在碰到任意一个超链接点击就可以访问相应的资源2、html文本和记事本这 ...
2018-05-09 23:33:04
93
原创 异常的基本理论
1、异常计算机中的异常是在运状态中出现不正常的现象2、为什么需要异常处理因为异常是在正常情况之外的，并不是做某件事情的主体，将异常作为一个类，将异常处理和正常流程的代码进行分流。增加可读性3、异常类每种异常分别定义一个异常类，用于表述不正常情况的类4、异常分类1）异常（1）编译异常 在写好一条或者一段语句后就能检测出来（编译器的强大功能 记事本就不行了）（2）运行时检查 比如下标越界 空指针等 只...
2018-05-03 20:59:12
173
1
原创 我对线程的理解
1、进程、线程进程是指是要实现某块功能（下载歌曲、听歌）时，将需要的空间以及资源分配好。而这个功能可以分为几个任务，每一个执行任务就是最小的工作单元也就是线程。不需要实现某功能的时候也就不存在任务之说，所以说没有进程就没有线程之说。每一个进程最起码有一个线程（主线程）。而能实现多个块功能的应用即是程序。在计算机中进程就是实现某个功能时，实现这个功能从cpu中分配出来内存空间以及资源的调配的过程。线...
2018-05-03 20:28:10
201
原创 Java贪吃蛇小游戏开发
1、主要的对象网格（边界）、食物（游戏之一）、蛇（主要对象）、游戏（由网格、食物、蛇组成而有规则的游戏控制）因为食物是由单位网格（一个网格）以及蛇是由几个网格（蛇身）组成的 所以将一个网格（一个网格的表示不最基本的数据类型表示 所以封装起来能方便使用）封装起来即用节点表示 2、对象的属性和方法 食物 属性 行号 列号 颜色 方法 初始化 随机 在网格中 不能与蛇身重叠 绘制...
2018-04-28 16:15:35
957
原创 函数的引用传递和值传递
一般值传递是用在基本数据类型上 因为基本数据类型的数据是最基本的数据类型 直接在栈内存进行操作即可而引用类型基本都出现在复合数据类型（比如string）以及自定义类型（自己定义的学生类） 都是要在栈内存中存储引用类型的地址 所以需要（new）这个关键字来创建这个一个应用对象 在函数调用时值传递时只是将值往另一个地方操作 如果没有返回值就没有任何变化 而引用传递则是将这个对象的地址（内存单元的地址）...
2018-04-28 15:06:36
226
原创 IO流操作
1、基本概念应用程序与设备（键盘 屏幕 文件）之间进行数据的传输就叫做流操作文件输出流 文件输出流 文件的输出流以及输出流是指应用程序与应有设备之间的通信 比如应用程序向硬盘发送一条指令 创建一个文件并将这个文件写入1 2 3 4 5这些数字 这时相对于应用程序来说就是向文件输出一些信息 流有两种：字节流 字符流字节流就是将数据看成无意义的字节 给机器操作的（底层）（二进制数据）字符流：就是将数据...
2018-04-28 14:15:04
147
原创 Java集合框架
1、vectorvector是最原始的数组 本质是动态数组 Vector<Integer > v1 = new Vector<>() ;不带参数的构造函数 容量和增量默认为10 容量指数组的最大存储量 增量指当元素个数超过当前 Vector的容量时， Vector会自动再增加10的内存空间 达到动态扩容的目的 但是如果只是在当前容量等于元素个数时再增加一个元素时就会浪...
2018-04-27 14:04:46
79
原创 面向对象 三
1、类2、对象3、默认构造函数 参数为空 函数主体也为空 返回值也为空 构造函数是在初始化对象的属性 防止设置一大堆的属性值4、 自定义构造函数 自定义函数主体 无论是默认构造函数还是自定义构造函数 函数的函数名都是和类名是一样的 两个函数的函数名一样就是在重写函数 而不用去看返回值类型是否相同以及参数类型和参数的个数 重写可以发生在同一个类中 也可以发生在父类与子类之中，在父类与子类是子类继承父...
2018-04-20 16:47:08
96
原创 面向对象（二）
1、什么是类？一类具有相似静态属性和动态行为的集合的描述 比如 人类2、万事万物皆对象 什么是对象？一类具有相似静态属性和动态行为的集合中的一个 具有具体的属性值和具体的操作行为 比如：胖胖的我 3、什么是抽象？将一类事物的共性和本质（相似的属性和行为）描述出来的过程 其结果就是一系列数据 比如：人都有姓名，身等属性，吃饭睡觉等方法4、什么是封装？封装就是将一些属性和行为隐藏起来，设置一个边界，使...
2018-04-20 00:13:23
144
原创 面向对象（一）
1、继承子类继承父类可以说子类拥有父类的所有属性和方法，但是如果子类想和父类有相同的方法却不一样的值时用重写写法：public class Dog extends Anmial { public Dog(String name) { super(name); }继承父类的构造函数2、重写重写是在继承的基础上，子类和父类有同样的方法，但是具体的操作或者说是...
2018-04-17 17:52:11
98
原创 2018-4-13
1、将字符串中含有小写字母的字符转换成大写字母str = str.toLowerCase();2、递推算法递推算法是从前往后推或者是从后往前推，总之是从一个初始(最终）状态推出最终（初始）状态的过程，有比较典型的问题是富二代存钱、猴子吃桃这种问题，这个问题的关键在于找到相邻两项之间的关系3、递归算法通常是用同样的方法，只是自变量发生了变化...
2018-04-13 23:46:42
76
原创 2018-1-12
1、数字字符转整型得到的是字符对应的数字2、整型转字符得到的是字符对应的ASCii值3、数字字符转数字 看数字字符对应的ASCii值 以及想要的数字之间的差距4、X进制转十进制 系数乘以N个X进制的基（N为X进制的基）再求和5、十进制转X进制 这个数对X进制的基求余，商为被除数，直到商为0，倒序求余6、数组和循环进行批量性操作高效、方便7、二分查找关键在于通过起点下标终点下标确定中间的数，让中间的...
2018-04-12 20:18:50
86
3
原创 进制转换器
项目要求：打印菜单项，让用户输入对应的字母（不区分大小写），则选择了相应的进制转换接下来接受用户的输入，验证用户输入的合法性，合法则进行进制转换，输出结果分析：进制转换分为X->十进制 十进制->X进制X->十进制 ：按权展开，权用在原进制基的上标，即几个原进制基相乘再乘以系数十进制->X进制：除基取余，除以要转换的目标进制的基，倒序取余，直到商为02、8、16进制之间的...
2018-04-12 18:03:51
909
1
原创 分糖果问题 方法二
10个小孩围成一圈分糖果，老师分给第一个孩子10块，第二个小孩2块，后面依次分的糖果数量为8、22、16、4、10、6、14、20。然后所有的小孩同时将手中的糖果分一半给右边的小孩，糖果为奇数的可向老师要一块。问经过几次后，大家手中的糖果的块数将一样多，每个人有多少糖果。解答思路：这个问题可以先将每个人手中的一半糖果拿出来存储在一个数组中，将手中剩下的一半糖果在存储在一个数组中，可以看到这个是交错...
2018-04-12 09:23:52
7022
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人