三米阳光-CSDN博客

原创 python获取最大日期的函数

##max(dt)替代方法def check_dt(path, level='G|M|K'): cmd = 'hdfs dfs -du -h ' + path process = os.popen(cmd) # return file output = process.read() process.close() output1 = output.split('\n') output2 = [val for val in output1 if len(va...

2021-09-06 14:59:20 1429

原创 hive优化：大表关联数据倾斜问题

A表：单副本14.9G,1002354875条数据B表：单副本1.5G，40102307条数据两个表通过partition_path字符串去full outer join关联，没有优化前执行要88分钟第一种优化：在sql结尾使用distribute by rand() ，reduce个数88个，但是还是有数据倾斜select * from A full outer join Bon a.partition_path =b.join_pathdistribute by r...

2021-03-22 19:54:45 3069

原创 SUN ONE Directory server 初识与安装

安装xp 321、查看计算机名称是否有后缀，没有的话添加上。2、按照提示一步一步往下执行。创建用户：1、选择目录subtree的时候有四个选项：用来定义LDAP目录的分支Base DN(top level of the users and groups tree) GroupsPeopleSpecial Users(special administrati

2012-06-27 17:58:40 395

SUN ONE Directory server 初识与安装

安装xp 321、查看计算机名称是否有后缀，没有的话添加上。2、按照提示一步一步往下执行。创建用户：1、选择目录subtree的时候有四个选项：用来定义LDAP目录的分支Base DN(top level of the users and groups tree) GroupsPeopleSpecial Users(special administrati

2012-06-27 17:22:45 400 1

原创初识java多播

多播技术：多播技术并不是java创造的，它在互联网协议这一层已经提供了相当多的支持，任何语言都可以访问此服务，不过java语言提供了一个访问此服务的相对简单的而又与平台无关的标准接口。但是，并不像点对点连接中，接收方可以简单的通过要求发送方重发丢失的数据分组，TCP协议就可以容易地纠正诸如丢包这样的小错误，在多点连接中，这些错误中大多数都不能简单的得到修补。如果在很多接收方中的一个测有收到某个数据

2012-04-25 20:25:12 765

转载光盘镜像，如何打开光盘镜像文件？

光盘镜像就是将光盘中的内容原封不懂地封装成一个文件，这样便于下载保存，在使用时通过虚拟光驱读取镜像中的内容，如同将光盘放在光驱中一样，可以获取到 ...什么是光盘镜像，光盘镜像是什么意思？光盘镜像就是将光盘中的内容原封不懂地封装成一个文件，这样便于下载保存，在使用时通过虚拟光驱读取镜像中的内容，如同将光盘放在光驱中一样，可以获取到原滋原味的数据。现在网上有很多游戏、软件、教

2012-04-16 20:27:26 2269

Common-loggin+log4j

Common-loggin：（JCL）提供的是一个日志接口，同事兼顾轻量级和不依赖于具体的日志实现工具。它提供给中间件/ 日志工具开发者一个简单的日志操作抽象，允许程序开发人员使用不同的具体日志实现工具。用户被假定已经熟悉某种日志实现工具的更高级别的细节，JCL提供接口，对其他一些日志工具，包括Log4J, Avalon LogKit, and JDK 1.4等，进行了简单的包装，此接口更接近于L

2012-04-13 17:04:46 75

原创 Log4j的配置与使用

Log4j：一个开源的、轻量级的、用于日志管理的框架Log4j的作用：是Apache的一个开放源代码项目，通过使用LOG4j，可以控制日志信息输送的目的地是控制台、文件Gui组件，甚至是套接口服务器，NT的事件记录器等。也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，能够更加细致的控制日志的生成过程。可以通过配置文件来灵活的进行配置，而不需要修改应用的代码。log4j有什么：

2012-04-13 16:46:36 381

原创 JNDI、JDBC、Connection Pool的关系

JDBC：提供程序和数据源的连接，并能通过API获取和修改数据库中的数据，操纵数据库。减少将一些数据库连接信息写死在代码内。Connection交由Container去控制，省去了管理Connection的工作。Connection Pool：JDBC就提供连接池中的一个子集，当程序请求连接变得越来越多的时，为了省去每次都要连接断开这种重复的工作。connection pool就出现了，它通过

2012-03-18 14:26:13 604

原创 MVC设计模式

MVC是一种架构行模式，没有引入新的功能，将WEB应用的结构做的更加合理，实现逻辑层和界面的分离。Model：封装应用状态（封装数据VO），相应状态查询（获取数据），暴露应用的功能（逻辑层API）。View：产生HTML相应（展示数据），请求模块的更新（出发事件），提供HTML FOrm，用于用户请求（人机交互）Controller：验证HTML请求的数据（收集数据），将用户数据与模型

2012-03-18 13:56:07 261

原创 servlet的context、session和request

contextsessionrequest区别就是访问范围的大小，顺序有上而下，范围由大到小。context：是线程不安全的，使用synchronized(getServletContext())才能解决线程安全问题，当多个servlet要求修改同一个对象的时候，会出现问题。全部不区分。session：是线程不安全的，使用synchronized(session)才能解决线程安

2012-03-18 13:37:41 650

转载 servlet中init()和service()方法的区别

servlet中init,service方法首先你要明确servlet的生命周期和HTTP协议. Serlvet接口只定义了一个服务方法就是service，而HttpServlet类实现了该方法并且要求调用下列的方法之一： doGet：处理GET请求 doPost：处理POST请求当发出客户端请求的时候，调用service 方法并传递一个请求和响应

2012-03-18 12:14:26 401

原创 oracle recyclebin

recyclebin：出现在oracle10g以后，从原理上就是一个数据字典表，放置用户drop掉的数据对象信息，用户drop掉的对象并没有完全被删除，仍会占用空间，有了这样的功能能解决找回误删除的表。可以使用闪回功能找回误删除的表。但是同样如果没有清理recycle，同样会造成

2011-08-17 21:39:12 484

原创将varchar2类型的字段修改为clob类型

将varchar2类型的字段修改为clob类型，首先要将varchar2类型的字段修给为long型，然后再将long型转换为clob类型。 要注意ORA-01439:要修改的资料必须是空的，才可以变更资料库。

2011-05-10 09:18:00 421

原创 Oracle表分区（二）

建立好表分区后如何管理表分区呢？ 一、增加表分区（add partition） 只用于所有表分区，语法：alter table tabname add partition partitionname ... 对于list range这样存在范围的表分区，所增加的表分区一定要大于当前分区中的最大值，hash分区无此限制。 注意： 1、对于hash分区，当执行add parition的时候，oracle会自动选择一个分区，并重新分配记录

2011-04-13 22:47:00 1381

原创回车/r和换行/n的区别--ASCII码表(含二进制十进制十六进制 )

回车/r和换行/n的区别 /r回车是将光标移到一行的前面， /n是移到下一行。 在windows下实现换行需要/r/n，而在UNIX,Linux下只要/n即可。 在windows环境下，换行就是另起一行，回车就是回到一行的开头，所以在平时我们编写文件的回车符确切来说叫做回车换行符。 在控制台程序里，回车的本意就是将光标移动到屏幕最左边（此时光标的横坐标没有变），换行就是将光标移动到下一行（此时光标的

2011-04-11 16:21:00 2244

原创 oracle表分区（一）

建立分区的好处：改善表的查询性能，使表更容易管理，便于备份和恢复，提高数据安全性。 注意：分区表不能有long或者raw long 数据类型。 一、分类 1、range（范围）分区 2、hash（哈希）分区 3、list（列表）分区 4、组合分区range-hash range-list。 二、分区选择条件 1、range分区 应用范围比较广泛的表分区方式，以列的值的范围来作为分

2011-03-26 18:09:00 942

原创什么事汇接局、端局、关口局

根据电话网络的组成：端局、汇接局、国内长途局和国际长途局，由于多个运营商的存在，其各运营商网络之间的互通是经过关口局疏通。 汇接局：在移动通信中，如果两个端局之间没有进行直连，则通过汇接局来进行链接，汇接局就是信令点，负责处理信令。是将各个端局通过中继的方式汇聚到一个局点，在上行到关口局或者长途局。就是本运营商各端局的汇接，现在的汇接局一般指软交换SS。比方说原来没有上软交换的时候，异网的信令信息到达我关口局后走我JHSPT或者TMSTP.JH,TM指地名。然后再到达端

2010-11-14 18:06:00 3385

原创数据库中的DML，DCL，DDL分别是那些操作？

DDL Data Definition Language (DDL) statements are used to define the database structure or schema. Some examples: CREATE - to create objects in the database ALTER - alters the structure of the database DROP - delet

2010-10-20 22:54:00 375

原创主键与外键的区别

主键是定义一个表中起主要作用的数据项，这些数据项的数据在表中是唯一的，同时系统按主键为表建立索引。 外键是定义一个表中的某数据项的数据，要参照另一个表的主键数据。既没有在另一个表的主键数据中出现的数据，不允许在这个表的外键数据项中出现。 主键：表中记录的唯一标识 外键：依赖于别的表的数据 唯一键：在表中唯一 键是一个或多个字段的组合 唯一键：可以确定一条记录的字段(或字段组合)，一张表可以有多个唯一键，正如可以识别你的身份的可以是身份证

2010-09-15 22:47:00 311

原创 POI的简单使用

一 POI简介Jakarta POI是apache的子项目，目标是处理ole2对象，它提供操纵windows文档的java api,可以控制sheet、cell等等二、HSSF概况HSSF是Horribe SpearSheet Format的缩写，通过使用HSSF，可以用纯java代码读、写、修改excelHSSF为读取操作提供两类API，usermodel和eventusermo

2010-09-01 23:16:00 550 1

原创学习笔记（四）设计数据仓库

分为两部分：一操作型数据库接口的设计；二：数据仓库本身的设计将操作型数据库中的数据导入到数据仓库中有三种情况：1、装载档案数据2、装载操作型系统中现有的数据3、将上次数据库刷新以来在操作型环境中不断发生的变化，从操作型数据库中将变化的数据装载到数据仓库中。这种是最长遇到的问题也是最难的解决的，有五中办法：3.1 扫描那些在操作环境中被钉上了时间戳的数据，当一个应用对记录的最近一

2010-08-25 22:50:00 532 1

原创学习笔记（三）数据仓库环境

数据仓库中的数据组织方法一：简单堆积结构，记录日常事务记录，即将一个顾客的一个账号每天的所有活动进行合计，并一天一天的基础上进入数据仓库。方法二：轮转综合数据存储，就是简单堆积数据的深化，即一天一天汇总到一周，一周一周，在汇总到一个月，一月一月在汇总到年。。方法三：简单直接文件，操作型数据库的间隔一定时间的一个快照，比如一周、或者一个月的数据。。。多个简单直接文件就组成了一个连续文件。

2010-08-22 22:31:00 443

原创学习笔记（二）数据仓库环境

探查与数据挖掘：还是对数据仓库的粒度有要求，数据仓库中经过清理的、集成的和有组织的历史数据，，为数据挖掘提供了很好的基础，活样本数据库：就是从数据仓库中随机取出一下数据，可以定制数量，或者条件去取出一部分数据，主要是为统计数据和观察发展趋势提供数据，好处就是存储效率很高，但是要根据实际情况决定到底要不要建，对建立活样本有限制，如果不清楚限制条件请不要建，在统计学或概要生成还是很有用的。

2010-08-12 21:10:00 532 1

原创学习笔记（一）数据仓库环境

数据仓库的特点：面向主题的：从面向操作型的系统提取出分析主题，例如：保险公司操作环境是汽车、人寿，而对于数据仓库构建要从顾客、保险单。。这些主题去构建。要提取出各个操作系统中公共的属性，要将数据仓库构建成最细粒度，对各个操作环境都可用。集成性：保证数据的一致性，就是把各个系统中的数据采集到一起，相同的东西可能在不同的操作系统中命名不同，在数据仓库中要将这些进行统一命名，通过ETL把他们采集

2010-08-11 22:45:00 363

原创第一篇记录

这里的第一个脚印，以后不再玩QQ了，每天进步一点点！！！

2010-08-10 22:23:00 287

转载 ODI KM二次开发手册

引言 1.1 编写目的 本手册面向的读者对象为具备数据集成业务知识及对ODI操作了解的开发人员,作为其完成基于ODI基础上KM二次开发的参考手册。详细介绍了如何在ODI上进行KM二次开发，以满足用户数据集成特定场合下的个性化需求。 2 开发模板KM介绍 2.1 KM概述 KM（Knowledge Modules：知识模块）在ODI中是一组代码模板。在集成过程中，每一个KM对应一个特定任务，整个数据集成过程通过选择若干个KM代码模板生成执行代码

2010-07-23 23:05:00 921

原创谈模型技术之代理键使用的深入理解

从第一次使用代理键技术开始，就去深入总结了很多代理键在各个方面的功能，结合Kimball资料中的介绍，就理解得更多了。 首先代理键的基本理解，应该是对维度ID的一个代用Key值，一定是数字字符型，最根本不可替代的作用，就是能反映维的变化，如果你不使用代理键，那么就得用维ID结合变化时间去描述，这样在DW的ETL过程中，效率会非常慢，而且和事实表关联后，事实表就会有N多时间标志字段，到后来就是乱七八糟的模型了。所以从这个角度来看，代理键在数据库仓库模型中，是必须用的技术。<b

2010-07-20 10:55:00 785

原创短信端到端业务知识

采用的机制：存贮转发机制用户发送一条短信，由用户所在的网络的消息中心接收，短消息中心向接收者发送通知命令，接收者从短信中心下载消息短消息通信网络结构：通过信令通道传输数据的通过的网元： MS----UM 接口-----》BTS——Abis接口——》BSC——A接口——》MSC—（SAU—SCP）—SMSC从SMSC往下有三中去向：一、当接收方式网内的那么连接的是：—MSC——BSC——BTS--------MS

2010-07-05 19:00:00 914

原创 SQLPlus的命令

show和set是两条用于维护SQl*plus系统变量的命令：SQL>show all 查看系统变量；SQL>show user 查看当前用户的连接；SQL>show error 查看错误信息；SQL>show XXX 显示XX参数信息；SQL>set timing on 默认耗时，用来测试sql执行时间，测试效率，一般为off，写在sql 语句之前；SQL>set heading off 禁止输出列标题，默认为on；SQL>set feedback off 禁止显示最后一行的计数反馈信息，默认值为"对

2010-06-03 19:07:00 970