shazicaibeishang4145-CSDN博客

转载 hive:orc file

一、定义ORC File,（Optimized Row Columnar）File，是对RCFile的优化。ORC文件格式是从Hive-0.11版本开始的.二、目的： 1、大幅度降低磁盘占用 2、大幅提高执行效率三、和RCFile格式相比，ORC File格式有以下优点： (1)、每个task只输出单个文件，这样可以减少

2017-01-13 17:09:26 2142

原创 MySQL分区

1、分区概述分区键：根据某个区间值（或者范围值）、特定值列表或者hash函数值执行数据的聚集，让数据根据规则分布在不同的分区中，让一个大对象变成一些小对象。用show variables命令确定当前的mysql是否支持分区。show variables like '%partition%'用show plugins命令能检查当前版本是否安装了分区插件。MyS

2017-01-12 15:27:14 226

原创 SQLMode及相关问题

1、MySQL中，SQL Mode常用来解决下面几类问题（1）通过设置SQL Mode，可以完成不同严格程度的数据校验，有效地保障数据准确性。（2）通过设置SQLMode为ANSI模式，来保证大多数SQL符合标准的SQL语法，这样应用在不同数据库之间进行迁移时，则不需要对业务SQL进行较大的修改。（3）在不同数据库之间进行数据迁移之前，通过设置SQLMode可以使MySQL上的数据更方

2017-01-10 10:49:30 250

原创 SQL中的安全问题

1、SQl注入简介SQL注入：利用某些数据库的外部接口将用户数据插入到实际的数据库操作语言当中，从而达到入侵数据库乃至操作系统的目的。程序对用户输入的数据没有进行严格的过滤，导致肥大数据库查询语句的执行。2、应用开发中可以采取的应对措施（1）PrepareStatement+Bind-Variable（绑定变量）（2）使用应该程序提供的转换函数（3）自己定义函数进行校验，输

2017-01-09 17:10:55 248

原创事务控制和锁定语句

1、MyISAM和MEMORY存储引擎的表级锁定。2、SDB的页级锁定3、InnoDB的行级锁定默认情况下，表锁和行锁都是自动获得的，不需要额外的命令。一、lock table和unlock table lock tables:可以锁定用于当前线程的表。如果表被锁定，则当前线程会等待，直到可以获取所有锁定为止。unlock tables：可以释放当前线程获得的任何锁定

2017-01-09 16:57:16 294

原创触发器

1、创建触发器（1）触发器可以协助应用在数据库端确保数据的完整性。（2）触发器只能创建在永久表。不能对临时表创建触发器。（3）create trigger trigger_name triger_time trigger_event on tbl_name for each row trigger_stmttrigger_time:触发时间，可以是before（在检查约束前触

2017-01-06 12:06:53 213

原创存储过程和函数

1、什么是存储过程和函数事先经过编译并存储在数据库中的一段SQL语句的集合。函数必须有返回值，而存储过程没有。函数的参数只能是in类型的，存储过程的参数可以使用in、out、input类型注意：若有函数从其他类型的数据库迁移到MySQL，那么久可能因此需要将函数改造成存储过程。2、存储过程和函数的相关操作（1）确认是否有相应的权限。创建存储过程或函数：需要create

2017-01-05 17:27:51 236

原创视图

1、什么是视图是一种虚拟存在的表，行和列数据在使用视图时动态生成。简单、安全、数据独立2、创建或修改视图（1）创建视图：有create view权限，查询涉及的列有select权限。（2）create or replace或alter修改视图，还需要有该视图的drop权限。注意：MYSQL中创建索引时，from关键字后面不能包含子查询。（如果视图从其他数据库迁移过来

2017-01-05 14:27:47 157

原创索引的设计和使用

1、索引概述（1）可以定义每个表的最大索引数（至少16个）和最大索引长度（总索引长度只是256字节）（2）MyISAM和InnoDB存储引擎的表默认创建的都是btree索引。（3）MySQL目前不支持函数索引（4）支持前缀索引（对索引字段的前N非字符创建索引）。MyISAM索引的前缀长度可以达到1000字节长，InnoDB索引的长度可达767字节。（5）支持全文本（FULLTE

2017-01-05 14:00:09 617

原创字符集

一、字符集的选择（1）如果应用要处理各种各样的文字，或者将发布到使用不同语言的国家或者地区，就应该选择Unicode字符集。对MySQl来说目前就是UTF-8（2）如果应用中涉及已有数据的导入，就要充分考虑数据库字符集对已有数据的兼容性。（3）只需要支持一般中文，数据量很大，行呢要求很高，则应该选择双字节定长编码的中文字符集，GBK等。（4）主要处理英文字符，仅有少量汉字数据，那么

2017-01-04 19:49:48 236

原创选择合适的数据类型

1、char与varcharchar固定长度的字符类型，处理速度比varchar快得多，但浪费存储空间，适合：长度变化不大并且对查询速度有较高要求的数据。varchar可变长度的字符类型。MyISAM：charMEMORY：均作为char类型处理InnoDB：varchar最小化需要处理的数据行的存储总量和磁盘I/O。InnoDB内部的行存储格式没有区分固定长度和可变长度列（所

2017-01-04 16:46:41 432

原创表类型，存储引擎的选择

一、MySql存储引擎概述1、InnoDB和BDB提供事务安全表2、MySql5.5以前的版本默认MyISAM，5.5之后改为InnoDB3、修改默认的存储引擎，可以在参数文件中设置default-table-type4、查看当前的默认存储引擎： show variables like 'table_type'5、查看当前数据库支持的存储引擎：value为

2017-01-04 14:15:35 356

原创 mysql安装与配置

一、启动和关闭mysql服务1、windows下(1)noinstall安装的mysql,可以在dos窗口C:\Users\v_liuyang20>cd C:\Program Files\MySQL\MySQL Server 5.6\binC:\Program Files\MySQL\MySQL Server 5.6\bin>mysqld --consoleC:\Program Fil

2017-01-03 13:45:57 182

shazicaibeishang4145的专栏