liushidexing-CSDN博客

转载 Python中的高级数据结构

http://blog.jobbole.com/65218/数据结构数据结构的概念很好理解，就是用来将数据组织在一起的结构。换句话说，数据结构是用来存储一系列关联数据的东西。在Python中有四种内建的数据结构，分别是List、Tuple、Dictionary以及Set。大部分的应用程序不需要其他类型的数据结构，但若是真需要也有很多高级数据结构可供选择，例如Collection

2015-10-23 09:48:16 554

原创 python hadoop 在streaming中获取文件名的方法

在hadoop的开发中，经常要根据streaming中不同的文件名做不同的处理，需要获取文件名，可参考java 版本中获取文件名的方法：1、hadoop上在java开发可用： FileSplit fileSplit = (FileSplit)reporter.getInputSplit();String fileName = fileSplit.getPat

2015-08-14 11:18:42 853

原创 Linux grep匹配特殊字符

1、Tab匹配 $'\t'2、空格转义符+空格3、括号转义符+括号4、精确匹配 \(以**开头，以**结尾）

2015-01-27 17:49:20 23684

转载如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么

阅读本文可以带着下面问题：1.map和reduce的数量过多会导致什么情况？2.Reduce可以通过什么设置来增加任务个数？3.一个task的map数量由谁来决定？4.一个task的reduce数量由谁来决定？一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的goalSize = tot

2014-12-09 10:31:38 547

转载 MapReduce:详解Shuffle过程

http://langyu.iteye.com/blog/992916 Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，

2014-12-08 14:32:56 435

转载 Hadoop MapReduce工作原理

http://sishuok.com/forum/blogPost/list/5965.htmlMapReduce工作原理 MapReduce 角色•Client ：作业提交发起者。•JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。•TaskTracker：保持JobTracker通信

2014-12-05 18:32:34 721

转载 HDFS的运行原理

http://www.cnblogs.com/laov/p/3434917.html【Hadoop】HDFS的运行原理简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）

2014-12-05 16:27:08 390

转载 Android概览（二）：Android四大基本组件介绍与生命周期

http://www.cnblogs.com/bravestarrhu/archive/2012/05/02/2479461.html

2014-08-03 14:27:16 430

转载 Android概览（一）：两分钟彻底让你明白Android Activity生命周期(图文)

http://blog.csdn.net/android_tutor/article/details/5772285首先看一下Android api中所提供的Activity生命周期图(不明白的，可以看完整篇文章，在回头看一下这个图，你会明白的): Activity其实是继承了ApplicationContext这个类，我们可以重写以下方法，如下代码:

2014-08-03 13:25:15 444

转载 Python学习笔记（十）：Python正则表达式

Python正则表达式十种相关的匹配方法Python正则表达式需要各种各样的匹配，但是我们不能盲目的进行相匹配，下面就向大家介绍经常遇到的十种Python正则表达式匹配方式，希望大家有所收获。1.测试Python正则表达式是否匹配字符串的全部或部分regex=ur"..." #正则表达式 if re.search(regex, subject): do_som

2014-07-29 15:01:26 441

转载 Python学习笔记（九）：面向对象

http://www.w3cschool.cc/python/python-object.htmlPython面向对象Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。如果你以前没有接触过面向对象的编程语言，那你可能需要先了解一些面向对象语言的一些基本特征，在头脑

2014-07-23 14:10:02 527

转载 Python Print函数用法

Python print函数用法，print 格式化输出使用print输出各型的字符串整数浮点数出度及精度控制strHello = 'Hello Python' print strHello#输出结果：Hello Python#直接出字符串1.格式化输出整数python print也支持参数格式化，与C言的pri

2014-07-23 14:03:05 582

转载 Python学习笔记（八）：Python 异常处理

http://www.w3cschool.cc/python/python-exceptions.htmlPython 异常处理python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。异常处理: 本站Python教程会具体介绍。断言(Assertions):本站Python教程会具体介绍。

2014-07-23 13:57:17 1214

转载 Python学习笔记（七）：Python 文件I/O

http://www.w3cschool.cc/python/python-files-io.htmlPython 文件I/O本章只讲述所有基本的的I/O函数，更多函数请参考Python标准文档。打印到屏幕最简单的输出方法是用print语句，你可以给它传递零个或多个用逗号隔开的表达式。此函数把你传递的表达式转换成一个字符串表达式，并将结果写到标准输出如下

2014-07-23 13:56:27 567

转载 Python学习笔记（六）：Python模块

http://www.w3cschool.cc/python/python-modules.htmlPython 模块模块让你能够有逻辑地组织你的Python代码段。把相关的代码分配到一个模块里能让你的代码更好用，更易懂。模块也是Python对象，具有随机的名字属性用来绑定或引用。简单地说，模块就是一个保存了Python代码的文件。模块能定义函数，

2014-07-22 13:58:17 542

转载 Python学习笔记（五）：函数和变量

Python函数函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。你已经知道Python提供了许多内建函数，比如print()。但你也可以自己创见函数，这被叫做用户自定义函数。定义一个函数你可以定义一个由自己想要功能的函数，以下是简单的规则：函数代码块以def关键词开头，后接函数标识符名称和圆括

2014-07-22 13:52:04 437

转载 Python学习笔记（四）：字符串

http://www.w3cschool.cc/python/python-strings.htmlPython 字符串字符串是最 Python 总常用的数据类型。我们可以使用引号来创建字符串。创建字符串很简单，只要为变量分配一个值即可。例如：var1 = 'Hello World!'var2 = "Python Programming"Python

2014-07-17 17:35:38 554

转载 Python学习笔记（三）：数字

Python 数字Python 数字数据类型用于存储数值。数据类型是不允许改变的,这就意味着如果改变数字数据类型得值，将重新分配内存空间。以下实例在变量赋值时数字对象将被创建：var1 = 1var2 = 10您也可以使用del语句删除一些数字对象引用。del语句的语法是：del var1[,var2[,var3[....,varN]]]]

2014-07-17 17:26:44 525

转载 Python学习笔记（二）：循环

Python While循环语句Python 编程中 while 语句用于循环执行程序，即在某条件下，循环执行某段程序，以处理需要重复处理的相同任务。其基本形式为：while 判断条件：执行语句……执行语句可以是单个语句或语句块。判断条件可以是任何表达式，任何非零、或非空（null）的值均为true。当判断条件假false时，循环结束。执行流程图如下

2014-07-17 12:24:43 2047

转载 Python学习笔记（一）：列表、元组、字典

Python列表List（列表）是 Python 中使用最频繁的数据类型。列表可以完成大多数集合类的数据结构实现。它支持字符，数字，字符串甚至可以包含列表（所谓嵌套）。列表用[ ]标识。是python最通用的复合数据类型。看这段代码就明白。列表中的值得分割也可以用到变量[头下标:尾下标]，就可以截取相应的列表，从左到右索引默认0开始的，从右到左索引默认

2014-07-16 16:19:19 619

转载 Oracle表空间

表空间（table space）是Oracle数据库中最大的逻辑结构。从逻辑上说，Oracle数据库是由若干个表空间组成的。表空间与数据库的物理结构有着十分密切的关系，它与磁盘上若干个数据文件相对应。从物理上说数据库的数据被存放在数据文件中，从逻辑上说数据是被存放在表空间中。表空间是个重要的概念，因为它提供了一套有效组织数据的方法。数据库的逻辑配置实际上是指表空间的配置。它不仅对数据库的

2014-06-07 17:55:08 416

原创 oracle命令学习笔记（二）

1、pagesize 设置分页的大小

2014-06-07 16:42:12 777

原创数据库范式

数据库范式1、一范式表必须有主键字段不可以再分（列不可再分）2、二范式（多对多关系表设计）不能存在部分依赖（主键有多个，非主键的字段不能依赖于部分主键，必须同时依赖于所有主键）3、三范式不能存在传递依赖（部分字段不是完全依赖于主键，比如学生依赖于学号，

2014-04-05 16:25:29 520

原创 oracle命令学习笔记（一）

oracle命令学习笔记alter user scott account unlock1、任何含有空值的运算表达式最后的结果都是空值，此时需要用到nvl函数如果是空值的话转换成0SQL> select ename,sal*12+comm from emp 2 ;SQL> select ename,sal*12+comm "to

2014-04-05 16:24:25 506

转载 oracle Linux下实现浏览历史命令----rlwrap

rlwrap 第一步进入 http://utopia.knoware.nl/~hlub/rlwrap/下载 rlwrap-0.37.tar.gz[root@node2 oracle]# tar zxvf rlwrap-0.37.tar.gz[root@node2 rlwrap-0.37]# ./configure && make && ma

2014-04-05 16:23:37 684