- 博客(224)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 使用numpy中的savez（save）保存非数组数据
savez()保存非数组数据时，如字符串，字典时，会转换为object，此时不能直接像读取数组那样直接用load读出后索引，可以通过加[()]解决。例如：import numpy as npstr = 'abc'arr = np.array([[1, 2], [3, 4]])dict = {'a' : 1, 'b': 2}np.savez('data.npz', str= str,...
2018-12-26 09:16:48
938
转载 Python之NumPy（axis=0/1/2...）的透彻理解
前言在numpy的使用中，对axis的使用总是会产生疑问，如np.sum函数，在多维情况下，axis不同的取值应该做怎样的运算呢？返回的是什么形状的数组呢？在网上查了很多资料，总是似懂非懂，查阅了官方文件，以及多次试验后，我总结出一种能深入透彻理解axis用法的说明，配合着np.sum例子。希望大家再也不会对axis的使用产生困惑，即使在高维情况下也信手拈来。numpy中axis取值的说明...
2018-12-06 15:01:39
446
转载 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?
实验环境：tensorflow版本1.2.0，python2.7介绍depthwise_conv2d来源于深度可分离卷积:Xception: Deep Learning with Depthwise Separable Convolutionstf.nn.depthwise_conv2d(input,filter,strides,padding,rate=None,name=No...
2018-12-05 14:40:52
496
转载 记一次使用flashback恢复数据
周五晚十点多，同事突然来电称操作CMS后台的时候不小心删除了很多记录（其实应该是这个CMS的逻辑问题），大概了解了情况以后，能初步判断为p_web表的2万多条数据被delete了，事发时间大概在9:30左右，这种场景几乎就是“专门”为flashback而设的了。于是马上翻开书找到flashback那节书，先鄙视一下自己，以前所学的都还给书本了。确认一下可以flashback的极限是多少...
2018-11-20 17:15:52
250
转载 临时表的APPEND方式插入
临时表的redo生成要比普通表少的多，但是undo的产生并不比普通表少。通过一个简单的例子说明：SQL> create global temporary table t_temp2 (id number, name varchar2(30))3 on commit preserve rows;表已创建。SQL> create table t_normal2 (id...
2018-11-16 16:17:05
556
转载 python爬虫使用POST登录时的注意事项
Requests提供了一个Session的概念，在连续访问网页时能自动处理Cookie的方式，程序会自动把Cookie的值带上，像浏览器一样，不用关注具体细节。用法示例如下：import reqestslonginUrl = 'http://www.xxxxx.com/login's = requests.Session()# 首先访问登录界面，作为游客，服务器会先分配一个co...
2018-11-01 09:47:49
428
转载 insert引起的死锁
DEADLOCK DETECTED ( ORA-00060 )[Transaction Deadlock]The following deadlock is not an ORACLE error. It is adeadlock due to user error in the design of an applicationor from issuing incorrect ad-ho...
2018-10-30 19:30:09
3040
转载 Cardinality Feedback特性导致执行计划不稳定
前段时间，在项目中碰到一个相当棘手的问题。我在写一张报表时需要查询客户数据库中已存在的视图（是早期开发就有的）,相对应的销售表中已有上千万条数据，写完后台逻辑将对应数据查出来没任何问题。但是在界面上再点击查询按钮。问题就来了：页面直接卡死。 排除掉其他常见问题，例如语句性能，索引，缓存等等。最后发现奇怪的现象，正常来讲同样的一条SQL查询语句，根据执行计划，第一次查询完以后，后续再执行相...
2018-10-09 15:23:26
434
转载 破解xlsm文件的VBA项目密码
工具待破解的xlsm文件、Excel2010、Hex Editor步骤1.修改.xlsm后缀为.zip2.使用压缩软件打开，进入xl目录找到vbaProject.bin文件，解压出来3.使用Hex软件打开vbaProject.bin文件，查找DPB替换成DPx，保存文件，重新压缩，修改后缀名.zip为.xlsm4.使用excel打开.xlsm文件，开发工具->...
2018-09-27 19:19:13
5092
转载 python类中的self参数和cls参数
1. self表示一个类的实例对象本身。如果用了staticmethod就无视这个self了，就将这个方法当成一个普通的函数使用了。2. cls表是这个类本身。# 代码为证class A(object): def func1(self): print("func1:", self) @staticmethod def func2(): pr...
2018-07-05 17:43:31
987
转载 JS 的 new 到底是干什么的？
大部分讲 new 的文章会从面向对象的思路讲起，但是我始终认为，在解释一个事物的时候，不应该引入另一个更复杂的事物。今天我从「省代码」的角度来讲 new。---------------------------想象我们在制作一个策略类战争游戏，玩家可以操作一堆士兵攻击敌方。我们着重来研究一下这个游戏里面的「制造士兵」环节。一个士兵的在计算机里就是一堆属性，如下图：我们只需要这样就可以制造一个士兵：v...
2018-06-08 09:32:12
1471
转载 如何通过dbms_stats包修改列的最大最小值
来源：http://blog.itpub.net/22034023/viewspace-703015/?utm_source=jiancoolGoalIt is possible that we need to set statistics manually, for example, - when it takes a long time to gather stats for a big ta...
2018-05-15 11:23:36
572
转载 ORACLE中SID和SERVICE_NAME的区别
先来讲一个小故事,2015年6月份，有个客户迁移了数据库，由单实例数据库变成了RAC。Java应用程序出现了无法连接数据库的情况，但是PL/SQL能连接上数据库。由于项目比较庞大，虽然在半夜切换的，但是也不能接受长时间的业务停顿。当时，我对Oracle技术也只是略知皮毛。在咨询过公司研发后，他们给我的建议是：参考PL/SQL的连接参数，将spring中jdbc连接的url由j
2017-04-28 16:28:34
571
转载 深入理解connect by level<xxx
对于connect by，现在大多数人已经很熟悉了connect by中的条件就表示了父子之间的连接关系比如 connect by id=prior pid但如果connect by中的条件没有表示记录之间的父子关系（如 connect by里没有 id=prior pid）那会出现什么情况？常见的，connect by会在构造序列的时候使用。用se
2017-04-28 16:26:01
1482
转载 使用shell+awk完成Hive查询结果格式化输出
好久不写，一方面是工作原因，有些东西没发直接发，另外的也是习惯给丢了，内因所致。今天是个好日子，走起！btw，实际上这种格式化输出应该不只限于某一种需求，差不多是通用的。需求：--基本的：当前Hive查询结果存在数据与表头无法对齐的情况，不便于监控人员直接查看，或者导出到excel中，需要提供一个脚本，将查询结果处理下，便于后续的查看或者操作。--额外的：A、每次查
2017-03-30 15:15:56
2421
转载 linux expect详解(ssh自动登录)
shell脚本实现ssh自动登录远程服务器示例:#!/usr/bin/expectspawn ssh [email protected] "*password:"send "123\r"expect "*#"interact 原文链接：http://www.xuanhao360.com/linux-expects/Expect是一个用来处理
2016-12-23 17:32:03
3163
转载 Oracle的pipelined函数提升数据输出性能
从Oracle 8开始，我们就可以从一个collection类型的数据集合中查询出数据，这个集合称之为“虚拟表“。它的方法是“SELECT FROM TABLE(CAST(plsql_function AS collection_type))”，据说该方法在处理大数据量时会有内存方面的限制。到了Oracle 9i之后，一个称为pipelined表函数的技术被推出来。他和普通的
2016-11-25 16:30:46
1419
转载 Oracle管道函数(Pipelined Table Function)介绍
一 概述：1、管道函数即是可以返回行集合（可以使嵌套表nested table 或数组 varray）的函数，我们可以像查询物理表一样查询它或者将其赋值给集合变量。2、管道函数为并行执行，在普通的函数中使用dbms_output输出的信息，需要在服务器执行完整个函数后一次性的返回给客户端。如果需要在客户端实时的输出函数执行过程中的一些信息，在oracle9i以后
2016-11-25 16:28:37
4030
转载 Oracle的备份方式
1冷备份 冷备份是Oracle最简单的一种备份；执行冷备份前必须关闭数据库；然后使用操作系统实用工具或者第三方工具备份所有相关的数据库文件。 优点:能简单快速地备份。能简单快速地恢复。执行简单。 缺点:必须关闭数据库，不能进行点恢复。2热备份 热备份是当数据库正在运行时进行数据备份的过程。执行热备份的前提是：数据库运行在可归档日志模式。适用于24X7不
2016-10-31 15:10:09
380
转载 如何分析Oracle_AWR报告
WORKLOAD REPOSITORY report for OracleDB NameDB IdInstanceInst numReleaseRACHostICCI1314098396ICCI1110.2.0.3.0YES
2016-10-31 13:18:33
2218
转载 详述逻辑读与arraysize的关系
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律任。http://5073392.blog.51cto.com/5063392/1308191我们都知道,数据块是oracle最基本的读写单位,但用户所需要的数据,并不是整个块,而是块中的行,或列.当用户发出SQL语句时,此语句被解析执行完毕，就开始了数据的抓取阶段,在此阶段,服务
2016-10-31 12:56:33
378
转载 Oracle的TX锁（行级锁、事务锁）
3.1 Oracle的TX锁（行级锁、事务锁） 许多对Oracle不太了解的技术人员可能会以为每一个TX锁代表一条被封锁的数据行，其实不然。TX的本义是Transaction（事务），当一个事务第一次执行数据更改（Insert、Update、Delete）或使用SELECT… FOR UPDATE语句进行查询时，它即获得一个TX（事务）锁，直至该事务结束（执行COMMIT或ROLLBACK操
2016-10-08 20:42:51
967
转载 csv批量转xls | excel按行数拆分
Sub 转换() ChDir "d:\user\828604\桌面" Dim sDir As String Dim curdir As String curdir = "d:\user\828604\桌面" sDir = Dir(curdir & "\*.csv") While Len(sDir)
2016-07-06 16:08:36
2517
转载 csv大文件分割以及添加表头
为了减轻编辑的工作，某种情况下网站上可能用会到csv格式的文件进行数据导入，但一般网站除了有上传文件大小限制以外，还有就是php脚本语言读取文件到内存一些以及写入到mysql中会超过最大范围。因此只考虑到用分割文件来实现。（当然偷懒就没有用到其他工具导入的方式了）1.转换csv文件的到对应的编码。这个很多工具都可以做到。2.在linux下分割文件:（表示按5000行分文件）#
2016-06-27 16:24:57
7140
转载 教你如何用 Vim 看小说
我们都知道 Vim 滚屏是不流畅的，用来看小说会吃力。所以用命令：:,$p就可以打印到标准输出，用 j k space 翻页。来源：http://www.epooll.com/archives/601/
2016-04-29 18:04:06
1768
转载 hive动态分区与静态分区
HIVE分区，实际上是通过一个路径来标识的，而不是在物理数据中。比如每天的数据，可能分区是pt=20121023这样，那么路径中它就会变成：/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是，如果我们需要取特定分区的数据，只需要把这个路径下的数据取出来就可以了，不用扫描全部的数据。HIVE默认是静态分区。但是有时候可能需要动态创建不同的分区，比如商品
2016-03-17 10:00:35
592
转载 excel中以指定分隔符从右往左截取字符&多重判断
从A串中提取从"."开始的字符串B，可以使用find函数来对"."的首次出现进行定位，这类似于各种语言中的indexOf功能。find是从左往右查找的，在EXCEL中并没有从右往左查找，类似lastIndexOf的函数。在EXCEL想要从右往左截取字符，可使用公式：TRIM(RIGHT(SUBSTITUTE(A1,".",REPT(" ",LEN(A1))),LEN(A1)))。例
2015-06-01 18:38:14
29518
1
转载 retalk PostgreSQL function's [ volatile|stable|immutable ]
PostgreSQL 函数的稳定性, 以前写过几篇BLOG讲述, 见参考部分.本文再细化并举例说明一下他们的差别.首先函数稳定性分三种 : volatilestableimmutable首先创建1个测试表 : digoal=> create table test (id int, info text);CREATE TABLEdigoal=> insert
2015-03-19 17:47:09
1239
转载 GreenPlum的并行查询优化策略
1、GreenPlum这种share nothing的架构： 良好的发挥了廉价PC的作用。自此I/O不在是DW的瓶颈，相反网络的压力会大很多。但是greenplum的查询优化策略能够避免尽量少的网络交换。对于初次接触greenplum的人来说，肯定耳目一新。 2、greenplum的查询优化器 greenplum的查询优化器负责将SQL解析成每个节点(segm
2015-02-28 15:13:43
5718
转载 几种构造序列的方法比较
整理自 http://www.itpub.net/thread-1796279-1-1.html1. select rownum rn from all_objects where rownum2. select rownum rn from dual connect by rownum3. select rownum rn from xmltable('1 to xx'); --10
2014-09-09 20:18:46
990
转载 oracle中对象表，ref及deref的一个实例。
ORACLE在关系数据库外，融入了面向对象的元素，比如可以创建type，type之间可以继承，type可以带构造函数、排序函数、各种各样的成员函数、存储过程等等。对象表是指该表的一行就是一个对象，有一个OID(object ID)，对象表之间没有主外键关联的概念，为了体现这层关系，oracle中用了ref对象来实现。 下面例子，创建一个地址类型，一个人员类型，人员有地址属性，所以在人员
2014-09-08 12:50:04
1216
转载 oracle的字符集设置与乱码
字符集问题一直叫人头疼，究其原因还是不能完全明白其运作原理。在整个运行环节中，字符集在3个环节中发挥作用：1.软件在操作系统上运作时的对用户的显示，此时采用操作系统定义的字符集进行显示。我们在系统I/O编程的时候经常要指定字符集，C#中的Text.Encoding=Encoding.Default实际上就是告诉编译器，文本使用系统定义的默认字符集进行编码。sqlplus也是运行在操作系统上
2014-08-11 00:43:16
13976
转载 关于数据库Varchar字段类型长度设计问题
现代数据库一般都支持CHAR与VARCHAR字符型字段类型，CHAR是用来保存定长字符，存储空间的大小为字段定义的长度，与实际字符长度无关，当输入的字符小于定义长度时最后会补上空格。VARCHAR是用来保留变长字符，在数据库中存储空间的大小是实际的字符长度，不会像CHAR一样补上空格，这样占用的空间更少。 从以上特点来看，VARCHAR比CHAR有明显的优势，因此大部份数据库
2014-08-01 11:16:13
869
转载 延迟块清除和ORA-01555快照过旧
ORA-01555 快照过旧，是数据库中很常见的一个错误，比如当我们的事务需要使用undo来构建CR块的时候，而此时对应的undo 已经不存在了， 这个时候就会报ORA-01555的错误。ORA-01555错误在Oracle 8i及之前的版本最多。从9i开始的undo自动管理，至现在的10g、11g中的undo auto tuning，使得ORA-01555的错误越来越少。但是这个错误
2014-07-08 00:18:55
2602
转载 Oracle数据库中的系统参数（包括隐藏和废弃的）
Oracle数据库系统根据初始化参数文件init.ora中设置的参数来配置自身的启动，每个实例在启动之前，首先读取这些参数文件中设置的不同参数。Oracle系统中的参数，根据系统使用情况可以简单分为两大类，普通参数，也就是Oracle系统正常使用的一些参数，另外一类就是特殊参数，包括三种，过时参数、强调参数和隐藏参数。随着Oracle数据库新版本的发布，相应每次都会增加或者删除一些参数。如何查询当
2014-07-02 00:40:02
1281
转载 sql like语句中的通配符：百分号、下划线和escape
# %代表任意多个字符 select * from user where username like '%huxiao'; select * from user where username like 'huxiao%'; select * from user where username like '%huxiao%'; # _代表
2014-07-02 00:27:31
10734
转载 数据库范式：掀起你的盖头来
【介绍】 凡是做过数据库设计的，只要不是大菜鸟，听到范式两个字，马上就会在脑海中浮现1NF，2NF，3NF，BCNF这些术语，但是若要大家详细的将这几个东东的专业定义描述出来。。。。。。呵呵，至少大部分人都会晕的，什么功能依赖、函数依赖，~！@＃￥%……&*，my god！反正我是记不住：） 但既然上了IT这条贼船，就无法避免和数据库设计打交道，丑媳妇总是要见
2014-03-31 19:15:54
771
转载 PLS-00565的错误解决
今天被个小问题折腾了10分钟，哎sys@MYORACLE> CREATE OR REPLACE TYPE NUMTABLETYPE is table of number2 /CREATE OR REPLACE TYPE NUMTABLETYPE is table of number*ERROR at line 1:ORA-06545: PL/SQL: compilation
2014-02-26 20:22:46
5116
1
系统安装闪盘制作工具-USB MltiBoot 10.0
2010-04-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人