自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Ricky Qiu的软件测试笔记

@rickyqiu | [email protected] | http://item.jd.com/11728332.html

  • 博客(88)
  • 资源 (9)
  • 收藏
  • 关注

原创 新书出版了 - 移动App测试实战

好久没有更新blog了,算是憋了一个大招 :)下面是这本书的前言。前 言现在已经是一个移动互联网的时代,借助手机等移动设备,人们可以完成资讯的获取、社交、游戏,以及日常生活的各种应用,甚至很多工作的开展。有很多新兴的移动互联网公司在崛起,也有很多传统的IT公司在转型,更有大量传统行业的企业在借助移动互联网拓展自己的业务。对IT技术人员而言,这是一个非常好

2015-07-16 22:38:05 12584 2

原创 测试工作速记3 - 交叉测试

我如果说有一天我灵机一动想到去执行这个做法,那就是在装。这个方法大家都知道,但是不一定会去做,我们立马去做了,主要也是受了些刺激,被别人找到一些问题。于是我们就在想,我们部门有好几个测试小组,为什么我们不自己来个左右互搏呢?正好双11刚结束的时候有点时间,那好,我们就做做看。最后的结果远超我的预期,在几天的时间里,我们累积发现了63个问题,确认的有效问题47个。有25个模块参与,14个发现了问

2014-12-01 22:00:33 5811 1

原创 测试工作速记2 - 设立一些奖

这不是什么新鲜的做法,无数的团队尝试过,个人之前的经验里面也有。但是就像很多思路和做法,都是很普遍的,问题是我们是否想到去用,更进一步是自己想明白为什么要去做这件事?和几个同事在白板讨论了这个想法,设立了上面几个奖项。之后我们就开始去做了,这周评完奖,今天双周会颁了奖。也许不能让每个人满意,但整个过程还不错。bug king/queen(这次结果是queen)和bu

2014-11-21 00:18:22 4783 4

原创 测试工作速记1 - 不要有被迫害妄想症

有很多工作上零星的思考和体会,觉得应该写出来,但是想起来写一篇长文又觉得气短时间不够长。于是想到弄一个这样的系列,把这样零星而具体的感悟写出来,供别人参考也给自己提醒,提升逼格的叫法应该是spark或者inspired :)这第一篇的名字有点吓人,源头是对比工作中两段时间的工作状态,觉得挺有意思。不同的项目,同是测试的工作。有段时间我们每天想的和做的:1. 开发的提测质量太不靠

2014-11-14 00:41:08 4581 1

原创 ⽤运营的思路来做无线产品测试-第13届BQConf上的分享

⽤运营的思路来做无线产品测试,在2014.10.25,第13届B'QConf(北京软件质量大会)上分享的一个主题。主要是关于京东无线测试的一些实践,包括android和ios的代码覆盖率,无线的接口自动化监控,app UI自动化。

2014-10-30 00:30:41 4022 3

原创 所谓的成就感,想想我们测过的那些功能

晚上电话和同事讨论一个工作上的事情,结束的时候聊起这样的一个话题,完全是有感而发,也觉得心有戚戚焉。不是什么很特别的事情,就是我们每天在做的工作,测功能,测版本,然后发布,每个月在做,每周也在做。正是因为这样的平常,很多时候我们就只看到这个工作本身。想想这样的两种状态吧:1. 我们很理解为什么要做这样的功能,有什么意义(实际意义,战略意义也好),认可或者部分认可它的价值。

2014-10-19 23:51:14 4298

原创 也谈下测试的招人难

看了一个朋友在朋友圈转的一篇文章,读得心有戚戚焉,也想写几句最近的感受。原文在这里: http://www.cnblogs.com/skytraveler/p/3876707.html, 他提到招人的要求不高。“我的要求其实是:有还算不错的沟通能力,熟悉常见软件开发流程,有一定的需求分析、用例设计能力,会基本的linux和sql操作能力。有一些代码能力会加分。这是长期与现实妥协的结果。如果

2014-09-09 13:00:07 6242 4

原创 Android开发和测试实践 - 接入友盟统计

这两年一直在做无线的测试,后续还会继续去做无线的测试,但是之前因为时间的原因一直都没有非常仔细的了解到代码层面。近期抽空自己做了些app的开发,决定如果想把移动的测试做好做深入,有一定的app开发经验非常的有必要,因为只有这样很多东西才能真正理解了。另一个方面,这本身就很有趣。实践的过程也想陆续整理出来,做下笔记,也给别人一些参考,遇到很多问题的时候也是到谷歌度娘的找答案,帮助很多。目前更

2014-04-30 18:31:20 18209 1

原创 关于软件测试的几点反思 - 关于测试团队的组织

这一篇是系列文章的第三篇,前面两篇分别谈了测试的必需性(http://blog.csdn.net/superqa/article/details/21406611),以及测试工作的一些内容(http://blog.csdn.net/superqa/article/details/21485737),接下来想聊一下测试团队的组织。要讨论这个话题,首先要讨论下测试人员本身的归属,因为通常是人多

2014-03-24 16:19:15 10066 4

原创 关于软件测试的几点反思 - 测试工作的三个阶段

每次我们的思路跳出一些框框,都会有不同的领域。有点点哲学上的意味,很多领域做到后面,其实会超出那个领域本身的范畴。就好比高性能的汽车,到后面就不得不研究空气动力学这个原本是和航空有关的东西。但是,这是否超出了本意,如果去看待,又是另一个问题。其实这样的三个阶段也是一个粗略的划分,并不一定要逐步的来发展,其实都是一些具体的做法和实践。以我目前经历过的实践只想到这样的层次,应该还有更高级的阶段。我们越到后面我们发现进一步的努力带来的提升幅度其实不大。但是很多事情也是一样,从85分到90分付出的努力可能比50

2014-03-18 23:11:16 23809 5

原创 关于软件测试的几点反思 - 测试是必需的吗?

对比而言,我们其实也可以粗略的发现,测试做的深入程度很多时候是和这个企业的定位有关,而不是和测试人员的能力有关。或者应该来说,长期来看,取决于这个方面。因为有人员的流动和发展,对比下国内几个大的互联网公司,测试都做得相对比较深入,但是几年前可能还不是,因为有强烈的业务方面的需求和大的投入,以及有很多人才都不同的地方汇入。

2014-03-17 20:43:57 7430 3

原创 互联网业务测试团队如果快速构建轻量级的自动化

互联网的产品版本的节奏非常快,一个20多人的测试团队一周发布上百个功能特性是一件很普通的事情。团队成员有非常多的精力消耗在这些功能版本上,需要快速的理解业务,构建测试环境,bug验证回归,以及发布上线等等,留给业务测试同学构建自动化用例的时间非常少。但是另一方面,有必需要快速的构建自动化来减少回归的压力,如何平衡这样的矛盾,轻量级的方案值得考虑。

2014-03-06 18:36:39 7759

原创 Velocity 2013参会笔记

今年有幸去北京参加了Velocity 2013北京大会,有一些见闻收获,交个作业,记录得比较零散。有些同学可能还不了解这个大会,这里简单介绍下。这个大会是O‘Reilly组织的,对,就是那个著名的IT图书出版社。从2010年开始引入中国,都是在北京举办。Velocity,顾名思义,关注的是性能,主要是WEB的性能,现在移动应用的性能也是重点,所以去演讲的大多是Google,Face

2013-09-28 16:44:28 4057

原创 性能测试基础培训 - PPT下载

之前的一些性能测试实践的总结,浓缩成2个小时(80页)的一个课程,内部讲过一次,也分享出来。更完整的版本有兴趣的也可以单独联系。这个PPT的主要内容如下:0 关于性能测试的一些观念1 性能测试计划2 性能测试工具介绍3 虚拟用户的创建4 用户场景的建模5 测试数据的收集6 结果分析和报告7 性能测试的自动化下载地址:http://download

2013-09-28 13:35:09 6713 4

原创 HTTP基础培训及一点点感悟 - 含PPT下载

进入互联网的测试领域已经过去一年半了,期间也花了不少的时间补充一些相关的知识,最近把一些HTTP方面的知识和实践整理成了一个2小时的培训,作为团队的一个系列培训的第一课。因为是定位基础,所以很多细节没有详细展开,每一个topic其实都可以单独作为一门课程。下载地址: http://download.csdn.net/detail/superqa/5661397没有什么很高深

2013-06-27 21:25:31 4847

原创 关于移动app测试的一些思考和实践 - 含PPT下载

5月底去杭州参加了一次阿里技术沙龙的活动,应会议组织者耿电兄的邀请去做了一个移动app测试的分享(详见http://club.alibabatech.org)。有点被抓壮丁的感觉,主要是因为觉得我们团队在无线测试方面的积累还很不够,无论是相对于业界还是相对于公司内部的很多移动测试团队。不过倒是很高兴有这样的机会去参加交流,因为要准备PPT,所以也“被逼”着去了解了很多方面的内容,并且在整理的过程中

2013-06-23 13:57:58 16025 1

原创 C#代码覆盖率实践-vsinstr和OpenCover

最近接触的项目涉及到C#开发的应用,测试过程中我们需要去分析C#的代码覆盖率,问了一些人,在网上也搜了一些,零碎的找到很多资料,但是都不是很完整,实际使用的过程中还是走了不少弯路。到现在为止,有两种可行的方案试验成功了,这里写出来给大家分享下。可能很多人都用过,就当是个整理吧。方法一:使用VS自带的vsinstr工具准备条件:安装VS2010或者VS2012。基本的操作

2013-06-09 00:57:01 12727 10

原创 关于测试职业发展的一点探讨和思考

最近在和团队成员一对一沟通的时候,聊到比较深入的地方,得知大家有一个担忧和想法:担心现在工作上的积累,包括对业务的深入了解和产品相关技术的深入学习,以后到了新的项目上可能不适用,因而自己会变得没有竞争力。基于这样的想法,会刻意花不少时间去学习其他“有用”的技术,可能和产品用到的完全不相关。刚开始听到这样的想法有点吃惊,但是想想大家有这样的担心也不奇怪,其实有这样的思考也是负责任的态度,毕竟现实

2012-08-22 00:11:52 5742 7

原创 借其他行业的做法来看软件测试和质量保证

今天下午在上海参加了邰晓梅老师和华雄兄组织的ministar club的活动,这里上传一下今天的PPT, http://download.csdn.net/download/superqa/4299169交流的过程中大家聊得非常热烈,很多同行都发表了自己的看法,很久没有参加这样的交流活动,而且大家都是有多年的软件测试的实践,项目相关的经验也非常的丰富,所以可以聊到很多深入的东西。我的这

2012-05-13 20:53:53 3676

原创 互联网测试有什么不一样

最近一直有写这样一篇文章的想法,因为自己工作的变动,都是些零散的思路和想法,这里稍作整理,贴出来。正好假期的时候有朋友问到这方面的话题,希望也是一个参考。其实说实话,觉得自己不是很够资格来写这个,毕竟开始做互联网测试的时间不长,很多方面还在摸索和catch up中。但是另一个方面,如果真都习以为常了反倒没有对比的新鲜感了也不想写了。再加之今天看到韩少的那篇写给不一样的自己,觉得把看法写下来,哪

2012-04-06 00:15:12 16946 10

原创 最后一篇:关于治疗和健康

前面两篇blog从个人的一次CT检查开始,然后通过一些其他的医学检查来类比我们的软件测试,很高兴引起了很多的讨论,有表示获得启发的,也有不同看法的。觉得都是很好的互动,上海的一些同行也约了三月份再多多交流。这个是关于这个思考的最后一篇,目前在某医院的病房里,微创的手术(对,就是关于那个小石头的)做完了,还在回血中...这一篇更多关于疾病和健康,有些所见所想觉得很有必要和大家

2012-02-07 20:23:17 2327 1

原创 续一篇:类比医学检测看软件测试

上一篇blog(http://blog.csdn.net/superqa/article/details/7216934)贴出来后在weibo上引起了不少同行的讨论,也给了我一些新的启发,继续写一篇,也结合大家不同的一些观点。对应weibo的地址在这里,http://weibo.com/1659525945/y316NCTai,列举一些评论,大家各自发表自己的观点,也没有人当得了裁判。

2012-01-30 21:19:35 2619

原创 从CT技术想到的软件测试

年前的时候被体内一颗短径4.8mm的小石头折磨,还提前休了几天病假,并第一次被要求去做了个CT。第二天拿到了报告,完全看不懂,咨询了当外科医生的高中好友,他打了一个简单又有点恶心的比方,就像在自助餐厅里服务员拿一大块牛肉用机器切成几毫米的薄片,每一张图就是一片。嗯,话糙理不糙,大概懂了。因为好奇,后来在网上查了下CT相关的技术,觉得很有意思,有兴趣的可以看看。http://zh.wik

2012-01-29 15:05:22 6675 10

原创 一个没有第一次就把事情做对的故事

人们总说了解自己是一件很难的事情,我想是的,不过你总是会了解慢慢多一点,比如我最近发现自己还挺有实证主义倾向的,喜欢从经验中体会和思考一些事情,不相信纯粹听来的理论,或者总是有一些怀疑(自我安慰这是QA需要的素质之一哈)。OK,不讲理论了,实证主义是要讲经验事实的对吧。事情要从之前的一篇blog讲起。那些埋在墙里面的bug (http://blog.csdn.net

2011-11-27 16:07:54 2593

原创 strace在项目开发中的一点实践

在测试中遇到问题或者不合乎期望的情况下,我们第一反应常常是问是不是我们的测试方法,工具,配置或者数据有问题。如果能借助log等手段看到产品运行时的内部,到是可以解答不少疑惑,但是如果不幸(其实是幸运)做的是一个新的产品,还不是完善,包括log,那么很多时候遇到问题测试人员会觉得很无助,在这个时候我们可能需要借助一些工具。strace就是这样的一个工具,它让你在没有源码,没有log的情况下可

2011-10-22 15:19:39 6951

原创 Where Power Comes From - 再读Becoming A Technical Leader

晚上在看一些资料的时候,觉得有些烦躁,看不进去,于是随手拿起一本书来翻翻,是G. M. Weinberg的Becoming A Technical Leader,去年的8月份买的。这本书之前读完过,很喜欢,但是说实话,很多地方已经记不得了。信手翻到中间的某一章,第263页,第14

2011-10-17 22:39:32 2223 1

原创 自下而上的一点想法

当一个人有一个观点或者感悟,如果这个人不那么自以为是的话,他可能会问自己:这个是自己个人的想法还是其他人也这么认为?因为很多时候,你真的不确定别人会不会有和你一样的感受,特别是每个人的背景和经历等都不太一样。也正因为如此,当你有一个具体的想法,留在心里很久,而某天和人聊天,别人无

2011-10-15 10:34:11 1562

原创 关于进程内存使用的一点学习和实践

在测试,特别是性能测试或者系统的稳定性测试中,内存的使用情况是一个很重要的监控点,不管是从资源使用的角度还是从发现内存泄露问题的角度。如果笼统的来看,大概就是两个指标,系统的内存使用率和进程使用的内存。但是现实世界的事情往往没有那么简单,稍微细一点来看其实有很多的科目

2011-09-24 16:07:01 20749 2

原创 技术,继续,更深入的

有段时间没有更新blog了,好吧,不是有段时间,是两个月了。先说说这段时间做了些什么事情,因为多少和本文有些关系。大概做了三个方面的事情,除了给小朋友喂饭、玩耍和换尿布之外。1.    开始参与一个新的项目因为是新的项目,所以和之前做的东西很不一样,而且不幸,

2011-09-19 19:51:55 1644

原创 测试只是一部分

其实这篇blog酝酿了很久,或者说很早就觉得有话要说,一直没有把它写出来,其中一个原因可能也是没有想太清楚。今天正好在公司有一些相关的讨论,结合最近的一些想法把他完成。进入主题前先说点闲话。在微博上认识了很多做软件测试的朋友,在不同的地域和专业领域,很多人都非常热爱自己的这个工作

2011-07-21 00:52:12 3894 18

原创 放slides了,无人值守的性能测试 for 淘宝技术嘉年华TCon2011

技术嘉年华的活动结束了,非常充实的两天,也是非常有收获的两天。难以一言而尽,大概是几个方面:1. 听到很多精彩的topic,很多有价值的信息,也开阔了眼界。2. 作为演讲嘉宾,和很多同行有更深入的交流。3. 线下的交流很多,认识了很多同行,包括一些之前微博上交流过的,聊到很多问题

2011-07-10 22:46:01 2487

原创 无人值守的性能测试 -- for 淘宝技术嘉年华 TCon2011

去年有幸参加了淘宝组织的测试技术大会,和不少业界同行有面对面沟通的机会,今年更有幸可以作为speaker参与。我的topic是无人值守的性能测试,主要讲的是我们公司内部的一些性能测试自动化的实践,我是其中的参与者和实践者。不过为了,加了个前缀,叫懒人的幸福生活

2011-07-03 23:45:04 3233 2

原创 Perfect or Good Enough – 关于测试程度的一些探讨

<!-- /* Font Definitions */@font-face {font-family:"MS 明朝"; mso-font-charset:78; mso-generic-font-family:auto; mso-font-pitch:variable; mso-font-signature:-536870145 17914

2011-06-19 11:19:00 5190 12

原创 关于技术人员的非技术能力

有段时间没有更新blog了,因为前段时间非常的忙,除了正常的项目上的工作,还在紧张忙碌的准备公司内部的一个叫solution contest的活动,好几个周末,team的几个人都在准备slides,数据和presentation。这个活动每年一次,已经举办了好几年。主要的目的是鼓励大家提出创新的idea,并且做出一个solution,当然是和公司的产品或者业务相关的领域。这是一个竞

2011-06-05 17:40:00 6586 1

原创 关于浏览器端的网页性能测试

<br />近来在做一个新的产品,涉及到对客户端的浏览器的数据进行处理,进而开始要考虑如何测试这类产品的性能,简单来说就是要衡量因为我们产品的引入对于用户访问网页造成的性能方面的影响。<br />个人以前的性能测试经验主要是在服务器方面,比如业务处理系统或者应用层的网关产品。通常的模式都是大量并发的虚拟用户,有一定的并发连接,看重的指标是每秒处理的事务数量,吞吐量,以及响应时间。常常要考虑的问题是如何模拟单个用户的行为,然后借助测试工具模拟大规模的并发,结合监控的工具来获得性能数据。对于现在面临的客户端浏览

2011-05-07 19:25:00 9433 12

原创 测试工程师的明天在哪里

<br />如果一个人很认真的看待自己的工作,那么可能会常常想到发展的问题,所谓人无远虑,必有近忧嘛。同样的,测试人员也会常常问发展的方向在哪里,这其中,刚入行,准备入行或者做了几年的恐怕都有。<br /> <br />最近,在订阅的blog上也看到类似的讨论文章,比如:<br />测试架构师Jack同学有两篇关于测试专家的讨论。<br />《3种类型的测试专家之路选择》<br />http://www.51testing.com/?uid-293557-action-viewspace-itemid-23

2011-04-21 00:03:00 11534 35

原创 Trend CDC 招聘QA engineer

我所在的前一个项目目前在招聘QA,觉得是个不错的机会,产品是卖到世界各地的,有非常大的user base,每年revenue也很大,团队也是非常不错。主要的RequirementsMust 1. A Bachelor's Degree(or above) in Computer Science or equivalent2. 3+ years experience of Software Testing or Software Development.3. Familiar with Linux syste

2011-04-14 16:31:00 2498 2

原创 资料分享-关于软件稳定性测试的思考与实践

前两天和几位软件测试的同行在网上聊到经验交流的问题,大家都觉得国内目前这种同行之间的交流机会还是比较少,特别是面对面交流的机会。很多时候我们的经验都来自于自己的工作,是第一手的资料和心得,但是这也带来一些局限,那就是我们不知到外面其他人的做法,有些时候难免也会自以为是的觉得自己的做法就是最好的或者不知道还有别的做法。短期来看这个对工作没有太大的影响,但是长此以往无论对工作还是个人的发展都很不利。特别是在这个行业做了几年之后,大家都深感和外面的交流很有必要。因为这个博客,也有幸结识了几位优秀的同行,有南京本地

2011-03-19 20:30:00 4185 7

原创 关于DPI产品的性能测试

<br />DPI,Deep Package Inspection,不算是很新的技术,出现了有一段时间了,大概主要用于access control,QoS, 以及安全扫描等方面,所以很多做网络设备和安全的厂商基本都会涉及到相关的技术。国内也有很多的厂商推出了相关的产品,比如针对上网行为管理,可以分析出不同类型(IM,P2P, online game等)的网络访问占用了多少的带宽和流量,进一步可以做一些控制。<br />我之前在做的产品没有直接涉及这方面的技术,但是一直对网络比较感兴趣(读研时最喜欢的

2011-02-26 16:15:00 5053 1

原创 云计算时代的测试挑战

<br />对于云计算,可能不同的人有不同的看法,也有些人认为这只是一个厂商们弄出来的buzz word,是个噱头而已。但是不管怎样,如果你经常关注业界动态的话,你会发现除了那几个众所周知的服务外,还有很多的组织真刀真枪的行动起来了,有很多发布了自己的战略、计划、平台和产品。仅仅是在国内,最近就有很多这样那样的云计算平台,想必大家也听说了一些。最近正好有机会了解了其中的一个,借着一起review test design的机会,了解了一下架构和他们现有的测试方法,同时大家也一起感受到了这种新的类型

2011-02-21 12:40:00 3585 8

⽤运营的思路来做无线产品测试-邱鹏

⽤运营的思路来做无线产品测试,在2014.10.25,第13届B'QConf(北京软件质量大会)上分享的一个主题。主要是关于京东无线测试的一些实践,包括android和ios的代码覆盖率,无线的接口自动化监控,app UI自动化。

2014-10-30

性能测试基础培训

关于软件性能测试的培训材料,结合实例比较系统的讲解性能测试的各个方面。分为以下几个方面:关于性能测试的一些观念;性能测试计划;性能测试工具介绍;虚拟用户的创建;用户场景的建模;测试数据的收集;结果分析和报告;性能测试的自动化。

2013-09-28

HTTP基础知识培训

进入互联网的测试领域已经过去一年半了,期间也花了不少的时间补充一些相关的知识,最近把一些HTTP方面的知识和实践整理成了一个2小时的培训,作为团队的一个系列培训的第一课。因为是定位基础,所以很多细节没有详细展开,每一个topic其实都可以单独作为一门课程。

2013-06-27

无线App的性能分析和监控实践-rickyqiu

关于无线App测试的一些思考和实践。5月底去杭州参加了一次阿里技术沙龙的活动,应会议组织者耿电兄的邀请去做了一个移动app测试的分享(详见http://club.alibabatech.org)

2013-06-23

关于互联网性能测试的一点观察和思考_ricky

关于互联网性能测试的一点观察和思考,在【软件测试俱乐部】第4次技术沙龙活动上分享的主题,6.24@shanghai。

2012-06-25

借其他行业来看软件测试_ricky

MiniStarClub上海分部软件测试沙龙 第四期(2012.5.13)上面用到的PPT。

2012-05-13

TCon2011_无人值守的性能测试_RickyQiu

性能测试的重要性已经得到比较广泛的认可,而且很多组织也具备了基本的性能测试的能力。但是在实际的测试中还是会遇到很多的挑战,比如要测试的平台、配置,以及样本等太多,而性能测试过程中有大量的人工介入使得工作量很大,从而导致很多场景无法覆盖,另一方面,不断的代码修改随时都有可能引入性能缺陷,如果等到很久之后的下一次性能测试才发现就为时已晚,需要大量的回溯以及反复的测试才能找到相关的代码。针对以上的这些问题,我们通过改进测试工具,以及引入自动部署和分析的方法使得性能测试和功能测试一样变得更加的有效和高效。本主题将介绍相关的方法并演示实际的工具和结果,供性能测试人员参考和借鉴。

2011-07-10

关于软件稳定性测试的思考与实践_RickyQiu

在公司组织的QA forum上演讲的slides,关于软件的稳定性和压力测试方面。

2011-03-18

性能测试的分享PPT来自业界

性能测试的ppt,用来增加大家对性能测试的理解和认识,业界专家的经验。

2010-08-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除