- 博客(48)
- 收藏
- 关注
RSS订阅原创 monkey基础学习
monkey一、Monkey测试简介Monkey测试是Android平台自动化测试的一种手段，通过Monkey程序模拟用户触摸屏幕、滑动Trackball、按键等操作来对设备上的程序进行压力测试，检测程序多久的时间会发生异常。Monkey程序由Android系统自带，使用Java语言写成，在Android文件系统中的存放路径是：/system/framework/monkey.jar；Monke
2017-11-15 17:22:56
9428
1
原创 jenkins ant jmeter持续集成2
jenkins ant jmeter> github模板项目地址(接口保密)jmeter优势不依赖于界面,测试脚本不需要懂编程,熟悉http请求,熟悉业务流程,对象来编写接口测试用例。测试脚本维护方便,多人共同维护使用参数化以及Jmeter提供的函数功能，可以快速完成测试数据的添加修改等。功能测试和性能测试均可完成可结合jenkins ant/maven做日构建持续集成尽量不要从业务逻辑
2017-11-10 15:40:27
411
1
原创 appium服务
#coding=utf-8#coding=utf-8import reimport time,sys,osimport subprocessfrom UIAUTO_APP import settingsimport threadingfrom multiprocessing import Processsys.path.append(os.path.abspath('..'))f
2017-11-10 14:50:06
370
原创 selenium常见问题集锦
一.日历选中处理(readonly属性不能写的处理)很多人问时间日期的空间怎么处理，但是时间日期控件各种各样，你可能遇到正常点的像这样： 当然也可能遇到难点的，像这样： 很简单，用js把禁止输入的readonly属性干掉就好了。js_start="document.getElementById('queryStartTime').removeAt
2017-11-10 14:47:11
1802
原创 Jenkins jmeter maven持续集成知识点
一.mavenmaven安装配置maven下载官方地址Apache Maven Project需要安装jdk配置path环境，安装成功后输入mvn -v如下信息表明安装成功Apache Maven 3.5.0 (ff8f5e7444045639af65f6095c62210b5713f426; 2017-04-04T03:39:06+08:00)Maven hom
2017-10-27 16:33:06
741
原创 jenkins jmeter ant 持续集成测试
jenkins jmeter ant 持续集成测试 使用ant打包运行jmeter脚本文件偏于简单ant配置文件<?xml version="1.0" encoding="UTF8"?><project name="ant-jmeter-test" default="run" basedir="."><tstamp><format property="time" pattern="yyy
2017-10-24 14:52:27
297
原创 十一.scrapy 爬取百度相关搜索主题信息内容
一.新建项目cd 项目目录scrapy startproject baidunspidercd baiduspiderscrapy gensipider -t basic mybaiduspider news.baidu.com 二.主项目，item暂时不加，注意setting配置里面必须加入headers user-agent，否则百度禁止爬虫爬取信息‘举例以 ，在
2017-07-20 16:46:32
818
原创 一.python 反爬虫
一.爬虫比例：二.爬虫头信息浏览器header信息：Accept 浏览器可接受的MIME类型 ,设定某种扩展名的文件，浏览器会自动使用指定应用程序来打开Accept-Charset 浏览器支持的字符编码 Accept-Encoding 浏览器知道如何解码的数据编码类型(如 gzip)。Servlets 可以预先检查浏览器是否支持gzip并可以对支持gzip的浏览器返回g
2017-07-18 09:58:45
578
原创 六.通过接口统计张江的小鸣单车数量
一.看看张江的地图张江地图呈现梯形，并且多出一块正方向二.安装小鸣单车APP，后fiddler抓包小鸣单车APP抓包可以看到每次定位https://api.mingbikes.com/common/terminal/get_near_bike，返回参数可以看到POST参数是经纬度，返回的信息都是单车的型号，SN编码，还有经纬度三.分析1.看定位区间以固定经纬度(
2017-07-18 09:43:10
840
原创 四.python面试题 内置函数instance getattr setattr hasattr
isinstance isinstance(object, classinfo) 判断实例是否是这个类或者object是变量 classinfo 是类型(tuple,dict,int,float) 判断变量是否是这个类型 class objA: pass A = objA() B = 'a','v'
2017-07-13 15:12:30
322
转载 1000个常用的Python库和示例代码
下面是programcreek.com通过分析大量开源代码，提取出的最常用的python库。 1. sys (4627) 2. os (4088) 3. re (3563) 4. time (3195) 5. datetime (2214) 6. random (2135) 7. unittest
2017-07-11 15:35:11
535
原创 十.scrapy项目 爬取主页http://cuiqingcai.com/获取所有url与title
一.分析采用crawlspider，利用rule规则提取url，并且follow=True追踪下去
2017-07-10 10:50:38
1397
原创 三.python面试题 类的三种方法
分别是类方法，静态方法，实例方法。而能让类只接调用的只有类方法，或通过一些小技巧，类也可以调用实例方法如上面例子中的调用这边顺便说明下这三中方法的区别1类方法的特点是类方法不属于任何该类的对象，只属于类本身2类的静态方法类似于全局函数，因为静态方法既没有实例方法的self参数也没有类方法的cls参数，谁都可以调用3.实例方法只属于实例，是实例化的对象才能调用#coding:utf-8
2017-07-07 13:37:40
265
转载 一.海量数据存储基础
课程大纲：1. 课程目标2. 存储服务概述3. MySQL与MySQL分布式架构设计4. Redis与Redis分布式架构设计5. 思考与讨论一、课程目标1. 了解存储服务概况，以及RDBMS及NoSQL的差异2. 理解MySQL、Redis、HBase基本实现机制、特性、适用场景3. 理解几种存储产品的大规模
2017-07-07 11:33:50
2369
原创 九.scrapy项目下spiders内多个爬虫同时运行
1.运行单个爬虫from scrapy.cmdline import executeexecute(('scrapy,crawl,myspd1,--nolog').split(','))2.运行多个爬虫单个爬虫是调用crawl方法来运行爬虫，可以查看crawl源码运行多个爬虫，可以直接修改crawl源码，新建一个mycrawl文件#coding:utf-8imp
2017-07-07 09:51:44
8730
2
原创 八.Scrapy 学习下Spider中间件Spider Middlewares
前面几篇文章都只是对Scrapy框架的一个初步了解，这篇文章中我打算稍微深入Scrapy框架中，通过下载保存美女图片的例子，去探究下Spider Middleware的相关知识。一，Scrapy架构概览要探究清楚Spider Middleware，首先得对Scrapy框架的整体架构有个大致的认识，如下图所示： 1，组件（Components）Scrapy 引擎（
2017-07-07 09:42:00
10312
原创 七.scrapy settings中文版
SettingsScrapy设定(settings)提供了定制Scrapy组件的方法。您可以控制包括核心(core)，插件(extension)，pipeline及spider组件。设定为代码提供了提取以key-value映射的配置值的的全局命名空间(namespace)。 设定可以通过下面介绍的多种机制进行设置。设定(settings)同时也是选择当前激活的Scrapy项
2017-07-07 09:38:55
602
原创 三.Python爬虫Xpath语法与lxml库的用法
安装1pip install lxml利用 pip 安装即可XPath语法XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。节点关系（1）父（Parent）每个元素以及属性都有一个父。在下面的例子中，bo
2017-07-07 09:34:19
521
原创 六.Python爬虫Beautiful Soup的用法
1. Beautiful Soup的简介简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beauti
2017-07-07 09:29:23
250
原创 二.python 面试题装饰器
这是在Python学习小组上介绍的内容，现学现卖、多练习是好的学习方式。第一步：最简单的函数，准备附加额外功能12345678# -*- coding:gbk -*-'''示例1: 最简单的函数,表示调用了两次''' def myfunc():
2017-07-06 11:40:50
1671
原创 一.python 常见面试题11题
问题1到底什么是Python？你可以在回答中与其他技术进行对比（也鼓励这样做）。答案下面是一些关键点：Python是一种解释型语言。这就是说，与C语言和C的衍生语言不同，Python代码在运行之前不需要编译。其他解释型语言还包括PHP和Ruby。Python是动态类型语言，指的是你在声明变量时，不需要说明变量的类型。你可以直接编写类似x=111和x="I'm a s
2017-07-05 09:57:54
2089
原创 六.scrapy crawlspider
一.理论逻辑图二.创建项目scrapy startproject mycrawlcd mycrawlscrapy genspider -t crawl mycrawlspider sohu.com#codoing:utf-8import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scra
2017-07-04 21:51:57
697
原创 五.python requests ip伪装,cookie登陆获取,利用cookie进行登陆
#coding:utf-8#requests ip伪装，cookie登陆获取，利用cookie进行登陆#ip伪装import requestsfrom bs4 import BeautifulSoupheader={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:51.0) Gecko/20100101 F
2017-07-04 17:48:20
6042
原创 四.python urllib2 ip伪装,cookie登陆获取,利用cookie进行登陆
#coding:utf-8#urllib2 ip伪装，cookie登陆获取，利用cookie进行登陆#urllib2 ip伪装import urllib2,socketfrom bs4 import BeautifulSoupproxy=urllib2.ProxyHandler({'http':'202.121.178.244:8080'})opener=urllib2.build_o
2017-07-04 17:46:40
1221
原创 二.python 多进程总结
一.多进程 def1.import timeimport multiprocessingdef run(data): print time.ctime(time.time()) print dataif __name__=='__main__': p1=multiprocessing.Process(target=run,args=('11',))
2017-07-04 17:28:28
695
原创 三.python threading多线程总结
threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。python当前版本的多线程库没有实现优先级、线程组，线程也不能被停止、暂停、恢复、中断。threading模块提供的类： Thread, Lock, Rlock, Condition, [Bounded]Semaphore, Event, Timer, local。threading 模块提供的常用方
2017-07-04 17:20:43
868
原创 一.python多线程类型总结
一.多线程 def#coding:utf-8import threadingimport timedef run(data1,data2): print time.strftime('%H:%M:%S',time.localtime(time.time())) print threading.currentThread() print data1,data2
2017-07-04 17:05:48
744
原创 五.scrapy CSVFeedSpider
一.何时用到数据格式为csv时，抓取数据需要用到 如http://yum.iqianyue.com/weisuenbook/pyspd/part12/mydata.csv二.如何玩打开网站是csv下载文件，下载后为用记事本打开后三.上代码scrapy startproject csvspidercd csvspiderscrapy genspider
2017-07-04 15:27:37
1546
原创 四.scrapy XMLFeedSpider用法
一：在何时才会使用到XMLFeedSpider 处理RSS订阅信息，RSS是一种信息聚合技术，是
2017-07-04 14:38:46
2040
原创 三.scrapy配置参数
一.scrapy startproject 创建项目参数配置"""C:\Users\Administrator>scrapy startproject -hUsage===== scrapy startproject [project_dir]Create new projectOptions=======--help, -h show t
2017-07-04 11:26:36
1219
原创 三.获取登陆cookie，并且利用cookie访问登陆后的界面
一.urllib2方法#coding:utf-8import cookielibimport urllib2import urllibimport requestsurl='http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LRRiM'data={'use
2017-07-03 13:45:14
6112
2
原创 二.验证伪装的代理ip是否成功
IP检查网站http://ip.filefab.com/index.php直接上代码import requestsimport urllib2from bs4 import BeautifulSoupurl='http://ip.filefab.com/index.php'import socketheader={ 'User-Agent': 'Mozilla/5.0 (Ma
2017-07-03 13:41:26
2734
转载 Python爬虫入门三之Urllib库的基本使用
那么接下来，小伙伴们就一起和我真正迈向我们的爬虫之路吧。1.分分钟扒一个网页下来怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面
2017-06-30 13:59:01
275
原创 Python爬虫入门二之爬虫基础了解
1.什么是爬虫爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事儿。
2017-06-30 13:58:17
183
原创 Python爬虫入门一之综述
大家好哈，最近博主在学习Python，学习期间也遇到一些问题，获得了一些经验，在此将自己的学习系统地整理下来，如果大家有兴趣学习爬虫的话，可以将这些文章作为参考，也欢迎大家一共分享学习经验。Python版本:2.7，Python 3请另寻其他博文。首先爬虫是什么？网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，
2017-06-30 13:57:08
521
1
原创 五.BeautifulSoup大众点评爬取店铺信息，存储到mongodb
#coding:utf-8from pymongo import MongoClientimport requests,refrom multiprocessing import Poolfrom bs4 import BeautifulSoupimport pymongofrom matplotlib import pyplot as plt#开启数据库cn=MongoClien
2017-06-30 13:53:39
1848
原创 四.BeautifulSoup爬取51job任意职位并且存储到mongodb
#coding:utf-8import requestsimport reimport urllib2from pymongo import MongoClientfrom bs4 import BeautifulSoup#抓取51job相关职位信息def get_url(): #连接mongo数据库 cn=MongoClient(host='127.0.0.1',
2017-06-30 13:50:26
1114
原创 二.lxml用法大全
#coding:utf-8from lxml import etreetext = ''' first item second item third item fourth item fifth item '''#etree.parse('hello.html') 加载文档
2017-06-30 13:48:08
880
原创 三.BeautifulSoup用法大全
#coding:utf-8import HTMLParserfrom selenium import webdriverimport time,os,requests,xlwt,xlrdfrom lxml import etreefrom xlutils.copy import copyfrom bs4 import BeautifulSoupdef url_do(path,jo
2017-06-30 13:47:35
381
原创 二.selenium爬取51job任意职位信息
#coding:utf-8import HTMLParserfrom selenium import webdriverimport time,os,requests,xlwt,xlrdfrom lxml import etreefrom xlutils.copy import copyfrom bs4 import BeautifulSoupdef url_do(path,jo
2017-06-30 13:44:26
1163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人