SX_csu2016sw-CSDN博客

原创 Scrapy爬虫系列笔记之十:反爬虫之动态代理,限速,登录以及验证码_by_书訢

3.2ip代理反爬:发现某个时段访问大量增加，ip相同，需要登录才能访问处理方式:IP代理池，利用免费资源动态ip代理：思路很简单直接书写中间件利用代理(同user-agent在settings文件中放了一堆的代理ip地址和端口，资源见“西刺网”)from settings import random_proxyclass RandomProxyMiddleware(obje

2018-02-07 21:38:13 1338

原创 Scrapy爬虫系列笔记之九:反爬虫之Useragent设置以及开源项目的结合_by_书訢

3.scrapy反爬虫技术3.1User-agent反爬：网站发现某个时段访问的user-agent都是python,直接限制访问对应方式:user-agent模拟浏览器方式一.settings文件中写入一个预置list，在爬虫文件中给header的user-Agent进行设置settings.py文件中将user-agent写入，这里我采用的是写一个list,之后爬虫文件只

2018-02-07 21:36:09 719

原创 Scrapy爬虫系列笔记之八:Selenium进行动态网站爬取_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。2.5动态网站爬取之Selenium2.5.1简单介绍selenum以及hello worldSelenium是什么呢？百度百科：直接上手：1.搜索 selenium python api driver 进入下载对应的driver 2.pip 安装selenium以下是Hel

2018-02-07 21:33:40 1397

原创 Scrapy爬虫系列笔记之七:ItemLoader解决代码难以维护的噩梦_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。2.4ItemLoader解决代码难以维护的噩梦之前都是先通过选择器得到值，然后赋值，这样的后果就是代码很难维护而且丑直接上itemloaderitem_loader = ItemLoader(item=ArticleItem(),response=response)item_loader.a

2018-02-07 21:30:53 629

原创 Scrapy爬虫系列笔记之六:使用item以及对得到的数据进行存储以及处理_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。2.3将得到的数据进行存储将一个url中的内容进行下载，并且使用选择器进行选择以后得到了内容。应该怎么将我们得到的内容进行存储呢？步骤如下： 1.在items中定制我们自己的itemclass ArticleItem(scrapy.Item): title = scrapy.Field

2018-02-07 21:29:21 1981

原创 Scrapy爬虫系列笔记之五:静态无验证网站的爬取以及xpath和css选择器_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。2.2静态无验证网站的爬取静态网站的爬取十分简单，之前已经说明了start_urls中的url会通过下载器下载，返回response到parse函数中，所以我们只需要在parse函数中对response进行操作就可以得到我们想要的内容了方法一：XPath 方法二：css选择器

2018-02-07 21:27:23 767

原创 Scrapy爬虫系列笔记之四：爬取实战之创建爬虫以及Scapy环境搭建_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。2.爬取数据实战引言：第一章已经总结了python虚拟环境的创建以及一些爬虫所需要的基础知识这一章爬取静态网站与动态网站2.1基础操作，新建虚拟环境，同时创建爬虫1.首先我们按照第一章所讲的，新建虚拟环境，安装依赖mkvirtualenv ScrapyDemopip in

2018-02-07 21:25:50 1161

原创 Scrapy爬虫系列笔记之三:正则表达式,url去重策略以及遍历算法_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚1.2基础知识部分1.2.1常见类型的服务：静态网站动态网站 webservice(restapi)1.2.2正则表达式的一些应用以及python代码示例：^s:表示字符串必须以s开头import re string_demo="software2018"

2018-02-07 21:23:17 1641

原创 Scrapy爬虫系列笔记之二:搭建python以及其虚拟环境_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。1.环境配置和基础知识铺垫1.1搭建开发环境1.1.1安装pythonwindows: 官网下载python2和python3，进行安装，记录对应安装路径，可以改变环境变量中的地址设置默认版本 linux: 例：sudo apt-get install python3.

2018-02-07 21:21:27 586

原创 Scrapy爬虫系列笔记之一:总纲_by_书訢

这段时间因为项目需要一直在学习爬虫，担心像以前一样很多时候学习了新技术很久以后不用就忘掉很多。于是写下笔记，一方面帮助自己总结知识，以后回顾更快。另一方面帮助和我一样初次接触爬虫的人快速入门。以下是笔记大纲1.环境配置和基础知识铺垫 1.1正则表达式 1.2深度优先和广度优先算法 1.3url去重策略2.爬取数据实战 2.1实战准备工作 2.2静态网站

2018-02-07 21:16:29 1056

原创洗澡有感

我们的一言一行都是价值观的外现与输出，世界的一切都是他人价值观体现以及对我们的输入。 --书訢今天洗澡突然思考好多，成文记录一下。我们为人处世背后都有一套原则，有的人原则明确，有的人飘忽不定。我们喜欢和人分享生活，分享见识，有的人谈论的大多是诗歌与远方，有的人谈论大都是秦楼谢馆。我们各有爱好，有的人喜爱歌唱，有的人喜爱运动，还有的人喜爱睡觉。价值观是平等的，行为与言语是价值观的输出。以

2018-01-13 20:17:14 603

原创操作系统基本概念二

进程1.什么是进程：有独立功能的程序，关于某个数据集合的一次运行过程2.进程与程序的区别：①程序是指令的集合，存在是永久的（例：.java .cpp .py 等文件）进程有生命周期，是一个动态的概念②进程=程序+数据集合+PCB③一个程序可以创建对应多个进程（例：开多个QQ）④一个进程可以包含多个程序⑤没有创建进程的程序不会被执行3.PCB process control b

2017-12-16 22:14:30 456

原创操作系统中基本概念一

最近整理了一下操作系统的复习，觉得有些概念还是挺棒的，和大家分享转载请注明出处：http://blog.csdn.net/SX_csu2016sw/ 1.中断：使得CPU从当前任务改变为运行内核子程序的过程断点1：将当前进程信息保存到PCB中断点2：根据PCB中的信息将进程恢复 2.分时系统与实时系统分时系统面向用户，所以追求的是响应时间（提交完成到首次响应）实时系统要求高，

2017-12-16 21:43:29 1480

转载 Android之Adapter用法总结

转载来自：http://www.cnblogs.com/devinzhang/archive/2012/01/20/2328334.html\Android之Adapter用法总结1.概念 Adapter是连接后端数据和前端显示的适配器接口，是数据和UI（View）之间一个重要的纽带。在常见的View(List View,Grid View)等地方都需要用到Adapter。如下图

2017-11-17 20:16:23 311

原创 java中使用Junit进行单元测试

一．Junit单元测试：步骤: 1.新建测试类，Junit Test Case 2.选择要进行测试的类和测试类的名字 3.通过next中进行选择需要测试的方法，然后在指定的代码位置，进行代码测试，使用assertEquals(你所期望的值,结果)，（如果是符合结果的那么就会产生绿色的条，反之是红色的） 4.如果说要添加新的方法进行测试，那么就通过写一个方法，之后只要在方法上面

2017-10-14 20:53:26 1858

1、DOM　　DOM解析XML文件时，会将XML文件的所有内容读取到内存中，然后允许您使用DOM API遍历XML树、检索所需的数据。使用DOM操作XML的代码看起来比较直观，并且，在某些方面比基于SAX的实现更加简单。但是，因为DOM需要将 XML文件的所有内容读取到内存中，所以内存的消耗比较大，特别对于运行Android的移动设备来说，因为设备的资源比较宝贵，所以建议还是采用SAX 来解析XML

2017-10-14 20:22:31 1454

原创 XML文件以及DTD的编写

感谢阅读转载请注明出处：http://blog.csdn.net/SX_csu2016sw1.XML：1.1XML简介:1.1是一种可扩展标记性语言，类似于HTML，设计的宗旨是描述以传输数据，并不是用来显示数据1.2XML标签没有预定义，需要开发人员自己定义1.3XML文件遵循得失W3C于2000发布的XML1.0规范1.2XML用途:常用于Client/Sever之间传输数据，使得

2017-10-14 19:58:39 2895

转载 Android广播机制

1.Android广播机制概述Android广播分为两个方面：广播发送者和广播接收者，通常情况下，BroadcastReceiver指的就是广播接收者（广播接收器）。广播作为Android组件间的通信方式，可以使用的场景如下：1.同一app内部的同一组件内的消息通信（单个或多个线程之间）；2.同一app内部的不同组件之间的消息通信（单个进程）；3.同一app具有多个进程的不同组件之间的消息通信

2017-10-06 18:36:51 319

转载 android的消息处理机制（图+源码分析）——Looper,Handler,Message

因为在博客园看到这篇博客写的特别好所以转载过来了，一起学习进步原地址：http://www.cnblogs.com/codingmyworld/archive/2011/09/12/2174255.html 学习android的一大乐趣是可以通过源码学习google大牛们的设计思想。android源码中包含了大量的设计模式，除此以外，android sdk还精心为我们设计了各种helper类，对

2017-10-05 18:50:25 537

转载 Android消息处理机制(Handler、Looper、MessageQueue与Message)

http://www.cnblogs.com/angeldevil/p/3340644.html 讲的比较深入，因为markdown编辑器显示的原因所以直接贴链接了

2017-10-05 17:25:16 393

转载在Android Studio中进行单元测试和UI测试

本篇教程翻译自Google I/O 2015中关于测试的codelab，掌握科学上网的同学请点击这里阅读：Unit and UI Testing in Android Studio。能力有限，如有翻译错误，请批评指正。Github下载测试源码文章转载自http://www.jianshu.com/p/03118c11c199目录在Android Studio中进行单元测试和UI测试 - 1.概述

2017-10-03 14:38:18 1764

原创 java反射，类加载器以及配置文件的结合使用

引子：感谢阅读希望作为读者的你们可以多多关注我的作品，并留言或者加我qq一起学习因为之前自己在学习的时候总是觉得有些博主们讲的有些快，所以我会讲的比较详细，能力好的可以快速掠过~~ 若需转载请注明来处：http://blog.csdn.net/SX_csu2016sw 希望你们多多留言，你们的鼓励与指出的不足都是我前进的动力01类加载器* A.类的加载当程序要使用某个类时，如果

2017-09-20 22:59:42 501

转载详细研究java内存中的对象

痴情研究java内存中的对象本文是我直系学长写的，觉得写的很棒随意==所以转载出来，原地址：http://weixiaolu.iteye.com/blog/1290821 前记：注：本文不仅研究类类型的对象，还研究基本数据类型线索：我想采用实例代码驱动的方式来一步步地分析，这也符合我们探知新事物的过程。一、基本数据类型的内存分配代码1：int p1=1000;s

2017-08-22 14:29:36 315

转载 Android的Message机制（简单小结）

网上以文档形式流传，不知道原文在哪，感谢原作者了！================简单调整了下格式就共享了===============================================对于Android的Message机制主要涉及到三个主要的类，分别是Handler、Message、Looper；首先对每个类做一个简单介绍；然后再介绍所谓的Android的Message机制是如何实现

2017-08-10 09:39:23 569

原创 java通信系列之一by_书訢：通信基础和简单服务器客户端创建

引子：感谢阅读这一篇博客是我们整个JAVA通信的实操第一篇，希望大家多多支持项目下载地址在文章末尾，如果出现了问题请留言~~ 希望作为读者的你们可以多多关注我的作品，并留言或者加我qq一起学习因为之前自己在学习的时候总是觉得有些博主们讲的有些快，所以我会讲的比较详细，能力好的可以快速掠过~~若需转载请注明来处：http://blog.csdn.net/SX_csu2016sw 希望你们多

2017-08-02 11:41:03 730

原创 java简单画图板实现

引子：感谢阅读希望作为读者的你们可以多多关注我的作品，并留言或者加我qq一起学习因为之前自己在学习的时候总是觉得有些博主们讲的有些快，所以我会讲的比较详细，能力好的可以快速掠过~~若需转载请注明来处：http://blog.csdn.net/SX_csu2016sw希望你们多多留言，你们的鼓励与指出的不足都是我前进的动力这个画图板是我好久之前做的，之后浙大的

2017-08-02 09:42:00 11552 7

原创 [Visual Studio]MFC游戏开发之回合制对战系统二_by书訢

引子：感谢阅读这一篇博客是我们整个MFC游戏的实操第二篇，希望大家多多支持项目总览地址：http://blog.csdn.net/sx_csu2016sw/article/details/76473309项目下载地址在文章末尾，如果出现了问题请留言~~希望作为读者的你们可以多多关注我的作品，并留言或者加我qq一起学习因为之前自己在学习的时候总是觉得有些博主们

2017-08-01 22:10:27 1636 2

原创 [Visual Studio]MFC游戏开发之回合制对战系统一_by书訢

游戏开发的第一篇，实现MFC的基础操作，在之后会开始进入真正的游戏实战，会尽可能的详细在本文中也有我项目的源码，项目的总览可以在第一篇总览中查看，应该做的还是不错的~作为学习和交流之用，copyright are all reserved2333

2017-08-01 21:35:21 1758 3

原创 [Visual Studio]MFC游戏开发之回合制对战系统_by书訢

引子：感谢阅读接下来一段时间书訢（xin）会为大家定时更新总结讲解前一段时间刚刚结束的MFC实训项目--回合制对战游戏希望作为读者的你们可以多多关注我的作品，并留言或者加我qq一起学习若需转载请注明来处：http://blog.csdn.net/SX_csu2016sw介绍一下自己：中部地区某985软件工程在读，2016级入学目前即将大二，希望通过CSDN治疗懒癌的

2017-07-31 22:11:16 2942

原创有感

年轻的时候我表面很谦虚其实我内心很骄傲因为同事们出去玩的时候我都在做学问同样是受教育很少的情况你可以看到他们每天保持原样而自己的学识却日渐提高大家虽然都是做同样的工作但是我日益求精不断求进所以我提醒自己如果有骄傲之心总有一天会碰壁

2017-07-23 12:58:50 351

原创关于未来的选择

对于未来的选择——其实这还是之前那篇的内容，但是我认为这是另一个方面所以独立成文。进入大学的我们或许没有人清楚自己未来是做什么，正如巴菲特所言：“二十岁之前说自己未来一定做什么的都是瞎扯”。对于我们这些大一的学生来说，要想走更远的路，既要马不停蹄地赶路，又要尽量不走弯路。没有目标我们就会兜圈子，有事甚至南辕北辙。我对我们现在的情况和选择进行了分析。大致来说对于我们来说有三条

2017-07-23 12:58:23 515

原创个人道德与品质思考

温良恭俭让忍爱上古圣贤对个人的道德品质追求是“ 温良恭俭让忍爱”，我自己对它进行了补充，我认为这几个字在一定程度上指导了我的生活，完善了我的人格。因为它对我影响很大，而且和主题相关所以在这里写下了这篇文章。温：这是我们中国人的特色吧，我记得刘墉有言：“凌晨六点的台湾是中国的真正写照，大街上的人温和出行，微笑面对一切，所有的人都是那么平和，没有人觉得比别人“高级””。或许平和

2017-07-23 12:57:36 604

原创大学的第一次演讲

今天站在这里发现我的厚脸皮帮助了我，我还是挺淡定的，果真是人不要脸天下无敌啊。那个因为人生阅历不足的原因我只能给大家灌灌鸡汤，希望大家对我多多包容。今天演讲的主题是：慢慢前行，打破瓶颈。先引用一个大画家说的瓶颈理论吧，他说：学画的过程中，大多数人都会遭遇到瓶颈期。本来觉得天天有进步的，但是突然有一天，就迷茫了，不会画了，不知道该怎么画了……如果突破这个瓶颈期，会有突飞猛进的进步；若是突

2017-07-23 12:55:40 645

原创异常处理以及引申

异常异常结构图：一.关于整个类图的理解：在 Java 中，所有的异常都有一个共同的祖先 Throwable（可抛出）。Throwable 指定代码中可用异常传播机制通过 Java 应用程序传输的任何问题的共性。 Throwable：有两个重要的子类：Exception（异常）和 Error（错误），二者都是 Java 异常处理的重要子类，

2017-07-23 12:15:01 345

原创 JAVA泛型详解

Java泛型详解目录：1.问题现象，如何处理，新的问题2.泛型介绍，以及注意点3.定义泛型类4.定义泛型方法5.类型擦除6.限制使用类型 1.问题现象，如何处理，新的问题问题现象：我们都知道在使用一个变量之前我们都需要先定义好变量的数据类型，然后再使用变量，但是如果我们需要使用一个

2017-07-23 12:13:55 256

原创面向过程理解以及引申

面向过程（数据处理和数据分离）面向过程的程序设计是一种自上而下的设计方法，设计者用一个main函数概括出整个应用程序需要做的事，而main函数由对一系列子函数的调用组成。对于main中的每一个子函数，都又可以再被精炼成更小的函数。重复这个过程，就可以完成一个过程式的设计。其特征是以函数为中心，用函数来作为划分程序的基本单位，数据在过程式设计中往往处于从属的位置。　　　面向过程式设计的优

2017-07-23 12:12:22 1010

原创继承重写自动转型/ 多态

----------------继承-----------------------Public class Men { //父类定义private string name ;Public void setname(){name = “sx”;}}//Sx(舒鑫)属于人的子类对吧，所以Sx将men继承，属于men的子类//继承是

2017-07-23 12:10:50 404

原创 JAVA使用swing/awt实现界面

利用库中的JFrame类接下来是代码Import javax.swing.*;Import java.awt.*;import java.awt.FlowLayout;import javax.swing.JFrame;import javax.swing.JTextField;//这边是因为下面用到了这些所以要在最开始import//imp

2017-07-23 12:09:04 2955