xiaozhanger的专栏

原创 树莓派 挂载的问题

先sudo fdisk -l看看有没有识别然后df -h 看看有没有挂载，如果没有，sudo mount /dev /home/pi/xijieyingpan怎么自动挂载，我不懂。先记录吧参考：https://www.jianshu.com/p/188828d9777ahttps://www.jianshu.com/p/ef23a1b88c22...

原创 树莓派3b配置CUPS

很多文章经过试验都是不行的，这篇文帐是可以的主要是配置文件这块。#Only listen for connections from the local machine.Listen localhost:631Listen IP:631Listen /var/run/cups/cups.sock#也可以直接改为Port 631监听所有端口# Show shared printe...

转载 在Ubuntu 16.10 安装 git 并上传代码至 git.oschina.net

https://www.cnblogs.com/wghao/p/6082657.html这篇文章讲的很全面。

原创 树莓派3 配置 python 访问mssql，并且搭建django

 https://www.aliyun.com/jiaocheng/460396.html  这个是搭建python的访问mssql的文章，使用的是python-pymssql,这里使用的是python2.7的版本的， https://www.cnblogs.com/freeweb/p/5210167.html，这个是搭建django的文章， https://blog.csdn.net/q...

原创 linux thinkphp 目录 [ ./Runtime/ ] 不可写！

到 application 目录下chmod 777 -R Runtime

原创 总结树莓派3b lnmp安装步骤

安装 树莓派stretch版本，开启ssh上电，开机ssh连接，更换成中科大的源，apt-get update upgrade安装screen，xdrp，开启root用户，并切换到root用户，执行oneinstack.com上的自动安装包，等待2个小时，安装完成。...

转载 Raspbian 镜像使用帮助

清华大学开源软件镜像站

转载 树莓派启用root账户

树莓派使用的linux是debian系统，所以树莓派启用root和debian是相同的。debian里root账户默认没有密码，但账户锁定。当需要root权限时，直接执行sudo su即可切换为root用户。树莓派默认用户是pi，密码为raspberry。重新开启root账号，可由pi用户登录后，在命令行下执行sudo passwd root修改root的密码。执行此命令后系统会提示输入两遍的ro...

原创 步骤

1：烧 img文件2：win下根目录建立 ssh空文件3：ssh上去，更新源为 http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/4：apt-get update,apt-get upgrade5：根据lnmp.org进行配置screen6：进行screen方式的安装lnmp   ...

原创 lnmp.org上的安装方法

1：安装方法2：安装lnmp前请先运行screen

原创 树莓派窗口系统启动后，自动运行自定义的程序的实现方法

窗口系统启动后，自动运行自定义的程序的实现方法进入当前用户HOME目录下的.config目录(这是一个隐藏目录，需用ls -a显示出来)cd ~/.config 当前用户是pi, 其HOME目录是/home/pi, 上述命令相当于 cd /home/pi/.config建立一个名为autostart的子目录,并进入该目录mkdir autostartcd autostart生成一个*.deskto...

转载 树莓派3下PDO访问MSSQL

手头的树莓派3已经装了LAMP，也做成功了用python借助FreeTDS访问MSSQL的实验，然后想测试下用PHP脚本直接访问MSSQL。查阅了一些资料，发现可以用php5-sybase实现。你没看错，就是sybase。在MS SQL SERVER的发展历史中，微软最初就是和Sybase合作的，因此这是可以理解的。这就很简单了，sudo apt-get install php5-sybase。完...

转载 Python渗透测试工具合集

https://www.shiyanlou.com/questions/3972

转载 kali

Kali Linux Web 渗透测试秘籍https://blog.csdn.net/wizardforcel/article/details/52814054

原创 win7 64位安装mysql odbc

因为安装的mysql是32位的，所以要安装32位的mysql odbc 32位的mysql odbc下载安装好要打开32位的odbc进行配置，就是按照下面的命令打开   c:\windows\syswow64\odbcad32.exej进行配置，然后再打开，sqldbx就ok了windows 7 64位中使用32位的mysql odbc     我在64位的Windows 7中安装32位的myod...

原创 git学习

一、要安装的软件Notepad++GitBaiduyun二、Git初始化和配置1.新系统使用Git开始接触是因为去年Gov屏蔽该网站，在国内引起强烈的议论，但是由于刚刚接触java，时间也就没怎么花在上面，近来看到一些专业招聘网站上看到招聘要求上“博客，github贡献者”优先，也注意到开源中国也开始代码托管，趁现在任务量不是很大，花了点时间来捣鼓一下，熟悉一下应用，希望以后能用得上。1...

原创 thinkphp3.2连接sql2000

PHP的SQLServer驱动由微软提供。只有 SQLSRV20才支持SQLServer2000， SQLSRV30及以上版本需要更新的SQLServer。SQLSRV20支持PHP5.3、PHP5.2。第一步 下载1、安装phpstudy，切换到appch+php5.3版本2、去 http://www.thinkphp.cn/down.html 下载ThinkPHP3.2.3完整版。4、百度 S...

原创 tr显示hint

先定义一个DIV，把你要提示的内容，放到这个DIV中 向上增加一行 修改此行 向下增加一行代码：$("table tr").mouseover(function(){ $("#divInfo").css("z-index",999);//让层浮动 $("#divInfo").css("top",this.top+行高);//设置

转载 python爬虫解决验证码的思路

如果直接从生成验证码的页面把验证码下载到本地后识别，再构造表单数据发送的话，会有一个验证码同步的问题，即请求了两次验证码，而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。法1:用session：mysession = requests.Session()login_url = 'http://xxx.com'checkcode_url='http://yy

转载 Python模拟登录(一) requests.Session应用

最近由于某些原因，需要用到Python模拟登录网站，但是以前对这块并不了解，而且目标网站的登录方法较为复杂， 所以一下卡在这里了，于是我决定从简单的模拟开始，逐渐深入地研究下这块。注：本文仅为交流学习所用。登录特点：明文传输，有特殊标志数据    会话对象requests.Session能够跨请求地保持某些参数，比如cookies，即在同一个Session实例发出的所有请求

原创 git 强制覆盖本地

git fetch --allgit reset --hard origin/mastergit fetch 只是下载远程的库的内容，不做任何的合并 git reset 把HEAD指向刚刚下载的最新的版本

转载 http调用打码兔 的文档

http://wiki.dama2.com/index.php?n=ApiDoc.Http

转载 python利用cookie登录网站进行访问

在写爬虫的时候遇到需要登录才能访问的网站往往很令人头疼，伪装成浏览器访问神马的也许又会遇到网站采取的加密措施，不胜麻烦！然而，如果换一种思路，先用浏览器登录你想访问的网站，再在浏览器的控制台里找到该网站的cookie，然后利用这个cookie进行带cookie的访问，无疑是短时间内解决此问题的好办法。但是我们都知道cookie的有效期并不长，所以可能第二天你就必须重新查看新的cookie。下面

转载 python 用已登录的cookie发送请求

如题，比如现在已经手动用ie登录了csdn，然后可以在ie的缓存里面找到对应的cookie，能否用这个cookie请求我的博客等需要登录的页面呢？网络上找了很多中方法，但是没有一种尝试成功的。Python code?1234567891011121314#coding=utf-8impo

转载 静态网页抓取，动态网页抓取，模拟登陆的注意事项和心得

最近更新：2013-07-03背景之前，对于折腾，静态或动态的网页抓取，模拟登陆，也算有些时日了。在此期间，遇到很多问题，也都基本上靠自己慢慢的解决了。此处，把其中相对常见和通用的问题或者是注意事项，再加上一些心得，在此整理出来，供参考：网页抓取和模拟登陆的注意事项和心得如果不加User-Agent，则有些网址的访问，会被禁止的此点，之前别的很多人已总结过了。此

转载 网络爬虫-使用Cookie登陆

我们经常有这样的上网经历，就是如果你采用用户名密码登陆一个网站之后，如果在一段不长的时间内，再次访问这个本来需要你登陆的网站，你会很轻易地访问，而不需要再次输入用户名密码。这种“免登陆”的体验无疑给用户带来了非常好的体验，那为什么会“免登陆”呢？是什么在起作用呢？答案就是Cookie。当我们在浏览器内输入url，浏览器会向服务器发送一个HTTP请求，相应的，服务器会响应这个请求，向浏览器返回响

转载 网络爬虫-验证码登陆

验证码是一种非常有效的反爬虫机制，它能阻止大部分的暴力抓取，在电商类、投票类以及社交类等网站上应用广泛。如果破解验证码，成为了数据抓取工作者必须要面对的问题。在访问某些网站时，我们最初只是需要提供用户名密码就可以登陆的，比如说豆瓣网，如果我们要是频繁登陆访问，可能这时网站就会出现一个验证码图片，要求我们输入验证码才能登陆，这样在保证用户方便访问的同时，又防止了机器的恶意频繁访问。对于这种情况，

转载 分享一下赶集网的反扒策略

转载 垂直爬虫

垂直爬虫的代码实现比较简单，主要是两方面：1. 限定url，一般是通过正则匹配2.限定内容，比如列表页面只要抓取详细页面的url，详细页面只要抓取特定内容，一般都是用css 选择器或者xpath的库取匹配内容垂直爬虫的技术难点没有全网爬出那么多，主要要解决的是反爬的问题.针对性的做几个项目的垂直爬虫，你就慢慢形成了你自己的垂直爬虫框架，有了自己的任务管理，数据集存储，基本的数据处理

转载 如何应对网站反爬虫策略？如何高效地爬大量数据?

如何应对网站反爬虫策略？如何高效地爬大量数据?像一些大型的网站会有反爬虫策略…比如我之前在爬淘宝评论后很快就会被封，大概是短时间爬太多…有什么好的策略吗？比如代理？不过感觉代理也不能稳定吧…请点击：https://www.zhihu.com/question/28168585

转载 Anti-Anti-Spider 反反爬

https://github.com/luyishisi/Anti-Anti-Spider越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因去TX写验证码了，项目暂停）

转载 requests 和 scrapy 在不同的爬虫应用中，各自有什么优势？

equests 是一个http框架，可以用来做爬虫scrapy 是一个专业的爬虫框架我是个python新手，研究怎么爬人家网站，朋友推荐我学requests，果然看了下文档，几分钟就能开始爬了但是我看scrapy 这个爬虫框架，被很多人喜欢，我想这个东西一定有他的独特之处，我目前使用requests爬的时候，先用其他方法得到cookies，然后把cookies共享给

转载 scrapy: 使用HTTP代理绕过网站反爬虫机制

下面的链接是我在python3.4 和Scarpy1.2上的实现的代理中间件http://blog.csdn.net/letunihao/article/details/52350437Table of Contents1. 简介2. 设计3. 实现抓免费代理的脚本HttpProxyMiddleware4. 坑5. 想法1 简介最

转载 爬虫的基本框架

最近看过不少讲爬虫的教程[1][2]，基本都是一个模式：开始先来拿正则、lxml、jquery/pyquery等等教大家从页面上抠出一个一个的值来然后深入一些在讲讲http 协议，讲讲怎么拿出 cookie 来模拟登录之类的，讲讲基本的反爬虫和反反爬虫的方法最后在上一个 简单地 scrapy 教程，似乎就皆大欢喜了。具体地采集一个一个的数据的确让人产生成就感，然而这些教程却都忽略了

转载 Scrapy爬取美女图片第四集 突破反爬虫(上)

本周又和大家见面了，首先说一下我最近正在做和将要做的一些事情。（我的新书《Python爬虫开发与项目实战》发布了，大家在这里可以看到样章）技术方面的事情:本次端午假期没有休息，正在使用flask开发自己的个人博客框架，之后我的技术教程将会陆续更新flask方面的内容，尽可能的形成一套完整的flask开发教程。之后打算再开通一个微信公众号，自己使用python开发微信公众号后台，给大家提供一些生

转载 第7章 Scrapy突破反爬虫的限制

第7章 Scrapy突破反爬虫的限制阅读目录7-1 爬虫和反爬的对抗过程以及策略7-2 scrapy架构源码分析7-3 Requests和Response介绍7-4~5 通过downloadmiddleware随机更换user-agent7-6~8 scrapy实现ip代理池7-9 云打码实现验证码识别7-10 cookie禁用、自动限速、自定义

原创 py开发环境

转载 Python打开文件，将list、numpy数组内容写入txt文件中

python保存numpy数据：[python] view plain copynumpy.savetxt("result.txt", numpy_data);  保存list数据：[python] view plain copyfile=open('data.txt','w')

转载 我看Python代码缩进

这两天python-cn邮件列表有一条thread发展的特别长，题目是《python的代码缩进真是坑爹》（地址），楼主在一台电脑上用KOMODO写的代码到另一台电脑上就不能运行了，调试后才发现是代码缩进的问题，为此楼主表示“真是火大”！而之后的回复，可想而知，批判楼主、教育楼主、鄙视楼主等的人绝不是少数（毕竟是python邮件列表，都是python开发者、爱好者嘛）。要求严格的代码缩进是p

原创 python selenium firefox

1：pip install  selenium2：如果想在selenium中使用 firefox（selenium默认就是firefox），对于新版的firefox，需要下载geckodriver，http://download.csdn.net/detail/ztzy520/9725887，3：如果运行报错，browser = webdriver.Firefox()bro