SpiderFlamK-CSDN博客

原创暴力解决方案

navicat连接远程数据库遇上这个问题，修改过mysql权限，修改过sshd_config的权限，各种各样的方法都修改过，最后.....直接关闭防火墙，不使用ssh登录就能登录成功了.................

2018-05-30 09:57:35 296

原创 elasticsearch dsl集成python中indices.analyze方法参数analyzer的坑（调用es的analyze接口分析字符串）

今天在做elasticsearch的过程中遇上大坑，填坑过程在python中调用elasticsearch的indices.analyze接口的过程中，本来看网上的文章是这样写的result = es.indices.analyze(index=index,body=text,analyzer='ik_max_word' params={'filter':["lowercase"]...

2018-04-27 23:46:43 4841 2

原创 ElasticSearch安装windows 安装时报“此时不应有 \JVM.option”或者Could not find any executable java binary的解决办法

下载jdk后配置一次环境变量，计算有右键-》属性-》更改设置-》高级-》环境变量-》上面一个框，下面一个框，在下面的框进行新建，编辑操作(1)新建->变量名"JAVA_HOME"，变量值"C:\Program Files\Java\jdk1.8.0_05"（即JDK的安装路径） (2)编辑->变量名"Path"，在原变量值的最后面加上“;%JAVA_HOME%\bin;%JAVA_HO...

2018-04-24 20:53:25 5819 3

原创 Navicat连接到服务器端数据库

Navicat for mysql 连接远程数据库（已经开启SSH带秘钥的服务器端数据库）本来没有开启秘钥的远程服务器端数据库连接非常方便，就在新建连接上填入数据就ok了，但是开启SSH秘钥后的服务器连接有一个大坑，下面来详细讲讲。其实开启了秘钥，在新建连接下，先选择SSH方式登录到远程服务器 1.ip地址填写公网IP（这里就不给你们看我的地址啦） 2.SSH默...

2018-04-24 10:43:53 51219 8

原创 selenium集成到scrapy

from selenium import webdriverfrom scrapy.selector import Selectorimport time#1、selenium获取页面元素# browser = webdriver.Chrome(executable_path="D:/browserexe/chromedriver.exe")# browser.get("https:/...

2018-04-19 17:36:03 404

转载 Scrapy的中间件Downloader Middleware实现User-Agent随机切换

如何实现随机更换User-Agent这里要做的是通过自己在Downlaoder Middleware中定义一个类来实现随机更换User-Agent,但是我们需要知道的是scrapy其实本身提供了一个user-agent这个我们在源码中可以看到如下图：源码：from scrapy import signalsclass UserAgentMiddleware(object): """Thi...

2018-04-18 09:33:25 3065

原创 django中使用杀手级后台Xadmin(配置)

方法一：直接在cmd中输入pip install xadmin(不建议，不是最新版)方法二： 1.上github搜索xadmin，然后下载下来，进入下载根目录复制xadmin文件夹放在项目根目录下\放在指定引进apps的文件夹下 2.下载所依赖的包，最新公告如下：Install Requiresdjango >=1.9django-crispy-forms &gt...

2018-04-12 14:34:56 559

原创 Django运行流程（例子说明）

下图很好解析了django的运行流程下面是一个简单的Django例子url.py（添加url，调用getform方法）urlpatterns = [ url(r'^admin/', admin.site.urls), url(r'^form/$', getform,name='go_form')]views.pydef getform(request): all_mess...

2018-04-10 16:07:33 1338

在项目setting下的DATABASES下配置自己的数据库连接如下图生成数据库，点击Tools 选择Run manage.py Task如果报错为：No module named MySQLdb需要在虚拟环境中安装mysql驱动（pip install mysql-python）如果在windows环境下安装失败请到https://www.lfd.uci.edu/~gohlke/pythonl...

2018-04-09 17:14:38 1148

原创 python之Django目录结构理解

1.apps是自己建立的一个存放app的文件夹，因为项目大了之后会存在很多app（pycharm生成app方法 Tools-Run manage.py Task-输入startapp app名称）2.log自己创建的存放日志文件夹3.media自己创建的存放用户上传的文件4.static自己创建的存放静态文件如CSS和JS5.templates是存放HTML文件6.untitled2下的文件 ...

2018-04-09 17:02:41 1863

原创一些反爬机制

写爬虫的时候总结出部分反爬机制：(1)U-A校验模式当你在家用浏览器上网的时候，每次发送请求时请求头会自动携带浏览器参数还有系统参数给服务器。从而让服务器知道这是一个人啊！一次来作为反爬机制的一种。(2)限制访问频率正常人浏览网站点击速度有多少？机器访问快多了，短时间发送几百个请求。这时候服务器检测到后就可以通过设置一个速度去封IP，例如一分钟访问200次就封锁IP(3)设...

2018-04-07 15:48:20 4547

SpiderFlame的博客