oldbig_lin-CSDN博客

原创彻底解决python3与python2的版本冲突（window版）

python版本冲突一直是个大坑，这几天在研究爬虫的过程中，整理的一些版本冲突的解决方法如下在安装了python3.6之后，设置环境变量path，我的路径为：C:\Users\lixin\AppData\Local\Programs\Python\Python36-32C:\Users\lixin\AppData\Local\Programs\Python\Python36-32\

2017-08-16 02:08:08 16093 2

原创使用Github DeskTop提交代码到github（超简便，不需要git指令）

github下载项目代码很容易，可提交代码很麻烦，但是自从GitHub Desktop问世以来，就变的很简单了，而且最重要的是，可以不用gitShell就可以提交自己的代码工程，毕竟git指令我感觉不是很方便（逃）下面带大家走一遍1, 首先电脑需要安装GitHub Desktop链接：https://desktop.github.com/

2017-07-22 14:40:51 15069 2

原创 [面试要点]java io编程

java io 简介惯例先祭出一张图 [1]输入字节流InputStream：InputStream 是所有的输入字节流的父类，它是一个抽象类；ByteArrayInputStream、StringBufferInputStream、FileInputStream 是三种基本的介质流，它们分别从Byte 数组、StringBuffer、和本地文件中读取数据；PipedInputStream 是从与

2017-12-01 15:44:17 1167 1

原创 [面试要点]java异常处理机制

Java异常分类表内容先祭出一张图 Throwable：有两个重要的子类：Exception（异常）和 Error（错误），二者都是 Java 异常处理的重要子类，各自都包含大量子类。 Error（错误）:是程序无法处理的错误，表示运行应用程序中较严重问题。大多数错误与代码编写者执行的操作无关，而表示代码运行时 JVM（Java 虚拟机）出现的问题。例如，Java虚拟机运行错误（Virtu

2017-11-30 21:50:33 957

原创 [面试要点]Java中Queue的应用

参考：http://blog.csdn.net/lyb1832567496/article/details/52787492Queue接口与List、Set同一级别，都是继承了Collection接口。队列(queue)是一种常用的数据结构，可以将队列看做是一种特殊的线性表，该结构遵循的先进先出原则。 Java中，LinkedList实现了Queue接口,因为LinkedList进行插入、删除

2017-11-29 00:26:10 1435

原创 SpringBoot集成elasticseach入门实战

elasticseach作为一个高度可拓展的开源全文搜索和分析引擎，可用于快速地对大数据进行存储，搜索和分析。主要有以下几个特点：分布式，高可用，异步写入，多API，面向文档 elasticseach的核心概念：近实时，集群，节点（保存数据），索引，分片（将索引分片），副本（分片可设置多个副本）首先要下载elasticseach，然后运行它，点击bin文件里的elasricseach.ba

2017-11-11 23:11:23 1609 1

原创 SpringBoot 使用JPA操作数据库

Spring-data-jpa的出现使我们不需要编写sql语句就能实现对数据库简单的增删改查，使用也非常方便第一步：编写一个继承自JpaRepository的接口就能完成数据访问import com.oldbig.domain.Girl;import org.springframework.data.jpa.repository.JpaRepository;public interface Gi

2017-11-08 20:13:39 2176

原创 SpringBoot项目创建与数据库连接

在创建第一个springboot应用之前，首先要下面下载IntelliJ IDEA ，因为它为我们初始化springboot提供了极大的方面，记得在官网下载Ultimate版，可以在网上找个注册码在Initializr Service URL中填写：https://start.spring.io 点击next：填写填写好，点击next：选择依赖，这里只选择web 这样项目就创建完成了，创

2017-11-06 16:40:55 12129

原创 SpringBoot 统一异常处理

在用spring Boot做web后台时，经常会出现异常，如果每个异常都自己去处理很麻烦，所以我们创建一个全局异常处理类来统一处理异常一

2017-11-06 15:57:17 2061

原创 Intellij IDEA使用junit单元测试及其junit与spring版本不兼容问题

Intellij IDEA自动创建单元测试，这在我之前的博客已有介绍 IntelliJ IDEA中用快捷键自动创建测试类下面是我在创建springboot测试类中的说明和遇到的问题创建好了测试类后1.测试service层测试类需要加上注解:@Runwith，@SpringBootTest2.测试Controller层测试类需要加上注解:@Runwith，@SpringB

2017-11-04 17:37:26 6825 2

原创 Intellij IDEA使用restclient测试

Intellij IDEA内置了restclient来帮忙我们测试我们的后台代码，让我们可以脱离第三方工具测试，也更不需要我们编写前端代码，直接让我们能想网站发送get，post，put，delete等请求，十分方便1. 打开Test Restful Web Service点击Tools，选择Test Restful Web Service

2017-11-02 18:08:50 8552 8

原创 Intellij IDEA配置maven项目中出现的“程序包org.junit不存在”错误

在网上查了下将，说是去掉scope就行 junit junit 4.11 test--> 去掉之后发现还是不行，改了下版本，我之前是同最新的4.12版本，改成 4.10版本，一跑发现没有错误了如果还是不行就查一查

2017-10-31 19:45:46 15792 3

原创 github删除错误的commit并保留之前的提交

git 版本控制工具给我们带来了许多便利，使我们多人合作还有历史版本带来了便利这几天在提交github中提交了错误的代码上去，这时已经同步到远程仓库了，怎么将其删除呢？或者你发现你之前提交的代码中有敏感信息，怎么将该commit删除而不改变其之前的提交呢？首先，我们需要找到我们需要回滚到的提交点的hash，在git shell中进入我们的项目目录可以使用git l

2017-10-17 11:37:18 10868 7

原创 Django学习笔记（九）--django框架的bug总结

1.使用Django框架时无法加载css/js/image等资源文件我们知道，django的静态资源放在项目的static文件下，但是在配置中不合理可能会导致无法加载：资源加载会出现404错误首先在你的settings.py中的最后面加上下面的配置项：STATIC_URL = '/static/'STATIC_ROOT = os.path.join(BASE_D

2017-10-16 23:32:37 987

原创 Django学习笔记（七）--将django中多个app放到同个文件夹apps处理

在django中需要创建多个app，这个就需要创建一个apps文件，把所有的app放到同个文件夹，这个比较清楚，看起来也比较规范app默认创建：python manage.py startapp appName 默认创建在根目录下，首先在根目录创建apps文件夹，将所有app拉拖进去这里取消 search for reference

2017-10-15 14:56:31 4454

原创 Django学习笔记（八）--xadmin的安装与应用

首先需要安装 xadmin ： pip install xadmin结果出现了一下错误Traceback (most recent call last): File "", line 1, in File "C:\Users\lixin\AppData\Local\Temp\pip-build-z8cuvfwi\xadmin\setup.

2017-10-15 14:44:49 1322

原创 Django学习笔记（六）--models与mysql数据库接入

在django项目的开始首先就是数据库的设计，这次不用django默认的sqlite数据库，使用mysql数据库，首先要接入mysql数据库要接入mysql首先要有mysql驱动，python3 ：pip install mysqlclientpython2:mysqldb,注意，这是个大坑在setting.pyDATABASES = { 'default': {

2017-10-14 22:33:07 992

原创 Django学习笔记（五）--python虚拟环境的搭建（window）

Windows 下：1pip install virtualenvwrapper-win 使用方法：mkvirtualenv django：创建运行环境djangoworkon django: 工作在django环境或从其它环境切换到django环境deactivat

2017-10-12 17:07:27 674

原创 Django学习笔记（四）--admin的配置与应用

Adminadmin是django自带的功能强大的自动化数据管理界面被授权的用户可以直接在Admin中管理数据库（增、删、查、改）配置Admin创建超级用户 python manage.py createsuperuser访问后台管理系统：localhost:8000/admin (admin入口）修改setting.py

2017-10-11 21:51:29 809

原创 Django学习笔记（三）--Django超链接

Django中的超链接超链接的目标地址href后面是目标地址template中可以用 {% url ‘app_name : url_name’ param %}app_name：应用命名空间的名称url_name：链接名param：地址的参数app_name与根目录下的urls.py中的namespace

2017-10-11 19:34:27 3070

原创 Django学习笔记（二）--通过model自动生成数据表

步骤：命令行中进入 manage.py同级目录执行python manage.py makemigratetions app名（可选）在执行python manage.py migrate这样就能通过model来自动映射生成数据库，里面的一个类就是一张数据表

2017-10-10 11:44:05 6488

原创 Django学习笔记（一）--安装与创建工程

Django安装：pip install Django （window版，注意最新版的Django不支持python2.7以下版本）Django创建工程： django-admin startproject ProjectName（自定义）执行 manage.py 的命令：cd 进入项目路径，输入 manage.py 就可

2017-10-09 23:51:03 538

原创 Linux常用指令

常见指令系统管理命令打包压缩相关命令关机/重启机器常用指令ls　　显示文件或目录 -l 列出文件详细信息l(list) -a 列出当前目录下所有文件及目录，包括隐藏的a(all)mkdir 创建目录 -p

2017-10-09 21:02:53 516

原创 Ubuntu 16.04设置环境变量

打开终端并输入：sudo gedit /etc/environment （注意gedit后有空格，下同）输入用户密码。这时输入的密码是不可见的。在PATH="...."的末尾处添加：：/opt/EmbedSky/4.3.3/bin （自己解压的位置）其中/opt/EmbedSky/4.3.3/bin为你自己需要设置的环境变量路

2017-10-08 19:08:53 2382

原创 scrapy爬虫的暂停与重启

首先要有一个scrapy项目这里用我的爬取知乎用户信息的项目来做例子：https://github.com/oldbig-carry/zhihu_user在cmd上cd 进入项目然后在项目目录下创建记录文件：remain/001然后输入：scrapy crawl zhihu -s JOBDIR=remain/001回车运行就行了

2017-09-29 17:32:38 8981 4

原创在github的readme添加图片

我们知道github上的readme式不能直接复制黏贴图片的，那么怎么将图片显示在readme上呢？首先将图片放在仓库里面，在文件里链接它，最后 push 到 github 上。然后在readme里面添加：github 图片链接格式：![](img_url)即叹号! + 方括号[ ] + 括号( ) 其中叹号里是图片的URL。然

2017-09-29 16:56:02 1114

转载 Mongo数据库安装与入门

一，什么是MongoDB ?MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以

2017-09-26 22:40:54 955

原创 Python模拟登陆万能法-微博|知乎

Python模拟登陆让不少人伤透脑筋，今天奉上一种万能登陆方法。你无须精通HTML，甚至也无须精通Python，但却能让你成功的进行模拟登陆。本文讲的是登陆所有网站的一种方法，并不局限于微博与知乎，仅用其作为例子来讲解。用到的库有“selenium”和“requests”。通过selenium进行模拟登陆，然后将Cookies传入requests，最终用requests进行网站的抓取。优点

2017-09-24 22:03:50 2230

转载 python的学习路线

1Python基础（第1周）课程目标1.掌握Python基础相关的知识；2.为后续的学习打下坚实的基础。作业/案例2048小游戏。包含知识点：Python语法基础、Python控制流、函数、面向对象。主要内容1.Python初识2.Python语法基础3.Python控制流与小实例4.Python函数详解5.Python模块实战6.Python文件操

2017-09-24 16:59:28 987

原创 scrapy初始第三波——CrawlSpider爬取拉勾招聘网

一，前言之前利用scrapy爬取伯乐在线，知乎时是用到scrapy的basic模板，即Spider，这次用CrawlSpider来爬取拉勾网的招聘信息 CrawlSpider基于Spider，但是可以说是为全站爬取而生，是目前最流行的scrapy模板二，创建工程在cmd中cd进入项目的目录，然后输入：scrapy gensipder -t crawl lagou w

2017-09-24 15:04:00 4373

原创 python3模拟登录知乎

1，前言在爬虫的世界里，模拟登录是一项必备的技能，很多网站登录才能有浏览信息的权限，今天就在python来模拟登录知乎2，获取登录时post的参数在网页上输入知乎的url：https://www.zhihu.com/#signin，随便输入一个手机号（13265604588）和密码（1234），按f12，然后点击登录，在 network就能获取提交的表单这

2017-09-17 15:01:35 6777 1

原创 scrapy初始第一波——爬取伯乐在线所有文章

1 前言要说到爬虫界的明星，当属我们的python，而这得益于我们的爬虫明星框架--scrapy，这就让我们不得不学习它，这几天刚好用它做一些小demo，就将其总结一下，希望能对大家的学习爬虫有所帮助。这次要爬取的是我们IT界挺有名的技术文章网站--伯乐在线的所有文章，并解析文章详情，本文适合有一定爬虫基础的同学（用过requests库，urllib库之类的）本人的

2017-09-14 12:56:31 4511

原创使用python3的Selenium启动chromedriver

1 Selenium1.1 简介 Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Rub

2017-09-06 23:16:47 50590 4

原创第一个python爬虫（python3爬取百度百科1000个页面）

今天首次尝试python爬虫，爬取了简单的静态网站，1000个百度百科页面一、爬虫简介爬虫：一段自动抓取互联网信息的程序爬虫可以从一个url出发，访问其所关联的所有的url。并从每个url指向的网页中，获取我们所需要的信息。二、简单爬虫架构 1.Python简单爬虫架构（1）爬虫调度端：启动爬虫、停止爬虫、监视爬虫的运行

2017-08-13 23:15:13 5222

原创 Intellij IDEA导入Python插件并创建工程

最近假期有空想学习一下python爬虫，百度一下发现Eclipse可以集成python插件，无奈十分麻烦，IDEA就不同了，引入python 插件十分简单，适合我这个小白Intellij IDEA15中Python安装：Intellij IDEA15建立Python项目编辑Python脚本在in

2017-08-13 14:54:42 16769

原创数据库连接错误集锦A ResourcePool could not acquire a resource from its primary factory or source

在github上fork别人的项目到本地，测试时首先要创建数据库，然后修改数据库配置的信息（密码等）今天在测试一个项目时出现A ResourcePool could not acquire a resource from its primary factory or source错误，百度了一下，可能是以下几个原因1，驱动配置有误：driver=com.mysql.jdbc.Dri

2017-08-03 14:36:55 51877 16

原创 IntelliJ IDEA中用快捷键自动创建测试类

IntelliJ IDEA中用快捷键自动创建测试类的默认按键为：ctrl+shift+t --> create new test在你所需要测试的类或者接口名称上按该快捷键：弹出：勾选需要测试的方法，点击OK 注意：若该快捷键点击无反应，需要自己设置自动创建测试类的快捷键：点击 file-> setting -> keymap 搜索：test在该

2017-07-28 23:39:07 84340 12

转载 IntelliJ IDEA 设置代码提示或自动补全的快捷键

自动提示快捷键有时候希望使用自动补全，因为不偷懒的程序员不是好程序员。但是Idea的默认快捷键是 Ctrl + 空格。对于安装中文输入法的普通人来说那就是杯具了，你懂的。修改方法如下：点击文件菜单(File) –> 点击设置(Settings… Ctrl+Alt+S), –> 打开设置对话框。在左侧的导航框中点击 KeyMap。接着在右边的树型框中选择

2017-07-28 11:04:08 2013

原创 Maven总结

一，Maven基本命令-v:查询Maven版本本命令用于检查maven是否安装成功。 Maven安装完成之后，在命令行输入mvn -v，若出现maven信息，则说明安装成功。compile：编译将Java源文件编译成class文件test:测试项目执行test目录下的测试用例package:打包将项目打成jar包clean:删

2017-07-27 16:03:05 655

原创解决IDEA的"Cannot run program "git.exe": CreateProcess error=2, 系统找不到指定的文件"错误

在官网下载的IDEA 会缺失git.exe配置路径，需要自己配置，导致不能clone github上的项目和提交代码到github，接下来首先你要下好 github window 点击打开链接版在你的电脑，成功安装之后，连接你的账户，然后找到你的git.exe 文件路径，我的git.exe 地址为默认的：C:\Users\用户名\AppData\Local\GitHub\Portabl

2017-07-26 23:18:22 25168 3

Dev c++5.11

Dev c++5.11绿色版，亲测可用

2019-01-10

chromedriver_linux64

chromedriver_linux64,chromedriver_linux64,chromedriver_linux64,chromedriver_linux64,chromedriver_linux64,chromedriver_linux64,chromedriver_linux64.实测有效

2017-11-02

log4j-api-2.2

log4j-api-2.2！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

2017-10-24