Kangvcar Blogs-CSDN博客

原创 INFO-SPIDER —— 集众多数据源于一身的爬虫工具箱

场景一小明一如往常打开 Chrome 浏览器逛着论坛，贴吧，一不小心点开了网页上的广告，跳转到了京东商城，下意识去关闭窗口时发现（OS：咦？京东怎么知道我最近心心念念的宝贝呢？刚好我正需要呢！），既然打开了那就看看商品详情吧（OS：哎哟不错哦），那就下单试试吧！场景二小白听着网易云音乐的每日推荐歌单无法自拔（OS：哇！怎么播放列表里都是我喜欢的音乐风格？网易云音乐太棒了吧!深得我心啊！黑胶会员必须来一个！），逛着知乎里的“如何优雅的XXX?”，“XXX是怎样一种体验？”，“如何评价XXX?” （

2020-08-22 11:23:37 1314 4

原创 GIT 检查、撤销修改简明教程

说明：本教程的所有操作都在master分支上，且仅用于个人代码仓库管理，操作的实用性有待研究。4个区5种状态未修改（Origin）已修改（Modified）已暂存（Staged）已提交（Committed）已推送（Pushed）检查修改已修改，未暂存（检查工作区与暂存区间的差异）git diff已暂存，未提交（检查暂存区与本地仓库间的差异）git diff --cached已提交

2017-12-15 09:11:37 909

原创 AWK 入门简明教程

AWK 简明教程，快速学习AWK脚本语言，理解的AWK脚本语言的工作原理...

2017-12-05 12:36:00 925

原创 MemCache 入门极简教程

MemCache 概述 MemCache虽然被称为”分布式缓存”，但是MemCache本身完全不具备分布式的功能Memcache 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。 MemCaChe是一个存储键值对的HashMap，在内存中对任意的数据（比如字符串、对象等）所使用的key-va

2017-11-21 14:01:22 24328 2

原创 Python操作MongoDB - 极简教程

Python 连接 MongoDB安装PyMongo模块pip install pymongo使用MongoClient建立连接from pymongo import MongoClient# 以下为三种建立连接的方式#client = MongoClient()#client = MongoClient('localhost', 27017)#client = MongoClient('m

2017-11-21 14:00:00 552

原创 Windowns、Ubuntu17.10 下安装 MongoDB - [图文并茂]

Windows 下安装 MongoDBMongoDB 安装包下载点击下载 Windowns 平台： MongoDB 安装包MongoDB 下载中心MongoDB 安装运行安装包，单击Next选择安装路径单击Next，完成安装安装完成后，进入到安装目录下的/bin目录，能看到很多exe程序然后在/bin的同级目录下新建/data文件夹(用于存放数据和日志)，在/data目录下分别新建两个文件夹

2017-11-21 13:57:01 956

原创 MongoDB 入门极简教程

安装 MongoDBWindowns、Ubuntu17.10 下安装 MongoDB教程在此MongoDB 帮助要想获取命令列表，在 mongodb 客户端中输入 db.help()：> db.help()MongoDB 统计信息要想获取 MongoDB 服务器的统计信息，在 mongodb 客户端中输入 db.stat()：> db.stats()创建数据库use 命令MongoDB 用 us

2017-11-21 13:51:59 463

原创手把手教你用7行代码实现微信聊天机器人 -- Python wxpy

环境要求：Windows / Linux / Mac OSPython 3.4-3.6，以及 2.7 版本wxpy安装## 使用国内源安装速度快pip install -U wxpy -i "https://pypi.doubanio.com/simple/"实例让机器人与所有好友聊天from wxpy import *# 实例化，并登录微信bot = Bot(cache_path=Tr

2017-11-21 13:50:06 774

原创手把手教你用1行代码实现人脸识别 -- Python Face_recognition

环境要求：Ubuntu17.10 Python 2.7.14环境搭建：1. 安装 Ubuntu17.10 > 安装步骤在这里2. 安装 Python2.7.14 (Ubuntu17.10 默认Python版本为2.7.14)3. 安装 git 、cmake 、 python-pip# 安装 git$ sudo apt-get install -y git# 安装 cmake$ sudo

2017-11-21 13:47:57 7527 3

原创 Python爬虫-爬取 ygdy8.com 站点的所有电影并写入文件和数据库

项目代码地址: ===欢迎fork 、star ===https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_ygdy8.py

2017-10-17 09:28:20 10233

原创 Python爬虫-爬取xixizhan.com站点的所有电影列表并写入文件和数据库mysql

项目代码地址: ===欢迎fork 、star ===https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_xixizhan.py

2017-10-17 09:25:45 4018

原创 Python爬虫-爬取集思录的金融信息,并写入文件和检测数据变化发送邮件通知

项目代码地址: ===欢迎fork 、star ===https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_jisilu_4.py

2017-10-17 09:19:36 7736

原创 Python爬虫-爬取51job.com 招聘信息并写入文件和数据库mysql

项目代码地址:https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_51Job.py

2017-10-17 09:10:43 3719

原创 XPath 用法和实例

Usage_XPath#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 20:51:15# @Author : kangvcar ([email protected])# @Link : http://www.github.com/kangvcar/# @Version : $Id$

2017-09-25 15:38:37 2397

原创 Urllib2 用法和实例

Usage_Urllib2# -*- coding: utf-8 -*-import urllibimport urllib2# 使用urllib2 获取网页源码方法一：# url = 'http://www.baidu.com/'# response = urllib2.urlopen(url)# html = response.read()# print

2017-09-25 15:38:05 2650

原创 Selenium 用法和实例

Usage_Selenium#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 22:04:33# @Author : kangvcar ([email protected])# @Link : http://www.github.com/kangvcar/# @Version : $

2017-09-25 15:37:35 2561

原创 Requests 用法和实例

Usage_Requests#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 21:21:04# @Author : kangvcar ([email protected])# @Link : http://www.github.com/kangvcar/# @Version : $

2017-09-25 15:36:57 2452

原创 PyQuery 用法和实例

Usage_PyQuery#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-25 11:08:58# @Author : kangvcar ([email protected])# @Link : http://www.github.com/kangvcar/# @Version : $I

2017-09-25 15:36:16 2542

原创 BeautifulSoup_find_ 用法和实例

Usage_BeautifulSoup_find_* 函数的使用#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 17:27:33# @Author : kangvcar ([email protected])# @Link : http://www.github.com/kangvca

2017-09-25 15:35:17 4961

原创 BeautifulSoup_CSS_Select 用法和实例

Usage_BeautifulSoup_CSS_Select#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 18:50:21# @Author : kangvcar ([email protected])# @Link : http://www.github.com/kangvcar/

2017-09-25 15:34:23 3053

原创 BeautifulSoup 用法和实例

Usage_BeautifulSoup#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-24 15:45:17# @Author : kangvcar ([email protected])# @Link : http://www.github.com/kangvcar/# @Versio

2017-09-25 15:32:14 2612

原创关于Linux上SAMBA服务的权限问题(多用户挂载)

简介：本文探讨关于Samba服务在客户端进行多用户挂载的问题,以及对cifscreds命令的使用效果.安装配置：(服务器配置要求如下,配置过程在本博客中,本文省略配置过程)在客户端desktop0配置进行多用户挂载：1.安装cifs-utils软件包以支持samba的挂载(否则即使挂载没有报错也无法正常使用)[root@desktop0 ~]# yu

2017-07-25 18:38:10 14157

原创关于Linux上SAMBA服务的权限问题(普通挂载)

简介:Samba服务用于在不同平台(windows,linux)之间共享文件和打印机等。注：本文不讨论multiuser多用户挂载的情况安装配置：(在服务器节点server0配置，在客户端节点desktop0验证)1.server0节点安装samba(服务主程序)和samba-client(提供smbpasswd用户管理工具)[root@server0 ~]# yum

2017-07-25 12:01:17 22636 1

转载数据库中的约束和三大范式

一.数据库中的范式：　　范式，英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法，以下就是对这三个范式的基本介绍：第一范式（1NF）：　　数据表中的每一列(字段)，必须是不可拆分的最小单元，也就是确保每一列的原子性。

2017-07-06 19:03:36 560

原创 Docker 搭建WordPress

1.首先下载mysql镜像和wordpress镜像[root@kangvcar ~]# docker pull hub.c.163.com/library/mysql:latest[root@kangvcar ~]# docker pull hub.c.163.com/library/wordpress:latest2.查看本地镜像列表[root@kangvcar ~]# docker image

2017-06-20 13:56:44 3611

原创 Docker 网络之端口绑定

外部访问容器容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过 -P 或 -p 参数来指定端口映射。 -P 标记时 Docker 会随机映射一个 49000~49900 的端口到内部容器开放的网络端口。 -p 标记时则可以指定要映射的端口，并且，在一个指定端口上只可以绑定一个容器。支持的格式有 ip:hostPort:containerPort ip

2017-06-20 13:25:54 11065 1

原创 Docker 数据管理

在容器中管理数据主要有两种方式数据卷（Data volumes）数据卷容器（Data volume containers）数据卷数据卷是一个可供一个或多个容器使用的特殊目录，它绕过 UFS，可以提供很多有用的特性： - 数据卷可以在容器之间共享和重用 - 对数据卷的修改会立马生效 - 对数据卷的更新，不会影响镜像 - 卷会一直存在，直到没有容器使用创建一个数据卷

2017-06-20 13:14:43 1898

原创 Docker 容器管理

启动容器有两种方式，一种是基于镜像新建一个容器并启动，另外一个是将在终止状态（stopped）的容器重新启动。新建并启动 docker run启动过程理解当利用 docker run 来创建容器时，Docker 在后台运行的标准操作包括： 1. 检查本地是否存在指定的镜像，不存在就从公有仓库下载 2. 利用镜像创建并启动一个容器 3. 分配一个文件系统，并在只读的镜像层外面挂载一层可读写层

2017-06-20 12:59:15 1942

原创 Dockerfile 文件详解

使用 Dockerfile 可以允许用户创建自定义的镜像。基本结构一般的，Dockerfile 分为四部分：基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令。FROM格式为FROM <image> 或 FROM <image>:<tag> 第一条指令必须为 FROM 指令。并且，如果在同一个Dockerfile中创建多个镜像时，可以使用多个 FROM指令（每个镜像

2017-06-20 12:00:46 3170

原创 Docker导入导出镜像

从本地文件系统导入镜像 tar格式镜像包下载地址：http://openvz.org/Download/templates/precreated比如，先下载了一个 ubuntu-14.04 的镜像，之后使用以下命令导入：# cat ubuntu-14.04-x86_64-minimal.tar.gz |docker import - ubuntu:14.04然后查看新导入的镜像# docker

2017-06-20 11:45:55 7953

原创 Docker创建镜像

创建镜像有很多方法，用户可以从 Docker Hub 获取已有镜像并更新，也可以利用本地文件系统创建一个修改已有镜像利用 Dockerfile 来创建镜像Dockerfile 编写

2017-06-20 11:31:39 2320

原创 Docker获取镜像

1.获取镜像2.查看本地镜像[root@kangvcar ~]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZElocal/centos kangvcar 3

2017-06-20 11:15:57 3002

原创 Docker安装

CentOS 系列安装 DockerUbuntu 系列安装 Docker

2017-06-20 11:10:12 2434

原创 CentOS配置本地yum源/阿里云yum源/163yuan源，并配置yum源的优先级

一、用Centos镜像搭建本地yum源二、把默认的CentOS yum源修改成国内的aliyun yum源三、把默认的CentOS yum源修改成国内的163源四、修改yum源的优先级

2017-06-19 22:21:25 81410 4

原创 Linux总结笔记11-搭建ISCSI网络存储

一.配置ISCSI服务端(target)1.在iscsi服务端添加硬盘，然后配置成RAID 注：也可以直接硬盘共享，不用做成RAID[root@linux1 ~]# mdadm -Cv /dev/md0 -n 3 -l 5 -x 1 /dev/sdb /dev/sdc /dev/sdd /dev/sde//创建RAID5卷，一块硬盘用做备份盘[root@linux1 ~]# mdadm -

2017-05-28 17:22:36 1001

原创 Linux总结笔记10-搭建DHCP服务

1.安装DHCP 服务程序[root@linux1 ~]# yum -y install dhcp2.修改DHCP主配置文件配置文件模版/usr/share/doc/dhcp-4.2.5/dhcpd.conf.example[root@linux1 ~]# cat /etc/dhcp/dhcpd.conf subnet 192.168.100.0 netmask 255.255.255.0 {

2017-05-28 17:18:42 713

原创 Linux总结笔记9-搭建Postfix邮件服务器

1.修改主机名和部署好DNS服务器[root@linux1 ~]# hostnamemail.kangvcar.com[root@linux1 ~]# cat /etc/named.conf //修改/etc/named.conf文件 listen-on port 53 { any; }; allow-query { any; };[root@linu

2017-05-28 17:08:57 6705

原创 Linux总结笔记8-搭建DNS服务器

部署DNS主服务器 1.安装bind服务程序[root@linux1 ~]# yum -y install bind-chroot 2.修改bind的主配置文件[root@linux1 ~]# vim /etc/named.confoptions { listen-on port 53 { any; }; //改为any；在所有网卡上监听dns请求

2017-05-28 17:04:21 800

原创 Linux总结笔记7-配置NFS服务实现Linux间文件共享

搭建NFS服务器 1.安装nfs-utils[root@linux1 ~]# yum -y install nfs-utils 2.创建共享目录，修改目录权限为777 3.在配置文件/etc/exports 里写入需要共享的配置信息如：[root@linux1 ~]# vim /etc/exports/nfsshare 192.168.100.*(rw,sync,

2017-05-28 16:59:40 563

原创 Linux总结笔记6-配置Samba服务实现Linux和Windows之间文件共享

搭建Samba服务器 1.安装samba[root@linux1 ~]# yum -y install samba 2.过滤配置文件的注释信息（配置文件的注释行太多，配置不方便，但是有配置困难的时候可以回去看看注释说明）[root@linux1 samba]# mv smb.conf smb.conf.bak[root@linux1 samba]# cat smb.conf

2017-05-28 16:56:23 732

空空如也

空空如也