cai_cai_cai_1992的博客

原创 虚拟机网络模式设置仅主机模式

说明：为了更好的模拟生产服务器，可以在本地虚拟机进行相关测试。一般实际的生产服务器是仅能与本地主机或内网相同，所以虚拟机设置固定IP，选择仅主机模式做测试尤为重要。虚拟机网络模式选择Hostonly，即仅主机模式，设置固定IP，和主机相同。仅主机模式虚拟机使用的是：VMware Network Adapter VMnet1网卡1.设置“虚拟网络编辑器”2.对主机网卡VMnet1进行设...

原创 查看Linux系统信息

1.登录到linux服务器执行 lsb_release-a 命令，即可查看所有版本信息。这个命令适用于所有的linux，包括Redhat、SuSE、Debian等发行版注意：centos需要安准lsb。（LSB是一套核心标准，它保证了LINUX发行版同LINUX应用程序之间的良好结合。一个二进制接口规范。）[cai@localhost ~]$ lsb_release -aLSB Vers...

原创 虚拟机centos时间与本地时间不一致

虚拟机centos时间与本地时间不一致查看时间：date（而本地时间是15:33）[root@localhost cai]# dateTue Feb 26 21:33:17 CST 2019关于CTS时区的可能：美国中部时间：Central Standard Time (USA) UT-6:00澳大利亚中部时间：Central Standard Time (Australia) UT...

原创 向MySQL数据表中插入数据报1366错误

向数据表中插入中文时，会报错1366，数据表不支持中文显示。解决办法：1.创建数据表时，指定引擎，指定字符集编码；ENGINE=InnoDB DEFAULT CHARSET=utf8mysql> CREATE TABLE persion( -> id INT NOT NULL AUTO_INCREMENT, -> name VARCHAR(100...

转载 Linux系统中文件查找find函数用法

find   -name april*                     在当前目录下查找以april开始的文件find   -name   april*   fprint file        在当前目录下查找以april开始的文件，并把结果输出到file中find   -name ap* -o -name may*   查找以ap或may开头的文件find   /mnt   -n...

原创 MySQL基础二

Mysql 更新 删除 权限管理 高级应用 优化增删改查之 改 更新 updateupdate 表名 set 字段1=值1,字段2=值2 where 条件；​mysql> update user set username="哈哈",password="123456" where uid=8;  #多个字段 用,号隔开字段加别名 as 别名 表名 加别名 空格 别名同...

原创 MySQL基础

转载 shell脚本字符串截取

Shell脚本8种字符串截取方法总结Linux 的字符串截取很有用。有八种方法。假设有变量 var=http://www.aaa.com/123.htm.1. # 号截取，删除左边字符，保留右边字符。代码如下:echo ${var#*//}其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 ：www.a...

转载 数组在shell脚本的操作

1.数组定义定义一个数组：[root@bastion-IDC ~]# a=(1 2 3 4 5 6 7 8)打印数组的元素（默认第一个元素）[root@bastion-IDC ~]# echo $a1一对括号表示是数组，数组元素用“空格”符号分割开，等号两端不能有空格。2.数组读取与赋值1）得到长度：用@或*[root@bastion-IDC ~]# echo ...

原创 Linux中的四个简单shell脚本

1.打印Hello World！#!/bin/bash#Program:# This program shows "Hello World!" in your screen.#History:#2018/11/17 caiyuting First releasePATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/lo...

原创 linux 的目录与文件的权限

1.权限的类型r 读权限 数值表示 4w 写权限 数值表示 2x 执行权限 数值表示 11 代表执行，2 代表写，3 代表 1+2，4 代表读,5 代表 1+4，6 代表 2+4，7 代表 1+2+4 2.三组，九位权限位u 属主 前三位 文件的主人（文件的所有者）g 属组 中间三位 文件主人所在的组（文件所有者所在的组）o 其他用户 后三位 除了 u 和 g ...

原创 Linux vi 编辑器的基本使用

Linux vi 编辑器vi 的两种模式1、命令模式 vi 的默认进入状态（不可以输入字符，但可以对字符进行操作，复制，移动、删除等操作）2、输入模式 输入字符状态（只可以输入和使用 del 和退格 backspace 键删除文字）vi的启动和退出#vi file         编辑 file 文件#vi /tmp/file1   编辑指定目录/tem 下的 file1 文件...

转载 sed行文本处理工具入门教程

工作原理：简单的来说，Sed一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称之为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕，接着处理下一行，直到文件末尾。语法：sed [option] [script'(sed自带语法脚本)] [input-file处理的文件]sed [选项] + "地址+命...

转载 Linux

一、Linux介绍1、操作系统的发展 2、Linux的不同版本<1>Linux内核版本：内核(kernel)是系统的心脏，是运行程序和管理像磁盘和打印机等硬件设备的核心程序，它提供了一个在裸设备与应用程序间的抽象层。<2>Linux发行版本：也被叫做 GNU， 通常包含了包括桌面环境、办公套件、媒体播放器、数据库等应用软件。二、文件和目录1、...

原创 Django的简单介绍

软件框架问题1:什么是软件框架？举个简单的例子，对于一个公司来说，公司中有各个职能部门，每个部门各司其职，通过部门之间的配合来完成工作，这些部门就形成了一个公司的组织架构。从某种意义上来说，公司就是一种框架。那么对应到软件设计上来说，软件框架是由其中的各个模块组成的，每个模块负责特定的功能，模块与模块之间相互协作来完成软件开发。一个公司，它是针对某一市场而成立的，而软件框架的设计，也是...

原创 爬虫，反爬虫和反反爬虫

转自：https://blog.csdn.net/yixuandong9010/article/details/75861233随之大数据的火热，网络上各种网页抓取/爬虫工具蜂拥而来，因而，网页数据成了大家竞争掠夺的资源，但网站运营者却要开始保护自己的数据资源，以避免被竞争对手获取到自己的数据，防止更大的商业损失。下面总结一下反爬虫策略及其应对方法。 一、什么是爬虫和反爬虫一张图说明一切：...

转载 Lua语言

Lua语言简介（详见菜鸟教程：https://www.runoob.com/lua/lua-tutorial.html）Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放， 其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。设计目的其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。Lua 特性轻量级: 它用标准C语言...

原创 python中几种排序的算法思想

1.冒泡排序法比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该 会是最大的数。针对所有的元素重复以上的步骤，除了最后一个。持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。#冒泡排序def bubbling(list): n = len(list) for...

原创 Linux基本命令二

Linuxvim vi 编辑器sudo apt-get install vim   安装vim编辑模式 vi文件 先进入命令模式 然后进入i o a s 进入编辑模式按键 作用 i 在光标所在位置插入元素 o 在光标的下一行输入 esc 回到命令模式 a 在光标的下一位置输入内容 s 先删除光标位置所在字符 S 删...

原创 Linux的基本操作

Linux——国产系统的未来 whoami :查看当前用户 date ：查看时间 cal ：查看日历cal 2018 查看一整年 认识Linux的构架linux中 一切都是从根出发的   /在Linux中一切皆文件 设备也是文件 访问设备的方式跟访问文件的方式是一样的挂载：好比把u盘放到电脑上，本来u盘式不能直接访问的，电脑可以访问优盘的内容，我们通...

原创 Linux的基相关知识

Linux简介（见百度百科吧哈哈哈）Linux操作系统是基于UNIX操作系统发展而来的一种克隆系统，它诞生于1991 年的 [Linux桌面] 10 月5 日（这是第一次正式向外公布的时间）。以后借助于Internet网络，并通过全世界各地计算机爱好者的共同努力，已成为今天世界上使用最多的一种UNIX 类操作系统，并且使用人数还在迅猛增长。 创始人 ：林纳斯·托瓦兹 生于芬兰赫尔辛基...

原创 python中的高阶函数map，filter，reduce，sorted

1.map函数：map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。遍历序列，对序列中每个元素进行操作，最终获取新的序列。(注意：python2返回一个列表，python3返回一个迭代器)lis0 = [1,2,3,4,5,6,7]p = map(lambda x:x**2,lis0)prin...

原创 爬虫框架之——Scrapy

Scrapy简介： Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架...

原创 python实现：判断某一天是那一年中的第几天

1.使用内置函数(strftime是一种计算机函数，根据区域设置格式化本地时间/日期，函数的功能将时间格式化，或者说格式化一个时间字符串。关于strftime的具体用法见百度百科：https://baike.baidu.com/item/strftime/9569073?fr=aladdin)import datetimedef function(year,month,day): da...

原创 列表去重

列表去重是Python基础的重要知识点，当然实现的方式多种，下面简要总结如下：1.利用集合的元素不可重复性，直接将列表转化为集合，自动去重后转回列表。li = [14,23,24,32,49,14]set = set(li)li = list(set)print(li)2.for…in…遍历列表中元素，将元素添加到空列表中，判断元素是否在新列表中，不在则添加到新列表中。li = [...

原创 python2与python3的区别

日新月异，岁月更替，时代在发展，社会在进步，尤其是在这个信息时代，数字时代，大数据时代，人工智能时代，计算机的发展越来越符合人类的思维方式，，，，，，废话太多，不打了，，，那我们就简单看看人工智能的利器——python版本的区别。参考：菜鸟教程http://www.runoob.com/python/python-2x-3x.html 1.print函数 pytho...

原创 isinstance（），type（），==和is

python中面向对象最重要的概念就是类（Class）和实例（Instance）！！！当然，什么是面向对象？请百度，哈哈！isinstance（），type（），==和is的用法见代码：'''#创建一个B类class B: def funb(self): return '我是B'#创建一个A类，继承Bclass A(B): def funa(...

原创 常用的Redis命令及基本的操作

参考：http://www.redis.net.cn/order/http://doc.redisfans.com/https://www.cnblogs.com/cxxjohnson/p/9072383.htmlredis介绍：Redis比较常用的NOSQL系统之一，数据缓存在计算机内存中，读取速度更加快捷，根据需要也可以存在硬盘中，实现数据的永久化。1.Redis 是一个高性能...

原创 用scrapy爬取有用的免费的西刺代理

爬虫为什么要使用代理服务器？可以总结为以下几点：1.我们在使用python爬虫爬取一个网站时，通常会频繁访问该网站。网站的反爬虫技术就会检某一段时间某个IP的访问次数，如果访问次数过多，它就会禁用你的IP，所以我们可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，这样便不会出现因为频繁访问而导致禁止访问的现象。2.由于网络环境因素，直爬取速度太慢，但我们访问代理速度...

原创 bytes,bytearray与str

bytesbytes对象只负责以二进制字节序列的形式记录所需记录的对象，至于该对象到底表示什么（比如到底是什么字符）则由相应的编码格式解码所决定bytes是Python 3中特有的，Python 2 里不区分bytes和str。python3中：str 使用encode方法转化为 bytesbytes通过decode转化为str>>> a = '人生苦短'...

原创 python基础之zip()函数的用法

zip函数的用法：详情参考：菜鸟教程http://www.runoob.com/python/python-func-zip.html注意！！！！！！！！！！！！！python2，python3的用法一样但是返回值不一样，python2返回的是一个列表，python3返回的是一个对象。python2：zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组， 然...

原创 利用scrapy框架爬取百度阅读书籍信息

项目需求：爬取百度阅读的榜单图书的信息，如：书名、评分、作者、出版方、标签、价格，生成一个csv文件。爬取起始网站：https://yuedu.baidu.com/rank/hotsale?pn=0项目的大致流程：创建spider工程项目，创建spider爬虫，定义相关字段，分析页面信息......由于scpapy框架，之间存在相互联系，针对此项目不同的文件需要进行相关的项目，一下通过...

原创 python基础之列表List的基本使用方法

相信大家在学习python基础的岁月里，各种数据类型让我们如丈二和尚般，其中最为重要的两个我认为是str和list！！！认为不是的来赐教！ 正所谓，学而不思则罔，思而不学则殆。温故而知新可以为师矣！结合之前学的，认为list中使用最多的是列表生成式，在项目实践中较为常用，在一些公司的面试题中那更是老生常谈的对象。综合多方知识，现总结如下：闲言少叙，见代码！如有错误，请批评指教。...

原创 python中json的基本用法

Json简介：Json，全名JavaScript Object Nation，是一种轻量级的数据交换格式。 具体含义见百度百科。Json最为广泛的应用是作为AJAX中web服务器和客户端的通讯的数据格式。在http请求中也经常用到。在 JS 语言中，一切都是对象。因此，任何支持的类型都可以通过 JSON 来表示，例如字符串、数字、对象、数组等。但是对象和数组是比较特殊且常用的两种类型。...

原创 利用scrapy框架实现一个简单的爬虫项目

首先简单介绍一下什么是scrapy框架？具体详情见百科！！！总之，scrapy是一个用于python开发抓取网站网页的框架，更加通俗的讲就是爬虫框架！！！下面就是利用scrapy爬取web的一个小项目：爬取的网站：http://books.toscrape.comimport scrapyclass BooksSpider(scrapy.Spider): name =...

原创 MySQL数据库与python的交互

当然，MySQL是什么都不知道的老铁自行百度为妙，哈哈啊！简而言之，MySQL是一种关系型数据库管理系统，不同的数据内容放到不同的数据表中，不同的表之间可以有联系，对应关系等，也可以没有联系。对数据的操作无非CURD（增删改查），一般在shell命令行中操作难免乏味，你知道吗？还可以在pycharm界面呢？把SQL语句封装成类，使用时直接调用，用python的面向对象的思想解决问题，那不是...

原创 selenium——一个用于web应用程序测试的工具

selenium是什么？他的前世今生是什么？他的作用是什么？他的原理是什么？啊哈哈？？？想知道，那还不赶紧去百度百科。https://baike.baidu.com/item/selenium/18266鉴于自觉地人少之又少，所以鄙人查询百般资料，总结一二。当然代码，纯手打！！！selenium简介：web应用程序的自动化测试工具selenium是一个用于web应用程序测试的工具...

原创 初涉爬虫时的requests库---爬取贴吧内容

requests库在爬虫的实践开发运用中较为常用，实现HTTP请求协议时方法简单，操作方便，易于实现。对于一般的静态网页，都可以方便抓取想要的内容，比起scrapy等框架有明显的优势，爬取定向的简单内容，是极好的。下面就是运用requests模块，实现一个简单的爬取贴吧网页的爬虫程序。该栗子创建一个类，方便有需要时直接调用继承。闲言少叙，上菜！！！接代码！！！  看着代码挺多，去掉注释...