自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(35)
  • 资源 (2)
  • 问答 (1)
  • 收藏
  • 关注

原创 pandas学习

import pandas as pdimport numpy as np#Series是一个一维的数据结构# s = pd.Series([1,2,3,'ss','213'])# print(s)#pandas会默认使用0-n来作为index,我们可以指定index# s = pd.Series([1,2,3,'ss','213'],index=['a','b','c','d',...

2018-08-29 14:16:44 430

原创 数据分析,numpy学习

import numpy as np## #初始化数组# arr = np.array([1,2,3])# print(type(arr))## arr1 = np.array([[1,2,3],[2,3,4]])# print(arr1.shape)#打印维度# print(arr1[0,0]) #访问二维第一个元素## #构建全是0的2*3维度的数组# a = np.ze...

2018-08-28 16:39:35 393

原创 linux登录远程服务器及scp命令传输文件(ssh(Connection refused lost connection) 错误),及centos7.3防火墙操作

登录远程服务器需要指定ssh开放的端口号,一般在购买远程服务器上会有显示:ssh -p端口号 登录账号名称(一般是root)@远程服务器ip,然后它会提示你输入密码scp命令传输文件时要指定开放的端口号,否则它默认的22端口是拒绝连接的。(错误示范) scp -r /home/lin/Desktop/adslproxy/ [email protected]:/home/download...

2018-08-27 15:53:49 10049

原创 python3 学习 Scrapy框架的使用

#1、架构介绍#Engine。引擎,处理整个系统的数据流、触发事务,是整个框架的核心#item。项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成Item对象#Scheduler。调度器,接受引擎发过来的请求并将其加入队列中,在引擎再次请求时将请求提供给引擎#Downloader。下载器,下载网页内容,并将网页内容返回给蜘蛛#Spiders。蜘蛛,其内容定义了爬取的逻辑和网页的解析规...

2018-08-20 17:27:30 809

原创 python3,网络爬虫学习,Selenium自动化测试工具的使用

#有些网页不包含Ajax请求,有些网页Ajax接口含有很多加密参数,很难直接分析Ajax来抓取#解决方法是使用模拟浏览器运行的方式来爬取,本章主要学习Selenium和Splash的使用#1、基本使用from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdri...

2018-08-18 13:24:29 348

原创 python3网络爬虫学习第六章Ajax数据爬取(爬取今日头条街拍美图)

#有时候使用requerts抓取页面时,得到的结果可能和在浏览器中看到的不一样,在浏览器中可以看到的额数据,使用requests获取不到。#这是因为requests获取到的都是原始的HTML文档,而浏览器中的页面则是经过JavaScript处理数据后生成的结果,这些数据的来源有多重,可能是#通过Ajax加载的,可能包含在HTML文档中,可能是经过javaScript和特定算法生成的#1、什...

2018-08-16 19:39:00 642

原创 python json文件及csv文件的读取和写入

#1、json文件存储# import json# str="""# [{# "rating": ["9.2", "45"],# "rank": "21",# "cover_url": "https://img1.doubanio.com\/view\/photo\/s_ratio_poster\/public\/p51114

2018-08-16 11:29:05 1581

原创 1031. 查验身份证(15)

# 题目描述# 一个合法的身份证号码由17位地区、日期编号和顺序编号加1位校验码组成。校验码的计算规则如下:# 首先对前17位数字加权求和,权重分配为:{7,9,10,5,8,4,2,1,6,3,7,9,10,5,8,4,2};然后将计算的和对11取模得# 到值Z;最后按照以下关系对应Z值与校验码M的值:# Z:0 1 2 3 4 5 6 7 8 9 10# M:1 0 X 9 8 7 ...

2018-08-16 08:35:23 141

原创 1019.人口普查

# 题目描述# 某城镇进行人口普查,得到了全体居民的生日。现请你写个程序,找出镇上最年长和最年轻的人。# 这里确保每个输入的日期都是合法的,但不一定是合理的——假设已知镇上没有超过200岁的老人,而今天是2014年9月6日,所以超过200# 岁的生日和未出生的生日都是不合理的,应该被过滤掉。# 输入描述:# 输入在第一行给出正整数N,取值在(0, 105];随后N行,每行给出1个人的姓名...

2018-08-15 21:38:48 148

原创 1019、旧键盘 (20)

# 题目描述# 旧键盘上坏了几个键,于是在敲一段文字的时候,对应的字符就不会出现。现在给出应该输入的一段文字、以及实际被输入的文字,请你列出# 肯定坏掉的那些键。# 输入描述:# 输入在2行中分别给出应该输入的文字、以及实际被输入的文字。每段文字是不超过80个字符的串,由字母A-Z(包括大、小写)、数字0-9、# 以及下划线“_”(代表空格)组成。题目保证2个字符串均非空。# 输出描述...

2018-08-15 21:37:44 138

原创 1017.打印沙漏

# 打印沙漏(20)# 题目描述# 本题要求你写个程序把给定的符号打印成沙漏的形状。例如给定17个“ * ”,要求按下列格式打印# *****# ***# *# ***# *****# 所谓“沙漏形状”,是指每行输出奇数个符号;各行符号中心对齐;相邻两行符号数差2;符号数先从大到小顺序递减到1,再从小到大顺序递# 增;首尾符号数相等。# 给定任意N个符号,不一定能正好组...

2018-08-15 21:37:00 109

原创 1016.程序运行时间

# 题目描述# 要获得一个C语言程序的运行时间,常用的方法是调用头文件time.h,其中提供了clock()函数,可以捕捉从程序开始运行到clock()被调用时所# 耗费的时间。这个时间单位是clock tick,即“时钟打点”。同时还有一个常数CLK_TCK,给出了机器时钟每秒所走的时钟打点数。于是为了获# 得一个函数f的运行时间,我们只要在调用f之前先调用clock(),获得一个时钟打点...

2018-08-15 21:36:28 203

原创 1013.组个最小数 (20)

# 题目描述# 给定数字0-9各若干个。你可以以任意顺序排列这些数字,但必须全部使用。目标是使得最后得到的数尽可能小(注意0不能做首位)。例如:# 给定两个0,两个1,三个5,一个8,我们得到的最小的数就是10015558。# 现给定数字,请编写程序输出能够组成的最小的数。# 输入描述:# 每个输入包含1个测试用例。每个测试用例在一行中给出10个非负整数,顺序表示我们拥有数字0、数字1、...

2018-08-15 21:35:57 108

原创 1012.D进制的A+B (20)

# 题目描述# 输入两个非负10进制整数A和B(<=230-1),输出A+B的D (1 < D <= 10)进制数。# 输入描述:# 输入在一行中依次给出3个整数A、B和D。# 输出描述:# 输出A+B的D进制数。# 输入例子:# 123 456 8# 输出例子:# 1103a = input().split()b = []b.append(str((in...

2018-08-15 21:35:10 178

原创 python3网络爬虫学习4.3pyquery的使用学习

#使用pyquery#1、初始化#他的初始化方式多种,比如直接传入字符串、URL,文件名等#(1)字符串初始化# text = """# <html><head><title>The Dormouse's story</title></head># <body id="abs">

2018-08-15 21:27:23 134

原创 python3网络爬虫学习 第四章解析库的使用4.1xpath解析库的使用

from lxml import etree# xpath("//*") 获取所有子孙节点# xpath("//body//") 获取body节点的所有子孙节点# xpath("/html/*") html节点下的子节点# xpath("//body/p[@class='title']") body节点下的p节点中属性中class = 'title'的节点#获取节点属性# x...

2018-08-15 15:03:33 218

原创 正则表达式匹配手机号、QQ号、邮箱

import re#匹配邮箱# def email_match(str1):# #[email protected]# res = re.findall(r"(\w{1,}@\w{1,}.(com|cn|com.cn)$)",(str1))# print(res)# # email_match("[email protected]")# #匹配QQ号# def ...

2018-08-15 14:47:25 5242

原创 1011 个位数统计 (15)

# 题目描述# 给定一个k位整数N = dk-1*10k-1 + ... + d1*101 + d0 (0<=di<=9, i=0,...,k-1, dk-1>0),请编写程序统计每种不同的个位数字出现的次数。# 例如:给定N = 100311,则有2个0,3个1,和1个3。# 输入描述:# 每个输入包含1个测试用例,即一个不超过1000位的正整数N。# 输出描述:#...

2018-08-15 08:25:29 158

原创 python3 网络爬虫学习 3.4 抓取猫眼电影排行

import requestsimport reimport timeimport jsondef get_one_page(url): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.83...

2018-08-14 19:33:21 360

原创 python正则表达式

1、概述"""python 在1.5以后增加了re模块,提供了正则表达式re模块使python语言拥有了全部的正则表达式""""""re模块简介"""import re#pip 包管理工具'''re.match函数原型:match(pattern,string,flags=0)参数:pattern:匹配的正则表达式 string:要匹配的字

2018-08-14 17:47:40 112

原创 第三章、3.2requests使用

#比urllib更方便#实现文件上传,使用Cookie登录,会话维持SSL证书验证,设置代理超时设置,身份认证# """# import requests# r =requests.get("https://www.baidu.com")# print(type(r))# print(r.status_code)# print(type(r.text))# print(r.coo...

2018-08-14 16:42:09 414

原创 python3 网络爬虫学习——第三章,3.1urllib的使用

主要写了一些urllib命令#request:基本的HTTP请求模块,用来模拟发送请求#error:异常处理模块,如果出现请求错误,我们可以捕获异常,然后重试或进行其他操作保证程序不会停止#parse:一个工具模块,提供了许多URL处理方法#robotparser:识别网站的robots.txt文件,判断哪些网站可以爬,很少用#3.1.1发送请求#1、urlopen模块提供了基本的...

2018-08-14 12:14:04 171

原创 python小程序吃饭系统

# 1.做一个模拟吃饭的小程序,吃5天,钱不够了或者5天到了就结束程序。# 2.用户录入商品的名称和价格,将商品的名称和价格存储到一个列表或者字典中。可以做一个死循环,当用户输入over的时候就结束循环,停止录入之后打印列表或者字典中的信息。# 3.随机出一道推荐菜,提示:今日特价菜为XXX打8折。# 4.到此商品列表和特价菜都有了。现在开始吃饭,总共吃5天,每天都有特价菜。推荐菜都是打8...

2018-08-14 11:26:13 2233 2

原创 python 银行系统

#银行类#属性 用户#方法#1、开户 2、查询 3、存款 4、取款 5、转账 6、销户 7、补卡 8、解冻 9、冻结 0、退出 + 登录界面 +管理员登录#用户#属性#1、姓名 2、 身份证号 3、 电话号 4、卡号 5、密码 6、错误次数import timeimport randomclass Preson(object): #人类...

2018-08-14 11:24:33 7254 3

原创 学习python3,网络爬虫的过程(第二章爬虫基础)

2.1、HTTP基本原理 1、URI:统一资源标志符,包括:URL(网址):统一资源定位符,URN:统一资源名称 2、超文本hypertext:网页源码 3、HTTP和HTTPS:http(超文本传输协议);https是以安全为目标的http通道,简单讲是http的安全版,即在http下加入ssl层 4、http请求过程: 5、请求: 由客户端向服务端发起,可以分为4个部分:请求方...

2018-08-14 08:32:26 249

原创 1019. 数字黑洞 (20)

# 题目描述# 给定任一个各位数字不完全相同的4位正整数,如果我们先把4个数字按非递增排序,再按非递减排序,# 然后用第1个数字减第2个数字,将得到# 一个新的数字。一直重复这样做,我们很快会停在有“数字黑洞”之称的6174,这个神奇的数字也叫Kaprekar常数。# 例如,我们从6767开始,将得到# 7766 - 6677 = 1089# 9810 - 0189 = 9621# ...

2018-08-13 18:08:42 113

原创 1008 锤子剪刀布 (20)

# 题目描述# 大家应该都会玩“锤子剪刀布”的游戏:# 现给出两人的交锋记录,请统计双方的胜、平、负次数,并且给出双方分别出什么手势的胜算最大。# 输入描述:# 输入第1行给出正整数N(<=105),即双方交锋的次数。随后N行,每行给出一次交锋的信息,# 即甲、乙双方同时给出的的手势。C代表“锤子”、J代表“剪刀”、B代# 表“布”,第1个字母代表甲方,第2个代表乙方,中间有1个...

2018-08-13 18:07:49 127

原创 1007 A除以B (20)

# 题目描述# 本题要求计算A/B,其中A是不超过1000位的正整数,B是1位正整数# 你需要输出商数Q和余数R,使得A = B * Q + R成立。# 输入描述:# 输入在1行中依次给出A和B,中间以1空格分隔。# 输出描述:# 在1行中依次输出Q和R,中间以1空格分隔。# 输入例子:# 123456789050987654321 7# 输出例子:# 176366841501...

2018-08-13 18:06:40 134

原创 1016. 部分A+B (15)

# 正整数A的“DA(为1位整数)部分”定义为由A中所有DA组成的新整数PA。例如:给定A = 3862767,DA = 6,# 则A的“6部分”PA是66,因为A中有2个6。# 现给定A、DA、B、DB,请编写程序计算PA + PB。# 输入描述:# 输入在一行中依次给出A、DA、B、DB,中间以空格分隔,其中0 < A, B < 1010。# 输出描述:# 在一行中输出...

2018-08-13 18:05:54 107

原创 1004 福尔摩斯的约会 (20)

# 大侦探福尔摩斯接到一张奇怪的字条:“我们约会吧!# 3485djDkxh4hhGE 2984akDfkkkkggEdsb s&hgsfdk d&Hyscvnm”。大侦探很# 快就明白了,字条上奇怪的乱码实际上就是约会的时间“星期四 14:04”,# 因为前面两字符串中第1对相的同大写英文字母(大小写有区分)是# 第4个字母'D',代表星期四;符是'E'第2对相同的字...

2018-08-13 18:04:52 163

原创 1003 数素数 (20)

# 题目描述# 令Pi表示第i个素数。现任给两个正整数M <= N <= 10000,请输出PM到PN的所有素数。# 输入描述:# 输入在一行中给出M和N,其间以空格分隔。# 输出描述:# 输出从PM到PN的所有素数,每10个数字占1行,其间以空格分隔,但行末不得有多余空格。# 输入例子:# 5 27# 输出例子:# 11 13 17 19 23 29 31 37 4...

2018-08-13 18:03:53 217

原创 python pat 1002.数字分类

# 给定一系列正整数,请按要求对数字进行分类,并输出以下5个数字:# A1 = 能被5整除的数字中所有偶数的和;# A2 = 将被5除后余1的数字按给出顺序进行交错求和,即计算n1-n2+n3-n4...;# A3 = 被5除后余2的数字的个数;# A4 = 被5除后余3的数字的平均数,精确到小数点后1位;# A5 = 被5除后余4的数字中最大数字。a = input()b = a....

2018-08-13 18:02:34 144

原创 python pat 试题 1、1001.A+B和C (15)

# 题目描述# 给定区间[-2的31次方, 2的31次方]内的3个整数A、B和C,请判断A+B是否大于C。# 输入描述:# 输入第1行给出正整数T(<=10),是测试用例的个数。随后给出T组测试用例,每组占一行,顺序给出A、B和C。整数间以空格分隔。# 输出描述:# 对每组测试用例,在一行中输出“Case #X: true”如果A+B>C,否则输出“Case #X: fals...

2018-08-13 18:01:22 260

原创 python中装饰器的执行过程

先看一段简单的装饰器代码def outer(func): def inner(*args): print("****************") func(*args) return inner@outerdef sum(x,y): print(x+y)sum(1,2)这里@outer 表示给sum函数装饰,具体代码是sum...

2018-08-13 17:47:54 625

原创 解决Django框架下输出文字乱码,但是在Mysql中是中文的问题

1、第一步,安装python3,已有,跳过。 2、requests库安装 : 在cmd终端,输入pip3 install requests,已有,跳过。 3、安装Selenium自动化测试工具: 可以利用它驱动浏览器执行特定的操作,安装方法:在cmd终端,输入pip3 install selenium,已有,跳过。 4、chromDriver安装: 与Selenium自动化测试工具配...

2018-08-13 11:39:19 756

matplotlib可视化工具使用

matplotlib可视化工具使用!

2018-08-29

mysql数据库操作

一、基本命令 1、启动服务, 已管理员身份运行cmd net satrt mysql 2、停止服务 net stop 服务名称 3、连接数据库 mysql -u 用户名 -p 4、断开连接 输入exit或quit 5、查看mysql版本:select version(); 6.查看当前时间select now(); 7、远程连接 mysql -h ip地址 -u 用户名 -p 二、数据库操作 1、创建数据库: create database 数据库名 charset = utf8; 2、删除数据库 :drop database 数据库名; 3、切换数据库 use 数据库名 4、查看当前选择的数据库 select database(); 5、查看有多少数据库: show databases; 三、表操作 1、查看当前数据库所有表show tables; 2、创建表 create table 表名(列及类型) creat table student(id int auto_increment primary key,name varchar(20) not null,age int not null,gender bit default 1,address varchar(20), isDelete bit default 0) 3、删除表 drop table 表名; 4、查看表结构desc 表名; 5、查看建表语句show create table 表名; 5、重命名表名: rename table 原表名 to 新表名; 6、修改表结构 alter table 表名 add|change|drop 列名 数据类型 7、数据修改: 1、增加数据: a: 全列插入:insert into 表名 values(0,”lin”,”yellow”,200,0) 说明:主键是不用输入的,但是全列插入时要用0占位,实际以自动生成的为准 b:缺省插入:有默认值而却不需要添加时使用 Insert into 表名(列名1,列名2......) values(值1,值2.......) C:多条插入:insert into 表名 values(值1,值2,。。),(值1,值2,。。。) 多条插入也支持缺省输入 2、删除数据 delete from 表名 where 条件; delete from stu where id = 9; 没有条件是全部删除,慎用 3、改数据 update 表名 set 列1 =值1,列2 = 值2 where 条件; 不写条件就都修改了 4、查询数据: a:查询表中全部数据 select * from 表名; 四、查数据 1、基本语法 格式:select * from 表名; 说明: a、from关键字后面是表名,表示数据来源于这个表 b、Select后面写表中的列名,如果是*表示在结果集中显示表中的所有列。 c、在select后面的列名部分,可以使用as为列名起别名,这个别名显示在结果集中,但是再用别名找找不到该列。 d、如果想查询多个列,之间用逗号分隔 2、消除重复行 在select后面列的前面使用distinct可以不显示重复的行 3、条件查寻 a、语法: Select * from 表名 where 条件 B、比较运算符: 等于 = 大于> 小于 < 大于等于>= 小于等于<= 不等于!=或<> b、逻辑运算符 And or not C、模糊查寻 Like %表示任意多个字符 _表示一个任意字符 D、范围查询 In 表示在一个非连续的范围内 Between.......and.............表示在一个连续的范围内 需求:查询编号是8,10,12的数据 实例:select * from stu where id in (8,10,12); 需求:查询id在6-8的学生 E、空判断 注意null 与””不同 判断空:is null 判断非空:is not null 查询没有地址的同学; Select * from stu where address is null; e、优先级 小括号,not ,比较运算符 ,逻辑运算符,and比or优先级高,如果同时使用,建议使用(); 4、聚合 为了快速得到统计的数据,提供了5个聚合函数 Select 函数() from 表名; 1、count(*) 表示计算总行数,()中可以写*或列名 2、max(列名) 表示求此列的最大值 3、min(列名) 表示求此列的最小值 4、sum(列名) 表示求此列的和 5、avg(列名) 表示求平均数值 需求:查询女生id的最大值: 需求:查看“l”开头的学生年龄和 5、分组 分组是为了将分组后的数据通过聚合函数显示使用,按照字段进行分组,表示此字段相同的数据会被放到一个集合中 分组后,只能查询出相同的数据列,对于有差异的数据列,无法显示在结果集中,可以对分组后的数据进行聚合运算 语法 select 列1,列2,聚合.............From 表名 group by 列1,列2,........ 需求,查询男生,女生分别有多少人 分组后的数据筛选语法 select 列1,列2,聚合.............From 表名 group by 列1,列2,........ having 列1,列2 6、排序 语法:select * from 表名 order by 列1 asc|desc, 列2 asc|desc..... 说明: A、将数据按照列1 进行排序,如果列1数据相同,则按照列2进行排序,....... B、默认升序 C、Asc表示升序 D、Desc表示降序 如果需要筛选,where 条件要放在表名后面 7、分页 Select * from stu limit srart count 八、关联: 建表语句: 1/create table class(id int auto_increment primary key,name varchar(20) not null ,stuNum int not null); 2/create table students(id int auto_increment primary key,name varchar(20) not null ,gender bit default 1,classid int not null,foreign key (classid) references class(id)); 关联查询 select students.name,class.name from class inner join students on class.id = students.classid; 分类: 1、关联查询 select students.name,class.name from class inner join students on class.id = students.classid; 2、left join 会将A中有的填充到左边,没有用null填充 3,rightjoin 会将b中有填充到右边,没有用null填充 使用python写代码前,要退出mysql,要用pip install PyMySql添加库

2018-08-16

Scrapy爬虫问题

2018-09-19

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除