天愚-CSDN博客

原创 ubuntu上实现jupyter开启远程服务

jupyter notebook作为一个小巧的，使用方便的python编辑器，受到许多初学者的喜爱;考虑到本地配置的限制，往往想要调用远程服务器中的jupyter notebook，下文记录下查阅网上资料尝试的步骤：1. 远程服务器中jupyter 安装本文使用的远程服务器是ubnutu 18.04。首先，服务器中需要安装python，pip，此处不赘述。安装jupyter: ...

2018-11-02 17:47:08 3275 2

记录一些常用的爬虫工具：常用爬虫库1、Requests比较简单，常用的爬虫库2、pyspider一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器3、ScrapyScrapy 使用了 Twisted'twɪstɪd异步网络框架来处理网络通讯，可以加快我们的下载速度，不...

2018-05-25 17:13:58 529

原创 onclick跳转

cs

2018-05-18 09:42:59 4709

原创 Python requests爬取图片

练习requests爬虫import requestsfrom bs4 import BeautifulSoupimport reimport osimport timeurl="http://www.58gc.cn/xgmn/"def get_all():#获取首页的图片组链接和名字 url="http://www.58gc.cn/dcd/" headers={"...

2018-05-16 16:41:20 1133

原创 python3 requests+BeautifulSoup使用多进程爬取妹子图

python3版本，使用requests+BeautifulSoup爬取妹子图,同时采用多进程方法将图片下载保存；下载时，简单判断是否创建了文件夹from multiprocessing import Pool#多进程方法import osimport jsonimport requestsfrom bs4 import BeautifulSoupurl='http://www.2727...

2018-03-26 13:43:39 1536

原创将两个嵌套for循环写成一个列表生成式

将两个嵌套for循环写成一个列表生成式如，有一个嵌套列表，a=[[1,2],[3,4],[5,6]]，要提取列表里的每一个元素用for循环处理：for i in a: for j in i: print(j)用列表生成式：b=[j for i in a for j in i]#注意两个for的顺序print(b)>>> b[1

2017-11-28 15:37:02 19714 2

原创 requests分析Ajax来爬取今日头条街拍美图

#参考代码：https://github.com/Germey/TouTiaoimport requestsfrom bs4 import BeautifulSoupfrom urllib.parse import urlencode#可以将字典构造为urlimport reimport jsonimport pymongoimport osfrom multiprocessin

2017-11-19 17:12:59 2124

原创 requests和正则爬取猫眼的数据

用requests爬取猫眼网站的top100榜单，再用正则提取所需的数据，并将数据存储#成功抓取所有数据，并存为文件（参考代码：https://github.com/Germey/TouTiao/blob/master/spider.py）import requests import reimport json from multiprocessing import Pool#Pyt

2017-11-17 15:32:18 692 1

转载 Python列表中有重复项出现，并按需求生成新的列表

Python原列表中有多个重复项出现，并按需求生成新的列表方法一：a=[1,1,1,2,2,2,3,4,4,4,4,5,6,7,7,8,8,8]b=[]c={}for i in a: if a.count(i)>1: c[i]=a.count(i) else: c[i]=1for i in c: if c[i]>1:

2017-11-10 10:50:04 2425

原创 python 小练习

python的一些小练习：1、斐波纳契数列def printFibo(num): a = 0 b = 1 j=int(num) while j: a,b=a+b,a print( a) j-=1printFibo(8)''''''斐波纳契数列def fbl(n): print(type(n

2017-11-08 15:39:13 278

转载详细图解mongodb下载、安装、配置与使用

python使用数据库MongoDBMongoDB win7 32位安装包：百度云：链接：http://pan.baidu.com/s/1ci44EU 密码：43gxMongoDB的配置和安装：转载:http://blog.csdn.net/boby16/article/details/51221474详细图解，记录 win7 64 安装mongo数据库的过程。安装的版

2017-11-08 14:03:33 4178

转载 python sqlite3模块使用（转）

Python SQLITE数据库是一款非常小巧的嵌入式开源数据库软件，也就是说没有独立的维护进程，所有的维护都来自于程序本身。它使用一个文件存储整个数据库，操作十分方便。它的最大优点是使用方便，功能相比于其它大型数据库来说，确实有些差距。但是性能表现上，SQLITE并不逊色。麻雀虽小，五脏俱全， sqlite 实现了多数 sql-92 的标准，比如说 transaction 、 trigger

2017-11-08 10:53:02 956

转载 Python 随机生成200个优惠码

#随机生成200个优惠码，优惠码由8位字母组成（含大小写字母）#97-122,小写字母的ASCII码,65-90大写字母的ASCII码import randoma=''yhm=[]list1=list(range(65,91))+list(range(97,123))#将要用到的字母的ASCII码生成列表for i in range(200): for i in range

2017-08-08 16:57:13 923

转载 python 文本写入及文本替换练习

#文本写入path='C:\\Documents and Settings\\桌面\\'with open(path+'文本写入.txt','w+',encoding='utf-8') as f: xr=input('请输入你要写入的文本：') while True: if xr=='q': exit() else:

2017-08-08 16:54:13 5350

原创 Python 模拟登陆程序

用Python模拟登陆程序#模拟登录程序dl_list={'name1':'n123','name2':'n123','name3':'n123'}lh_list=dict()#遍历字典的键和值'''for keys,values in dl_list.items(): print(keys,values)'''time=3key=input('请输入您的登录账户：

2017-08-06 11:23:29 400

转载 python 购物车菜单

用Python写购物车菜单shop_list=[('手机',5000),('电脑',4000),('咖啡',50),('耳机',150),('笔记本',10)]myshop_list=[]salary=input('请输入您的存钱：')if salary.isdigit(): salary=int(salary) for index,items in enum

2017-08-06 11:03:19 457

转载解决Requests抓取时中文乱码

requests抓取中文乱码的解决方法

2017-07-27 16:47:00 1687 1

转载 python常用模块收录

time模块: 在python中，通常有以下几种方式来表示时间： 1、时间戳，如time.time 2、格式化的时间字符串，如'17/01/2017 10:17:00' 3、元组（struct_time），如gmtime、localtime等等 time.time()：把从1970年开始到现在的所有时间转换成秒数，即时间戳 time.gmtime()

2017-06-28 09:12:08 198

原创 Python学习笔记03 for循环和while循环

python for和while循环的使用

2017-05-23 10:18:44 383

原创 Django学习笔记02

用Django创建简单的博客系统，实现后台管理和发布文章。

2017-05-20 15:46:56 212

原创 Django学习笔记01

1、创建django项目：首先进入dos界面，切换到想要创建Django项目的路径，我这里是，E:\mydjango切换到该目录后运行Django命令创建项目：Django-admin startproject mysite，mysite是创建的项目名字。创建成功后出现mysite文件：2、创建好项目后，接着创建APP。首先在dos中切换到刚才创建的没有斯特文件路径下，在运行

2017-05-12 09:52:04 253

转载 Python学习记录02 列表添加和删除元素

列表list：list是一种有序的集合，可以随时添加和删除其中的元素。一、添加元素list1=[1,2,3]1、list.append():往list中追加元素到末尾list1.append(5)list1=[1, 2, 3, 5]2、list.insert(i, 'str'):把元素插入到指定的位置，比如索引号为i的位置list1.insert(2,4)l

2017-05-11 15:31:02 557

原创 Python学习笔记01

1、打印hello world#!/usr/bin/env python3# -*- coding: utf-8 -*-print('helloworld')2、字符转义1)转义字符“\”可以转义很多字符，比如\n表示换行，\t表示制表符，字符\本身也要转义，所以\\表示的字符就是\。2)r''表示''内部的字符串默认不转义：print('\\\t\\') ==

2017-05-11 13:34:48 172

原创 Python requests爬虫爬取小说数据

抓取起点网站的所有小说（未分类抓取），并将提取的数据保存到本地csv文件中。采用requests抓取网页，用BeautifulSoup解析网页，用select方法提取元素(也可以使用find()方法)

2017-05-01 16:50:13 2041

转载 python map函数

map()函数map()是 Python 内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上，得到一个新的 list 并返回。例如，对于list [1, 2, 3, 4, 5, 6, 7, 8, 9]如果希望把list的每个元素都作平方，就可以用map()函数：因此，我们只需要传入函数f(x)=x*x，就可以利用m

2017-04-08 12:03:40 244

转载 python解决字符串倒序输出

#python解决字符串倒序输出def string_reverse(m): num=len(m) a=[] for i in range(num): a.append(m[num-1-i])#从最后一位的元素开始往新list内添加元素 return a

2017-04-05 15:55:03 14957

转载 Python-类03（求两点之间直线距离）

#导入math包import math#定义点的函数class Point: def __init__(self,x=0,y=0): self.x=x self.y=y def getx(self): return self.x def gety(self): return self.y #定义直线函数

2017-04-01 15:00:55 21147

转载 Python-类01（计算买票问题）

#定义一个游乐场买票的类，成人平日票价100，儿童半价，周末为平日的120%class Ticket: def __init__(self,weekend=False,child=False): self.exp=100 if weekend: self.inc=1.2 else: self.i

2017-03-31 17:38:03 3144

转载 Python-类02（乌龟吃鱼游戏）

import random as rlegal_x=[0,10]legal_y=[0,10]class Turtle: def __init__(self): #初始体力 self.power=100 #初始随机位置 self.x=r.randint(legal_x[0],legal_x[1]) self.y

2017-03-31 17:34:04 2107

Python学习笔记