姜枫渔火-CSDN博客

原创 QQ音乐爬虫之放弃的路

QQ 音乐网页端爬虫之心酸历程。。

2020-04-19 17:24:52 5552 17

转载 python多线程和多进程和异步

https://www.cnblogs.com/whatisfantasy/p/6440585.html?utm_source=itdadao&utm_medium=referralhttp://aosabook.org/en/500L/a-web-crawler-with-asyncio-coroutines.html

2018-06-08 15:52:04 1229

原创面向对象，国药监化妆品许可证爬取

面向函数——>面向对象；只涉及列表页，详情页没有涉及；所以只要一个类：CFDA，就够了。/20180225__author__ = '姜枫渔火'import requests, time, randomfrom fake_useragent import UserAgentclass CFDA(): def __init__(self): self.u

2018-02-27 22:13:36 1293

在post请求类型中，有一种利用formdata来进行翻页、搜索的方法，以艺龙为例。/20180112其实，还可以筛选酒店类型：如家，汉庭啊之类的，都在data中，方法都是一样的。/20180115# coding: utf-8__author__ ='姜枫渔火'import requests, re, time, random, pandasfrom fake_useragent impo...

2018-01-16 00:56:25 1793 5

原创复习bs4，爬去腾讯招聘信息

复习一下另一种提取方式：Python根据xpath造的轮子，美味汤。/20170110复习findAll和select两种提取方法。/20170110# coding: utf-8__author__ = '姜枫渔火'import requestsfrom bs4 import BeautifulSoupimport jsonimport sysfrom fake_userag

2018-01-16 00:37:10 359

原创利用pymysql爬虫后导入数据库

别总存本地了，爬书内容太大了，存进数据库吧。数据库：MySQL5.5.29；可视化工具：navicat fo mysql。/20180102__author__ = '姜枫渔火'import requestsimport reimport pymysqlconn = pymysql.connect( host = 'localhost', port = 3306,

2018-01-02 15:57:49 3026

原创根据爬虫和tornado搭建百度音乐网站

根据爬虫和tornado搭建百度音乐网站。/20171225测试：from tornado import web, httpserver, ioloop# 逻辑处理模块class MainPageHandler(web.RequestHandler): def get(self, *args, **kwargs): # self.write('我的第一个简陋...

2017-12-25 14:43:15 467 1

原创爬去百度音乐的歌曲，突破不能点播的限制，将其下载。

百度音乐因为限制有些歌曲不能点播，譬如上图的所有歌曲……但其实它们都在百度里隐藏着，但是我们可以根据其他能点播的歌曲，如林志炫的“单身情歌”，找到规律，从而下载下来。下面说下整体思路：1.通过在搜索框里输入“林志炫”得到其歌单界面，点击“单身情歌”的播放按钮会跳转到新页面；2.在新页面里的network里寻找media的mp3的url，可以发送get请求返回二进制，下载到本地，...

2017-12-22 18:53:51 454

原创校花网爬图片，存到本地。

总的来说，就是将图片转换成二进制，再存下来。/20171219import requestsimport refrom multiprocessing import Pooldef getpage(url): response = requests.get(url) html = response.text return htmldef prase(html

2017-12-20 17:02:32 784

原创爬取改版后的新浪微博粉丝评论，利用pandas存储。

模拟登录，抓取改版之后的新浪微博粉丝：昵称，头像，ID，评论。初次利用了pandas写入文件。# coding: utf-8from fake_useragent import UserAgentimport reimport requestsimport pandasimport timeimport randomdef get_one_page(url): h

2017-12-18 22:40:33 2308

原创 70. Climbing Stairs

You are climbing a stair case. It takes n steps to reach to the top.Each time you can either climb 1 or 2 steps. In how many distinct ways can you climb to the top?Note: Given n will be a posi

2017-12-16 15:08:45 116

原创 116. Populating Next Right Pointers in Each Node

Given a binary tree struct TreeLinkNode { TreeLinkNode *left; TreeLinkNode *right; TreeLinkNode *next; }Populate each next pointer to point to its next right node.

2017-12-16 15:03:43 126

原创 104. Maximum Depth of Binary Tree

Given a binary tree, find its maximum depth.The maximum depth is the number of nodes along the longest path from the root node down to the farthest leaf node./** * Definition for binary tree

2017-12-16 14:56:04 109

原创 111. Minimum Depth of Binary Tree

Given a binary tree, find its minimum depth.The minimum depth is the number of nodes along the shortest path from the root node down to the nearest leaf node.核心思想是树的递归遍历，同时注意斜树的存在。class Soluti

2017-12-16 14:51:20 162

原创 21. Merge Two Sorted Lists

Merge two sorted linked lists and return it as a new list. The new list should be made by splicing together the nodes of the first two lists.Merge two sorted linked lists and return it as a new list

2017-12-16 14:31:31 123

原创 141. Linked List Cycle

Given a linked list, determine if it has a cycle in it.Follow up:Can you solve it without using extra space?用C++吧，python创建链表、树啥的总觉得不正规……/** * Definition for singly-linked list. * struc

2017-12-16 14:21:59 97

原创 53. Maximum Subarray

Find the contiguous subarray within an array (containing at least one number) which has the largest sum.For example, given the array [-2,1,-3,4,-1,2,1,-5,4],the contiguous subarray [4,-1,2,1]

2017-12-16 14:02:05 146

原创 63. Unique Paths II

Follow up for "Unique Paths":Now consider if some obstacles are added to the grids. How many unique paths would there be?An obstacle and empty space is marked as 1 and 0 respectively in the

2017-12-16 13:55:52 142

原创 62. Unique Paths

A robot is located at the top-left corner of a m x n grid (marked 'Start' in the diagram below).The robot can only move either down or right at any point in time. The robot is trying to reach the

2017-12-16 13:53:15 127

原创 1. Two Sum

Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution, and you may not use the sam

2017-12-16 13:50:41 112

原创初步运用多进程，利用正则表达式，爬取猫眼电影top100排行榜，储存到本地

爬去猫眼top100排行榜电影的相关信息：# 代码多进程部分在juypter nootebook上，why?# py3自带IDE和pycharm均能运行……import reimport requestsfrom requests.exceptions import RequestExceptionimport jsonfrom fake_useragent import Use

2017-12-15 19:47:59 508

原创打印图形：人人贷测试岗面试题(20171103)

n=6: * ************* *** *n=5: * ******** *** *def A(n): j=1 for i in range(n): if j>n: j-=2 #将j变回来，否则超值 if i<=n//2: print((n-j)//2*' ',end='

2017-11-04 18:16:48 1164

原创找出只出现过一次的两个数字

数组中，有两个数字只出现过一次，其余数字都出现两次，找出只出现过一次的两个数字。并且按照顺序输出。a=[1,2,3,4,5,8,6,1,2,3,7,4,5,6]87a=[1,2,3,4,5,8,6,1,2,3,7,4,5,6]'''任何数字与0异或都是其本身，两个相同的数字异或为0。'''def yihuo(a): r=0 for i in a:

2017-10-30 12:15:31 231

原创求数组的全排列

a=[1,2,3][1, 2, 3][1, 3, 2][2, 1, 3][2, 3, 1][3, 2, 1][3, 1, 2]a=[1,2,3,4][1, 2, 3, 4][1, 2, 4, 3][1, 3, 2, 4][1, 3, 4, 2][1, 4, 3, 2][1, 4, 2, 3][2, 1, 3, 4][2, 1, 4

2017-10-29 14:55:52 690

原创英特尔—最大区间

一个有符号的数组（可能包含正负数），求数组的某个区间，其和最大。比如{-1,4，-3,4,5}，其和最大区间是{4，-3,4,5}，和是10。a=[int(i) for i in input().split()]#单纯求最大和def max_value(a): i = j = a[0] for u in a[1:]: i = max(u, i + u)

2017-09-14 22:02:03 151

原创网易有道—构造列队

小明同学把1到n这n个数字按照一定的顺序放入了一个队列Q中。现在他对队列Q执行了如下程序：while(!Q.empty()) //队列不空，执行循环{ int x=Q.front(); //取出当前队头的值x Q.pop(); //弹出当前队头 Q.push(x);

2017-09-14 15:07:07 183

原创好未来—求和

输入两个整数 n 和 m，从数列1，2，3.......n 中随意取几个数,使其和等于 m ,要求将其中所有的可能组合列出来输入描述:每个测试输入包含2个整数,n和m输出描述:按每个组合的字典序排列输出,每行输出一种组合示例1输入5 5输出1 4 2 35{CSDN:CODE:25765

2017-09-13 16:34:55 208

原创挖财—求数列的和

数列的第一项为n，以后各项为前一项的平方根，求数列的前m项的和。输入描述:输入数据有多组，每组占一行，由两个整数n（n 输出描述:对于每组输入数据，输出该数列的和，每个测试实例占一行，要求精度保留2位小数。示例1输入81 42 2输出94.733.41import sysfrom ma

2017-09-12 15:10:56 215

原创网易—藏宝图

牛牛拿到了一个藏宝图，顺着藏宝图的指示，牛牛发现了一个藏宝盒，藏宝盒上有一个机关，机关每次会显示两个字符串 s 和 t，根据古老的传说，牛牛需要每次都回答 t 是否是 s 的子序列。注意，子序列不要求在原字符串中是连续的，例如串 abc，它的子序列就有 {空串, a, b, c, ab, ac, bc, abc} 8 种。输入描述:每个输入包含一个测试用例。每个测试用例包含两行长度

2017-09-12 14:30:10 597

原创网易—不要二

二货小易有一个W*H的网格盒子，网格的行编号为0~H-1，网格的列编号为0~W-1。每个格子至多可以放一块蛋糕，任意两块蛋糕的欧几里得距离不能等于2。对于两个格子坐标(x1,y1),(x2,y2)的欧几里得距离为:( (x1-x2) * (x1-x2) + (y1-y2) * (y1-y2) ) 的算术平方根小易想知道最多可以放多少块蛋糕在网格盒子里。输入描述:每组数组包含

2017-09-12 11:25:57 168

原创好未来—删除公共字符

输入两个字符串，从第一字符串中删除第二个字符串中所有的字符。例如，输入”They are students.”和”aeiou”，则删除之后的第一个字符串变成”Thy r stdnts.”输入描述:每个测试输入包含2个字符串输出描述:输出删除后的字符串示例1输入They are students.aeiou输出T

2017-09-11 22:30:53 165

原创腾讯—素数对

给定一个正整数，编写程序计算有多少对质数的和等于输入的这个正整数，并输出结果。输入值小于1000。如，输入为10, 程序应该输出结果为2。（共有两对质数的和为10,分别为(5,5),(3,7)）输入描述:输入包括一个整数n,(3 ≤ n 输出描述:输出对数示例1输入10输出2{CSDN:

2017-09-11 20:11:58 191

原创网易—统计回文

“回文串”是一个正读和反读都一样的字符串，比如“level”或者“noon”等等就是回文串。花花非常喜欢这种拥有对称美的回文串，生日的时候她得到两个礼物分别是字符串A和字符串B。现在她非常好奇有没有办法将字符串B插入字符串A使产生的字符串是一个回文串。你接受花花的请求，帮助她寻找有多少种插入办法可以使新串是一个回文串。如果字符串B插入的位置不同就考虑为不一样的办法。例如：A = “aba”

2017-09-10 13:57:31 180

原创网易—小易喜欢的单词

小易喜欢的单词具有以下特性：1.单词每个字母都是大写字母2.单词没有连续相等的字母3.单词没有形如“xyxy”(这里的x，y指的都是字母，并且可以相同)这样的子序列，子序列可能不连续。例如：小易不喜欢"ABBA"，因为这里有两个连续的'B'小易不喜欢"THETXH"，因为这里包含子序列"THTH"小易不喜欢"ABACADA"，因为这里包含子序列"AAAA"小易喜欢"

2017-09-06 17:20:08 467

原创网易—数字翻转

对于一个整数X，定义操作rev(X)为将X按数位翻转过来，并且去除掉前导0。例如:如果 X = 123，则rev(X) = 321;如果 X = 100，则rev(X) = 1.现在给出整数x和y,要求rev(rev(x) + rev(y))为多少？输入描述:输入为一行，x、y(1 ≤ x、y ≤ 1000)，以空格隔开。输出描述:输出rev(rev(x) +

2017-09-06 14:26:27 226

原创网易—下厨房

牛牛想尝试一些新的料理，每个料理需要一些不同的材料，问完成所有的料理需要准备多少种不同的材料。输入描述:每个输入包含 1 个测试用例。每个测试用例的第 i 行，表示完成第 i 件料理需要哪些材料，各个材料用空格隔开，输入只包含大写英文字母和空格，输入文件不超过 50 行，每一行不超过 50 个字符。输出描述:输出一行一个数字表示完成所有料理需要多少种不同的材料。示例

2017-09-05 23:07:32 292

原创京东—幸运数

小明同学学习了不同的进制之后，拿起了一些数字做起了游戏。小明同学知道，在日常生活中我们最常用的是十进制数，而在计算机中，二进制数也很常用。现在对于一个数字x，小明同学定义出了两个函数f(x)和g(x)。 f(x)表示把x这个数用十进制写出后各个数位上的数字之和。如f(123)=1+2+3=6。 g(x)表示把x这个数用二进制写出后各个数位上的数字之和。如123的二进制表示为1111011，那么

2017-09-05 17:09:15 577

原创去哪——身份证分组

18位身份证的编码规则是：前1、2位数字表示：所在省（直辖市、自治区）的代码第3、4位数字表示：所在地级市（自治州）的代码第5、6位数字表示：所在区（县、自治县、县级市）的代码；第7—14位数字表示：出生年、月、日；第15、16位数字表示：所在地的派出所的代码；第17位数字表示性别：奇数表示男性，偶数表示女性；第18位数字是校检码，用来检验身份证的正确性。用户在输入

2017-09-05 15:03:00 365

原创美团—网格走法数目

有一个X*Y的网格，小团要在此网格上从左上角到右下角，只能走格点且只能向右或向下走。请设计一个算法，计算小团有多少种走法。给定两个正整数int x,int y，请返回小团的走法数目。输入描述:输入包括一行，逗号隔开的两个正整数x和y，取值范围[1,10]。输出描述:输出包括一行，为走法的数目。示例1输入3 2输出10

2017-09-04 21:59:48 1061

原创网易—解救小易

有一片1000*1000的草地，小易初始站在(1,1)(最左上角的位置)。小易在每一秒会横向或者纵向移动到相邻的草地上吃草(小易不会走出边界)。大反派超超想去捕捉可爱的小易，他手里有n个陷阱。第i个陷阱被安置在横坐标为xi ，纵坐标为yi 的位置上，小易一旦走入一个陷阱，将会被超超捕捉。你为了去解救小易，需要知道小易最少多少秒可能会走入一个陷阱，从而提前解救小易。输入描述:第一行为一个

2017-09-04 16:10:14 229

空空如也

空空如也