- 博客(24)
- 收藏
- 关注
RSS订阅原创 2020-12-02
今天聊点程序员学习过程中遇到的那些自以为是的人。今天我去查一个问题，偶然间看见评论里有人发了一条恶意十足的语句说让楼主不要问这种低级的问题，我就想问一下，每个程序员在刚开始学的时候不是一点一点的慢慢熟悉，你是从母胎里就会吗，你要真是这样你为什么还有时间在这里BB呢...
2020-12-02 17:33:19
131
原创 简单的用scrapy登陆GitHub
import scrapyclass GitHub(scrapy.spider): name="github" allow_domains=['github.com'] start_urls=['https://github.com/login'] def parse(self,response): #如果还有其他需要提交的信息，可以使用xpath提取出他所在的标签的value...
2019-12-11 16:50:51
256
原创 IP代理池和Cookie池简单代码
import requests# url="http://httpbin.org/ip"# # response=requests.get(url=url)# # print(response.text)# proxy={# 'http':'125.42.148.190:8060'# }# response=requests.get(url=url,proxies=proxy)...
2019-11-12 13:40:45
382
原创 MongoDB文档之间的关系
–MongoDB文档之间的关系一对一在MongoDB，可以用内嵌文档的形式来体现出一对一的关系举例db.wifeandhusband.insert([{name:“黄蓉”husband:{name:“郭靖”}}])多对一用户–订单–也可以用内嵌文档的形式来映射一对多的关系举例db.users.insert([{username:“swk”},{usern...
2019-10-26 15:11:20
195
1
原创 MongoDB排序和投影
–MongoDB排序和投影–查询文档是，默认按照_id排序db.emp.find();–sort()可以指定文档的排序规则,sort()需要传递一个对象来指定排序规则。1表示升序，-1表示降序db.emp.find().sort({sal:1});db.emp.find().sort({sal:1,empno:-1});–先按照sal排序，如果有重复的sal，再按照empno排序–l...
2019-10-26 15:10:10
200
原创 MongoDB练习2
–MongoDB练习2导入json文件，具体实现我就不在这写了，大家请去b站搜索尚硅谷的mongodb教学1.查询工资在1000到2000之间的员工db.emp.find({sal:{lt:2000,lt:2000,lt:2000,gt:1000}});2.查询工资小于1000或者大于2500的员工–KaTeX parse error: Expected '}', got 'EOF' a...
2019-10-26 15:07:54
248
原创 MongoDB练习
–mangoDB练习1.进入mt_test数据库use my_test2.向数据库的user集合添加一个文档db.user.insert({ username:"sunwukong"});3.查询集合中的文档db.user.find();4.向user集合再插入一个文档db.user.insert({username:“zhubajie”});5.查询集合中的文档db...
2019-10-26 15:07:23
366
原创 MongoDB基础
–mangoDBnosql --not only sql 非关系型的数据库随着网站访问量的额上升，网站的数据库性能出现了问题，nosql出现了优点：分布式计算、低成本、架构的灵活性、半结构化数据、没有复杂的关系缺点：没有标准化、有限的查询功能、最终一直是不直观的程序文档型存储MongoDB是一个基于分布式，文件存储的nosql数据库由c++编写，运行稳定，性能高旨在为WEB应用提供...
2019-10-26 15:06:34
216
原创 利用代理爬取搜狗微信文章
爬取淘宝美食操作流程:1.搜索关键字，利用selenium驱动浏览器搜索关键字，得到查询后的商品列表2.得到商品页码数，模拟翻页，得到后续页面的商品列表3.分析提取商品内容，利用pyquery分析源码，解析得到商品列表4.存储至mongodbfrom selenium import webdriverfrom selenium.common.exceptions import Time...
2019-10-21 09:17:09
290
原创 利用selenium爬取淘宝
爬取淘宝美食操作流程:1.搜索关键字，利用selenium驱动浏览器搜索关键字，得到查询后的商品列表2.得到商品页码数，模拟翻页，得到后续页面的商品列表3.分析提取商品内容，利用pyquery分析源码，解析得到商品列表4.存储至mongodbfrom selenium import webdriverfrom selenium.common.exceptions import Time...
2019-10-21 09:14:51
382
原创 利用正则爬取猫眼电影
爬取猫眼电影import jsonimport requestsfrom requests.exceptions import RequestExceptionimport redef get_one_page(url):#获取一个页面的信息 try: kv = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win6...
2019-10-21 09:12:53
258
原创 python简易的实用代码，代替java复杂代码
1.检查两个给定列表是否含有重复元素def check_repeat(lst): return len(lst)==len(set(lst))2.检测两个字符串是否含有互相换位置的字符from collections import Counterdef change(first,second): return Counter(first)==Counter(second)chang...
2019-10-16 11:05:59
278
原创 爬虫selenium库
–爬虫selenium库自动化测试工具，爬虫中来解决js渲染问题基本使用from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import...
2019-10-16 11:04:41
189
原创 爬虫PyQuery
–爬虫pyquery字符串初始化html=""" ......""""from pyquery import PyQuery as pqdoc=pq(html)print(doc('li')) --其实就是个css选择器,选出了所有的li标签url初始化from pyquery import PyQuery as pqdoc=pq(url="http://www.baidu...
2019-10-16 11:00:49
227
原创 爬虫入门
–爬虫请求网站并提取数据的自动化程序get与post的不同get会把请求的参数放在url里，post会提交一个表单url：统一资源定位符request发送的请求一般都是document类型,网页中的图片是二次加载的request:1.请求方式(get,post).2.请求url.3.请求头:User-Agent.4.请求体:请求时额外携带的数据相应状态:200代表成功,301是跳转，...
2019-10-16 10:57:32
572
原创 求助MongoDB compass的内嵌文档的属性查询方法
我想查询到hobby中movies里面的属性值，比如，我想查询movies为hero的属性值，在mongodb compass里面怎么查，就是在这里面怎么写。非常感谢各位大佬
2019-10-07 17:09:12
568
1
原创 mysql事务
–mysql事务.sqlmysql中，事务其实是最小的不可分割的工作单元。事务能够保证一个业务的完整性比如update user set money=money-100 where name=‘a’;update user set money=money+100 where name=‘b’;这两条语句必须同时成功或者失败create table user(id int,name ...
2019-10-04 09:38:38
849
原创 mysql连接查询
–mysql连接查询.sqlsql的四种连接查询内连接inner join 或者 join外连接1.左连接: left join 或者 left outer join2.右连接: right join 或者 right outer join3.完全外连接： full join 或者 full outer join创建两个表create table person(id int,...
2019-10-04 09:38:07
283
原创 mysql查询
–mysql查询练习.sql–学生表create table student(sno varchar(20) primary key,sname varchar(20) not null,ssex varchar(10) not null,sbir datetime,class varchar(20));–教师表create table teacher(tno varchar...
2019-10-04 09:37:05
914
原创 mysql建表约束
–主键约束它能够唯一确定一张表中的一条记录。也就是我们通过给某个字段添加约束，就可以使得该字段不重复且不为空。primary key–联合主键，只要联合的主键值加起来不重复就可以primary key(字段名，字段名);–自增约束primary auto_increment 管控id自增加如果创建表的时候忘记添加主键，可以用alter table 表名 add primary ke...
2019-10-04 09:36:18
162
原创 MySql入门级知识
–mysql 学习笔记–关系型数据库– 一、如何使用终端操作数据库–1.如何登陆数据库服务器?cd C:\Program Files\MySQL\MySQL Server 5.7\binmysql -hlocalhost -uroot -p123456–2.如何查询数据库服务器中所有的数据库?show databases;–3.如何选中一个数据库进行操作use 数据库名字;se...
2019-10-04 09:35:25
150
原创 python入门小程序
# 输入整数，输出百位及以上的数字# s=input("输入整数")# print(s[:-2])# # 获取输入字符串，按照空格分割，按行打印# i=input("输入字符串")# s=i.split()# for c in s:# print(c)# # 输入数字1--7，输出星期几# d={1:"monday",2:"tuesday",3:"wednesday"...
2019-09-21 07:32:53
366
原创 Python 排序和堆的操作
自己自学了点排序和堆的操作，现学现卖，有不好的地方欢迎各路大神指点！1.二分法def twojudge(search_list,target): left=0 right=len(search_list)-1 while left<=right: mid=(left+right)//2 if search_list[mid]<...
2019-09-19 10:52:31
152
原创 python经典代码
python学习之路一、Hello World的条件输出获得用户输入的一个整数，参考该整数值，打印输出"Hello World"，要求：...
2019-07-14 18:30:09
31216
2
空空如也
OCR本地运行，不用部署
2022-11-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人