- 博客(12)
- 收藏
- 关注
RSS订阅原创 python数据保存到MySQL
本文依然以虎扑为例，将爬取的数据保存到mysql数据库中：首先，导入相应的库import requestsfrom bs4 import BeautifulSoupimport timeimport randomimport MySQLdb定义方法爬取数据def get_information(page=0): url = 'https://bbs.hupu.com/bxj-postdate-' + str(page+1) headers={ "user-
2020-09-14 17:49:04
1343
原创 python数据保存到mongodb
本文主要介绍MongoDB和python的连接，将python爬取的数据保存到MongoDB中。以虎扑网为例，爬取网站的文章标题，连接，作者等信息，并保存到MongoDB中。导入相关python库import requestsfrom bs4 import BeautifulSoupimport timeimport randomfrom pymongo import MongoClientimport MySQLdb定义方法来获取当前网页的所有文章信息def get_informat
2020-09-14 17:14:43
1396
原创 文本情感分析竞赛（首次提交排名第6）
之前花了半个小时做了个DataCastle上的基础竞赛题，然后提交结果后直接第六名，目前14名，因此来分享一下。该文章之前记录在我的公众号上，原文链接：https://mp.weixin.qq.com/s/nIJ2begF2_5i_WnT1PEM3w数据主要包括IMDB网站上的电影评论文本数据。 数据分为训练数据和测试数据，分别保存在train.csv和test_noLabel.csv两个文件中。 字段说明如下： （1）ID：编号 （2）TXT：电影评论文本 （3）Label：评论的情感类别，1表示积极，
2020-09-02 11:42:14
938
原创 python数据分析：巴乐兔租房信息
根据上篇爬取的巴乐兔租房信息，来做一些相关的数据分析。首先导入相应的库import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib as mplimport seaborn as snsimport rempl.rcParams['font.sans-serif'] = ['SimHei']mpl.rcParams['axes.unicode_minus'] = False读取
2020-09-01 22:13:14
498
原创 python爬虫：BeautifulSoup巴乐兔租房信息爬取
找到巴乐兔上海租房网页url：巴乐兔上海通过翻页发现：第一页url：‘http://sh.baletu.com/zhaofang/?entrance=14’第二页url：’**http://sh.baletu.com/zhaofang/p2o1a1/?**seachId=0&is_rec_house=0&entrance=14&solr_house_cnt=28156’第三页url：’**http://sh.baletu.com/zhaofang/p3o1a1/?**seac
2020-07-22 21:54:17
431
1
原创 python爬虫：lxml爬取链家网二手房信息
首先查看下链家网二手房网站（深圳）：添加链接描述可以看到如下部分网页截图，我们需要获取的是类似图中红框中二手房的信息话不多说，先把开头的通用代码写下来：import requestsfrom lxml import etreeimport timeheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.
2020-07-22 18:32:21
1033
1
原创 TensorFlow的FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated问题
TensorFlow安装完成之后，在import tensorflow（1.9版本）时出现下面的情况：>>> import tensorflowC:\Users\AndyG\.conda\envs\tf_1\lib\site-packages\tensorflow\python\framework\dtypes.py:523: FutureWarning: Passing (...
2019-12-01 10:02:56
158
原创 KNN-KDtree笔记
KNN：可用于：分类，回归分类预测：多数表决法，加权多数表决法回归预测：平均值法，加权平均值法三要素：K值选择距离度量（一般为欧氏距离）决策规则KNN 算法实现：蛮力实现（brute）KD-TreeKD-Tree：K：K邻近查询中的kD：空间是D维空间（Demension）tree：你可以理解为是二叉树，也可以单纯的看做是一颗 tree建树依据：先计算当前区...
2019-09-06 11:15:51
203
原创 pandas 表合并：（concat、merge、join）
一、concat：沿轴合并concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=None, copy=True)参数介绍：objs：需要连接的对象集合，一般是列表或字典；a...
2019-09-02 17:07:22
1494
原创 KFold实例：基于鸢尾花的K折交叉验证
本文是KFold应用的一个实例，基于鸢尾花数据做5折交叉验证，测试最优树深的一个例子。导入相应包：import pandas as pdimport numpy as npfrom sklearn.model_selection import KFoldfrom sklearn.datasets import load_irisfrom lightgbm import LGBMClas...
2019-08-30 20:40:41
4623
1
原创 Yeah，我的Pygame安装成功了！（Windows Pygame 安装教程）
最近在自学python，在看完了些基础知识之后，准备写个小项目，我对照的教程是《python编程-从入门到实践》。在这本书的第二部分 项目篇的第一个小项目是【外星人入侵】，这个项目需要安装pygame，书中有给出了两个下载链接：https://bitbucket.org/pygame/pygame/downloads/和http://www.lfd.uci.edu/~gohlke/pythonl...
2019-03-02 23:55:43
13869
53
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人