- 博客(14)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 tableau中如何将时间戳改为日期
源表中会出现使用时间戳存储的日期形式，在tableau中无法识别为日期，所以需要手动做修改：创建计算字段，在其中输入如下内容：DATE(DATEADD('second',INT([dateline]),#1970-01-01 08:00:00#))[]中的是你表中的时间戳字段名，##中的是固定的，不需要改需要注意的问题：tableau中时间戳对应为格林尼治时间，所以换算成北京时间...
2019-11-07 15:46:11
5643
原创 数据分析面试经验汇总
1、SQL中最近30天数据，最近30天的表达方式SELECT*FROM表名whereDATE_SUB(CURDATE(),INTERVAL30DAY)<=date(时间字段名)2、贝叶斯定理P(A|B)=P(B|A)P(A)/P(B)，是一个条件概率，后验。通过例子来回答。手机照相功能好，那么他购买手机的概率是多少？已知用户购买的手机的照相功能好的概率是4...
2019-09-03 23:34:07
2733
原创 SQL学习笔记——经典面试题（一）
以下表、sql语句都是我自己编译通过的，结果肯定正确，但是效率不一定是最优的，希望看到的小伙伴能评论说下更优化的语句，相互学习，相互进步，3Q~1、假设employee表结构如下，查询每个部门中月工资最高的“职工号”回答：需要注意的一点，存在一个部门的最高工资有多个职工的情况，单纯的一个max不能解决问题，所以我用到了子查询select b.bumenid,b.id,b.sala...
2019-07-23 17:01:58
234
原创 SQL面试题-记录自己每次面试遇到的题目2
实际场景题：有400家门店（poi_id）新上线，需要通过SQL输出对比这400家门店在5月1日-31日的平均营业时长和他们门店所在区域（aor_id）其他门店的平均营业时长。一个区域里有多个门店，每个门店对应一个区域。要求输出表头： Poi_id 门店平均营业时长 Aor_id 区域平均营业时长 表a...
2019-07-23 14:50:45
417
原创 SQL面试题-记录自己每次面试遇到的题目1
1、订单汇总表order_jd存储了所有订单明细信息，一个订单有多个商品，记录多行，提取如下数据：1）统计2019年7月1日当日有效的下单量2）2019年7月1日有效下单用户中用户级别为“铜牌会员”的用户数量3）统计2019年7月各个级别下单金额（amount）最多的前10个用户的订单量和订单金额有效标志，1：有效；0：无效用户账号用户级别=56——铜牌下单日期回答...
2019-07-23 11:27:30
285
原创 tableau实战案例-分析120个国家和地区的自杀率情况
做数据分析，避免不了的要做可视化展示，这次就讲解一下如何通过tableau制作一份可视化图表，来分析一些问题。需要的工具：excel、tableau public（就是免费版）需要的技能：数据清洗、数据分解拆分、tableau操作技能、分析能力1、获取数据获取数据的渠道有很多种，如果只是前期练手的话，建议去找一下公共数据库来获得一份数据。本次分析数据来自kaggle数据集，数据中只...
2019-07-01 14:42:07
6308
原创 python爬虫学习-scrapy爬取拉勾职位信息并存储（xpath方法）
拉勾作为爬虫学习必被骚扰的网站，反爬策略做的还是很厉害的。爬取拉勾数据运营相关职位信息，有两种方式：一种是通过搜索“数据运营”，这时页面是通过json来传递数据另一种是直接在首页点击“数据运营”标签，这时页面是直接代码渲染出来的，可以采用xpath方法来爬取数据，本文就是采用这种方式。通过分析页面，我们要爬取的数据包括如下几个方面：职位名称、地址、公司名称、工资范围、经验学历、公司...
2019-05-16 14:51:00
435
原创 python爬虫学习-scrapy爬取链家房源信息并存储（翻页）
爬取链家租房频道的房源信息，含翻页，含房间详情页的内容爬取。items.pyimport scrapyclass ScrapytestItem(scrapy.Item): # define the fields for your item here like: title = scrapy.Field()#房源名称 price = scrapy.Field()...
2019-05-13 18:48:27
1189
原创 python爬虫学习-scrapy爬取链家房源信息并存储
爬取链家租房页面第一页的房源信息，获取内容包括：标题、价格、URLitems.pyimport scrapyclass ScrapytestItem(scrapy.Item): # define the fields for your item here like: title = scrapy.Field() price = scrapy.Field()...
2019-05-06 17:47:11
974
原创 python爬虫学习-初探scrapy 遇到的一个坑
python学习终于来到了scrapy这一部分了，感觉有点复杂，一开始学习了关于scrapy的安装、项目创建、爬虫创建等知识。在实操一个简单爬虫案例的时候，遇到了一个小问题，通过详细分析输出结果才发现了问题，在此记录一下，也给其它遇到相同问题的小伙伴提供一个解决思路。先说下遇到问题的spider代码吧import scrapyclass SpiderCity58Spider(s...
2019-04-17 16:17:52
215
2
原创 网贷之家 python 爬取公开的平台数据
初学python爬虫，仅用学到的几个库尝试爬取网贷之家的平台信息数据，并保存到excel中。爬取的过程中遇到了各种各样的问题，通过各种查资料最终解决，但是感觉自己的代码不够简洁，可能是学的东西还是太少吧。要爬取的页面：https://www.wdzj.com/dangan/要爬取的数据：平台名称、评级、参考利率、待还余额、注册地、上线时间、网友印象、综合评分代码如下：impo...
2019-03-21 12:00:16
3107
2
原创 python爬虫学习-使用pandas保存内容到本地
1、在学习pandas用法之前，了解过with open的用法，代码参上：import requestsfrom lxml import etreeurl='https://book.douban.com/subject/1882933/comments/'r=requests.get(url).texts=etree.HTML(r)file=s.xpath('//*[@id=...
2019-02-27 18:17:09
3730
原创 python爬虫学习-if __name__=='__main__'遇到的问题
跟着网上的教程学习python，有时候老师如果水平不够，或者讲得不够清楚，那么还真的会耽误很多时间去查找资料。就比如说，我这两天遇到的if __name__=='__main__'总是报错：invalid syntax在我核对了教程和我的内容之后，还是不知道错在哪里了，于是只能去网上翻资料，最终，我终于发现问题在哪里了我原本写的：if_name_=='_main_' 聪明的你有没有发...
2019-02-26 13:56:52
10347
14
原创 python爬虫学习-爬取豆瓣短评第一页并存储为csv
操作系统：windows 10软件：Anaconda spyder需求：爬取豆瓣某书的短评第一页内容import requestsr=requests.get('https://book.douban.com/subject/1084336/comments/').textfrom bs4 import BeautifulSoupsoup=BeautifulSoup(r,'l...
2019-02-22 18:57:01
948
空空如也
python 爬虫 用xpath抓取多行文本，如何实现多重遍历？
2019-03-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人