- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark standalone模式在多用户环境下保存结果报错 java.io.ioexception: mkdirs failed to create file
在服务器上用standalone模式部署了Spark，使用本地文件系统（没有使用HDFS），在多用户提交Spark application计算任务并保存结果到本地文件系统时出现问题，保存时提示：java.io.ioexception: mkdirs failed to create file或java.io.ioexception: failed to rename deprecatedrawlocalfilestatus
2022-03-03 12:59:00
3491
1
原创 海外疫情公共信息服务平台
海外疫情公共信息服务平台依托武汉大学信息资源研究中心，旨在为海外的中国机构和中国公民提供疫情状态、健康防护、官方政策、大使馆指南等信息服务。疫情状态信息模块包括全球疫情数据及地图、疫情发展趋势以及地区疫情数据。官方要闻模块包括国内官方媒体发布的物资捐赠与供给信息、防疫提醒信息、搭乘航班的提醒以及注意事项等，点击链接可查看详情。海外信息模块主要包括国内媒体或驻外大使馆发布的关于国外的防疫措施、防疫新规、疫情状态信息等。使馆信息模块提供我国驻世界各国的使馆详细信息，主要包括使馆地址、使馆联系电话以及使馆
2020-06-29 13:17:22
705
原创 百度迁徙爬虫工具：Baidu_migration_crawler
Baidu_migration_crawler是一个百度迁徙数据爬虫新冠肺炎抗疫形势严峻，国内多家公司都为抗疫贡献了自己的力量，如丁香园的疫情播报和地图，百度迁徙的人口流动信息等。这些数据能够为分析和预测疫情传播、发展提供重要基础。为了让百度迁徙提供的人口流动数据更便于分析，笔者使用Python制作了Baidu_migration_crawler工具来进行自动的数据爬取和解析存储。注：使用...
2020-04-02 23:04:58
2138
1
原创 WOS_Crawler: Web of Science图形界面爬虫、解析工具
文章目录太长不看0. 写在前面1. Web of Science爬取逻辑抽象爬取逻辑具体爬取逻辑2. WOS_Cralwer的使用方法1. 图形界面使用方法2. Python API使用方法太长不看WOS_Crawler是一个Web of Science核心集合爬虫。支持爬取任意合法高级检索式的检索结果（题录信息）支持爬取给定期刊列表爬取期刊上的全部文章（题录信息）支持选择目标文献类型...
2019-01-24 17:08:35
17567
62
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人