- 博客(126)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 快速构建热力分布图
支付宝制作的疫情可视化地图，相信大家每天都会刷上好多遍。在这全球确诊破百万之际，带领大家使用Python可视化构来建自己的疫情追踪分布图。一、使用爬虫获取疫情信息数据爬取的疫情数据网站是：丁香园-丁香医生的疫情网（打击权健，质量保证）地址：https://3g.dxy.cn/newh5/view/pneumonia_peopleappfrom urllib.request import ...
2020-12-31 21:24:26
11760
8
原创 systemctl start docker报错(code=exited, status=1/FAILURE)
具体解决问题是修改 /etc/docker/daemon.json，添加存储驱动。
2024-04-11 13:30:00
476
原创 Kafka安装及zookeeper is not a recognized option问题解决
问题：zookeeper is not a recognized option（版本原因）解决方法：zookeeper改bootstrap-serverZookeeper。
2023-02-09 16:12:38
1636
原创 Ubuntu安装Jdk环境
1、去官网下载所需版本官网链接2、解压tar -zxvf jdk-8u111-linux-x64.tar.gz3、移动位置sudo mv jdk1.8.0_111 /usr/local/jdk1.84、设置环境变量export JAVA_HOME=/usr/local/jdk1.8export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=.:${JAVA
2022-01-05 09:51:01
1126
原创 关于pip install psycopg2、python-ldap出错的问题
出现Running setup.py install for psycopg2 … error错误sudo apt-get updatesudo apt-get upgradesudo apt-get install python-psycopg2sudo apt-get install libpq-devpip3 install psycopg2如果出现Building wheel for python-ldap (setup.py) … error错误解决方法：sudo apt-g
2021-12-11 16:20:22
800
原创 数据分析的过程描述
数据分析的过程描述数据分析过程可以用以下几步来描述： 转换和处理原始数据，以可视化方式呈现数据，建模做预测。因此数据分析几乎可以概括为由以下几个阶段组成的过程链：① 问题定义② 数据转换③ 数据探索④ 预测模型⑤ 模型评估⑥ 可视化⑦ 部署问题定义数据分析总是始于要解决的问题，而这个问题需要事先定义。问题定义这一步及产生的相关文档（可交付成果），尤其是问题的规划，将唯一决定整个数据分析项目所遵循的指导方针。定义好问题并形成文档后，接下来就可以进入数据分析的项目规划环节 。该
2021-03-24 16:05:42
4813
原创 自动化脚本Cron工具（MAC和Linux系统）
自动化脚本Cron工具（MAC和Linux系统）Windows 系统中提供了任务计划程序，用来使脚本和其他可执行文件按计划自动定期运行。 在 macOS 系统和 Linux系统中，与之相似的程序称为 cron。cron 程序依赖于 cron 表文件和 cron 任务来确定何时运行特定的可执行文件。cron 表文件 是一个纯文本文件，你可以创建这个文件，在文件中列出所有想按计划自动运行的可执行 文件，以及每个文件开始运行的具体时间。一个 cron 任务就是 cron 表文件中的一行，设 定了一个要运行
2021-03-23 10:48:14
4845
原创 自动化脚本任务计划程序（Windows）
任务计划程序（Windows）我们使用对CSV 文件、Excel 文件和数据库中的数据进行处理。命令行中的脚本都是通过手动运行的，就像这样：python python_script.py input_file.txt output_file.csv这是一种最常见的运行脚本的方法，也是完全可以接受的，但是，当你需要定期运行脚本时，应该怎么办呢？如果没有别的运行脚本的方法，那么就需要你时刻记住要在某个时间 使用命令行运行脚本。显然，这不是定期运行脚本的最优方法。在这种情况下，就需要另 外一种方法，来按
2021-03-22 13:40:26
6174
原创 关于大数据的大数据平台
大数据平台大数据平台，顾名思义就是整合网站应用和大数据系统之间的差异，将应用程序产生的数据导入到大数据系统，经过处理计算后再导出给应用程序使用。大数据平台架构互联网大数据平台互联网产品处理用户请求，需要毫秒级的响应，要在 1 秒内完成计算，普通大数据计算必然不能实现这样的响应要求。如何才能弥补这互联网和大数据系统之间的差异呢？解决方案就是将面向用户的互联网产品和后台的大数据系统整合起来，也就是构建一个互联网大数据平台。图是一个典型的互联网大数据平台的架构。在这张架构图中，大数据平台里面
2021-03-14 22:02:12
5430
2
原创 关于大数据
关于大数据大数据时代即使自己不做大数据与机器学习相关的开发，每个人也应该懂大数据和机器学习原理以及产品。未来，数据会越来越成为公司的核心资产和主要竞争力，公司的业务展开和产品进化也越来越朝着如何利用好数据价值的方向发展。不懂大数据和机器学习，可能连最基本的产品逻辑和商业意图都搞不清楚。如果不了解大数据，生存空间会越来越窄，发展也会处处受限。大数据概念大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和
2021-03-13 20:23:45
5404
原创 关于大数据中的NOSQL
NOSQL与关系型数据库相比，NoSQL 数据库具有以下几个优点：易扩展大数据量，高性能灵活的数据模型高可用NoSQL 即 Not Only SQL，可直译“不仅仅是 SQL”，这项技术正在掀起一场全新的数据库革命性运动。NoSQL 的出现打破了长久以来关系型数据库与 ACID 理论大一统的局面。NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。1．易扩展NoSQL 数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系
2021-03-11 17:44:11
6732
原创 无人机Python SDK使用
无人机Python SDKSDK主要通过Wi-Fi UDP协议与无人机连接，让用户可以通过文本指令控制无人机，共享文件夹的Python SDK文件夹中的Tello3.py文件包含了一个基于Python建立UDP通信端口的程序样例，可以实现与Tello的简单交互，包括向Tello发送SDK指令和接收Tello回复信息1、整体SDK代码如下图，后面我们将会对SDK的内容进行介绍2、下图我们引入了Python的一些包，帮助我们实现功能，在无人机SDK中我们会使用到的是threading 和socket 包
2021-03-09 13:23:38
6202
3
原创 计算机类证书之微软厂商认证分享
MCP、MCT、MVP最近想考一些计算机证书，网上简单看了下。大致分为国家代表队的计算机技术与软件专业资格考试证书、国内大厂代表队的华为认证、外企代表队的微软认证。计算机技术与软件专业资格考试证书是由国家人力资源和社会保障部、工业和信息化部领导的国家级考试，该考试分为 5 个专业类别，并分设了高、中、初级专业资格考试，共 28 个资格的考核。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YiYivuz0-1615189249186)(htts://img-blog.c
2021-03-08 15:45:20
9982
原创 AKS解决方案架构设计
本模块目的在于明确说明系统各功能的实现方式，指导开发员进行编码。本模块的预期读者为：系统设计者、系统开发员。系统采用前后端分离的B/S架构。前端采用主流框架Vue，后端采用Java主流框架Spring Boot。前端负责界面展示和交互逻辑的开发，后端关注业务逻辑和数据处理，所有数据都通过异步接口的方式在前后端流转，最终利用浏览器完成静态页面模板系统架构 System Architecture服务器 ServersAKS解决方案架构Azure Kubernetes Solution Arch
2021-03-08 12:36:14
3257
5
原创 基于云服务创建弹性托管集群服务
弹性托管集群服务使用JMR产品，可在几分钟内创建并启动集群，弹性灵活，可根据业务规模与工作负载等需求实现低成本集群组件最优组合，动态扩容缩容，更专注于业务分析。使用京东云的JMR，对于其他云平台可做参考。JMR(JingDong MapReduce)是基于弹性计算能力和开源生态系统提供的 Hadoop/Spark 托管服务，使用者可便捷地使用 MapReduce，Hive，Spark，Presto 等服务低成本开展大数据处理分析。创建集群，配置作业，部署作业，集群监控1.登录京东智联云，
2021-03-05 10:06:36
4477
3
原创 基于云服务创建实时运营数据分析服务（三）
基于云服务创建实时运营数据分析服务实时运营数据分析使用数据计算服务、流数据总线、流计算产品，可对实时业务数据进行归档和分析，实现秒级响应，对接数据大屏或BI报表产品即刻呈现业务状态。使用京东云的流数据总线、流计算以及数据大屏，对于其他云平台可做参考。流数据总线是面向大数据场景下可扩展、分布式、高吞吐量的消息服务，提供低延迟的消息发布及订阅功能，帮助用户快速构建流式数据的分析和应用。流计算是大数据场景下的实时数据处理与分析平台，支持用户以 SQL 方式编写数据处理作业, 降低流式数据开发
2021-03-04 17:13:53
3377
1
原创 基于云服务创建实时运营数据分析服务（二）
基于云服务创建实时运营数据分析服务实时运营数据分析使用数据计算服务、流数据总线、流计算产品，可对实时业务数据进行归档和分析，实现秒级响应，对接数据大屏或BI报表产品即刻呈现业务状态。使用京东云的流数据总线、流计算以及数据大屏，对于其他云平台可做参考。流数据总线是面向大数据场景下可扩展、分布式、高吞吐量的消息服务，提供低延迟的消息发布及订阅功能，帮助用户快速构建流式数据的分析和应用。流计算是大数据场景下的实时数据处理与分析平台，支持用户以 SQL 方式编写数据处理作业, 降低流式数据开发
2021-03-04 15:02:44
6383
1
原创 基于云服务创建实时运营数据分析服务（一）
基于云服务创建实时运营数据分析服务实时运营数据分析使用数据计算服务、流数据总线、流计算产品，可对实时业务数据进行归档和分析，实现秒级响应，对接数据大屏或BI报表产品即刻呈现业务状态。使用京东云的流数据总线、流计算以及数据大屏，对于其他云平台可做参考。流数据总线是面向大数据场景下可扩展、分布式、高吞吐量的消息服务，提供低延迟的消息发布及订阅功能，帮助用户快速构建流式数据的分析和应用。流计算是大数据场景下的实时数据处理与分析平台，支持用户以 SQL 方式编写数据处理作业, 降低流式数据开发
2021-03-04 13:38:20
5490
1
原创 基于云服务创建离线数据统计分析服务（二）
基于云服务创建离线数据统计分析服务离线数据统计分析使用数据工厂、数据计算服务产品，可对多源数据（DB,FILE）整合分析，制定周期性的调度任务，提供任务监控及预警、数据统计分析等功能，可对接BI报表产品可视化分析。使用京东云的数据工厂和数据计算服务，对于其他云平台可做参考。数据工厂是京东云提供的一种数据移动服务产品，帮助用户实现数据自由流动。京东云数据计算服务（Data Computing Service）是一个全托管、低使用成 本的云上数据仓库服务。创建数据计算服务数据库表、任务
2021-03-04 10:12:18
2923
4
原创 基于云服务创建离线数据统计分析服务（一）
基于云服务创建离线数据统计分析服务离线数据统计分析使用数据工厂、数据计算服务产品，可对多源数据（DB,FILE）整合分析，制定周期性的调度任务，提供任务监控及预警、数据统计分析等功能，可对接BI报表产品可视化分析。使用京东云的数据工厂和数据计算服务，对于其他云平台可做参考。数据工厂是京东云提供的一种数据移动服务产品，帮助用户实现数据自由流动。京东云数据计算服务（Data Computing Service）是一个全托管、低使用成 本的云上数据仓库服务。配置数据源，创建数据同步、工作
2021-03-04 00:12:12
4875
2
原创 大数据十大核心原理（互联网上整理）
大数据十大核心原理整理一、数据核心原理从“流程”核心转变为“数据”核心大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。 例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下，云计算找到了破茧重生的机会，在存储和计算上都体现了数据为核心的理念。大数据和云计算的关系：
2021-03-03 17:26:14
4768
2
原创 Python玩转词云图
Python玩转词云图jieba库jieba库是一款优秀的 Python 第三方中文分词库，jieba 支持三种分词模式：精确模式、全模式和搜索引擎模式，下面是三种模式的特点。精确模式：试图将语句最精确的切分，不存在冗余数据，适合做文本分析全模式：将语句中所有可能是词的词语都切分出来，速度很快，但是存在冗余数据搜索引擎模式：在精确模式的基础上，对长词再次进行切分获取的微博数据给微博数据分词# -*- coding: utf-8 -*-import jiebatxt =
2021-03-03 17:01:07
2341
2
原创 Python无监督学习（三）
自组织映射自组织映射是一种基于拓扑表示法的数据降维技术。这样的技术有很多，其中主成分分析便是比较有名的一种。然而，作为降维技术和可视化形式，自组织映射自有其独到之处。自组织映射入门自组织映射算法需要反复迭代一些简单的操作。在目标数据集很小时，自组织映射与k均值聚类非常类似（后面很快会讲到）；目标数据集较大时，自组织映射就会用一种强大的方式展现复杂数据集的拓扑结构。自组织映射是由许多节点构成的网格（一般是矩形或六边形），每个节点都包含一个权重向量，该权重向量的维度与输入数据集相同。节点可以随机初始化，
2021-03-02 14:44:08
2690
原创 Python无监督学习（二）
开始聚类分析回顾过聚类算法后，接下来运行以下代码并观察聚类的效果。from time import timeimport numpy as npimport matplotlib.pyplot as pltnp.random.seed()digits = load_digits()data = scale(digits.data)n_samples, n_features = data.shapen_digits = len(np.unique(digits.target))
2021-03-02 14:20:20
1653
原创 Python无监督学习（一）
无监督机器学习何用无监督学习技术来识别数据集中的模式和结构。无监督学习是用于探索性分析的一系列很有价值的技术。它们能够挖掘出隐藏在数据集中的模式和结构，获取有用的信息或为进一步分析提供指导。拥有一套可靠的无监督学习工具集至关重要，你可以应用它们将陌生或复杂的数据集分解为可用信息。我们将先从主成分分析（principal component analysis，PCA）这个基本的数据操作技术开始，并结合一系列的降维应用。接着探讨一项应用广泛且简单易用的无监督学习技术——k均值聚类。随后会讨论一种能将复杂数
2021-03-02 13:34:22
3838
1
原创 Python监督学习（三）
估算房屋价格是时候用所学的知识来解决真实世界的问题了。让我们用这些原理来估算房屋价格。房屋估价是理解回归分析最经典的案例之一，通常是一个不错的切入点。它符合人们的直觉，而且与人们的生活息息相关，因此在用机器学习处理复杂事情之前，通过房屋估价可以更轻松地理解相关概念。我们将使用带AdaBoost算法的决策树回归器（decision tree regressor）来解决这个问题。准备工作决策树是一个树状模型，每个节点都做出一个决策，从而影响最终结果。叶子节点表示输出数值，分支表示根据输入特征做出的中间决策
2021-03-01 13:07:37
2175
原创 Python监督学习（二）
计算回归准确性现在已经建立了回归器，接下来最重要的就是如何评价回归器的拟合效果。在模型评价的相关内容中，用误差（error）表示实际值与模型预测值之间的差值。准备工作下面快速了解几个衡量回归器拟合效果的重要指标（metric）。回归器可以用许多不同的指标进行衡量，部分指标如下所示。平均绝对误差（mean absolute error）：这是给定数据集的所有数据点的绝对误差平均值。均方误差（mean squared error）：这是给定数据集的所有数据点的误差的平方的平均值。这是最流行
2021-03-01 11:50:20
1890
原创 Python监督学习（一）
Python监督学习简介如果你熟悉机器学习的基础知识，那么肯定知道什么是监督学习。监督学习是指在有标记的样本（labeled samples）上建立机器学习的模型。例如，如果用尺寸、位置等不同参数建立一套模型来评估一栋房子的价格，那么首先需要创建一个数据库，然后为参数打上标记。我们需要告诉算法，什么样的参数（尺寸、位置）对应什么样的价格。有了这些带标记的数据，算法就可以学会如何根据输入的参数计算房价了。无监督学习与刚才说的恰好相反，它面对的是没有标记的数据。假设需要把一些数据分成不同的组别，但是对分组
2021-03-01 11:32:00
6129
2
原创 数据可视化Matplotlib库
数据可视化是数据科学家工具箱中的一个重要部分。创建可视化很容易，但创建优秀的可视化却很难。数据可视化有两种主要用途：探索数据交流数据1 matplotlib有许多工具可以用来可视化数据，我们将使用的是应用最广的 matplotlib 库（尽管这暴露了它的年龄。详见 http://matplotlib.org/）。如果你的兴趣是制作用于网络的精良的交互可视化，它可能不是好的选择，但对于条形图、线图和散点图这些简单的图形来说，它很好用。特别地，我们会使用 matplotlib.pyplot 模块
2021-02-28 22:57:15
2655
9
原创 Python处理CSV文件（三）
添加标题行有些时候，电子表格中没有标题行，但你确实希望所有列都有列标题。在这种情况下，可以使用脚本添加列标题。为了演示如何使用脚本添加列标题，需要对输入文件做一下修改：(1) 在电子表格程序中打开 supplier_data.csv。(2) 删除文件中的第一行（即包含列标题的标题行）。(3) 将文件保存为 supplier_data_no_header_row.csv。如图 2-11 所示。图 2-11：包含数据行的 CSV 文件，没有标题行基础Python要使用基础 Python 添加列
2021-02-28 16:35:37
3913
4
原创 Python处理CSV文件（二）
筛选特定的行有些时候，你并不需要文件中所有的数据。例如，你可能只需要一个包含特定词或数字的行的子集，或者是与某个具体日期关联的行的子集。在这些情况下，可以用 Python 筛选出特定的行来使用。你应该很熟悉如何在 Excel 中手动筛选行，使你既能处理因为体积太大以致 Excel 不能打开的 CSV 文件，又能处理多个 CSV 文件。因为要通过手动处理这些文件，时间花费太多了。下面演示了在输入文件中筛选出特定行的 3 种方法：行中的值满足某个条件行中的值属于某个集合行中的值匹配于某个模式（正则
2021-02-28 14:38:13
10049
6
原创 Python处理CSV文件（一）
CSV 文件CSV（comma-separated value，逗号分隔值）文件格式是一种非常简单的数据存储与分享方式。CSV 文件将数据表格存储为纯文本，表格（或电子表格）中的每个单元格都是一个数值或字符串。与 Excel 文件相比，CSV 文件的一个主要优点是有很多程序可以存储、转换和处理纯文本文件；相比之下，能够处理 Excel 文件的程序却不多。所有电子表格程序、文字处理程序或简单的文本编辑器都可以处理纯文本文件，但不是所有的程序都能处理 Excel 文件。尽管 Excel 是一个功能非常强大的工
2021-02-27 23:59:20
7294
3
原创 Python处理Excel文件（三）
3 读取工作簿中的所有工作表到目前为止，都在演示如何处理单个工作表。有些时候，你只需要处理一个工作表就可以了。在这些情况下，这里的示例可以告诉你如何使用 Python 程序去自动处理工作表。但是，在很多情况下你需要处理多个工作表，多到使用手工处理效率非常低或者根本不可行。在这种情况下，Python 会给你惊喜，因为它可以让你自动化和规模化地进行数据处理，远远超过手工处理能够达到的限度。提供了两个示例，演示了如何在一个工作簿的所有工作表中筛选特定的行与列。1 在所有工作表中筛选特定行基础Python
2021-02-26 17:03:23
1763
3
原创 Python处理Excel文件（二）
2 处理单个工作表尽管 Excel 工作簿可以包含多个工作表，有些时候你也只是需要一个工作表中的数据。此外，只要你知道如何分析一个工作表，就可以很容易地扩展到分析多个工作表。1 读写Excel文件基础Python和xlrd、xlwt模块要使用基础 Python 和 xlrd、xlwt 模块读写 Excel 文件，在文本编辑器中输入下列代码，然后将文件保存为 excel_parsing_and_write.py： 1 #!/usr/bin/env python3 2 import sys 3 f
2021-02-26 16:08:33
1933
原创 Python处理Excel文件（一）
Excel 文件Microsoft Excel 几乎无处不在，使用 Excel 既可以保存客户、库存和雇员数据，还可以跟踪运营、销售和财务活动。人们在商业活动中使用 Excel 的方式五花八门，难以计数。因为 Excel 是商业活动中不可或缺的工具，所以知道如何使用 Python 处理 Excel 数据可以使你将 Python 加入到数据处理工作流中，进而从其他人那里接收数据，并以他们习惯接受的方式分享数据处理结果。与 Python 的 csv 模块不同，Python 中没有处理 Excel 文件（就是
2021-02-26 15:14:29
6059
5
原创 Python读写文本文件
Python读写文本文件读取文本文件数据几乎无一例外地是被保存在文件中的。这些文件可能是文本文件、CSV 文件、Excel 文件或其他类型的文件。知道如何访问此类文件以及从中读取数据是在 Python 中进行数据处理、加工与分析的前提。当完成了一个每秒钟可以处理很多文件的程序时，与手动一个个地处理文件相比，你会真正体会到写程序的好处。你需要告诉 Python，脚本要处理何种类型的文件。你可以在程序中写死文件名称，但是如果这样的话，就不能使用这个程序处理多个不同的文件了。能读取多个不同文件的方法是，在命
2021-02-26 12:41:17
5428
1
Navicat_Premium+zh-Hans.lproj（mac）
2018-11-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人