- 博客(62)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Mac启动TensorBoard出现-bash: /Library/Frameworks/Python.framework/Versions/3.6/bin/tensorboard: No such
如果tensorboard已经安装，会返回其安装路径，比如"/usr/local/bin/tensorboard"
2023-11-23 15:05:24
146
原创 ISO/IEC 25010:2011 模型说明
国际软件质量评价标准ISO/IEC 25010:2011弥补了ISO/IEC9126质量模型的不足，描述了8个质量特性和31个子特性。一、功能适合性（Functional suitability）功能完整性（Functional Completeness）：软件产品实现的功能达到所有指定任务和用户目标的程度。功能正确性（Functional Correctness）：软件产品提供具有所需精度的正确或者相符的结果的程度。功能适当性（Functional Appropriateness）：软件产品促
2021-11-06 12:11:19
7414
原创 Chapter7 Hadoop架构架构演进与生态组件
7.1 Hadoop的优化与发展7.1.1 Hadoop的局限和不足Hadoop在刚刚推出时，存在很多不足。存在的不足如下：抽象层次低，需人工编码。很多工作没有办法从高层撰写逻辑代码，必须从最底层进行逻辑编码。即使是很简单的任务都要编写完整的MapReduce代码，然后进行编译、打包、运行。表达能力有限在Hadoop核心组件中，MapReduce负责计算，虽然它将复杂的分布式计算全部抽象为Map和Reduce函数，简化了编程工作。但同时这种方法也限制了表达能力，现实中的很多问题没有办法使用Ma
2021-10-20 13:42:27
794
原创 Hive初始化元数据仓库：java.sql.SQLException : Access denied for user ‘hive‘@‘localhost‘ (using password: YES)
使用命令./bin/schematool -dbType mysql -initSchema初始化元数据仓库时，出现如下错误：导致报错的原因可能并不相同，这里只写出我遇到的情况（Linux下），有两种解决方法：方法一：检查hive-site.xml文件中的用户名和密码这个文件是Linux中配置hive的文件。进入到对应目录后，可以使用命令vim hive-site.xml打开。着重检查下面两个部分，检查你的用户名和密码配置是否正确： <!--连接数据的用户名--> <p
2021-10-16 16:33:24
1851
原创 Chapter6 数据仓库Hive
6.1数据仓库概念6.1.1什么是数据仓库数据仓库：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库的目的：支持企业内部的商业分析和决策，让企业可以基于数据仓库的分析结果作出相关的经营决策。数据仓库的典型体系结构：数据仓库的数据都来自数据源，数据源中的数据需要经过抽取、转换、加载（ETL过程），再进入数据仓库。接着可以通过OLAP服务器和数据挖掘引擎，对上层应用提供服务，从而提供各种类型的服务。数据仓库是相对稳定的，仓库中的数据不会频繁变化甚至根
2021-10-14 21:55:56
1333
原创 Chapter5 MapReduce
5.1概述5.1.1分布式并行编程MapReduce是一种分布式并行编程框架。在计算机发展史上的"摩尔定律"：CPU的性能每隔18个月就可以翻一番。然而，从2005年起，摩尔定律逐渐失效，因为CPU制作工艺存在上限、性能不可能无限提升。但是数据增长的速度符合大数据摩尔定律。数据量快速增加和CPU性能缓慢发展之间产生了矛盾，因此人们寻找出数据处理能力提升的两条路线：1.单核CPU到双核到四核到八核。2.分布式并行编程。分布式并行编程：借助一个集群通过多台机器同时处理大规模数据集，可以获得海量计算能力。
2021-10-07 18:45:09
1234
原创 Chapter4 分布式数据库HBase
4.1概述4.1.1从BigTable说起HBase是BigTable的开源实现。BigTable是一个分布式存储系统，它最初是用于解决谷歌公司内部的大规模网页所搜问题。网页搜索可以分为两个阶段：1.第一阶段：建立整个网页的索引。通过爬虫不断的抓取各个网站的页面，将网页的每页一行存储到BigTable中。在BigTable上运行MapReduce，MapReduce计算作业运行在整张表上，会生成索引，保证能够快速搜索相关网页。2.第二阶段：搜索互联网网页。搜索引擎接收用户发起的查询请求。
2021-10-07 09:46:25
1393
原创 Chapter3 分布式文件系统HDFS
3.1分布式文件系统计算机集群结构：分布式文件系统把文件分布存储导多个计算机节点上，成千上万的计算机节点构成计算机集群。与之前使用多个处理器和专业高级硬件的并行化处理装置不同的是，目前的分布式文件系统采用的计算机集群都是由普通硬件构成的，这大大降低了硬件上的开销。分布式文件系统结构：单机无法处理海量数据，所以要利用计算机集群。分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类。一类叫做主节点（Master Node）或者名称节点（NameNode）。一类叫做
2021-10-06 12:13:07
1583
原创 Chapter2 大数据处理架构Hadoop
2.1 Hadoop简介和版本演变2.1.1 Hadoop简介Hadoop是Apache软件基金会旗下开源软件，为用户提供高层接口，为用户提供了底层细节透明的分布式基础架构。Hadoop是基于java语言开发的，具有很好的跨平台性，但是它支持多种语言，包括C、java、Python等。Hadoop并不是单一的技术，而是多种大数据解决方案的继承体。Hadoop的两大核心为：分布式文件系统HDFS、MapReduce。这两大核心共同解决了大数据的两大问题：海量数据的分布式存储、海量数据的分布式处理
2021-09-15 09:19:09
1111
原创 Chapter1 大数据概述
1.1 大数据时代1.1.1第三次信息化浪潮2010年前后，以云计算、大数据、物联网的首发为标志迎来第三次信息化浪潮。IT发展史历经的信息化浪潮如下：1.1.2 大数据时代的到来需要技术支撑主要表现为：存储设备容量不断增加CPU处理能力大幅提升网络带宽不断增加1.1.3 数据产生方式的变革促进大数据时代到来第一阶段：运营式系统阶段。实例：购物记录。数据仅由运营系统生成。第二阶段：用户原创内容阶段。实例：微信。每个网民都成为自媒体，可以向网络发送信息。但到此为止还不足以促进大数据
2021-09-07 18:38:23
2558
1
原创 Mac系统创建vue项目报错Failed to download repo vuejs-templates/webpack: EPERM: operation not permitted, utim
错误提示信息为：vue-cli Failed to download repo vuejs-templates/webpack: EPERM: operation not permitted, utime '/Users/zhangsihan/.vue-templates/webpack/.circleci'错误原因：权限不足解决方案：进入终端，输入sudo -s输入你的password创建一个文件夹，用于存放项目。使用cd命令切换到目录位置（下面是例子）cd /Users/zhan
2021-06-29 17:53:48
815
原创 期末复习：os常考概念
概念汇总1.操作系统的定义/操作系统究竟是什么？操作系统是一直运行在内核模式下的一系列程序，向下管理分配硬件资源，向上为用户提供服务和一系列接口。操作系统也是底层的系统资源分配者(负责管理所有的资源、对于众多运行的进程公平公正的分配底层的运算资源并让他们以互不影响的方式运行)和程序运行的管理程序(OS是整个计算机系统的管理程序 避免错误的产生和对计算机的不正当使用)2.操作系统的定义/身份？ / 操作系统做了什么事？操作系统也是底层的系统资源分配者(负责管理所有的资源、对于众多运行的进程公平公正
2021-06-26 12:39:35
465
原创 #5 HTML常用标签介绍
HTML常用标签***1.font字体标签 ***规定文本的字体、字体尺寸、字体颜色。需求1：在页面上显示 我是字体标签，并修改字体为 宋体，颜色为红色。<body><!-- 在页面上显示 我是字体标签，并修改字体为 宋体，颜色为红色 --><!-- font上划线表示已经过时了 但是还可以使用 --><!-- color属性修改颜色 face属性修改字体 size修改字体大小，取值范围为0~7--><font color="red" f
2021-05-15 14:26:34
164
1
原创 #4 HTML标签介绍+标签语法
HTML标签介绍HTML页面由很多标签组成标签的格式：<标签名>封装的数据</标签名>标签名是大小写不敏感的标签拥有自己的属性 分成两大类：(1)基本属性：用于修改简单的样式效果(2)事件属性：可以直接设置事件相应后的代码onclick是使用最多的事件，表示单击(点击事件)。alert()是JavaScript语言提供的一个警告框函数，它可以接受任意参数，参数就是警告框的提示信息。当然也可以使用button按钮，在button按钮中使用。代码示例：<
2021-05-15 11:18:19
226
2
原创 #3 HTML注释+书写规范
HTML中的注释<!-- 注释内容 -->注释不会在页面中出现但是可以右键->显示页面源代码HTML文件书写规范<!DOCTYPE html> <!-- 约束、声明 --><html lang="en"> <!-- html标签表示html的开始 这里默认lang="en"意味着支持的是英文 可以修改为lang="zh_CN"表示支持中文 --><!-- html标签一般分为两部分：head和body -->&
2021-05-14 21:33:04
174
原创 #2 从零开始创建一个HTML文件
HTML简介HTML的全称是：Hyper Text Markup Language，即超文本标记语言。通过标签来标记要显示在网页中的各个部分。网页文件本身是一种文本文件，通过在文本文件中添加标记符，可以告诉浏览器如何显示其中的内容。比如文字处理、画面排班、图片显示效果等。创建HTML文件1.先创建一个web工程（静态的web工程）2.在工程下创建html页面以下使用的是idea。(1)选中File->New->Project(2)先创建Static Web静态页面->选
2021-05-14 21:17:50
308
原创 #1 前端开发流程+网页组成部分
以下为尚硅谷教程笔记总体综述css决定页面的布局、样式和效果，而页面中的内容是htmlB/S进入web以后 软件的结构是B/S结构:Browser/Server而javaSE是C/S结构：Client/ServerB/S软件的结构如下：javaEE项目客户端是：浏览器服务器端是：WEB服务器前端的开发流程先由UI通过Ps作出效果图->交给前端工程师将设计做成静态的页面->交给java程序员(后台工程师)将静态页面转为动态页面(比如Jsp这种页面)网页的组成部分页面包
2021-05-14 20:51:47
191
原创 几种经典的排序算法(C++实现)
一.插入排序1.利用监视哨实现class Solution{public: static void InsertSort(int data[], int n){ //data为待排数组(data[0]不真正存储元素，而是用于存放监视哨) //n为数组中元素个数 for (int i=2; i<=n; ++i){ if(data[i]<data[i-1]){ data[0] = d
2021-04-23 18:47:44
68
原创 37 Numpy数值计算基础--Numpy数组对象ndarray
首先，理解Python中的数据类型。Python整数不仅仅是一个整数，因为标准的Python实现是用C编写的。这意味着每个Python对象都只是一个巧妙伪装的C结构，它不仅包含它的值，还包含其他信息。例如，当我们在Python中定义一个整数时，比如“x=10000”，“x”不只是一个“原始”整数。 它实际上是一个指向复合C结构的指针，它包含几个值。区别：一个C整数本质上是一个在内存中位置的标签，它是字节编码的一个整数值。Python整数是指向包含所有Python对象信息的内存位置的指针，包括包含..
2021-04-23 14:43:29
120
原创 42 pandas统计分析基础--描述分析DataFrame数据及转换与处理时间序列数据
数值型数据的描述性统计主要包括了计算数值型数据的完整情况、最小值、均值、中位数、最 大值、四分位数、极差、标准差、方差、协方差和变异系数等。pandas库基于NumPy，自然也可以用一些统计函数对DataFrame进行描述性统计。pandas还提供了一个方法叫作describe，能够一次性得出DataFrame所有数值型特征的非空值数 目、均值、四分位数、标准差。描述类别型特征的分布状况，可以使用频数统计表。pandas库中实现频数统计的方法为value_countsdescribe方..
2020-10-24 09:58:53
393
原创 41 pandas统计分析基础--DataFrame的常用操作
DataFrame是最常用的pandas对象，类似表格。完成数据读取后，数据就以DataFrame数据结构存储在内存中。 但此时并不能直接开始统计分析工作，需要使用DataFrame的属性和方法堆数据的大小、分布等基本数据状况有一个了解。 只有对数据基本状况有了一个深度的了解，才能够依据数据的状况，进行量身定制的统计分析。有一些基础属性。如ndim是维度数、dtypes是类型、shape是数据形状（行列数目）等。查看访问DataFrame中的数据：对单列数据的访问：DataFram..
2020-10-24 08:55:23
393
原创 40 pandas统计分析基础--读写不同数据源的数据
数据读取是进行数据预处理、建模与分析的前提。不同的数据源，需要使用不同的函数读取。pandas内置了十几种数据源读取函数和对应的数据写入函数。常见的数据源有三种：1.数据库数据 2.文本文件（包括一般TXT和CSV文件）3.Excel文件。掌握这三种数据源读取方法，能够完成80%左右的数据读取工作。这里主要介绍文本文件读取文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件。csv是一种常用逗号分割的文件格式，因为其分隔符不一定是逗号，又被称为字符分隔文件，文件以纯文本形式存储表格.
2020-10-23 23:53:16
378
原创 39 pandas统计分析基础--DataFrame
创建：创建DataFrame的方法有很多，最常用的一种是直接传入一个由等长列表或Numpy数组组成的字典：import pandas as pddata = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'], 'year': [2000, 2001, 2002, 2001, 2002, 2003], 'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}frame.
2020-10-23 22:48:39
170
原创 38 pandas统计分析基础--Series
简介Pandas是Python下最强大的数据分析和探索工具。名称来自于面板(PanelData)和Python数据分析(DataAnalysis)。支持类似于SQL的数据增、删、改、查，并带有丰富的数据处理函数。支持时间序列分析功能，支持灵活处理缺失数据。统计分析几乎贯穿了整个数据分析的流程，即运用统计方法，将定量与定性结合，进行的研究活动。统计分析除了包含单一数值型特征的数据集中趋势、分散趋势和峰度与偏度等统计知识外，还包含了多个特征比较计算等知识。一.pandas的数据结构介绍要使用pandas
2020-10-23 22:01:42
391
原创 36 数据分析入门
概念广义的数据分析包括狭义数据分析和数据挖掘。狭义数据分析是指根据分析目的，采用对比分析、分组分析、交叉分析和回归分析等分析方法，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用，得到一个特征统计量结果的过程。数据挖掘则是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，通过应用聚类、分类、回归和关联规则等技术，挖掘潜在价值的过程。数据分析方法有对比分析法、分组分析、交叉分析法、回归分析、聚类分析。数据分析流程：需求分析->数据获取->数据预处理->分析与
2020-10-17 12:14:33
95
原创 14 Python简单的猜单词游戏
import randomWORDS = ('python', 'jumble', 'easy', 'difficult', 'answer', 'continue', 'phone', 'thanks') # 定义一个单词库（包含多个单词的元组）print("请把字母组合成正确的单词。")iscontinue = 'y'while iscontinue == 'y' or iscontinue == 'Y': word = random.choice(WORDS) # 使用随机抽取函
2020-10-02 20:48:47
325
原创 30 Python事件处理--Tkinter图形界面设计
事件（event）就是程序上发生的事情。例如用户要在键盘上某一个键单击、移动鼠标等。对于这些事件，程序需要作出反应。tkinter提供的组件通常都有自己可以识别的事件。例如当按钮被单击的时候执行特定操作或者是当一个输入栏成为焦点、而你又敲击了键盘上的某些按键，你所输入的内容就会显示在输入栏内。程序可以使用事件处理函数来指定当触发某个时间时作出的反应／操作。事件类型的通用格式：<[modifier]…type[-detail]>事件类型必须放置于尖括号<>内。modifi
2020-10-02 20:48:14
371
原创 29 Python利用grid几何布局管理器实现计算器
直接贴代码：import tkinter # 导入Tkinter模块import tkinter.messageboxwin = tkinter.Tk() # 创建windows窗口对象win.title('计算器')win.geometry('200x200+280+280') # 设置窗口初始大小color = ('green', 'yellow') # 定义背景色def hello(): tkinter.messagebox.showinfo("hello")
2020-10-01 22:06:38
617
原创 28 Python图形开发库
一.常用Python GUI库Python提供了多个图形开发界面的库，几个常用的Python GUI库如下：1.Tkinter：Python的标准Ik GUI工具包接口。可以在应用在Unix／Windows／Macintoshi系统中。2.wxPython：wxPython是一款开源软件，是Python语言的一套优秀GUI图形库，允许很方便的创建完整的、功能健全的GUI用户界面。3.Jython：可以和Java无缝集成。除了一些标准模块、Jython使用Java的模块。它几乎拥有的Python中不
2020-10-01 22:05:38
266
原创 27 Python扑克牌发牌程序升级版1
游戏介绍：一副扑克牌，将大小鬼抽出。把剩余的52张牌随机发给4名玩家，并显示每名玩家收到牌的情况。游戏效果：- 分析：将要发的牌按照花色进行编号。梅花：0-12，方片：13-15，红桃：26-38，黑桃：39-51。设计出三个类：Card类（代表一张牌）、Hand类（一个玩家手里拿的牌）、Poke类（一副牌）。代码实现：class Card(object): NUMBERS = ['A', '2', '3', '4', '5', '6', '7', '8', '9', '..
2020-10-01 13:22:37
277
原创 26 Python中类的继承和多态
一.类的继承继承是为了代码复用和设计复用，是面向对象程序设计的重要特征之一。类继承语法：class 派生类名 (基类名): # 基类名写在括号里 派生类成员在继承关系中，已有的、设计好的类称为父类或者基类。新设计的类称为子类或派生类。派生类可以继承父类的公有成员，不能继承其私有成员。继承的一些特点：1.基类的构造函数不会被自动调用，需要在其派生类的构造中亲自专门调用。2.如果需要在派生类中调用基类的方法时，通过“基类名.方法名()"来实现，还需要带上self参数变量。3.P
2020-10-01 12:30:11
222
原创 25 Python中类和对象
一.类和对象的定义Python使用class关键字来定义类，class关键字之后是一个空格，然后是类的名字，然后是一个冒号，最后换行并定义类的内部实现类名的首字母一般要大写，也可以按照自己的习惯定义类名。示例：class Car: price = 100000 def introduce(self): print("这是一辆汽车")二.普通函数与成员函数成员函数一般指与特定实例绑定的函数，通过对象调用。对象本身将被作为第一个参数传递过去，普通函数没有这个特
2020-10-01 11:43:13
213
原创 24 面向对象设计基础
一.面向对象思想面向对象程序设计(OOP)的思想主要针对大型软件设计而提出，使得软件设计更加灵活，能够很好的支持代码复用和设计复用，并使代码具有更好的可读性和可扩展性。面向对象程序设计的一个关键性观念是将数据以及对数据的操作封装在一起，组成一个相互依存不可分割的整体，即对象。对于相同类型的对象进行分类、抽象后得出共同的特征而形成了类。关键就是如何合理的定义和组织这些类以及类之间的关系。二.对象的概念面向对象程序设计是相对于结构化程序设计而言的，它把一个新的概念–对象，作为程序代码的整个结构的基
2020-10-01 09:27:30
93
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人