- 博客(104)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 朴素贝叶斯分类器原理介绍及python代码实现
频率学派和贝叶斯学派说起概率统计，不得不提到频率学派和贝叶斯学派，通过对概率的不同理解而演变的两个不同的概率学派。频率学派 核心思想：需要得到的参数是一个确定的值，虽然未知，但是不会因为样本的变化而变化，样本数据随机产生的，因此在数据样本无限大时，其计算出来的频率即为概率。其重点主要在于研究样本空间，分析样本的分布 延展应用：最大似然估计（MLE） 贝叶斯学派 核心思想：需要得到的参数是随机变量，而样本则是固定的，其重点主要在于研究参数的分布。 由于在贝叶斯
2021-12-16 22:39:39
14390
10
原创 Impala入门操作
Impala简介 用于处理存储在Hadoop集群中的大量数据的大规模并行处理SQL查询引擎，高性能低延迟 底层基于C++编写 优点 执行数据处理时，不需要对存储在Hadoop上的数据进行转换或移动 可以用传统的SQL处理数据 使用Rarquet文件格式 缺点 不提供对序列化和反序列化的支持 只能读取文本文件，不能读取自定义二进制文件 架构Impala daemon 即所谓的i
2021-12-02 21:04:43
3023
原创 DPI与DFI技术分析
原文标题：DPI与DFI技术分析文章出处：【微信号：Imgtec，微信公众号：Imagination Tech】欢迎添加关注！文章转载请注明出处。DPI全称为“DeepPacketInspection”，称为“深度包检测”。DPI技术在分析包头的基础上，增加了对应用层的分析，是一种基于应用层的流量检测和控制技术，当IP数据包、,或UDP数据流经过基于DPI技术的带宽管理系统时，该系统通过深入读取IP包载荷的内容来对OSI7层协议中的应用层信息进行重组，从而得到整个应用程序的内容，然后按照系统定义的管理策
2021-03-14 21:09:51
2802
原创 Excel中常用Tips
文章目录1 查找函数FIND的使用2. 截取函数的使用1 查找函数FIND的使用excel中的find函数和如python在内的其他语言中的find函数区别不大，其官方定义如下：函数 FIND 和 FINDB 用于在第二个文本串中定位第一个文本串，并返回第一个文本串的起始位置的值，该值从第二个文本串的第一个字符算起FIND(find_text, within_text, [start_num])，有两个必选参数和一个可选参数find_text 必需。 要查找的文本within_text 必
2020-08-08 10:32:54
553
原创 计算机网络安全
计算机网络笔记，视频地址：https://www.bilibili.com/video/av9876107参考教材：计算机网络第七版，薛希仁计算机安全包括哪些：数据存储安全应用程序安全操作系统安全网络安全物理安全1. 计算机网络安全计算机网络在通信上面临的四种威胁：截获：从网络上窃听他人通信内容——被动攻击中断：有意中断他人在网络上的通信——主动攻击篡改：故意篡改网...
2020-03-31 16:33:37
542
原创 应用层
计算机网络笔记，视频地址：https://www.bilibili.com/video/av9876107参考教材：计算机网络第七版，薛希仁文章目录1. 域名系统(Domain Name System, DNS)1.1 域名结构1.2 域名解析过程2. 动态主机配置协议(Dynamic Host Configuration Protocol，DHCP)2.1 DHCP客户端请求IP地址的过程2...
2020-03-31 16:31:53
318
原创 Java中的GUI库-----Swing
视频教程传送门https://www.bilibili.com/video/BV1t4411N7gK?p=2Swing是Java中开发GUI的库Java中窗体组件结构如下：1. Swing常用组件JFrame 窗体：有最大化、最小化和关闭JDialog 对话框：只有关闭JPanel 面板：啥都没有JButton 按钮JLabel 标签JChec...
2020-03-31 16:25:48
1287
原创 Java中一些数据类型的区别
1. HashTable和HashMap的区别参考博客https://www.cnblogs.com/williamjie/p/9099141.htmlHashTable和HashMap都是基于哈希表实现的，每一个元素都是一个键值对，内部通过单链表解决冲突问题1.1 从继承类来看Hashtable继承自Dictionary类，实现了Map接口HashMap继承自AbstractMap类...
2020-03-26 22:49:31
226
原创 传输层
计算机网络笔记，视频地址：https://www.bilibili.com/video/av9876107文章目录1. 传输层功能2. OSI参考模型和TCP/IP协议栈2.1 传输层协议和应用层协议的关系3. 服务和应用层协议之间的关系3.1 如何查看服务侦听的端口3.2 计算机中端口4 UDP(User Data Protocol，用户数据报协议)5 TCP协议(Transmission C...
2020-03-24 12:43:11
396
原创 网络层
计算机网络笔记，视频地址：https://www.bilibili.com/video/av9876107文章目录1. 网络层提供的服务2. 计算机的通信过程3. 网络层协议3.1 ARP协议(Address Resolution Protocol，地址解析协议)3.2 ICMP协议(Internet Control Message Protocal,网际控制报文协议)3.2.1 ping命令3...
2020-03-21 09:58:24
526
原创 数据链路层
计算机网络笔记，视频地址：https://www.bilibili.com/video/av98761071. 数据链路层的基本概念和基本问题1.1 数据链路层的信道类型点对点信道：使用一对一的点对点通信方式广播信道：使用一对多的广播通信方式，需要使用专门的共享信道协议来协调主机的数据发送1.2 链路与数据链路链路(link)：一条点到点的物理线路段，中间没有任何其他的交换结点。...
2020-03-16 14:23:35
358
原创 Decorator-Python中的装饰器
本博客的内容仅为博主自己的一些理解和归纳，如有错误，欢迎指正呀~装饰器的作用在于：不修改原函数的调用方式的情况下在原函数前后添加其他功能装饰器是一个闭包函数，相当于是一种函数的嵌套，装饰器对扩展是开放的，对修改是封闭的下面用一些实际例子来理解装饰器先看一下单个装饰器的作用：def w1(func): print('----w1----') def inner(): ......
2020-03-14 09:49:11
114
原创 异常处理
1 异常1.1 异常的概述异常就是程序出现了不正常的情况，在Java中，异常是一种Exception类型的对象，所以异常也是多态的1.2 异常处理机制Java的异常处理(exception-handling)机制能够将处理异常的代码放在容易阅读的位置上，让程序员可以知晓调用方法的风险性1.3 异常的体系结构2 JVM默认处理异常的方式如果程序出现了问题，我们没有做任何处理，最终J...
2020-03-11 21:14:15
330
原创 物理层
计算机网络笔记，视频地址：https://www.bilibili.com/video/av98761071. 物理层的基本概念物理层主要解决如何在各种计算机的传输媒体上传输数据比特流物理层主要确定以下接口的一些特性：**机械特性：**接口形状、大小以及引线数目**电气特性：**规定电压范围**功能特性：**数模转换，例如-5V表示0，+5负表示1**过程特性：**规定建立连接时各...
2020-03-10 15:45:30
464
原创 计算机网络概述
计算机网络笔记，视频地址：https://www.bilibili.com/video/av9876107文章目录1. 局域网、广域网及因特网1.1 局域网1.2 因特网1.3 广域网2. 计算机网络通信过程3. OSI参考模型3.1 OSI七层结构3.2 网络故障排查3.3 OSI参考模型和TCP/IP协议3.4 网络传输过程中数据封装过程4. 计算机网络的性能1. 局域网、广域网及因特网...
2020-03-09 20:19:46
1081
2
原创 Java的static关键字
1. Static关键字1.1 静态方法用static标记的方法被称为静态方法。静态方法在调用的时候不需要实例化对象静态方法直接通过类的名称来调用的静态方法内部只能调用静态变量和其他静态方法，但是非静态方法可以调用静态方法静态方法中不能使用this静态方法不能自动销毁，自建立开始静态方法一直存在内存中，直到JVM关闭子类在调用之前，父类中所有的静态方法都会执...
2020-03-07 20:31:39
156
原创 数据库中的表连接
数据库中表的连接可以分为：内连接、外连接。1. 内连接(INNER JOIN)内连接的关键字是INNER JOIN，语法如下：INNER JOIN table_name ON condition;用下来一个例子来解释：存在一个Student表如下表示存在一个Score表如下表示如果执行SQL命令select * from student inner join score;，可以...
2020-02-29 10:56:13
4906
原创 HBase的基本操作命令
1. 基本操作命令命令含义实例status显示状态status ‘hadoop1’whoami显示HBase当前用户whoamilist显示当前所有表listcount统计指定表的记录数count ‘user’describe显示表的结构信息describe ‘user’exists检查表是否存在exists ‘user...
2020-02-28 18:27:55
638
原创 Java中的抽象类和接口
接口和抽象类是对多态的一个补充，由于有的类不能初始化，只适合作为一个抽象的概念蓝图，要限制这些类的子类才能被初始化，因此接口和抽象类的概念被提出抽象类在Java中，一个没有方法体的方法应该定义为抽象方法，而类中如果有抽象方法，该类必须定义为抽象类，抽象类的关键字是==abstract==不能直接new一个抽象类抽象类和抽象方法的定义抽象方法没有方法体，是为了标记多态而存在的。抽象方法放...
2020-02-27 22:33:51
188
原创 HBase集群搭建
安装Hbase之前需要先启动Hadoop和zookeeper1. 下载并解压安装包下载Hbase的安装包，下载地址如下：http://archive.apache.org/dist/hbase/2.0.0/hbase-2.0.0-bin.tar.gz解压到对应位置cd /export/softwares/tar -zxf hbase-2.0.0-bin.tar.gz -C /expor...
2020-02-25 20:03:31
203
原创 面向对象编程的三大特性详解
封装、多态和继承是面向对象编程的三大特性。封装(Encapsulation)封装的目的是为了保证变量的安全性，使用者不必在意具体实现细节，而只是通过外部接口即可访问类的成员如果不进行封装，类中的实例变量可以直接查看和修改，可能给整个代码带来不好的影响因此在编写类时一般将成员变量私有化，外部类需要同getter和setter方法来查看和设置变量继承(Inherit)继承实际上也是为了提高...
2020-02-22 22:42:59
10358
原创 redis配置时的参数详解
/********************************* GENERAL *********************************/// 是否作为守护进程运行daemonize yes // 如以后台进程运行，则需指定一个pid，默认为/var/run/redis.pidpidfile /var/run/redis.pid // Redis默认监听端口port...
2020-02-22 14:57:58
196
原创 redis集群配置及介绍
1. redis集群的介绍Redis 集群是一个提供在多个Redis节点之间共享数据的程序集。Redis 集群并不支持同时处理多个键的 Redis 命令，因为这需要在多个节点间移动数据，这样会降低redis集群的性能，在高负载的情况下可能会导致不可预料的错误。Redis 集群通过分区来提供一定程度的可用性，即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求。Redi...
2020-02-22 14:45:01
177
原创 maven的设置和介绍
1. Maven概述Maven是一个项目管理工具，包含：项目对象模型(POM, Project Object Model)，标准集合，项目生命周期(Project Lifecycle)，依赖管理系统(Dependency Management System)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。maven在导入jar包的时候，不直接将jar...
2020-02-20 16:51:52
158
原创 数据库概述
1. 数据库的历史数据库理论的鼻祖是 Charles W.Bachman，他也因此获得了 1973 年的图灵奖IBM 的 Ted Codd 则首先提出了关系数据库理论，并在 IBM 研究机构开发原型，这个项目就是 R 系统，并且使用 SQL 做为存取数据表的语言2. 数据库和数据库管理系统我们常说的数据库其实是数据管理系统(Database Management System，DBMS )...
2020-02-19 21:53:04
195
原创 SQL数据库和NoSQL数据库的区别
SQL的全称是Structured Query Language，结构化查询语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库。SQL数据库指关系型数据库，如MYSQL、oracle等，NoSQL(not only SQL)数据库指非关系型数据库，如MangoDB、Redis等。两者主要有如下一些区别：1.类型SQL数据库主要称为关系数据库; 而NoSQL数据...
2020-02-18 22:43:09
3992
原创 redis的数据操作
redis的数据类型及操作redis当中一共支持五种数据类型，分别是string字符串类型，list列表类型，集合set类型，hash表类型以及有序集合zset类型字符串操作SET key value(指定key的值)GET key value(获取key的值)GETRANGE key m,n(获取key的值的[m,n]的子字符)GETSET key value(重...
2020-02-18 19:59:04
275
原创 redis配置及介绍
1. redis的概述Redis(Remote Dictionary Server，远程字典服务)是一种非关系型(NoSQL)数据库 ，它是一个开源的使用 c语言编写的key-value存储系统（区别于MySQL的二维表格的形式存储）Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，实现数据的持久化redis官网地址：https://redis.io/中文网站h...
2020-02-18 19:49:08
253
原创 类和对象
1. 类和对象程序员常说万物皆对象，能够较好的理解对象的含义是编程修炼中的基本功，初接触可能会较难理解，但是基本的概念是一定要有的，首先需要清楚类和对象的关系。总结来说，类是对象的蓝图。类可以看作对现实生活中一类具有共同属性和行为的事物的抽象，而对象则是具体的事物。根据一个类可以创建多个对象，每个对象的实例变量都可以不同。一个很简单例子，如果将狗看作一个类，那么哈士奇、吉娃娃都是该类的对象。...
2020-02-17 21:37:55
993
原创 Java的数据类型
Java中的数据类型分为primitive 主数据类型和引用变量。1. primitive 主数据类型primitive 主数据类型指的是Java中的基本数据类型，包括整数类型、浮点类型、字符类型和布尔类型，细分一共有八种。数据类型关键字内存占用取值范围整数类型byte1-128~127short2-32768~32767int(默认)4...
2020-02-16 22:24:06
296
原创 堆和栈的区别
文章目录1. 数据结构中的堆栈1.1 数据结构中的堆(Heap)1.2 数据结构中的栈(Stack)2. 内存分配中的堆栈2.1 C中的堆栈2.1.1 堆和栈内存申请后系统的响应2.1.2 堆和栈申请大小的限制2.1.3 堆和栈的存取效率2.2 java中的堆和栈2.2.1 栈内存2.2.2 堆内存堆栈是计算机中很常见的一个概念，而数据结构中的堆栈和内存分配中的堆栈又存在着一些区别，下面将分别介...
2020-02-16 21:13:29
169
原创 Python+Django电影推荐系统搭建
文章目录1. 新建虚拟环境2. 数据库设置2.1 安装PostGreSQL2.2 为MovieGEEK创建数据库2.3 安装Python数据库驱动程序2.4 配置Django数据库连接以连接到PostGreSql2.5 创建并填充MovieGEEKS数据库3. 申请TMDB的API4. 启动网络服务器项目来源：《Practical Recommender Systems; Kim Falk;J...
2020-02-14 16:25:02
5710
22
原创 MapReduce的介绍和使用
1. MapReduce介绍1.1 MapReduce的基本思想MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。MapReduce分为Map和Reduce两个阶段，Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理，这些小任务可以并行计算，彼此间几乎没有依赖关...
2020-02-11 11:15:10
2727
原创 MapReduce实例2-数据分区
需求：将数据按照某一列分为两类数据格式：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Btt73zcN-1581055525555)(C:\Users\acer\Desktop\大数据系列笔记\7\1581048781109.png)]Step 1. 定义 Mapper这个 Mapper 程序不做任何逻辑, 也不对 Key-Value 做任何改变, 只是接收...
2020-02-07 14:06:24
317
1
原创 MapReduce实例1-统计文本单词个数
需求: 在一堆给定的文本文件中统计输出每一个单词出现的总次数文章目录Step 1. 数据格式准备Step 2. MapperStep 3. ReducerStep 4. 定义主类, 描述 Job 并提交 JobStep 5:将程序打包为jar包Step 6:在集群上运行MapReduce程序Step 1. 数据格式准备创建一个新的文件cd /export/serversvim wor...
2020-02-06 19:16:13
862
原创 HDFSAPI应用
1. 配置windows下hadoop环境第一步：将hadoop2.7.5文件夹拷贝到一个没有中文没有空格的路径下面第二步：在windows上面配置hadoop的环境变量： HADOOP_HOME，并将%HADOOP_HOME%\bin添加到path中第三步：把hadoop2.7.5文件夹中bin目录下的hadoop.dll文件放到系统盘: C:\Windows\System32 目录第...
2020-02-05 17:26:20
245
原创 hadoop的高可用机制和联邦机制
1. hadoop的高可用机制高可用机制主要是解决NameNode单点故障问题在Hadoop 中，NameNode 所处的位置是非常重要的，整个HDFS文件系统的元数据信息都由NameNode 来管理，NameNode的可用性直接决定了Hadoop 的可用性，一旦NameNode进程不能工作了，就会影响整个集群的正常使用。所以在实际应用中一般会使用高可用集群（HA），在hadoop集群中配置两...
2020-02-05 17:22:34
1331
原创 mysql基本操作
以下操作都是在cmd中执行登陆数据库服务器# 登陆数据库服务器mysql -uroot –p+password# 退出数据库服务器(三者任选一)quit\qexit新建数据库/*新建数据库*/create database 数据库名;/*查询数据库服务器中有哪些数据库*/show databases;选择使用数据库并查看数据库下的所有表/*选择数据库...
2020-02-05 09:59:36
456
原创 HDFS介绍和基本指令
1. HDFS概述HDFS(Hadoop Distributed File System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统.2. 应用场景适合的应用场景...
2020-02-03 10:09:45
392
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人