- 博客(10)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 大数据开发——hadoop、spark（5）
大数据开发——hadoop、spark（5）大数据第五周1配置hadoop集群1.1配置环境（1）配置hadoop-env.sh找到这句，把JAVA_HOME写进来，如下图：注意：是修改。（2）配置yarn-env.sh找到如下图位置：将JAVA_HOME变量写在if前面，例如：1.2 配置核心配置文件core-site.xmlfs.defaultFShdfs://master:9000hadoop.tmp.dir/home/user1/hadoopdata1.
2020-05-26 11:29:41
144
原创 大数据开发——hadoop、saprk（4）
大数据开发——hadoop、saprk（4）大数据第4周1.用户名相同要求三个虚拟机的用户名相同，否者相互访问时需要使用用户名，这样集群会有问题。如要新增用户，先转换为root用户su root，然后执行以下操作：添加新用户：useradd 用户名设置用户密码：passwd 用户名添加新用户到wheel用户组（获得sudo权限）：usermod -a –G wheel 用户名如果要删除用户：userdel 用户名2.关闭防火墙检查防火墙状态：sudo systemctl status
2020-05-26 11:24:01
120
原创 大数据开发——hadoop、saprk（3）
大数据开发——hadoop、saprk（3）大数据第三周（TuesPM）1.验证上周安装的最小安装系统打开虚拟机，验证是否能够上网，查看IP地址。然后，进行系统更新。系统更新命令：sudo yum update。2.linux系统远程使用一般服务器系统都不安装GUI，因为没有必要，而且GUI非常占用系统资源。一般情况下，Server系统都是远程使用。如果桌面系统是linux或mac，可以直接ssh远程登陆，如果是windows，由于windows一般版本没有相应组件，需要使用第三方软件，例如：
2020-05-26 11:22:33
133
原创 大数据开发——hadoop、spark（2）
大数据开发——hadoop、spark（2）大数据第二周1.安装CentOS7最小安装版硬盘容量不小于30G。自定义硬件中，勾选“虚拟化Intel VT-x/EPT或AMD-V/RVI(V) ”。在此界面中，“SOFTWARE SELECTION”保持默认，因为默认就是最小安装。安装完成后，配置网络。进入/etc/sysconfig/network-scripts目录，使用命令cd /etc/sysconfig/network-scripts使用ls命令查看与网卡号相关的文件。使用i
2020-05-26 11:18:57
174
原创 大数据开发——hadoop、spark（1）
大数据开发——hadoop、spark大数据第一周1安装CentOS7用鼠标右键以管理员身份运行VmWare，点击创建新的虚拟机。选择“典型（推荐）”，然后点击“下一步”。给虚拟机起个名字，选择安装位置，第一个考虑是把虚拟机与宿主机放到不同的物理硬盘上，第二个考虑是硬盘读写速度。建议硬盘空余空间>40G。建议最大磁盘大小>40G，why：因为这个节点除了要安装集群文件，还要安装开发系统。勾选“将虚拟磁盘存储为单个文件”，这样运行速度比较快。为了安装速度比较快，点击“自定义
2020-05-26 11:09:30
155
原创 数据库——无损将关系模型分解成高级范式的两种算法
数据库——无损将关系模型分解成高级范式的两种算法算法1：Losslessly decompose a relation schema into a set of 3NF subschemas with FDs preserved步骤1：给出F的规范覆盖Fc例：F={AC->A，C->B，B->A，C->D，C->A，AC->D，CB->BE}F’={C->B，B->A，C->D，C->E}Fc={C→BDE, B→A}应该满足一
2020-05-25 16:29:30
809
原创 数据库——规范化
数据库——规范化规范化：为减少数据冗余和操作异常而对关系模式提出的规范化要求。也即将一个符合低一级范式的关系模式分解为若干个如何高一级范式的关系模式。分解方法：1.分解关系模式，消除非主属性和候选码之间的部分依赖SLC(Sno,Sdept,Sloc,Cno,Grade)F={Sno->Sdept,Sdept->Sloc,(Sno,Cno)->Grade}分解成SC(Sno,Cno,Grade)F1={(Sno,Cno)->Grade}，候选键(Sno,Cno)SL(S
2020-05-25 15:49:26
1003
1
原创 数据库——判断范式的方法及转换
数据库——判断范式的方法及转换给定关系模式和FD集，判断关系模式所属范式的解题步骤：1.求候选码（请看上一章内容），确定主属性和非主属性（包含在候选码中的属性是主属性，不包含其中的属性是非主属性）；2.看是否有非平凡的FD（即函数依赖），其左部不含候选码；3.若不存在，则是BCNF（BC范式）；4.否则：若这些FD的右部都是主属性，则是3NF；5.否则：若任何候选码的任何真子集都不确定非主属性，则是2NF；6.否则：为1NF。相关概念：函数依赖：由X可以推出Y，即X->Y，称Y函数
2020-05-24 11:08:08
1785
3
原创 候选码的求解
候选码的求解1.一般求解方法（使用于属性较少的表）主要方法：由少到多找出每个属性集的闭包，如果其属性集的闭包包含全部的属性集，那么这个属性集就是要求的候选码。例子：假设：R(U)，U={A,B,C,D}F={AB->C,C->D,D->A},找出R的所有候选键。方法：找出U中每个集合的闭包。单属性集：A+={A} B+={B} C+={C,D,A} D+={D,A}（注，1.上面的加号应该放到右上角，因为不便所以放到了右边2.左边为U中属性集，右边大括号中的为通过左边
2020-05-21 12:34:01
3478
1
原创 操作系统——动态分区分配算法的模拟
用C++实现一个完整的（可变）动态分区管理器，包括分配，回收，分区碎片整理等。实现如下功能：1.初始化功能：内存状态设置为初始状态。2.分配功能：要求至少使用两种算法，用户可以选择使用。3.回收功能：4.空闲块的合并：即紧凑功能，用以消除碎片。当做碎片整理时，需要跟踪分配的空间，修改其引用以保证引用的正确性。5.显示当前内存的使用状态，可以使用表格或图形。实现分配功能的4种算法：1.最先匹配法（first-fit）：按分区的先后次序，从头查找，找到符合要求的第一个分区。该算法的分配和释放的
2020-05-17 21:16:36
1684
操作系统——实验五 动态分区分配算法的模拟
2020-08-05
操作系统——实验三 windows中进程的创建和控制
2020-08-05
操作系统——实验四 windows中线程的创建和同步控制
2020-08-05
数据库关于的规范化作业及答案
2020-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人