努力就是魅力-CSDN博客

原创 java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.getStat(Ljava/lang/String；

问题描述在运行Spark3 HelloWorld 指定读取本地文件的时候，指定文件夹，报错。指定到文件可以运行出结果。出错Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.getStat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat; at...

2022-01-28 21:49:54 339

原创 js中 filter,map,foreach,every,some 的用法

js中 filter,map,foreach,every,some 的用法

2021-12-26 13:14:09 386

原创使用maven构建scala编写的项目的依赖

<build> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.11

2021-12-18 12:49:38 211

原创 numpy 中dot()函数的计算方式

a = np.arange(1, 5).reshape(2, 2)b = np.arange(2, 6).reshape(2, 2)c = a * bdot = np.dot(a, b)print(a)print(b)print(c)print(dot)打印出a[[1 2] [3 4]]打印出b[[2 3] [4 5]]a * b 每个相对位置的数值相乘1*2=2,2*3=6...

2018-05-09 14:59:19 3423

原创 go lang 环境配置

# go homeexport GOROOT=/home/user/local/goexport GOBIN=$GOROOT/binexport GOPATH=/home/user/goProjectexport PATH=$PATH:$GOROOT:$GOPATH:$GOBIN

2018-04-21 10:02:26 156

原创 python配置国内镜像

国内镜像http://pypi.douban.com/simple/ 豆瓣http://mirrors.aliyun.com/pypi/simple/ 阿里http://pypi.hustunique.com/simple/ 华中理工大学http://pypi.sdutlinux.org/simple/ 山东理工大学http://pypi.mirrors.ustc.edu.cn/...

2018-04-18 00:07:12 16773

原创 pycharm在Windows上的设置

windows上默认安装的路径:C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32pip安装包的路径:C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\Lib\site-packages

2018-04-17 23:44:20 1886

原创 maven scala build

<build> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.15

2018-04-04 22:38:08 556

原创 maven 快速开始，使用阿里镜像源

今天用一台退役的机器装了ubuntu17.04的系统，装好idea，配置好一切以后，创建了一个maven项目，吃完饭还没有创建好，然后又创建了好几回，还是不行，以前在windows从来没有这么慢过，想想国外的镜像，我真是后悔生在了大天朝。闲话少说，最后终于在我的努力下，完美迅速的创建好项目。在linux下不方便截图，步骤如下：1. $ mvn -X在命令行输入这个命令可以查看maven到底用的是那...

2018-04-04 22:00:27 385

原创 java反射

package reflection;import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;public class Reflection...

2018-03-05 22:13:38 140

原创使用反射获取注解的信息

package annotation;import java.lang.annotation.*;import java.lang.reflect.Method;public class ReflectAnnotationDemo { public static void main(String[] args) { try { Class&...

2018-03-05 22:12:01 947

原创自定义注解

package annotation;import java.lang.annotation.ElementType;import java.lang.annotation.Target;@MyAnnotation5(color = Color.RED)public class MyAnnotation { public static void main(String[] ar...

2018-03-05 22:10:50 139

原创使用注解取消编译器对代码的检查

package annotation;/** * @SuppressWarnings("unchecked") 取消编译器对警告信息的检查 */public class SuppressWarningDemo { public static void main(String[] args) { }}@SuppressWarnings("unchecked")c...

2018-03-05 22:10:03 1373

原创 xml的简单解析

package xml;import org.dom4j.Attribute;import org.dom4j.Document;import org.dom4j.DocumentException;import org.dom4j.Element;import org.dom4j.io.SAXReader;import java.io.File;import java.util...

2018-03-05 22:06:06 169

原创单例设计模式

package code.charm.test;import org.junit.Test;public class TestSingleton { //测试单例 @Test public void testSingleton01(){ Singleton singleton = Singleton.getInstance(); si...

2018-03-05 21:59:59 127

原创 mysql 数据库的索引

索引的定义：建立在表之上，由单列或多列组成，旨在提高查询效率索引的作用： 1.提高查询的速度 2.确保查询的唯一性 3.可以加速表与表之间的链接，实现表与表之间的参照完整性 4.使用分组和排序子句进行数据检索时，可以显著减少分组与排序的时间 5.全文检索字段进行搜索优化索引分类：主键索引(PRIMARY KEY) 唯一索引(UNIQUE) 常规索引(INDEX) 单列索引多列索引全文索引(...

2018-02-11 13:36:28 210

原创数据库的备份与恢复

1.数据库的备份与恢复在quit后，执行mysqldump -?返回mysqldump的帮助信息数据库备份的必要性 1.保证重要数据不丢失 2.数据转移mysql数据库备份方法 1. mysqldump备份工具 2. 数据库管理工具，如SQLyog 3. 直接copy数据库文件和相关配置文件（安装目录下data/数据库名（文件夹））mysqldump命令备份 mysqldump -u root ...

2018-02-11 13:35:21 216

原创 MySQL 增删改

MySQL表更新数据操作命令1.插入数据insert insert into tableName ([字段名]) values(字段对应的值);2.同时插入多条数据语法：insert into 表名 values((...),(...),(...));3.更新表中已有的数据语法：update 表名 set 字段 1 = 新值 1,字段 2=新值 2,... where 条件表达式（切记：wh...

2018-02-11 13:34:19 345

原创 MySQL表查询操作命令

1.基本查询语句语法： select 属性列表 from 表名(视图)列表 [where 条件表达式 1] [group by 属性名 1 [having 条件表达式 2]] [order by 属性名 2 [asc | desc]] asc:升序 desc:降序2.字段查询例子： select * from subject; /*查询表中所有数据*/3.查询指定字段 select Su...

2018-02-11 13:33:09 573

原创 MySQL 库表操作命令

1.MySQL数据库登陆命令 mysql> [-h 数据库主机地址] -uroot -p 1234562.修改密码 set password=password('123456');3.创建数据库MySchool create database MySchool;4.查看数据库 show databases;5.创建表(创建一个subject表) create t...

2018-02-11 13:32:27 231

原创 hadoop基本数据类型

hadoop基本数据类型Nullwritable:当< key, value>中的key或 value为空时使用Text:使用UTF8格式存储的文本LongWritable:长整型数writable:整型数Floatwritable:浮点数Doublewritab|e:双字节数值ByteWritable:单字节数值BooleanWritable:标准布尔型数值◆数据类型都实现 Writ...

2018-02-11 13:27:59 3134

原创 HDFS HA高可用性

HDFS HA高可用性1.active namenode 对外提供服务,standby namenode 时刻待机准备2.保证两个namenode的元数据相同3.共同读取日志文件4.一写写多份,再读取5.JournalNode 日志节点,专门管理日志文件 JN是轻量级的,可以和其他守护线程放在一起6.DataNode需要实时想standby 提供信息7.在任何时候都保证只有一个namenode提供...

2018-02-11 13:27:19 359

原创 zk的简单环境配置

zk的简单环境配置单节点配置 1.下载zk的tar包,解压到moduels文件夹下 2.修改zk目录下conf/下的zoo_sample.cfg文件,文件名改为zoo.cfg dataDir=/opt/moduels/zookeeper-3.4.11/data/zkdata //修改成自己指定的目录 3.启动 ls bin/ //查看所有的启动脚本...

2018-02-11 13:26:41 2755

原创集群时间的同步(本地)

集群时间的同步 1.集群中每台机器的时间都是必须要一致的2.模拟内网环境,操作集群时间的一致 //在集群中找一台机器作为时间服务器,其他机器与这台同步 3.ntp服务 sudo service ntpd status //查看ntpd服务的状态 sudo service ntpd srart //开启服务 sudo chkconfig ntpd on //设置开机自启动 sud...

2018-02-11 13:25:55 791

原创 hadoop 完全分布式

PV page view, 浏览量 --每打开一次网页,记录一次UV unique vistor, 独立访客数 --一天内访问某站点的人数(以 cookie | session 为依据)IP Internet Protocol --访问数(以IP为依据)VV Vistor View 访客的访问次数 --同一访客在一天内的访问次数跳出数打开网站什么都不干,就退出了.***********...

2018-02-11 13:25:04 328

原创 hadoop单节点回顾

回顾1.MapReduce input>map>shuffle>reduce>output2.wordcount 输入input <keyvalue> map处理 shuffle >默认内存 100M 当内存不够的时候回触发溢写操作,本地磁盘每个map task 都有一个内存缓冲区,存储map输出的结果 spill partition sort &gt...

2018-02-11 13:23:58 156

原创 hadoop shuffle

shuffle1.发生的阶段,map->reduce的中间过程2.流程 input数据输入-> <keyvalue> -> <0,hadoop spark> map接受输入的数据,<0,hadoop spark> 3.进入shuffle阶段 map的结果输出到内存中(每个map任务) 内存大小默认是100M //用户可以自定义环形...

2018-02-11 13:21:27 315

原创 Mapreduce的编程模板(eclipse)

Mapreduce的编程模板(eclipse)1、map和 reduce都分别需要继承两个基类, Mapper和 Reducer 》两个函数map()和 reduce()2、还有一个上下文 context,封装了很多东西,便于编程3、 Mapreduce模板分为三大块 Mapper区 map () Reducer区 reduce( Driver区 job4、in代表的是输入,out代表输出...

2018-02-11 13:20:36 232

原创 hadoop在Windows环境下配置eclipse

hadoop在Windows环境下配置eclipse 1.解压hadoop-2.5.0.tar.gz文件到Windows本地2.安装JDK和eclipse3.解压maven压缩包到Windows本地(并配置环境变量)4.在Windows本地创建一个m2命名的文件,将repository仓库放在m2目录下5.在maven解压目录中的conf里面找到settings.xml文件copy到m2目录下6....

2018-02-11 13:19:56 227

原创 MapReduce计算模型

MapReduce计算模型 1.计算抽象到两个函数 map() reduce() 2.input>map>shuffle>reduce>output MapReduce可以没有reduce部分,但是必须要有map部分 3.MapReduce可以编写成一个固定的模板键值对<keyvalue>是整个程序的流向输入数据如何转换为<keyvalu...

2018-02-11 13:19:08 516

原创配置克隆虚拟机

配置克隆虚拟机1.修改id和主机名 sudo vi etc/sysconfig/network //进入文件编写主机名 NAT配置ip 2.修改机器码编辑 sudo vi /etc/udev/rules.d/70-prisident-net.rules 有两段相同的数据,干掉第一组数据修改NAME="eth0" 复制ATTR(address)="**.**.**.*...

2018-02-11 13:18:31 201

原创 HDFS架构深入

HDFS架构深入 1.不支持HDFS文件的修改2.HDFS有升级回滚机制，升级不成功，回到原来的状态3.修改块的大小hdfs.site.xml里面设置 <property> <name>dfs.blocksize</name> <value>134217728</value> </property&...

2018-02-11 13:17:53 144

原创 ssh远程协议免密码登录

ssh远程协议免密码登录1. cd /home/user/ //切换到用户目录 ll -a //查看所有文件以及隐藏文件 cd .ssh //进入.ssh文件夹 ll //查看里面的文件 rm -rf known_hosts //删除里面所有的文件夹和...

2018-02-11 13:16:32 194

原创 HDFS的用户权限检测

HDFS的用户权限检测1.设置HDFS的用户权限不检测（在HDFS中，文件目录的权限和Linux是一致的）在hdfs.site.xml文件中设置 <property> <name>dfs.permissions.enabled</name> <value>false</value> </p...

2018-02-11 13:15:51 2701

原创 hadoop MapReduce自带的历史服务器

MapReduce自带的历史服务器1.修改mapred.site.xml文件，指定两个参数 <property> <name>mapreduce.jobhistory.address</name> <value>bigdata-senior.ibeifeng.com:10020</value> </...

2018-02-11 13:15:24 459

原创 hadoop 日志管理

一、Hadoop日志 1.在环境搭建好后，会生成日志在hadoop-2.5.0/logs目录下 2.只查看以.log结尾的文件 3.只有看日志才能准确定位错误二、SecondaryNameNode 1.格式化namenode会生成元数据文件，系统会有一个根目录 2.元数据放在namenode内存中（启动以后） 3.namenode在启动之前，元数据同样会在本地的文件系统中 4.fsimage元数...

2018-02-11 13:14:36 425

原创 hadoop 单节点环境搭建

hadoop环境部署1.按照官方的文档进行配置 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html Single Node Setup进入方式： Hadoop官网》documention>hadoop2.5.2>Single Node Setup2.上传和下载...

2018-02-11 13:13:51 246

原创 hadoop 简述

Hadoop架构的特性1.官网：http://hadoop.apache.org2.Apache 孵化器项目升级到顶级的项目3.特性可靠性：数据存储的可靠性，机器宕机的情况出现后，考虑数据是否会丢失 HDFS策略，多个副本，一般是3个，存在不同节点上用户自定义副本数量数据的安全性（以硬盘空间的消耗作为代价） HDFS存储文件的方式：以block为单位，块的大小在2版本中是1...

2018-02-11 13:12:21 855

原创 eclipse 配置 maven

eclipse配置maven1.maven下载解压2.环境变量配置： path=C:\Program Files\maven\apache-maven-3.5.2\bin;%M2_HOME%\bin; 将系统原有的javapath放在最后 C:\ProgramData\Oracle\Java\javapath; 新建变量： M2_HOME = C:\Program Files\maven\apa...

2018-02-11 13:08:36 178

原创 Linux sudo权限

sudo权限1.一般Linux中命令操作的对象都是文件2.sudo命令操作的对象是命令（脚本文件）3.修改sudo配置 visudo进行配置，使用的身份必须是管理员 visudo=/etc/sudoers root ALL = (ALL) ALL 用户 ip或网段 root（可以不写）具体执行的命令操作 beifeng ...

2018-02-11 13:06:20 137

空空如也

空空如也