- 博客(24)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 Hadoop05 Hdfs 权限 idea集成
切换到benxiong账号 node1 对node1 node2 node3 node4 免密 在node1执行。hdfs 有自己的权限控制，由超级用户控制，当启动NameNode的用户改变，超级用户也会改变。有用户的概念，没有API创建用户的脚本 默认信任客户端，使用操作系统的用户。复制core-site.xml hdfs-site.xml 到资源文件下。有超级用户 ，超级用户是启动NameNode的用户。切换到benxiong 做一下账号的ssh免密。类似Unix Linux。
2023-03-19 22:04:13
82
原创 Hadoop04 Hdfs HA集群搭建
在集群模式下有一个NameNode,数据磁盘化由SNN去做，高可用模式下有两个(hadoop2.0)或多个（3.0）NameNode ，一个主 其他的是备 ，备用节点可以去做磁盘化。架构如下所示部署架构图利用集群模式修改配置文件首先部署两个NameNode修改配置文件 mycluster为集群名称，根据此名称可以找到其他NameNode。
2023-03-16 23:47:54
147
原创 Hadoop03 Hdfs完整集群搭建
node 2 node3 node4 分别部署Jdk 和环境变量HADOOP_HOME 必须跟node1一样。NameNode 是基于内存 最好单独部署。复制到node2 node3 node4。node1修改 文件。
2023-03-15 21:26:25
114
原创 Hadoop02 Hdfs伪集群搭建
Namenode启动日志中先加载002的fsimage 然后在加载正在编辑的edits003 滚动 合成005 然后退出保护模式。修改脚本环境变量，因为脚本通过SSH去执行hadoop的配置文件 脚本中的环境变量不能读取，所以修改成绝对路径。对应的NameNode 存储位置会有持久化的NameNode信息。启动后会生成data数据 和SND数据 并且集群ID是一致的。正在编辑的文件为006 ，跟文件系统中的文件相吻合。SND 只需要拷贝出002 和002后面的增量。格式化NameNode。
2023-03-15 21:24:33
50
原创 Hadoop01 Hdfs 基础知识
分布式文件系统那么多 为啥还要开发一个hdfs?分块存储 由于有NameNode 存在 可以根据文件读取的偏移量计算出 当前需要读取的数据在哪一个DataNode中 直接读，不需要读取整个文件。这也是分布式并行计算的核心。
2023-03-15 21:23:32
68
原创 scala04 高级特性
case 类型 可以判断数据是否相等一般用在判断内容，如果没有case 则输出false false有的话输出true true。隐式函数,使函数具备其他功能 ，其实是根据传入参数的类型找到最近的隐式函数 并执行。偏函数 使函数更加简洁。输入一个int 返回一个String的偏函数。match 方法 println 返回Unit 会有（）打印。trait 类的多继承。隐式转换--隐式参数。
2023-03-13 00:36:21
37
原创 scala03 集合
iterator 集合只保存数据的指针，不保存数据， flatmap采用迭代方式取数据，处理完一个在处理下一个。上面的方法会存有中间集合，浪费内存，如果不像保留中间集合 可以使用iterator。集合的map方法和flatmap 方法处理数据集合。
2023-03-12 22:27:29
162
原创 scala 01 概述 优缺点 环境搭建
比如C#,C#在编译的时候不是直接编译成机器码而是中间码，.NET平台提供了中间语言运行库运行中间码，中间语言运行库类似于Java虚拟机。.net在编译成IL代码后，保存在dll中，首次运行时由JIT在编译成机器码缓存在内存中，下次直接执行。编译的时候根据对应的运行环境生成机器码，不同的操作系统之间移植就会有问题，需要根据运行的操作系统环境编译不同的可执行文件。因为编译只做一次，运行时不需要编译，所以编译型语言的程序执行效率高。灵活，修改代码的时候直接修改就可以，可以快速部署，不用停机维护。
2023-03-09 00:25:48
203
原创 23.10 Admin features
通过指定 spring.application.admin.enabled 属性，可以使行政相关的特点 。这暴露了在 MBeanServer 平台上的 SpringApplicationAdminMXBean 。可以使用此功能来远程管理Spring Boot程序。这对任何服务包装器实现也是有用的 。 如果你想知道，应用程序正在运行在哪个HTTP端口 ，可以通过local.serve
2017-06-10 18:33:53
395
原创 23.9 Application exit application 退出
每个SpringApplication将在JVM上注册一个关闭钩子，以确保ApplicationContext在退出时优雅地关闭。所有标准的Spring生命周期回调(例如DisposableBean接口，或者@PreDestroy 注释)都可以使用。此外，bean还可以实现 org.springframework.boot.ExitCodeGenerator SHI并添加资源文件appli
2017-06-10 18:08:37
4580
原创 23.8 Using the ApplicationRunner or CommandLineRunner 实现ApplicationRunner 和CommandLineRunner
如果您需要在SpringApplication启动之后运行一些特定的代码，那么您可以实现ApplicationRunner或commandlinrun 接口。这两个接口都以相同的方式工作，并提供一个单独的运行方法，在springapplication.run(.)完成之前，它将被调用。CommandLineRunner接口提供对应用程序参数的访问，作为一个简单的字符串数组，Applicatio
2017-06-10 16:05:52
655
原创 23.6 23.7 Web environment Web环境变量读取
一个SpringApplication将尝试创建正确类型的 ApplicationContext 。默认会根据是否在开发一个web 应用使用AnnotationConfigApplicationContext 或 AnnotationConfigEmbeddedWebApplicationContext 。决定使用web环境的算法其实是十分简单的（基于几个类的存在），想要覆盖这个默认机制可以使
2017-06-10 14:51:37
2966
原创 23.5 Application events and listeners Application 的事件监听器
除了使用Spring框架的事件之外，SpringApplication也会发送一些额外的事件。有些事件是在 ApplicationContext 生成之前就自动触发了，对于这些事件，不能作为 @Bean 注册监听器，可以通过SpringApplication.addListeners(…) or SpringApplicationBuilder.listeners(…) 方法。
2017-06-10 14:08:32
617
原创 23.3 23.4 Customizing SpringApplication 初始化 SpringApplication
public static void main(String[] args) throws Exception { SpringApplication application = new SpringApplication(Example.class); /* * Banner.Mode.OFF:关闭; * Banne
2017-06-10 13:50:31
255
原创 23.1 SpringApplication spring boot 启动
springApplication 提供启动类的main方法，在许多情况下，您可以将其委托给静态spring应用程序。运行方法:public static void main(String[] args) throws Exception { //设置 热启动不生效 也可以在 资源文件中配置spring.devtools.restart.enabled // Syst
2017-06-10 13:22:56
2202
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人