- 博客(8)
- 收藏
- 关注
RSS订阅原创 宝塔 PHP 启用 FFI 扩展
因业务需求需要，PHP由不支持相关能力，直接开发PHP扩展对于未来的兼容性不友好，因此我们选择了使用了从 PHP 7.4 开始支持的 FFI能力，查阅宝塔官方社区的帖子均未找到详细的启动过程，在翻阅宝塔php应用目录发现 src 中已包含 pecl 的 FFI 源码，因此记录该过程作为分享。
2023-09-06 19:49:25
265
原创 【Java】SparkRDD算子案例：统计出每一个省份广告被点击次数的TOP3
假设这些信息都存储在一个文件里，并且该文件的格式如下，时间戳，省份，城市，用户，广告，中间字段使用空格分割。
2023-05-19 16:23:18
448
1
原创 基于本地 local 模式运行 Spark 单词计数程序
请注意，本文基于 Spark 提供的 local mode 的运行，你只需要在 IDEA 中引入 Spark 相关依赖即可，运行代码时如没有对 HDFS 文件系统进行交互则无需开启前面搭建的任何虚拟机。在下文中的代码中使用了设定使用本地 Spark 应用程序运行时提供的一个虚拟的集群环境，在该模式下不适合处理大规模并行数据，个人建议仅限学习用途或代码验证测试使用。[*]指定了运行的cpu核数，*号代表通配当前系统，假设你有8个核心，而只想使用4个则设置为local[4]即可。
2023-05-12 15:24:13
352
1
原创 基于前置搭建的Spark环境添加集群模式支持
请注意，master1 并没有运行 worker，因此关闭时 master1 会如下图所提示。访问master1的18080端口检查是否能看到 WebUI, 且能看到两个节点，如下图所示。master2, slave1 执行如下命令。在 master1 节点依次执行如下命令。在 master1 节点依次执行如下命令。在 master1 节点依次执行如下命令。在 master1 节点依次执行如下命令。在 master1 节点依次执行如下命令。master1执行如下命令。master1执行如下命令。
2023-05-09 02:58:14
1188
1
原创 基于前置搭建的 Hbase 环境上配置 Spark 开发环境
Spark 集群部署采用 yarn 模式进行资源调度管理，这样部署更加简单，因 Hadoop 在之前已经进行集群安装，Spark 是提交 jar 到 yarn 中进行运行，只需要在任意一台中安装 Spark 客户端即可，而又因为是集群模式可能导致作业在未安装 Spark 的节点上运行，推荐的做法是上传这些 jar 到 hdfs 中, 并配置 hdfs 作为依赖，为了偷懒不想改配置文件该步骤我懒得去搞，直接在三台节点中都安装同样的客户端，如有新的依赖加入直接在三台中上传依赖(保障三台环境完全一致)即可。
2023-05-04 17:56:25
1524
2
原创 基于CentOS7 搭建大数据 HBase 集群环境 (可兼容Ubuntu)
Tips：启动后，将鼠标移动至虚拟机后，默认情况下虚拟机会将当前鼠标锁定进虚拟机，如需将鼠标移出虚拟机至宿主机，按下快捷键 Ctrl + Alt 即可释放鼠标。移除打印机，该步骤可不执行，打印机移除不移除无任何影响，自定义硬件的目的在于确定硬件配置，默认内存1GB，处理器1个即可，完成后点击关闭。默认链接克隆即可，但是此处注意，模板虚拟机不要删除，删除后将会导致其所有链接克隆的虚拟机不可使用。完成后点击该虚拟机如下图所示，因为默认勾选了"创建后开启此虚拟机"，因此虚拟机会自动开机。
2023-04-19 01:30:08
905
原创 使用Hadoop 的 Java API 操纵 HDFS 文件系统
出现该报错时需要你引入 winutils 支持，winutil.exe 主要用于模拟linux下的目录环境，你可以在互联网上寻找该配置教程，如果你不想麻烦，也可以选择通过 API 读取文件内容然后在使用 Java 的文件相关API方法将文件流作为文件写入系统。引入依赖完成后如下图所示，但因为版本问题存在相对较多的安全的漏洞提示，鼠标放在上方即可显示相关的CVE漏洞编号，但我们仅仅只是学习用途，该问题我们直接忽略。此处仅提供完整样例代码不在提供运行截图，样例代码已经过验证。// 写入文件内容到输出流。
2023-04-19 01:09:31
3788
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人