- 博客(12)
- 收藏
- 关注
RSS订阅原创 java.lang.NoClassDefFoundError: com/aliyun/oss/common/auth/CredentialsProvid
hadoop 读oss 依赖jar包异常
2023-10-10 19:17:49
196
原创 spark yarn 启动报错：Not able to initialize app directories in any of the configured local directories
主要信息就是：Not able to initialize app-log directories in any of the configured local directories for app application_1691658778247_0002 ， 错误代码：exitCode: -1000。清除内存后，重启hadoop， 然后再启动yarn模式spark-shell， 启动成功，后续任务也可以运行了。到某节点上，查看$HADOOP_HOME/logs/下日志，虽然这里只是warn。
2023-08-10 19:27:01
167
原创 hive 用mysql metastore 初始化失败 The last packet sent successfully to the server was 0 milliseconds ago.
发现这个配置：查看mysql配置文件绑定地址：cat /etc/mysql/mysql.conf.d/mysqld.cnf。注：bind_address=127.0.0.1，该绑定地址仅支持本地连接localhost链接，所以需要修改绑定地址。3. 换一个角度，重新搜索hive配置mysql metastore的流程，看哪里配置漏了。1. 安装配置hive之后， 进入hive命令行，show databases失败；改为：bind-address = 0.0.0.0 #授权mysql远程访问。
2023-05-05 20:00:19
490
原创 linux下spark-shell中报错java.io.FileNotFoundException (Too many open files)
查看我读的文件夹下的文件数量，当前目录，maxdepth我的是3层，根据实际情况设定。原以为是特别复杂的问题，但是其实很简单，顾名思义，就是读的文件太多了。显然超过了设定，就是我读的文件夹下的小文件太多了。再重新执行程序spark-shell， 成功。# 查看限制的文件数量。
2023-03-31 15:39:15
296
原创 git push代码报错：HTTP 413 curl 22 The requested URL returned error: 413 Request Entity Too Large
git push HTTP 413 curl 22 The requested URL returned error: 413 Request Entity Too Large
2022-08-19 18:16:16
2871
原创 Uncaught SyntaxError: Invalid Unicode escape sequence异常处理
页面展示异常：Uncaught SyntaxError: Invalid Unicode escape sequence异常处理
2022-07-27 15:29:12
2706
1原创 java.lang.NoSucjava.lang.NoSuchMethodError: scala.collection.immutable.Range.validateRangeBoundaries
出现该问题，受该文章的启发https://blog.csdn.net/someby/article/details/90175704是先导入的jar包跟已有的scala版本不一致导致的。具体说来，我导入了breeze和breeze-viz包，我的scala版本是2.11.12，但是导入的是breeze-2.10版本的包。改成breeze-2.11以后，再次测试运行通过。pox.xm...
2019-08-19 14:02:29
214
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人