- 博客(26)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Windows中处理PySpark报错：SparkException: Python worker failed to connect back
这个问题可能是发送在windows10以上的版本，使用datafram的方法是没问题，但是使用rdd算子出现这个问题，报错SparkException: Python worker failed to connect back。环境变量的设置一下PYSPARK_PYTHON 改成自己的python环境。Windows中处理PySpark报错：SparkException: Python worker failed to connect back。
2024-01-09 10:40:39
636
原创 scala 系列文章 ----- java，scala 和jvm的关系
scala 系列文章 ----- java，scala 和jvm的关系文件准备scala的源代码位置：C:\Program Files (x86)\scala\lib\scala-sources-2.12.4.tar\scala-sources-2.12.4\scala-2.12.4\src\library\scalajava代码：.java 文件public class Test1 { public static void main(String[] args) { H
2020-11-10 16:10:19
408
原创 scala系列文章 ---函数的反编译源码查看
在scala中方法和函数其实可以看成是一个，但是看一些资料或者书籍他们两者也有一些区别。再此不讨论这些区别，只看干货。首先写一个简单的函数，两数判断大小。 // 适合代码编写 (x,y)=>if(x>y) x else y // 这种方式只适合交互式 (Int,Int)=>Int=(x,y)=>if(x>y) x else y)) 复杂方式 // 定义一...
2020-01-03 10:33:32
1074
原创 scala系列文章 ---scala api文档的使用
学习java有java的api文档，学习scala也有，接下来。简单了解一下scala的api文档。1.首先去scala官网下载scala的文档。https://www.scala-lang.org/download/ 大家可以选择下载其他版本。2.下载完成解压。api 下有这几个文件夹。3.打开scala-library，双击index.html4.离线版本的scala文档就可...
2019-12-31 11:38:18
1115
原创 Linux下安装MySQL5.7版本
用了四年的笔记本淘汰了，新电脑刚到，迫不及待先开始CentOS7下安装MYSQL安装如下：如有遗漏，或者错误，请指教，谢谢！检查之前是否以安装过mysql,可以使用普通用户sudo 安装，也可进行root用户安装，本例利用普通用户sudo安装，[bigdata@bigdata06 ~]$ rpm -qa | grep mysql[bigdata@bigdata06 ~]$由于我是新...
2019-12-18 11:48:02
180
原创 CM安装出现agent连接不到cm
1，/opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent中的配置文件config.ini中的主机改成主节点的2，如果agent连接上后，发现识别到的节点不完整，可以采用如下命令ps ax | fgrep supervisord查看所有的进程，看是否有supervisord残留。...
2019-08-14 16:57:53
1084
翻译 自己关注的一些资料
数据结构等全面知识：https://www.cnblogs.com/ysocean/p/7911910.html 算法练习：https://leetcode-cn.com 同事总结的资源站点：mirror.cnop.net
2019-07-24 15:53:45
110
原创 CentOS7中配置163 Yum源
在服务器中（Centos7）中下载repo文件wget http://mirrors.163.com/.help/CentOS7-Base-163.repo2.备份并替换系统的repo文件cp CentOS7-Base-163.repo /etc/yum.repos.d/cd /etc/yum.repos.d/mv CentOS-Base.repo CentOS-Base.repo....
2019-06-14 17:33:24
1393
原创 left join inner join on 和where区别
在使用left join 时，on和where条件的区别：1：on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。2：where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有left join的含义（必须返回左边表的记录）了，条件不为真的就全部过滤掉。 创建两张表：...
2019-04-20 09:57:20
4279
原创 centos配置yum 源，163源
首先先把yum源更改一下。网易（163）yum源是 ，无论是速度还是软件版本，都非常的不错。将yum源设置为163 yum，可以提升软件包安装和更新的速度，同时避免一些常见软件版本无法找到。1.备份/etc/yum.repos.d/CentOS-Base.repoCentos6.5版本：mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos...
2019-01-23 10:21:36
244
原创 centos上安装mongodb数据库
MongoDB是一个基于分布式文件存储的数据库,由C++语言编写。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。先一步一步来：在普通用户和root用户都可以安装第一步：#配置mongo的yum源sudo vi /etc/yum.repos.d/mongodb-org-3.4.repo第二步：在mongodb-org-3....
2019-01-22 09:53:02
129
原创 windows下APACHE的AB安装以及压力测试
通常情况下，使用Apache ab测试软件 模拟高并发访问产生大量的日志信息首先安装Apache ab：官方下载地址：https://www.apachehaus.com/cgi-bin/download.plx下载完成后解压这是目录结构这样就可以使用了，如果怕端口被占用，可以修改端口。conf/httpd.conf文件的端口配置，默认是80端口windows键+R 输入cm...
2019-01-21 19:00:01
331
原创 搭建ssh项目报错:The last packet sent successfully to the server was 0 milliseconds ago.The...server
在运行ssh或者打war包时出现：The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.这个错误时，看一下详细错误： The last packet sent successfully ...
2019-01-20 20:07:05
1409
原创 启动 zookeeper出现:Starting zookeeper ... already running as process 1507.解决办法
在启动zookeeper的时候，出现如下错误：Starting zookeeper … already running as process 1507.意思是：zookeeper已经运行，进程1805运行。系统检测到你的zookeeper是在启动的状态的。这个可能是由于异常关机，断电造成的。解决办法：找到你zookeeper中的保存文件的路径：以我的举例：打开这个目录：cd...
2019-01-17 09:42:11
1356
1
原创 sqoop从mysql导入hive中tinyint类型变成了boolean类型的问题
mysql数据库里面的字段是 tinyint 类型通过sqoop 抓取出来的数据在HDFS 上面显示的true、false解决办法：jdbc会把tinyint 认为是java.sql.Types.BIT，然后sqoop就会转为Boolean了。在连接上加上一句话tinyInt1isBit=false例如：sqoop job --create bap_biz_trade – impor...
2019-01-14 13:03:51
1290
1
原创 python：写一个名片案列
对于刚刚写python的人，可能对python不是特别懂，可以适当的对一些小的案例进行实践，这样就可以对语法的练习有所提高。这是一个名片案列：name_list =[]# 查询一个信息def find_info(): global name_list find_name = input("请输入要查询的姓名:") find_flag = 0 # 默认没有找到...
2018-12-27 20:59:25
1317
原创 scala和java哪个运行速度快
在spark时代，scala流行起来，有人认为scala比java好用，scala简单，简洁。觉得java比较繁琐，确实，在代码量上来说，确实如此，今天看了一些文档，发现其中的奥秘。从代码量上来说scala比java简洁开发效率高于java，这是无可置疑的。比如：java的输出：System.out.println(“hello world”);scala的输出： println(“...
2018-12-27 20:44:09
4540
3
原创 python安装教程
在python中，发现安装出现了一些坑，今天有幸给大家分享一下自己的安装教程：1、首先在你的电脑上安装python环境安装python环境有两种方式，一种安装原生的python,一种安装python神器——Anaconda。对于初学者来说，原版的python在使用的时候非常麻烦，特别是在添加库、升级库的时候总是会报好多错误。Anaconda相当于一个python的整合包，是一个开源的pyt...
2018-12-27 14:44:06
283
原创 idea中对scala的配置
这些天在回顾一些scala的旧知识，遇到一些小坑，完整的安装了一遍，希望对大家有帮助。下载ideahttps://www.jetbrains.com/idea/国外的网站打开都比较卡，下载的时候比较慢。点进去之后有两个版本，看个人需要，我这里下载的是社区版本的。2.下载idea中scala 插件插件的下载方式有很多，我们这里是先离线下载好插件，也可以在线下载离线下载方式：h...
2018-12-26 20:36:35
841
原创 git的使用
在多人协作作业中，我们需要用到版本控制工具，这里我以git做演示在这里我们就不演示安装了，直接开始第一次使用Git设置你的名字和email,这些就是你在提交commit时的签名，每次提交记录里都会包含这些信息。使用git config命令进行配置： $ git config --global user.name "xiaoming" $ git config --global us...
2018-12-05 21:34:11
276
原创 项目中的Nginx服务器部署:安装
安装环境提前准备好：1、需要安装gcc的环境。yum -y install gcc-c++2、第三方的开发包PCRE：PCRE(Perl Compatible Regular Expressions)是一个Perl库，包括 perl 兼容的正则表达式库。nginx的http模块使用pcre来解析正则表达式，所以需要在linux上安装pcre库。yum install -y pcre pc...
2018-12-04 17:47:17
199
原创 安装Linux MiNi版本的过程和出现的问题
对于Linux大家也特别清楚，那么安装Linux MiNi 出现的问题以及过程，下面是一些详细的步骤：安装CentOS 6.5 mini版本，安装体积小https://www.centos.org/download/虚拟机：VMware workstation11Linux系统：CentOS 6.5 mini 不带系统的笔记本或者台式类似win7 win8.1 win10 mac 等...
2018-11-27 22:42:56
797
原创 Scala中方法和函数的区别
Scala 中方法和函数有自己的定义，不像java中那样就方法就是函数 方法和函数是scala比较重要的一点，如何能够快速理解呢，下面是我的分享：定义方法：方法关键字，方法名，方法参数，返回值类型，最后一个是方法体def m1(x:Int):Int = {X*X}这是方法的定义下面是在编译器中的代码：scala> def sayHello =println(...
2018-11-24 21:31:19
279
原创 百度地图的调用平台注册以及如何使用scala调用
**在项目中对商圈等需要用到地图，这样我们就需要调用地图接口，如何实现呢，我们在这里以百度地图为例：**百度地图开放平台的注册：用浏览器打开 http://lbsyun.baidu.com/index.php?title=首页 这个网站就是 百度地图开放平台在网站首页的最底层申请密钥点进去进行申请。会出现电话等信息，注册之后，就可以使用。进行创建应用。4.创建完成后在这里显...
2018-11-21 22:11:05
397
原创 Redis 设置密码
Redis设置密码两种方式：临时密码永久密码 （1），永久密码操作 先修改配置文件redis.conf 大概在配置文件61行 修改为自己的Id： bind 192.168.85.131找到128 把no 改为 yes配置第480行 密码requirepass 自己的密码，我的是（root） 然后重新启动redis ./red...
2018-11-13 21:24:57
166
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人