- 博客(15)
- 收藏
- 关注
RSS订阅翻译 一个SparkContext对应多个SparkSession
SparkContext和SparkSession。一个sparkcontext对应多个sparksession
2022-06-13 17:49:06
865
原创 go 主协程等待子协程执行完毕再执行方法
go 主协程等待子协程执行完毕再执行方法-go面试方式一：用全局变量主goroutine使用全局变量通知子goroutine退出func f() { defer wg.Done() for { fmt.Println("中国") time.Sleep(time.Millisecond * 500) if notify { break } }}func main() { wg.Add(1) go f() time.Sleep(time.Second * 5) n
2022-05-21 22:58:46
2620
原创 Go语言中init()函数介绍及执行顺序
Go语言中init()初始化函数init()函数介绍在Go语言程序执行时导入包语句会自动触发包内部init()函数的调用。需要注意的是：init()函数没有参数，也没有返回值。init()函数在程序运行时，自动自动被调用执行，不能在代码中主动调用它。包初始化执行的顺序如下图所示：结果是：10Hello 沙河init()函数执行顺序Go语言包会从main包检查其导入的所有包 ，每个包又可能导入了其他的包。Go编译器由此构建出一个树状的包引用关系，再根据引用顺序决定编译顺序，依次编译这些包
2022-02-11 20:39:50
2329
1
原创 go语言-interface的值接收和指针接受的区别
go语言-interface的值接收和指针接受的区别初学go语言，学习到interface接口这里，记录一下值接收和指针接受的区别。1.值接收package mainimport "fmt"//使用值接收者和指针接收者区别type animal interface { move() eat(string)}type cat struct { name string feet int8}//使用值接收者实现了接口的所有方法func (c cat) move() { fmt
2022-01-10 17:34:31
592
原创 Hadoop HDFS命令操作
hdfs操作1 创建一个文件夹 hdfs dfs -mkdir /myTask2 创建多个文件夹 hdfs dfs -mkdir -p /myTask/input3 上传文件 hdfs dfs -put /opt/wordcount.txt /myTask/input4 查看总目录下的文件和文件夹 hdfs dfs -ls /5 查看myTask下的文件和文件夹 hdfs dfs -ls /myTask6 查看myTask下的wordcount.txt 的内容 hdfs dfs 0cat /my
2021-11-26 14:45:54
136
原创 hadoop报错：There are 653 missing blocks. The following files may be corrupted
hadoop报错：There are 653 missing blocks. The following files may be corrupted遇到这个问题的解决办法：查看缺失的文件：hdfs fsck /删除缺失的文件：hdfs fsck -delete注意：这里的删除是全部删除，也可以不全部删除遵循这个原则即可：hdfs fsck 路径 -delete...
2021-11-15 20:45:19
1586
原创 解决Caused by: java.sql.SQLException: null, message from server: “Host ‘master‘ is not allowed to conn
解决Caused by: java.sql.SQLException: null, message from server: "Host 'master' is not allowed to connect to this MySQL server"今天在使用flume和mysql进行数据传输的时候，遇到这个问题。今天在使用flume和mysql进行数据传输的时候，遇到这个问题。**2021-09-30 08:40:48,677 (conf-file-poller-0) [WARN - org.hib
2021-09-30 09:07:04
2930
原创 John Snow 的Spark NLP 中Transformers
John Snow 的Spark NLP 中Transformers1.DocumentAssembler：获取数据可设置的参数有：setInputCol()：设置输入列（）setOutputCol()：设置输出列（）setIdCol() -> OPTIONAL: 带有 id 信息的 Sring 类型列setMetadataCol() -> OPTIONAL: 可选：具有元数据信息的映射类型列setCleanupMode(disabled) -> 清理选项，可能的值： d
2021-07-03 16:10:13
197
原创 Spark NLP的一些基础方法
Spark NLP的一些基础方法1.DocumentAssembler：获取数据为了通过 NLP 过程，我们需要对原始数据进行注释。有一个特殊的转换器可以为我们执行此操作：DocumentAssembler，它创建了第一个Document类型的注释。val documentAssembler = new DocumentAssembler(). setInputCol("text"). setOutputCol("document")2.Sentence detection and token
2021-07-03 15:44:22
734
转载 Spark Sql实战--合并数据
数据的合并把多列合并成一列字符串，并按指定分隔符分割。把多列的值合并成一个list合并成一个map格式的数据数组值操作（spark-2.4）转载：https://blog.csdn.net/zg_hover/article/details/106300119?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162451394516780269824990%2522%252C%2522scm%2522%253A%252220140
2021-06-24 14:16:12
740
原创 Spark SQL数据类型
Spark SQL数据类型数字类型ByteType：代表一个字节的整数。范围是-128到127ShortType：代表两个字节的整数。范围是-32768到32767IntegerType：代表4个字节的整数。范围是-2147483648到2147483647LongType：代表8个字节的整数。范围是-9223372036854775808到9223372036854775807FloatType：代表4字节的单精度浮点数DoubleType：代表8字节的双精度浮点数Decima
2021-06-13 18:53:19
2193
3
转载 Spark dataframe 中某几列合并成vector或拆分
使用Spark SQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。1 DataFrame列数据的合并例如：我们有如下数据，想要将三列数据合并为一列，并以“,”分割±—±–±----------+|name|age| phone|±—±–±----------+|Ming| 20|15552211521||hong| 19|13287994007|| zhi| 21|1
2021-06-10 15:21:22
1362
原创 RDD转换得到DataFrame
RDD转换得到DataFrameRDD转换得到DataFrameRDD转换得到DataFrame有两种模式：利用反射机制推断RDD模式，利用编程方式定义RDD模式。1.利用反射机制推断RDD模式利用反射机制推断RDD模式时，首先需要定义一个case class。因为只有case class 才能被spark隐式转换为DataFrame。.map(_.split(",")) “Michael，29” 就转成了Array(“MIchael”,29).map(attributes=>
2021-06-03 14:46:53
1429
原创 Linux卸载mysql
Linux卸载mysql[@master ~]$ yum list installed | grep mysqlmysql-community-client.x86_64 5.7.34-1.el7 @mysql57-communitymysql-community-common.x86_64 5.7.34-1.el7 @mysql57-communitymysql-community-l...
2021-05-26 11:12:24
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人