- 博客(25)
- 收藏
- 关注
RSS订阅原创 第19届高级数据挖掘与应用国际会议（ADMA‘23）
欢迎参加2023年8月21日至23日在中国沈阳举办的第19届高级数据挖掘与应用国际会议（ADMA’23）。
2023-04-06 20:14:36
438
原创 Tensorflow 中保存模型后加载后模型报维度不匹配错误
Tensorflow 中保存模型后加载后模型报维度不匹配错误 you must feed tensor with [?,784] 最后发现是占位符的名称错误 重新使用加载模型的占位符后错误修改完成logits, train_op, eval_correct, loss, data_placeholder, labels_placeholder = mnist_cnn_model(2500)feed_dict_lo = {str(data_placeholder.name):...
2020-11-28 11:20:23
949
原创 Pytorch 语法知识
1. with open(' ') as f f.rendline() 读取每一个字符 f.readlines() 读取每一行
2020-07-11 19:30:22
255
原创 Git 将本地代码发送到 Github
1. Git 命令 1. git status 查看本地仓库文件 2. git remote add origin https://github.com/lijianfyy/Bigdata_code_k_core_20200620.git2.本地源码上传 1.git clone https://github.com/lijianfyy/Bigdata_code_k_core_20200620.git2.cd Bigdata_code_k_core_2020...
2020-06-20 16:16:41
160
原创 杭电1000
C++#include<iostream>using namespace std;int main() { int a, b; while (cin >> a >> b) { cout << a + b << endl; } ret...
2019-09-02 22:25:47
140
原创 FlinkForward2018
关于参加Flink-Forward-2018会议在实时流计算区域内，storm与Flink各有秋色，Flink近年来逐渐被各大公司使用作为实时计算工具，所以参加Flink-2018会议会议地点：国家会议中，北京会议时间：2018年12月20日第一次参加会议，心情十分激动因为研究社会网络，所以对于社会网络图运算十分感兴趣，对于Gelly也十分感兴趣Flink在流计算已经十分成...
2018-12-21 12:43:54
276
原创 Github的使用
Github作为世界上最大的同性交友平台，如何使用是一个难题 Github实用教程，GitHub代码托管平台使用，这里具体的使用教程我就不写了，我只是想把代码放到Github进行托管。1.注册Github2.安装Git下载Git，下载之后安装默认下一步，安装成功后出项这个代表安装Git成功3．根据我的理解，git就像一个仓库保管员，Github就像一个大仓...
2018-12-19 10:54:22
108
原创 hadoop分布式安装
1）进行root密码的修改 sudo passwd root 2） 进行节点的分配节点名 安装的软件 运行的进程Ubuntu01 jdk、hadoop、spark_master ...
2018-07-23 15:18:28
142
原创 Ambari管理集群
1.制定部署规划a.集群规划b.仓库规划c.Ambari规划d.HDP规划cmaster0 172.21.70.36 （主节点）cmaster1 172.21.70.37cmaster2 172.21.70.38cslave0 172.21.70.39 （从节点）cslave1 172.21.70.40cslave2 17...
2018-07-23 15:18:11
988
原创 spark
val rdd1=sc.parallelize(arr)//将scala集合转换成为spark transrdd1.filter（_%2!=0）.collect//在colllect一下才会执行spark的启动方式bin/spark-submit
2018-07-23 15:17:43
119
原创 Graphx中踩过的坑
用到这种情况，有的节点是没有属性的，有的节点是有属性的val a1=a.mapVertices( (id,attr)=>{ if(attr==null) (Array(id.toString+id.toString+0.toString+0.toString)) else attr })用mapvertive进行设置默认属性...
2018-07-23 15:17:16
959
转载 安装日志采集服务器nginx
在Ubuntu上进行日志服务器的安装我使用的环境是64位 Ubuntu 14.04。nginx依赖以下模块：gzip模块需要 zlib 库rewrite模块需要 pcre 库ssl 功能需要openssl库1.1.安装pcre获取pcre编译安装包，在http://www.pcre.org/上可以获取当前最新的版本解压缩pcre-xx.tar.gz包。进入解压缩目录，执行./configure。m...
2018-05-30 14:24:09
678
原创 Ubuntu14.04联网安装mysql数据库
1.首先要将进行apt的更新，sudo apt-get update确保能够保证连接到最新的mysql-server
2018-05-23 16:43:39
413
原创 centos6下安装mysql
因为使用ambari管理集群，所以就安装ambari时要安装mysql数据，再安装mysql数据库时遇到的问题在联网的情况下，我们首先进行yum更新，在更新的情况下，才不会丢失某些包sudo yum update首先安装yum install mysql-serversudo yum install mysqlsudo yum install mysql-devel安装完之后，等到competed...
2018-05-23 16:43:06
453
原创 spark踩过的坑
在启动spark-shell时候遇到报错，Failed to start database "metastore_db" with class数据库初始化修改的方法：mv metastore_db merastore_db1
2018-05-01 20:43:50
311
原创 k-core
当一个节点被删除时，它的所有相邻边也会被删除删除;在度数≤k-1的节点被删除之后，剩余的图中全部具有新度≤k-1的其余节点也需要被移除如果一个节点属于一个图的k核，但是它将从（k + 1）核中移除，那么这个节点被认为具有核心（核心值）k。图中最大的核心性称为图的核心性例子：孤立节点的核心性k = 0大小为N的全连接网络的核心性k = N -1...
2018-04-22 22:09:24
5477
原创 在windows上写Mapreduce遇到的坑
初步判断是缺少关于yarn的jar包这是nativeIO的错误，里面的609行的renturn true；就可以了并新建一个NativeIO类复制进去，并修改，就可以了，在通过linux客户端，发现hadoop fs -ls指向的目录为本地目录，这样的错误为defaultFS没有指定，误删core-site.xml。...
2018-04-14 19:19:59
364
原创 scala_map
scala映射1.构造映射val scores=Map（"Alice"->10,"Bob"->3,"Cindy"->8），这是一个不可变的映射val scores=scala.collection.mutable.Map("Alice"->10,"Bob->3","Cindy"->8),这是一个可变的映射v
2018-03-30 20:26:19
331
原创 scala__map集合出的错
在scala中，集合被修改为映射，但是在我创建scala map后，发现使用+=添加集合元素时，老是提示与字符串的连接操作冲突这是一个简单的错误，集合我设定为val，这是不可变的集合，修改为var就可以在定义一个HashMap时，发现使用+=也是出错，查询资料时发现没有new scala。collection。mutable...
2018-03-30 16:37:03
548
原创 For input string: " "
For input string: ""在使用mapreduce进行二次排序时，运行mapreduce是发现出现 For input string: ""错误最后发现错误是因为输入的数字多了空格4 5 4 5最后将要排序的数字进行从新书写就可以了4 54 5...
2018-03-11 19:55:51
19853
1
原创 集群管理
ubuntu06 （mysql数据库安装密码忘了） flumeUbuntu05 hive worker(spark)ubuntu01 hbaseubutnu04 ubuntu05 namenodeubuntu01 ubuntu02 ubuntu03 ubuntu06 datanodeubuntu01 ubuntu02 ubuntu03 ubuntu06 nodemanage...
2018-01-11 11:31:20
260
原创 hadoop中分布式安装zookeeper
1）首先先把主机名的映射进行配置172.21.70.30 ubuntu01172.21.70.31 ubuntu02172.21.70.32 ubuntu03172.21.70.33 ubuntu04172.21.70.34 ubuntu05或者在配置时使用主机的ip代替2)zookeeper解压后的文件在里面找到conf/zoo.cfg
2017-11-23 15:48:41
176
原创 mysql 进入shell模式
在安装完成mysql时，要进入mysql时出现如下的错误，发现是密码错误在观察发现，这个密码是linux本机的root密码；在进入mysql shell模式使用mysql-u root -p
2017-11-22 22:09:44
5109
转载 欢迎使用CSDN-markdown编辑器
java.io.IOException: Cannot create directory /usr/local/hadoop/hdfs/name/current at org.apache.hadoop.hdfs.server.common.StorageStorageDirectory.clearDirectory(Storage.java:337)atorg.apache.hadoop
2017-11-22 17:22:11
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人