- 博客(22)
- 收藏
- 关注
RSS订阅原创 图神经网络7日打卡心得
背景要问这几年一直在逆势而上的技术有哪些？你一定不会忽略它——图神经网络。相比传统神经网络，图神经网络的优势非常明显：1、非顺序排序的特征学习：GNN的输出不以节点的输入顺序为转移的。2、两个节点之间依赖关系的学习：传统的神经网络中，这种依赖关系只能通过节点的特征来体现。3、推理能力：GNN能够从非结构化数据（例如:场景图片、故事片段等）中生成推理图。因此，图神经网络在生物学、地图、金融、搜索、推荐、高能物理学到社会科学和经济学等领域的复杂关系建模和互动系统构建起到重要作用。例如，在
2020-11-30 00:33:57
257
1
原创 浅谈智能·层次感
/*人活着脑子就会动。*/浅谈智能·层次感 故事源于前几日狗零仅用几天时间吊打狗的消息。人工智能技术的不断革新让一次又一次证明人工智能的可行性。 话虽如此，我们换个角度来重新省视这件事。是什么提升了人工智能的能力？是算法。狗零战胜狗，与其说是人工智能的进步，不如说是算法的胜利。 一个算法的优化就能让机器更智能吗？当然不够。那什么才能让机器更智能呢？
2017-10-27 12:08:30
449
翻译 Spark转换（transform）与动作（action）一览
【说的很特么抽象，能看得懂算你厉害啊，所以代码详解：一个Spark Demo与代码详解以下func，大部分时候为了让逻辑更清楚，推荐使用匿名函数！（lambda）】【ps：java和python的api是一样的，名字和参数没有变化】转换含义map(func)每一个输入元素经过func函数转换后输出一个元素fil
2017-08-04 17:59:01
3751
原创 Python中使用Kafka
感觉python连接kafka比Scala(java)方便多了，但是总有遇到奇怪需求的时候（白身后的部门经理一眼）：Java连接Kafka的方法与demo操作步骤：1.安装依赖包 python连接kafka需要额外的依赖包，幸运的是python有提供，直接通过pip安装pykafka即可。 2.producer：>>> from pykafka import KafkaClient>>> cl
2017-08-04 17:55:10
2364
原创 kafka基础使用方法（java）
Producer/Comsumer Demo源代码见： https://github.com/CalicoBox/True-Time-Count-Demo
2017-08-04 17:50:17
1052
原创 对kafka的初步了解
Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： ● 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能 ● 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 ● 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输
2017-08-04 17:31:35
416
原创 无法启动hiveserver的解决方法
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]Exception in thread "main" java.lang.ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer at java.net.URLClassL
2017-08-04 17:29:04
1785
原创 Hive分桶概念
相较于分区，分桶的粒度更小，而且与分区不同的是，分区是人为设定分区字段建立一个用于管理的“伪列”，而分桶是按照某列的属性值的Hash计算结果进行区分。
2017-07-24 17:24:18
1536
原创 Hive分区的概念
在使用sqoop进行Hive与关系数据库的导入导出时，在sqoop的命令中看到有对Hive分区进行指定的参数，之前对Hive了解并不够细致，今天就专门对Hive的分区和分桶两个概念进行的实验。在正文开始之前，先讲一下我对Hive分区、分桶的理解。这个东西吧，其实就是一种物理上的“索引”，将总数据按规则分装到各个小区中并打上标签，查询指定标签的数据时只用遍历该小区的数据即可（原本需要遍历所有数据）。一下就懂了。
2017-07-24 17:20:54
7379
1
原创 Hive及相关功能使用文档
使用Hive存储数据hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。这里我们需要对学校nginx服务器上的日志进行分析，我们选择通过
2017-07-14 11:00:58
926
原创 无法启动hiveserver的解决方法
已经木有hiveserver了。。。请使用hiveserver兔！SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]Exception in thread "main" java.lang.ClassNotFoundException: org.apache.hadoop.hive.service
2017-07-14 10:27:54
1839
原创 python连接hive
pyhs2的作用HiveServer2为客户端在远程执行hive查询提供了接口，通过Thrift RPC来实现，还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2，实现查询和取回结果的操作。pyhs2的安装按理说要安装pyhs2其实是很简单的，有pip直接运行“pip install pyhs2”就
2017-07-14 10:02:18
1150
转载 Python应用与Hbase交互实例（来源找不着了）
1 生成Python语言的HBase Thrift客户端函数库为了建立Thrift客户端函数库，你需要安装Thrift。但是Thrift还没有打包，所以你必须基于源码编译它。因为Thrift可以通过Homebrew得到[4]，所以在Mac机器上这一步就很简单：$ brew install thrift...==> Summary/usr/loca
2017-07-13 11:03:56
630
转载 hbase概念学习(来源找不着了，有细微修改)
1. HBase有哪些基本的特征？2. HBase相对于关系数据库能解决的问题是什么？3. HBase的数据模型是什么？如何表述？有哪些操作形式？4. HBase的模式Schema设计的一些概念和原则5. HBase的拓扑结构是什么样的？6. HBase与Cassender的比较？
2017-07-13 10:59:03
1080
原创 【问题汇总】python操作hbase脚本
1.缺少python的thrift框架脚本是基于Thrift的client端，需要安装thrift框架。# wget http://mirrors.hust.edu.cn/apache/thrift/0.10.0/thrift-0.10.0.tar.gz# tar xzf thrift-0.10.0.tar.gz# cd thrift-0.10.0#
2017-07-13 10:53:09
436
翻译 Thrift API for Python（依照源码整理）【未整理完成，暂时搁置】
如何使用API编译Thrift客户端需要的库（使用Hbase的源码编译）使用以下命令：thrift --gen [lang] [hbase-root]/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thriftlang：目标语言，java,cpp, rb, py, perl 或其他兼容的语言
2017-07-13 10:45:37
1107
原创 CSS 圆角矩形块
.login_form .account {position: absolute;top:13em;width: 80%;-webkit-transform: translate(10%,0);-moz-transform: translate(10%,0);-ms-transform: translate(10%,0);
2017-07-13 10:32:54
462
原创 font的那些东西
首先是系统字体下面整理下常用的各种字体的不同显示形式，方便使用的时候查找：中文名英文名UnicodeWindows* 宋体SimSun\5B8B\4F53* 黑体SimHei\9ED1\4F53* 微软雅黑Microsoft YaHei
2017-07-13 10:30:42
407
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人