- 博客(7)
- 收藏
- 关注
RSS订阅原创 MapReduce原理梳理
mapReduce 实际是一个分布式计算的框架，其核心功能就是将用户的业务逻辑代码整合成一个完整的分布式运算程序，并发运行在hadoop集群上。分布式计算框架提出的原因是因为海量数据在单机环境下由于资源限制而无法完成。如果直接将一个普通的java程序优化成分布式版本，会增加程序的复杂度与设计难度引入mapreduce框架之后，开发人员只需要关注业务逻辑的实现而将其中复杂的重复逻辑交由框架...
2019-01-24 17:51:08
130
原创 分布式事务基础概念
分布式事务相比本地事务有很多额外的情况产生交互异常:分布式中某个机器宕机网络异常发布的消息丢失发送的消息不保证接受顺序(消息在传递与传输过程中产生不确定延迟)数据错误不可靠的TCP连接某个节点的存储数据丢失等本地事务一般通过先写日志(redo), 后写数据库的方式避免一些异常发生,或者根据日志回滚数据.本地数据库的ACID原则本地数据库有ACID原则:原子性,一致性,隔离性...
2019-01-24 15:32:14
122
原创 hive中shuffle 与 spark shuffle 中的异同
由于目前的项目有强制的资源限制，hive任务不能满足要求，需要将hiveSQL 改成spark 的scala脚本运行，但是再过程中遇到了很多坑，这里记录一下可能涉及到的原理问题。由于hive SQL 是使用SQL实现，再逻辑非常复杂的情况下，只能将任务分成多个阶段，同时尽量减少job数 来提高效率。在这种情况下，有可能出现复算以及计算无效数据的情况，需要衡量计算无效数据的效率以及避免计算而出现的...
2019-01-21 16:37:57
4757
原创 oracle_SQL学习笔记
oracle 数据库特征与MySQL的区别oracle是大型数据库，MySql是中小型数据库。oracle支持大并发，大访问量，是OLTP最好的工具oracle数据库安装完成后占用空间打，和其他机器性能操作上的区别 主键 Mysql一般使用自动增长类型，在创建表时只要指定表的主键是atuo increment类型。插入记录时，不需要在制定该记录的主键值，Mysql 将自动增长；Oracl
2017-04-04 16:58:17
308
原创 MySQL基础学习
MySQL基础学习修改SQL提示符连接客户端时通过参数指定 shell>mysql -uroot -proot –prompt连接上客户端后，通过prompt 命令修改 mysql>prompt 提示符 参数 描述 \D 完整日期 \d 当前数据库 \h 服务器名称 \u 当前用户MySQL常用指令显示当前服务器版本SELECT VERSION
2017-03-29 13:41:17
259
原创 这是一篇测试博客，linux服务器搭建
由于写跑eeglab的需求，为了日后方便跑RBM。自己的台式电脑配置不能满足需求。正巧实验室有一台戴尔工作站。于是利用起来。首先，在工作站中安装ubuntu桌面版，由于服务器版联网实在成问题，所以选择桌面版。1. 登录vpn从ubuntu官网下载镜像文件。2. 使用UltraISO将光盘镜像写成启动盘，引导区选择 --Syslinux 写入方式选择USB-HDD3. bio
2016-11-30 17:26:21
371
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人