- 博客(9)
- 收藏
- 关注
RSS订阅
原创 记一次阿里巴巴一面的经历
3月中旬在拉勾上收到一个蚂蚁金服的大哥要我的简历，当时很惊讶，居然有蚂蚁金服的找到我，然后想都没想就给了。受宠若惊呀，我知道自己的水平跟阿里的差距有多远，以前一直没用勇气去投，连试试都不敢。这次居然主动找过来了，当时就再想，难道阿里这么缺人么？还是只是为了完成某些KPI，想法比较幼稚。没想到的是第二天居然收到了阿里巴巴的面试邀请邮件，里面说到会在10个工作日内进行第一次面试。不管怎么样吧，...
2019-04-21 10:11:11
381
原创 11张图了解HDFS的架构设计！
HDFS 介绍HDFS 是一个适合部署在廉价机器上的，具有高度容错性的，高吞吐量的分布式文件系统。HDFS 的设计理念支持超大规模数据集运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被设计成支持大文件存储，能在一个集群里扩展到数百个节点，能够存储海量的数据。比如说，某个表 100亿条数据，你还用MySQL 去存么？一台机器你的配置得多高才行，再考虑一下查询的效率。如果用了分布式存储之后，也就是说，这些数据放到N多台机器里面去存储，每个机器
2021-01-10 10:09:54
1941
1
原创 A null value cannot be assigned to a primitive type
今天使用jdbctemplate 查询数据封装到 实体里面时出现以下错误，记录一下。错误信息：org.springframework.beans.TypeMismatchException: Failed to convert property value of type 'null' to required type 'float' for property 'longitude’; n...
2019-05-16 10:29:30
4987
原创 面试必备的分布式事务方案
背景四月初，去面试了本市的一家之前在做办公室无人货架的公司，虽然他们现在在面临着转型，但是对于我这种想从传统企业往互联网行业走的孩子来说，还是比较有吸引力的。在面试过程中就提到了分布式事务问题。我又一次在没有好好整理的问题上吃了亏，记录一下，还是长记性 ！！！先看面试过程面试官先是在纸上先画了这样一张图：让我看这张图按照上面的流程走，有没有什么问题？面试官并没有直接说出来这里面会有分布...
2019-04-21 10:13:55
293
原创 SparkSQL 实现UV & PV计算
背景前两天面试中遇到一个比较基础的计算UV & PV 的问题。思路比较简单，最重要的是 手写代码 ，平常我们都是在IDE 中编写代码，手写代码的时候大多是情况下都是使用IDE 的提示，遇到手写的时候，就算这种简单的代码也不一定写得出来。那天采取的一个思路是：先把思路写出来，然后，时间够再添代码进去。有时候确实一些函数拼不出来什么的，但是思路在，好过白卷。由上面的背景引出 使用Spar...
2019-03-16 23:46:17
3206
1
原创 Spark RDD
1.RDD 概述1.1 什么是 RDD ?RDD(Resilient Distributed Dataset) 叫着 弹性分布式数据集 ，是Spark 中最基本的抽象，它代表一个不可变、可分区、里面元素可以并行计算的集合。RDD 具有数据流模型特点：自动容错、位置感知性调度和可伸缩。RDD 允许用户在执行多个查询时，显示地将工作集缓存在内存中，后续的查询能够重用工作集，这将会极大的提升查询...
2019-03-13 17:44:02
289
原创 使用spark-submit 提交第一个 spark 应用到集群中 & 使用 spark-shell 接口 运行spark 程序
1 提交第一个spark 应用到集群中运行语法：./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value&a
2019-03-13 16:54:43
1002
原创 SQL盲注
前言在前段时间项目拿去做了一个入网安全测试,结果测出来例如SQL盲注,跨站点脚本攻击(XSS),跨站点伪造(CSRF) 等一系列问题. 今天先对解决SQL盲注 问题做一个小的总结.问题SQL盲注,相信大家都不会怎么陌生,如果没听说过得话,那么肯定听说过SQL注入. SQL盲注 是一种Web 系统的安全漏洞,属于比较严重的那种.SQL注入有很多种方式, 而SQL盲注就是SQL注入的其中一种方式.
2016-09-17 15:44:48
574
原创 XSS 小结
前言上一篇文章中写了关于项目中处理SQL盲注的安全漏洞.其中也提到了XSS. 这篇文章就来说一下XSS 是怎么来进行攻击的,如何对其进行防御.概览XSS攻击：跨站脚本攻击(Cross Site Scripting)，为不和层叠样式表(Cascading Style Sheets, CSS)的缩写混淆， 故将跨站脚本攻击缩写为XSS。XSS是一种经常出现在web应用中的计算机安全
2016-09-14 17:14:08
549
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人