- 博客(181)
- 收藏
- 关注
RSS订阅
原创 2019年科技发展预测：云、大数据、AI、物联网和区块链,看你学哪样？
2019年科技发展预测：云、大数据、AI、物联网和区块链《福布斯》撰稿人Steve Wilkes近日发文称， 2018年是商用科技快速发展的一年，现代数据管理成为了很多企业的重要目标，云服务的采用率也大幅增加，一些战略并购案例以及人工智能和其他新技术的兴起已经证明了这一点。那么2019年又会有怎样的发展呢?以下是一些预测：云服务企业将更多地使用云服务，企业数据中心将更快地转向云服务...
2019-02-28 13:43:10
4658
2
原创 【云计算／大数据／人工智能】都这么火了，我居然还不知道他们是啥？看完全明白了！
今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢？因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也会提云计算。所以说感觉他们又相辅相成不可分割，如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系，所以有必要解释一下。一、云计算最初是实现资源管理的灵活性我们首...
2018-11-30 22:02:55
6811
4
原创 java开发转型大数据开发之路（转岗必读）
众所周知，这两年IT行业最火的词是什么，毫无疑问是大数据。 我从16年的时候从java开发岗位学习之后转学习大数据然后跳槽，算是比较早学习大数据的一批了。所以经常有同学问我关于大数据如何自学，有什么高效的学习线路，从java转大数据，初期如何找工作，这里我就说一下我自己的情况，算不上什么经验之谈，如果你有这样的困惑，那可以花几分钟看看。本人去年一个普通本科毕业，计算机科学与技术专业，学校的...
2018-10-21 18:57:32
11082
7
原创 一篇文章读懂：什么是大数据？大数据发展前景？零基础如何去学习大数据？
学习大数据之前，我们首先要知道的就是：1.什么是大数据？2.大数据是做什么的？3.大数据就业领域，就业形势是怎么样的？4.等明确以上三点之后，就可以开始着手学习大数据要确定学习线路，零基础编程基础的小白怎么去学习？仔细阅读完本文，你需要花大概20分钟很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想...
2018-09-22 14:56:49
819
原创 大数据开发过程中的5个基本步骤
大数据的开发过程，如图1-1所示。图 1-1大数据开发通用步骤图上图只是一个简化后的步骤和流程，实际开发中，有的步骤可能不需要，有的还需要增加步骤，有的流程可能更复杂，因具体情况而定。下面以Google搜索引擎为例，来说明以上步骤。对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：45834578...
2019-05-03 21:43:12
8121
原创 年薪80万不一定当黑客，转型大数据开发是更好的选择！
在这个时代，你的工作会背叛你，你的行业会背叛你，你的专业会背叛你，唯一不能背叛你的，是你的认知和你的能力！最近热剧《都挺好》这部剧的确反响很大，很现实，剧中的苏明哲本身也是IT出身，他已经到了中年，应该都知道做IT这一块的到了30岁后的思想会慢慢的落后，他老婆吴非说：“作为一个程序员，你的年龄已经很大了，我问你，你学新东西有年轻人快吗？”，没错，吴非的这句话正戳中了所有35岁左右的程序员的痛点...
2019-05-02 09:21:39
474
原创 没有编程基础，该怎么学习大数据开发呢？学习线路是怎么样的？
大数据作为一个新兴的热门行业，吸引了很多人，但是对于大数据新手来说，按照什么路线去学习，才能够学习好大数据，实现从大数据菜鸟到高手的转变。这是很多想要学习大数据的朋友们想要了解的。今天我们就来和大家分享下大数据新手从0开始学习大数据，实现菜鸟到高手的转变的学习路线。希望能够帮助想要学习大数据的朋友。对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解...
2019-05-01 20:19:55
489
原创 在大数据里读懂京东，你东哥为啥要裁员降薪？
1、京东的赚钱公式京东是一家电商公司。电商公司的变现方式，主要还是靠电商销售产生利润。大致的赚钱思路：净利润=流量*转化率*客单价*毛利润率-管理成本这其中，流量是很重要的，就好比你开门做生意，有没有客人光临，是衡量生意有没有得做的重要指标。至于进店多少人购买了商品，商品的定价情况及利润情况，房租进货等管理成本等等，是店家可以不断优化和调整的。但是流量，关乎有没有人喜欢这家店...
2019-04-27 21:20:30
397
原创 请查收！你收到一份月薪30k的大数据开发修炼指南
经常有初学者问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么?是计算机专业，对操作系统、硬件、网络、服务器感兴趣?是软件专业，对软件开发、编程、写代码感兴趣?还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是想告...
2019-04-26 20:53:50
327
原创 Google工程师是怎么处理大规模数据的？
毫无疑问，Google是公认的大数据鼻祖。如今很多人提起大数据，还停留在Google 开启的“三驾马车”时代：Google FS、MapReduce、BigTable。其实，“三驾马车”早已不是浪潮之巅。近年来，大数据技术的发展，不论是技术迭代，还是生态圈的繁荣，都远超我们的想象。从 Spark 成为 Hadoop 生态的一部分，到 Flink 横空出世挑战 Spark 成为大数据处理领域的...
2019-04-25 11:18:55
203
原创 Kafka如何实现每秒上百万的超高并发写入？掌握好面试给你打满分！
这篇文章来聊一下 Kafka 的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。那么 Kafka 到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来详细说一下。页缓存技术 + 磁盘顺序写首先 Kafka 每次...
2019-04-24 14:14:32
482
原创 大数据入门到精通学习宝典
大数据处理技术怎么学习呢?在做大数据开发之前，因为Hadoop是高层次的语言开发，需要懂得Java或者Python，很快的就能上手。其实大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝...
2019-04-23 14:22:50
332
原创 学习大数据开发，这三个名词Hadoop，Spark，Kafka你都知道背后的故事吗？
Hadoop说起 hadoop ，可能现在许多人都不会陌生，但读就不一定读的对了。Hadoop的发音是 [hædu:p]。Hadoop这个名字是Hadoop项目创建者Doug Cutting 的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为 Hadoop 。这刚好满足Cutting 的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是 Hadoop 就...
2019-04-22 16:15:33
549
原创 什么是HBase ？所有的基础都在这儿了
2006 年10 月Google 发布三架马车之一的《Bigtable：A Distributed Storage System for Strctured Data》论文之后，Powerset 公司就宣布 HBase 在 Hadoop 项目中成立，作为子项目存在。后来，在2010 年左右逐渐成为 Apache 旗下的一个顶级项目。可能是实际应用中包装得太好，很多人对于 HBase 的认识止步于 ...
2019-04-19 21:06:55
182
原创 我是业务程序员，半年成功转型大数据开发
如果程序员只懂编程，其生存空间会越来越窄，发展也会处处受限。互联网公司，开发人员的日常工作任务，大致有如下几类：1. 产品人员需求（业务开发）；2. 运营人员需求（活动）；3. 以及技术团队自身技术更迭；从主动性来看，可能只有最后一种，是程序员自己真心喜欢的，其他的，都是被动接受。加上不懂业务的程序员，反抗精神不足，基本上产品和运营同学，提什么需求就做什么需求。我遇...
2019-04-18 15:23:58
391
原创 【大数据】什么是数据仓库？
阅读文本大概需要 3 分钟。数据库我们大家都知道，在平时的 Web 开发中用到的比较多。但是数据仓库是什么呢？他俩有啥区别呢？在开始之前先分享一个小故事：1.在很久很久以前，世界上生活着许多种族，有人类，有矮人，有精灵......他们有着不同的信仰，不同的文化，彼此相安无事。可是，有一个钢铁直男却偏偏想要统治整个世界。如何统治这么多不同文化信仰的种族呢？猥琐男想出一个馊主意，打造出...
2019-04-17 13:04:51
899
原创 大数据时代：数据告诉你，为何说起奥特曼，大家想到的都是迪迦！
于很多的小伙伴而言，日本真人特摄剧《奥特曼》系列是大家童年生活中记忆非常的深刻的存在吧！虽然从剧情的角度来说，奥特曼的剧情从现在来看确实是相当的幼稚，但是对于当时还是孩子的我们而言，这样充满了英雄主义的作品还是相当的带感而又热血的。小编依旧清晰的记得，当时年少的自己会在一放学之后就死死的守在电视机的面前等待着奥特曼的播放，在白日里上学的时候，与好友们谈论的也是奥特曼今天在剧情里做了什...
2019-04-15 14:49:28
484
原创 像数据科学家一样思考：12步指南（中）
7-工程产品下一步是建立统计软件。如果统计是分析和从数据中得出结论的框架，那么软件就是将这个框架付诸行动的工具。数据科学家必须为任何项目做出许多软件选择。如果你有一个喜欢的软件，这通常是一个不错的选择，但是有充分的理由去挑选别的东西。如果你是数据科学或统计软件的新手，或许很难找到一个起点。对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习...
2019-04-14 18:13:42
192
原创 2019年最全的大数据学习大纲总结，持续更新.....
一，题记要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI + Big Data + Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据Big Data这个方向。二，大数据里面的角色角色一：大数据工程大数据工程需要解决数据的定义、收集、计算与保存的工作，因此大数据工程师们在设计和部署这样的系统时首...
2019-04-13 17:08:34
319
原创 像数据科学家一样思考：12步指南（上）
介绍目前，数据科学家正在受到很多关注，因此，有关数据科学的书籍正在激增。我看过很多关于数据科学的书籍，在我看来他们中的大多数更关注工具和技术，而不是数据科学中细微问题的解决。直到我遇到BrianGodsey的“像数据科学家一样思考”，它讨论了哪些工具最有用以及为什么，但主要目标是在智能，高效和成功的情况下完成数据科学工程，以解决实际数据中心问题的解决方案。数据科学项目的生命周期在书...
2019-04-12 12:15:27
212
原创 大数据，物联网和人工智能的关系
自从计算机首次发明以来，人们一直在寻找“下一件大事”。现在，由于近一半的世界拥有的手机速度比最早的超级计算机快，因此很难跟踪我们应该注意的事项。虽然许多利用强大技术的发明几乎没有成为头条新闻（有人见过智能冰箱吗？），但是使它们成为可能的进步常常成为同样炒作的牺牲品。 大数据，人工智能和物联网是近期最广泛滥用的三个术语，许多人不知道这些技术是如何联系在一起的，或者它...
2019-04-12 12:11:11
2936
转载 大数据概念完全解读
在写这篇大数据文章之前，我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻，如果你问他大数据是什么，什么是大数据概念？估计很少能说出一二三来。究其原因，一是因为大家对大数据这类新技术有着相同的原始渴求，至少知其然在聊天时不会显得很“土鳖”；二是在工作和生活环境中真正能参与实践大数据的案例实在太少了，所以大家没有必要花时间去知其所以然。我希望有些不一样，所以对该如何去认...
2019-04-11 12:24:05
854
原创 女性入行大数据不比男性差，性别偏见不存在的
性别的差别虽然越来越少，但确实存在。如果说，“女性比男性更不在乎钻戒和婚纱”相信很多人都会不相信，毕竟在现实的生活中，此类刻板而根深蒂固的印象有很多。那么，对于大数据这个领域，女性入行能否打破传统的“束缚”呢？诸如“女司机都是马路杀手”、“技术人员大多都是男性”等话题，相信很多人都屡见不鲜，但实际上，通过数据显示，女司机的事故爆发率比男司机低的多，在技术领域，也并不都是男性，女性也有着自...
2019-04-10 21:14:20
438
原创 大数据分析必须用python吗？
被大数据分析算法刷屏的各种推荐，刷个抖音，被频繁的推荐可能认识的人，其中就包括分手一年多的前女友；淘宝闲逛，推送的都是你妈妈搜索过的中老年大码女装；微博浑水，你多看了两秒钟“十二星座理想中的另一半”，往下刷的微博几乎都是关于星座的....我们之所以会被各种的推荐“刷屏”，都是因为企业越来越重视用户体验的结果，这背后都依托于大数据分析作为技术支撑，从而提高了产品的用户粘性，而BAT更是把大数据技...
2019-04-10 21:11:55
594
原创 成为高级大数据工程师的必备技能详解
国际数据公司IDC预测，到2020年，企业基于大数据计算分析平台的支出将突破5000亿美元，大数据解决方案在未来四年中，帮助全球企业分享大约1.6万亿美元新增收入的数据红利。数联寻英近日发布的首份《大数据人才报告》显示，目前全国大数据人才只有46万，未来3到5年人才缺口达150万之多。根据麦肯锡报告，仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业...
2019-04-09 16:30:16
866
原创 初级大数据工程师薪资15K起，未来10年还会上涨吗？
大数据的未来发展如何？大数据人才的就业前景怎么样？薪资水平是什么样的？今天这篇报告详述了大数据就业的前景和薪资。1大数据的价值现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。阿里巴巴创办人马云在演讲中就多次提到，未来的时代将不是IT时代，而是DT的时代，DT就是数据科技(Data Technology)。...
2019-04-07 16:23:07
495
原创 【大数据技术分享】数据清理的终极指南
我花了几个月的时间分析来自传感器、调查及日志等相关数据。无论我用多少图表，设计多么复杂的算法，结果总是会与预期不同。更糟糕的是，当你向首席执行官展示你的新发现时，他/她总会发现缺陷，你的发现与他们的理解完全不符- 毕竟，他们是比你更了解领域的专家，而你只是数据工程师或开发人员。你为你的模型引入了大量脏数据，没有清理数据，你告诉你的公司用这些结果做事情，结果肯定是错的。数据不正确或不一致会导...
2019-04-04 10:57:53
927
原创 转行为什么选择大数据开发？
昨晚睡眼朦胧的小编拼命的想睁开小眼睛补补课，怎奈两眼皮太过亲热，痴迷于彼此的缠绵，不过坚强的意志力还是在不断促使小手顺势划着屏幕。无意间从眼睛的眯缝中看到“房价、万科”几个字，小编瞬间从床上弹坐起来。先说好，小编并不是要买房，而是被醒目的[“活下去”——万科是在真哭还是假哭？]和[“活下去”！中原地产：万科都喊了 我们降薪不丢人]的标题惊醒了。这几年炒的火热的房价是真降了，有人欢喜...
2019-04-03 15:23:39
427
原创 大数据开发和java开发有什么不同？
最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？什么不是大数据开发？仅使用数据库（关系型mysql，sqlserver，oracle等 非关系型 mongo redis等），尽管数据量达到千万级别，亿级别不是大数据开发。从业务系统的数据库中查询数据...
2019-04-02 18:27:05
2393
原创 阿里大数据技术如何进化？资深技术专家带你回顾
一、阿里云大数据计算服务概述阿里巴巴大数据计算服务MaxCompute的前身叫做ODPS，是阿里巴巴内部统一的大数据平台，其实从ODPS到MaxCompute的转变就是整个阿里巴巴大数据平台的演化过程。所以在本次会着重分享阿里巴巴大数据在过去七八年的时间所走过的路以及后续技术发展大方向。首先做一个基本的定位，大家可以看到下面这张图是一个航空母舰战队。如果把阿里巴巴整体数据体系比作这个战队，...
2019-04-01 15:20:45
253
原创 如何解决数据科学家、数据工程师和生产工程师的阻抗失配问题
构建一个可扩展、可靠和高性能的机器学习（ML）基础架构并不容易。这比用Python构建一个分析模型要花费更多的精力。Uber已经为许多生产中的用例运行了其可扩展和不依赖框架的机器学习平台Michelangelo，并写了一个很好的总结：Michelangelo建立初始，最紧急和影响最高的用例是一些非常高规模的问题，这导致我们围绕Apache Spark（用于大规模数据处理和模型训练）和J...
2019-03-31 22:26:09
277
原创 大数据开发的工具有哪些?
大数据开发的工具有哪些?作为一个大数据开发人员，每天要与使用大量的大数据工具来完成日常的工作，那么目前主流的大数据开发工具有哪些呢？加米谷大数据为大家介绍下大数据开发工具HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop是一个能够对大量数据进行...
2019-03-30 22:30:20
448
原创 大数据和人工智能的关系，超全解析
大数据拥抱云计算在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢？1数据不大也包含智慧一开始这个大数据并不大。原来才有多少数据？现在大家都去看电子书，上网看新闻了，在我们80后小时候，信息量没有那么大，也就看看书、看看报，一个星期的报纸加起来才有多少字？如果你不在一个大城市，一个普通的学校的图书馆加起来也没几个书架，是后来随着信息化的到来，信息才会越来...
2019-03-29 11:20:35
759
原创 2019年大数据发展现状详解，现在学习晚不晚!
大数据时代，大数据分析与应用大肆盛行。越来越多的大公司大企业大集团，都越来越重视大数据的影响和作用。可以说，谁想抢得大数据的一手可靠资料，谁就在未来的业务发展和拓宽中占据优势，谁就会在相关领域首先拔得头筹。但是，大数据发展前景现在到底如何，大数据的可靠性由谁说了算，大数据的真实性有谁可以保证？甚至还可以再倒退一点点来问问，如今的大数据究竟发展到了什么阶段？我想，应该很少人能够清楚地知道这一点吧...
2019-03-28 21:28:46
936
原创 【大数据学习】架构入门必看，分布式文件系统HDFS解读
在Hadoop生态系统中，Hadoop分布式文件系统(HDFS)是非常关键的一环，它为管理大数据资源池和支撑相关大数据分析应用提供了一个具有高可靠性的工具。在分布式存储领域，HDFS也扮演着重要角色，是作为系统架构师必须了解的分布式文件系统之一。 HDFS的工作原理 HDFS支持在计算节点之间快速传输数据。在开始阶段，它与MapReduce紧密耦合——MapReduce是一个用于大规模...
2019-03-27 14:38:25
187
原创 大数据开发和大数据分析有什么不同？
大数据分析工程师和大数据开发工程师分别能做什么？有没有具体的项目案例之类通俗解释开发和分析非要把他俩分开的话，一个是偏向于数据，一个偏向于工程。好比要炒个菜，工程师是烧火、垫勺的那个，偏向于工具的使用。分析师是放调理、掌握火候的那个，偏向菜怎么做好吃。数据影响生活数据越来越多的影响并塑造着那些我们每天都要交互的系统。不管是你使用Siri，google搜索，还是浏览faceb...
2019-03-26 12:41:35
997
原创 大数据入门学习必读好书推荐，请收藏！
身处于一个大数据时代，大数据无疑是近期最时髦的词汇了。不管是云计算、社交网络，还是物联网、移动互联网和智慧城市，都要与大数据搭上联系。随着云计算、移动互联网和物联网等新一代信息技术的创新和应用普及。学习大数据，除了网课，一些经典的技术书籍是非常实用且有帮助的。为了跟上技术更迭的节奏，不落人后，最好的方式是继续刷新自己的知识，同时保持上手的经验。在这行业中要取得成功，需要完美的项目经验和...
2019-03-25 12:34:11
225
原创 大数据在医疗行业中的5种应用
大数据正在改变全球绝大部分行业，医疗业也不例外。通过对医疗数据的分析，人类不但能够预测流行疾病的爆发趋势、避免感染、降低医疗成本等，还能让患者享受到更加便利的服务。医生往往都希望尽可能多地收集病人信息，尽早发现疾病，对于患者来说，不但降低了身体健康受损的风险，同时也能够减少医疗支出。下面我们来看一看数据分析在医疗行业应用的5个具体案例。1. 电子病历到目前为止，大数据最强大的应...
2019-03-24 21:41:41
804
原创 新手转行学大数据开发难吗？新手学需要注意的6个方面！
大数据的快速发展正在不断的影响着我们的时代，当然，也在影响着我们的生活。现如今，随着大数据时代的来临，很多从业者开始进入大数据领域，那么对于新手而言，学习大数据开发难吗？该注意哪些因素呢？对于大数据这个新兴的IT行业，其学习难度究竟有多大呢？是不是学习的周期会很长，新手很难学会呢？对于这些疑问，我们可以通过其他的一些数据来了解。我们以java学习为例，目前从事java开发工作的人，其中...
2019-03-22 11:41:47
585
原创 区块链与大数据的整合，未来必然趋势
大数据与区块链是当今最热门的两个话题，带动了一系列的投资热潮。不论是风投领域，还是传统的金融领域，只要有这两个关键词出现，往往能让企业获得特别的关注。这也说明了这两个词在当今社会的火爆程度。各个维度对 区块链 进行了详细阐述，那么大数据又是什么呢?现在很多人都认为，大数据的本质是「大」。也就是说，它的数据量必须非常的广泛和巨大，可能是海量级的。其实这并不准确。大数据所指的「大」其实更偏向于...
2019-03-21 21:03:36
509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人