- 博客(38)
- 收藏
- 关注
RSS订阅原创 时隔五年终于恢复了这个博客
自从“卖身”给了本厂之后，就一直没有更新过这个blog。回头看看上一篇文章还是5年前，那个时候自己还在对着hadoop大数据体系不断的折腾。五年过去了，自己也从大数据，迈向了云计算和AI的大潮中。最最近ChatGPT掀起来的浪潮，也最终"迫使"重拾“技术学习”的热情.所以赶紧重新折腾起这个博客，还好，这个域名还在，还不需要所有都重头开始。但没想到还没开头，就碰到了“难题”这个博客，整体方案是通过生成静态页面，并交由github托管，定义CNAME并将域名绑定到github.io。方案不再赘述，但由于过了这么
2023-04-08 17:07:30
447
原创 Win下访问安全集群的Web界面
请访问我的独立博客查看文章： http://blog.ywheel.cn/post/2018/03/21/access_hadoop_web_with_kerberos/本文将简单记录在windows环境下，安装kerberos、进行环境配置、认证后，成功访问安全的hadoop集群的web页面并验证访问权限。1. Install and Setup MIT Kerber...
2018-03-21 23:55:35
598
原创 多作业输出到同一组的多个目录的问题
多作业输出到同一组的多个目录的问题 请访问我的独立博客查看文章： http://blog.ywheel.cn/post/2018/02/13/multipleoutput/场景1：一个作业输出到多个目录RDDMultipleTextOutputFormat的实现在一个典型的MR或者Spark作业中，作业输出到HDFS时会是一个目录，目录下将会根据分区写出成多个文...
2018-02-13 10:31:46
1127
1
原创 Linux服务器监控的神器：Netdata
请访问我的独立博客查看文章： http://blog.ywheel.cn/post/2017/03/26/netdata/由于工作的关系，最近在思考如何做集群、服务器的监控。在网上东转转西转转，偶然发现了一个单机监控的2016新秀Netdata，眼前着实为之一亮。 令人印象非常之深刻的个主要特性：界面酷炫，实时监控零配置，即装即用官网地址在这里： https://my-netdata.io/
2017-03-27 01:12:46
24510
原创 Mac上搭建ELK
转载自我的个人博客：http://blog.ywheel.cn/post/2017/03/04/setup_elk_on_mac/ 最近的项目需要对文本数据各字段进行快速检索、组合查询、模糊查询，在架构选择上选择了Elasticsearch作为支撑这些功能的存储和搜索引擎。其他的不说了，刚好我的第一台mac到了，直接搞起。什么是ELK日志分析平台可以有多种技术架构的选型，但经过了多年的演变，现在比
2017-03-06 01:43:46
7675
3
原创 我的第一台mac
我的上一篇文章，还是去年7月份的了，中间隔了大半年。大半年来的忙碌工作，让这个博客就像一个烂尾楼，半死不活，仅靠着几篇文章苟活着。当然，懒也是逃不掉的一个原因。回想这半年多来的工作，在工作内容和职责上出现了一些转变，使得我自己写代码的时间变得越来越少。还记得最近一次写代码还是自己给自己分配的一个单元测试的代码样例，但也同样超出了时间预期，自己成为了整个团队中拖后腿的人。工作内容和职责的变化，也导致我
2017-03-06 01:37:53
730
原创 Oozie Ssh Action问题排查
最近在我们的其中一个现网环境中部署MR程序，MR程序的调度自然是用Oozie了。在Oozie的Workflow中，我们使用ssh action登录到一台节点上，并且在该节点上部署了脚本做数据库的建表操作。问题出在ssh action中，并且抛出了一个Cannot run program "scp": error=error=2, No such file or directory的错误
2016-07-17 10:24:02
8458
1
原创 Hive In Oozie Workflow
在公司搭建和维护大数据平台，并提供给其他数据分析人员使用，hive就是那些非程序员使用的最多（几乎是唯一）的一个服务。当然，在每天的数据处理中，我们为了简化编码工作量，以及使用到数据分析人员积累的成果，可以直接使用或简单修改他们提供的hql脚本进行数据处理，并且使用Oozie调度hive作业。在此介绍一下Hive action的编写，也记录一下曾经在这方面踩到的坑。
2016-06-12 00:37:54
7367
1
转载 grep命令的与或非
原文标题：7 Linux Grep OR, Grep AND, Grep NOT Operator Examples原文地址：http://www.thegeekstuff.com/2011/10/grep-or-and-not-operators/【Chinese follows English】Question: Can you explai
2015-03-17 00:37:15
2409
原创 LeetCode 119 Pascal's Triangle II
题：https://leetcode.com/problems/pascals-triangle-ii/Given an index k, return the kth row of the Pascal's triangle.For example, given k = 3,Return [1,3,3,1].Note:Could you optimiz
2015-03-17 00:16:20
496
原创 LeetCode 023 Merge K Sorted Lists
题：https://leetcode.com/problems/merge-k-sorted-lists/Merge k sorted linked lists and return it as one sorted list. Analyze and describe its complexity.解法一：将K个链表做K-1次归并，每次归并是对两个链表的归并，最终得到一个
2015-03-12 02:52:05
414
原创 LeetCode 021 Merge Two Sorted Lists
题：https://leetcode.com/problems/merge-two-sorted-lists/Merge two sorted linked lists and return it as a new list. The new list should be made by splicing together the nodes of the first two li
2015-03-12 01:43:50
342
原创 LeetCode 088 Merge Sorted Array
题：https://leetcode.com/problems/merge-sorted-array/Given two sorted integer arrays A and B, merge B into A as one sorted array.Note:You may assume that A has enough space (size that is
2015-03-12 00:36:28
369
原创 LeetCode 147 Insertion Sort List
题：https://leetcode.com/problems/insertion-sort-list/Sort a linked list using insertion sort./** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode
2015-03-12 00:16:05
339
转载 LeetCode 题目总结/分类
转载自豆瓣： http://www.douban.com/note/330562764/，的确需要有一个分类列表在指导自己在准备时间不够充分的情况下接触到更多考点的题欢迎参考我的leetcode代码利用堆栈：http://oj.leetcode.com/problems/evaluate-reverse-polish-notation/http://oj.leetcod
2015-03-11 01:36:02
772
转载 LeetCode主题整理(4)链表及相关问题
转载自：http://blog.csdn.net/feliciafay/article/details/18944093Topic 1 反转链表Reverse Linked List II在第m~n个节点中反转单链表，注意这道题可以把代码写得很长，如果分为区间一[0,m-1],区间二[m-n],区间三[n+1,end]这三个区间的话。也可以写得很短，如果仔细观察发现
2015-03-11 01:32:34
430
原创 LeetCode 066 Plus one
题目：https://leetcode.com/problems/plus-one/Given a non-negative number represented as an array of digits, plus one to the number.The digits are stored such that the most significant digit
2015-03-11 01:26:50
374
原创 LeetCode 33 Search in Rotated Sorted Array 二叉查找（三）
题目：https://leetcode.com/problems/search-in-rotated-sorted-array/Suppose a sorted array is rotated at some pivot unknown to you beforehand.(i.e., 0 1 2 4 5 6 7 might become 4 5 6 7 0 1
2015-03-10 01:45:13
543
原创 LeetCode 34 Search For A Range 二叉查找相关（二）
题目：https://leetcode.com/problems/search-for-a-range/Given a sorted array of integers, find the starting and ending position of a given target value.Your algorithm's runtime complexity must
2015-03-10 00:07:43
424
原创 LeetCode 35 Search Insert Position 二叉查找相关（一）
题目：https://leetcode.com/problems/search-insert-position/Given a sorted array and a target value, return the index if the target is found. If not, return the index where it would be if it were
2015-03-09 23:41:02
298
原创 LeetCode 22 Generate Parentheses
连续两次随机到关于括号的题了，跟括号真有缘。。。好了，别的不多说，上代码：package ywheel.leetcode._22_generate_parentheses;import java.util.ArrayList;import java.util.List;/** * Given n pairs of parentheses, write a function to
2015-03-08 23:55:23
325
原创 LeetCode 32 Longest Valid Parentheses
题目大意是给定一个只有左右括号组成的字符串，求最长的valid字串长度，比如“()”的最长valid字串长度为2，“)()())”的最长valid字串为"()()"，则长度为4.拿到这个题目第一反应就是用Stack，但是Stack里面装什么呢？如何表示Valid最大长度？后来想到是否能够把还没匹配好的括号的index放到stack中，如果有匹配的就pop，没有就push。当pop的时候
2015-03-08 22:20:28
357
原创 LeetCode 75 Sort Colors
public class Solution { public void sortColors(int[] A) { if (A == null || A.length == 0) return; int zero = 0; int two = A.length - 1; int i = 0; whil
2015-03-07 17:15:28
334
原创 LeetCode 129 Sum Root to Leaf Numbers
/** * Definition for binary tree * public class TreeNode { * int val; * TreeNode left; * TreeNode right; * TreeNode(int x) { val = x; } * } */public class Solution { publi
2015-03-07 16:33:49
294
原创 LeetCode 003 Longest Substring Without Repeating Characters
package ywheel.leetcode._003_longest_substring_without_repeating_characters;/** * Given a string, find the length of the longest substring without repeating * characters. For example, the longest
2015-02-15 00:34:08
340
转载 从零开始学习jQuery (六) jQuery中的Ajax
节选转载自http://www.cnblogs.com/engine1984/archive/2012/02/28/2371782.htmljQuery Ajax详解jQuery提供了几个用于发送Ajax请求的函数. 其中最核心也是最复杂的是jQuery.ajax( options ),所有的其他Ajax函数都是它的一个简化调用. 当我们想要完全控制Ajax时可以使
2015-02-14 22:43:56
392
转载 从零开始学习jQuery (四) 使用jQuery操作元素的属性与样式
节选转载自http://www.cnblogs.com/engine1984/archive/2012/02/28/2371488.html区分DOM属性和元素属性一个img标签:img src="images/image.1.jpg" id="hibiscus" alt="Hibiscus" class="classA" />通常开发人员习惯将id, src,
2015-02-14 22:38:18
426
转载 从零开始学习jQuery (二) 万能的选择器
转载自 http://www.cnblogs.com/engine1984/archive/2012/02/28/2371214.html秋出品!博客园首发! 一.摘要本章讲解jQuery最重要的选择器部分的知识. 有了jQuery的选择器我们几乎可以获取页面上任意的一个或一组对象, 可以明显减轻开发人员的工作量. 二.前言编写任何javascr
2015-02-14 22:28:38
593
转载 从零开始学习jQuery (一) 开天辟地入门篇
节选转载自http://www.cnblogs.com/engine1984/archive/2012/02/28/2371105.html秋出品!博客园首发!什么是jQueryjQuery是一套Javascript脚本库. 在我的博客中可以找到"Javascript轻量级脚本库"系列文章. Javascript脚本库类似于.NET的类库, 我们将一些工具
2015-02-14 22:25:00
457
原创 求两个文本文件中的交叉项
题：解：awk 'BEGIN{FS=","}{if(NF==1){a[$1]++;}else if(a[$1]){printf"%s\n",$0}}' file1.txt file2.txt > file3.txtawk一个好处就是多长的句子都能写在一行里。。。
2015-02-14 22:17:17
456
转载 VBox Command
Controlling the VirtualBox VMNowthat we have VirtualBox installed and a VM guest created we need to control andmodify the VMHow to List VM informationHow to show the VirtualBox VM info
2015-02-14 16:55:23
428
原创 LeetCode 002 AddTwoNumbers
package ywheel.leetcode._002_add_two_numbers;/** * You are given two linked lists representing two non-negative numbers. The * digits are stored in reverse order and each of their nodes contain a
2015-02-14 16:52:00
385
原创 LeetCode 001 TwoSum
package ywheel.leetcode._001_two_sum;import java.util.Arrays;import java.util.Comparator;/** * Given an array of integers, find two numbers such that they add up to a * specific target number.
2015-02-14 01:10:00
392
原创 VIM操作
一、多窗口操作1.打开窗口：:new windowname(filename if saved):split windowname | :sp windowname:vsplit windowname | :vsp windowname2.关闭多窗口q!, close，最后一个窗口不能使用close关闭。使用close只是暂时关闭窗口，其内容还在缓存中，只有使用q
2013-09-08 00:36:27
489
原创 计算广告学--笔记（3）
内容来自师徒网：刘鹏--计算广告学合约广告系统简介Agreement based Advertising，能够解决什么问题?传统媒体--直接媒体购买-供给方：广告排期系统-帮助媒体自动执行多个合同的排期-不提供受众定向，可以将广告素材直接插入页面。 比如都是静态数据，可以直接放在CDN， latency就短。-需求方：代理商-帮助广告商策划和执行排期
2013-09-01 22:54:31
842
原创 计算广告学--笔记（2）
常用广告系统开源工具 ---内容来自师徒网， 计算广告学 刘鹏使用开源工具搭建广告系统Hadoop-----大数据处理的平台-HDFS-MapReduce离线处理工具：HBase， Hadoop上的列存储数据库。类似的有：BigTable； HypeTable（C语言写的，效率相对高一点）；Cassandra(Facebook, 不过好像他自己也不用了)； mahou
2013-09-01 21:55:53
593
原创 计算广告学--笔记（1）
内容来自师徒网：刘鹏--计算广告学计算广告核心问题和挑战广告中的计算问题：Find the best match between a given user u, in a given context c, and s suitable ad a.从优化角度来看-特征提取：受众定向. 把u和c打上标签的过程-微观优化：CTR预测. 投是按照ecpm来投-宏观优
2013-08-23 23:38:57
999
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人