CoderMeng 公众号-CSDN博客

原创 awk 常用技巧

“ awk 一般用于比较规范的文件处理，是 sed 命令的补充。”01—基本概念awk 脚本的流程控制，主要包含三部分，第 1, 3 部分可忽略。输入数据前 BEGIN{}，数据处理前做一些预处理工作。主循环 {}。所有文件读取完成 END {}。每行称作 awk 的记录，默认使用空格、制表符分开，每个分开的单词叫做字段。在 awk 中使用使用 $1 $2 ... $n 表示每一个字段（$0 表示整行）。可以用 -F 指定分隔符，分隔符也可以使用正则表达式。awk -F ',' '{print

2020-10-10 08:59:56 170

原创你所不知道的那些sed命令

sed 全名 stream editor，一般用于文本内容替换。本文介绍日常工作中常用到的 sed 命令，更加完整的说明可以点击文末阅读原文参考 sed 手册。

2020-10-10 08:44:15 332

翻译 JVM锁粗化和循环

“ 本文是按照自己的理解翻译自JVM Anatomy Quark #1: Lock Coarsening and Loops，点击文末阅读原文查看原文。”01—问题众所周知，在 Hotspot 虚拟机中会对加锁变量进行逃逸分析，并对锁进行粗化。它会将相邻的锁区块进行合并，来降低锁的开销。synchronized (obj) { // statements 1}synchronized (obj) { // statements 2}优化后：synchronized (obj) {

2020-10-06 10:10:09 214

原创【01】Unity

今天上午老师给我们讲了用C#对物体进行克隆，销毁下面是示例代码：先对GoCube进行克隆，然后再销毁public class Excer_01 : MonoBehaviour { public GameObject GoCube; // Use this for initialization void Start () { //克隆GoCube GameObject GOClon

2015-03-11 10:47:47 561

原创 Ubuntu下安装 JDK

一、下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html二、解压将下载下来的 .tar.gz 文件解压。使用如下命令解压： sudo tar zxvf ./jdk-7u45-linux-x64.tar.gz 为了方便管

2014-08-16 10:24:29 358

原创 Ubuntu 下启用root账号与修改密码

开启root帐号的方法：为了启用root 帐号（也就是设置一个口令）使用：sudo passwd root当你使用完毕后屏蔽root帐号使用：sudo passwd -l root这个将锁住root帐号。

2014-08-16 10:11:57 390

原创中缀表达式转后缀表达式

规则

2014-08-12 19:54:14 354

原创奇怪的比赛（递归解决）

某电视台举办了低碳生活大奖赛。题目的计分规则相当奇怪：每位选手需要回答10个问题（其编号为1到10），越后面越有难度。答对的，当前分数翻倍；答错了则扣掉与题号相同的分数（选手必须回答问题，不回答按错误处理）。每位选手都有一个起步的分数为10分。某获胜选手最终得分刚好是100分，如果不让你看比赛过程，你能推断出他（她）哪个题目答对了，哪个题目答错了吗？如果把答对的记为

2013-04-30 09:16:03 594

原创比酒量

有一群海盗（不多于20人），在船上比拼酒量。过程如下：打开一瓶酒，所有在场的人平分喝下，有几个人倒下了。再打开一瓶酒平分，又有倒下的，再次重复...... 直到开了第4瓶酒，坐着的已经所剩无几，海盗船长也在其中。当第4瓶酒平分喝下后，大家都倒下了。等船长醒来，发现海盗船搁浅了。他在航海日志中写到：“......昨天，我正好喝了一瓶.......奉劝大家，开船不喝酒，喝酒别开船......”

2013-04-26 21:21:06 547

原创古堡算式

福尔摩斯到某古堡探险，看到门上写着一个奇怪的算式：ABCDE * ? = EDCBA他对华生说：“ABCDE应该代表不同的数字，问号也代表某个数字！”华生：“我猜也是！”于是，两人沉默了好久，还是没有算出合适的结果来。请你利用计算机的优势，找到破解的答案。把 ABCDE 所代表的数字写出来。#include using namespace st

2013-04-26 20:55:55 910

原创迷宫问题用递归求全部解和用栈求一个解（C++）

SqStack.h文件#include #include #include #include using namespace std;templateclass SqStack{private: T *base,*top; int stacksize;public: SqStack(int k=1) { base = new T[k]; assert(base

2013-04-26 19:26:44 839

QT5 编程入门

本书详细介绍了最新版本的Qt5在QtCreator开发环境下进行图形用户界面应用程序开发的各个方面。全书分3部分共15章，涉及了从Qt4到Qt5移植、QtQuick2、Android和iOS移动平台开发等内容，解决了众多开发者从Qt4向Qt5的程序升级问题，同时包含对全新的QtQuick2和移动平台开发的介绍。

2017-11-13

Annotated Solution Guide for Thinking in Java 4th Edition pdf

the thinking in java annotated solution guide 4th edition pdf

2017-10-10

org.eclipse.jface.text_3.11.0.v20160505-1301.jar修改版

解决myeclipse/eclipse设置代码自动补全后空格、分号和等号自动上屏问题

2016-07-03

omnifocus 2 注册机分享

刚出来的omnifocus 2 for mac，软件在官网下载，这里是它的注册机。

2016-04-07

eclipse4.4.2 org.eclipse.jface.text_3.9.2.v20141003-1326.jar修改版

解决myeclipse/eclipse设置代码自动补全后空格和等号自动上屏问题，修改为tab键上屏。适用于eclipse4.4.2.

2016-04-06

Total Commander 8.52a Key

先关闭Total Commander应用，将下载的文件（wincmd.key）复制到Total Commander的安装文件夹下，重启Total Commander。注：此文件经用于个人学习研究用，禁止商业传播！有需要请购买正版支持原开发者。资源积分：1分

2015-12-29

totalcommander 8.52 注册

2015-12-29

MyEclipse 2015 Stable 2.0破解文件

此补丁仅适用于MyEclipse 2015 Stable 2.0，其他版本请绕行，内附破解步骤，新的算号器支持Bling版本

2015-09-25

程序员面试金典第5版

《程序员面试金典(第5版)》是原谷歌资深面试官的经验之作，层层紧扣程序员面试的每一个环节，全面而详尽地介绍了程序员应当如何应对面试，才能在面试中脱颖而出。第1～7章主要涉及面试流程解析、面试官的幕后决策及可能提出的问题、面试前的准备工作、对面试结果的处理等内容；第8～9章从数据结构、概念与算法、知识类问题和附加面试题4个方面，为读者呈现了出自微软、苹果、谷歌等多家知名公司的150道编程面试题，并针对每一道面试题目，分别给出了详细的解决方案。　　《程序员面试金典(第5版)》适合程序开发和设计人员阅读。

2015-08-20

Web前端黑客技术揭秘

Web前端黑客技术揭秘钟晨鸣完整版

2015-04-16

Visual C++数字图像模式识别技术详解第二版超清晰PDF 第二个包

作者：冯伟兴贺波王臣业本书主要内容分为12章，包括绪论、VisualC++数字图像处理基础、图像特征、统计模式识别、模式识别决策方法及实现，以及人脸检测与特征点定位、汽车牌照识别、脑部医学影像诊断、印刷体汉字识别、手写体数字识别、一维条形码识别、运动图像分析7个数字图像模式识别应用实例。系统地介绍了数字图像模式识别技术的基本概念和理论、基本方法和算法，并将图像模式识别的基础理论与VisualC++软件实践方法相结合。

2015-02-20

Visual C++数字图像模式识别技术详解第二版超清晰PDF 太大分2个包

2015-02-20

Win32 Programmers Reference Guide Big.rar

2015-02-06

小甲鱼reverseMe.exe第三课课件下载

密码 fishc [调试篇] 调试篇第三讲 OD使用教程3（课件实验程序）

2015-02-06

zend studio 12.0.1 crack&keygen

zend studio 12.0.1 的破解补丁和keygen，里面带有一个生成好的key 仅供测试研究使用，禁止用于非法用途，请支持正版~

2015-01-14

zend studio 12.0.1 破解&keygen

zend studio 12.0.1 的破解补丁和keygen，里面带有一个生成好的key 1、替换com.zend.verifier_12.0.1.v20141210-1054.jar 2、打开zend输入key 仅供测试研究使用，禁止用于非法用途，请支持正版~

2015-01-09

hadoop权威指南第三版(原版）

1. Meet Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 Data! 1 Data Storage and Analysis 3 Comparison with Other Systems 4 Rational Database Management System 4 Grid Computing 6 Volunteer Computing 8 A Brief History of Hadoop 9 Apache Hadoop and the Hadoop Ecosystem 12 Hadoop Releases 13 What’s Covered in This Book 15 Compatibility 15 2. MapReduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 A Weather Dataset 17 Data Format 17 Analyzing the Data with Unix Tools 19 Analyzing the Data with Hadoop 20 Map and Reduce 20 Java MapReduce 22 Scaling Out 30 Data Flow 30 Combiner Functions 33 Running a Distributed MapReduce Job 36 Hadoop Streaming 36 Ruby 36 Python 39 v Hadoop Pipes 40 Compiling and Running 41 3. The Hadoop Distributed Filesystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 The Design of HDFS 43 HDFS Concepts 45 Blocks 45 Namenodes and Datanodes 46 HDFS Federation 47 HDFS High-Availability 48 The Command-Line Interface 49 Basic Filesystem Operations 50 Hadoop Filesystems 52 Interfaces 53 The Java Interface 55 Reading Data from a Hadoop URL 55 Reading Data Using the FileSystem API 57 Writing Data 60 Directories 62 Querying the Filesystem 62 Deleting Data 67 Data Flow 67 Anatomy of a File Read 67 Anatomy of a File Write 70 Coherency Model 72 Data Ingest with Flume and Sqoop 74 Parallel Copying with distcp 75 Keeping an HDFS Cluster Balanced 76 Hadoop Archives 77 Using Hadoop Archives 77 Limitations 79 4. Hadoop I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 Data Integrity 81 Data Integrity in HDFS 81 LocalFileSystem 82 ChecksumFileSystem 83 Compression 83 Codecs 85 Compression and Input Splits 89 Using Compression in MapReduce 90 Serialization 93 The Writable Interface 94 vi | Table of Contents Writable Classes 96 Implementing a Custom Writable 103 Serialization Frameworks 108 Avro 110 Avro Data Types and Schemas 111 In-Memory Serialization and Deserialization 114 Avro Datafiles 117 Interoperability 118 Schema Resolution 121 Sort Order 123 Avro MapReduce 124 Sorting Using Avro MapReduce 128 Avro MapReduce in Other Languages 130 File-Based Data Structures 130 SequenceFile 130 MapFile 137 5. Developing a MapReduce Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 The Configuration API 144 Combining Resources 145 Variable Expansion 146 Setting Up the Development Environment 146 Managing Configuration 148 GenericOptionsParser, Tool, and ToolRunner 150 Writing a Unit Test with MRUnit 154 Mapper 154 Reducer 156 Running Locally on Test Data 157 Running a Job in a Local Job Runner 157 Testing the Driver 160 Running on a Cluster 161 Packaging a Job 162 Launching a Job 163 The MapReduce Web UI 165 Retrieving the Results 168 Debugging a Job 170 Hadoop Logs 175 Remote Debugging 177 Tuning a Job 178 Profiling Tasks 179 MapReduce Workflows 181 Decomposing a Problem into MapReduce Jobs 181 JobControl 183 Table of Contents | vii Apache Oozie 183 6. How MapReduce Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 Anatomy of a MapReduce Job Run 189 Classic MapReduce (MapReduce 1) 190 YARN (MapReduce 2) 196 Failures 202 Failures in Classic MapReduce 202 Failures in YARN 204 Job Scheduling 206 The Fair Scheduler 207 The Capacity Scheduler 207 Shuffle and Sort 208 The Map Side 208 The Reduce Side 210 Configuration Tuning 211 Task Execution 214 The Task Execution Environment 215 Speculative Execution 215 Output Committers 217 Task JVM Reuse 219 Skipping Bad Records 220 7. MapReduce Types and Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 MapReduce Types 223 The Default MapReduce Job 227 Input Formats 234 Input Splits and Records 234 Text Input 245 Binary Input 249 Multiple Inputs 250 Database Input (and Output) 251 Output Formats 251 Text Output 252 Binary Output 252 Multiple Outputs 253 Lazy Output 257 Database Output 258 8. MapReduce Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 Counters 259 Built-in Counters 259 User-Defined Java Counters 264 viii | Table of Contents User-Defined Streaming Counters 268 Sorting 268 Preparation 269 Partial Sort 270 Total Sort 274 Secondary Sort 277 Joins 283 Map-Side Joins 284 Reduce-Side Joins 285 Side Data Distribution 288 Using the Job Configuration 288 Distributed Cache 289 MapReduce Library Classes 295 9. Setting Up a Hadoop Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 Cluster Specification 297 Network Topology 299 Cluster Setup and Installation 301 Installing Java 302 Creating a Hadoop User 302 Installing Hadoop 302 Testing the Installation 303 SSH Configuration 303 Hadoop Configuration 304 Configuration Management 305 Environment Settings 307 Important Hadoop Daemon Properties 311 Hadoop Daemon Addresses and Ports 316 Other Hadoop Properties 317 User Account Creation 320 YARN Configuration 320 Important YARN Daemon Properties 321 YARN Daemon Addresses and Ports 324 Security 325 Kerberos and Hadoop 326 Delegation Tokens 328 Other Security Enhancements 329 Benchmarking a Hadoop Cluster 331 Hadoop Benchmarks 331 User Jobs 333 Hadoop in the Cloud 334 Apache Whirr 334 Table of Contents | ix 10. Administering Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 HDFS 339 Persistent Data Structures 339 Safe Mode 344 Audit Logging 346 Tools 347 Monitoring 351 Logging 352 Metrics 352 Java Management Extensions 355 Maintenance 358 Routine Administration Procedures 358 Commissioning and Decommissioning Nodes 359 Upgrades 362 11. Pig . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 Installing and Running Pig 368 Execution Types 368 Running Pig Programs 370 Grunt 370 Pig Latin Editors 371 An Example 371 Generating Examples 373 Comparison with Databases 374 Pig Latin 375 Structure 376 Statements 377 Expressions 381 Types 382 Schemas 384 Functions 388 Macros 390 User-Defined Functions 391 A Filter UDF 391 An Eval UDF 394 A Load UDF 396 Data Processing Operators 399 Loading and Storing Data 399 Filtering Data 400 Grouping and Joining Data 402 Sorting Data 407 Combining and Splitting Data 408 Pig in Practice 409 x | Table of Contents Parallelism 409 Parameter Substitution 410 12. Hive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413 Installing Hive 414 The Hive Shell 415 An Example 416 Running Hive 417 Configuring Hive 417 Hive Services 419 The Metastore 421 Comparison with Traditional Databases 423 Schema on Read Versus Schema on Write 423 Updates, Transactions, and Indexes 424 HiveQL 425 Data Types 426 Operators and Functions 428 Tables 429 Managed Tables and External Tables 429 Partitions and Buckets 431 Storage Formats 435 Importing Data 441 Altering Tables 443 Dropping Tables 443 Querying Data 444 Sorting and Aggregating 444 MapReduce Scripts 445 Joins 446 Subqueries 449 Views 450 User-Defined Functions 451 Writing a UDF 452 Writing a UDAF 454 13. HBase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 HBasics 459 Backdrop 460 Concepts 460 Whirlwind Tour of the Data Model 460 Implementation 461 Installation 464 Test Drive 465 Clients 467 Table of Contents | xi Java 467 Avro, REST, and Thrift 470 Example 472 Schemas 472 Loading Data 473 Web Queries 476 HBase Versus RDBMS 479 Successful Service 480 HBase 481 Use Case: HBase at Streamy.com 481 Praxis 483 Versions 483 HDFS 484 UI 485 Metrics 485 Schema Design 485 Counters

2014-08-13