写代码,是犯罪. 找bug,是破案- -..

原创 【教程资源分享】PYTHON3.8 入门 + 精通! 百度网盘分享！

Python在近几年越来越受追捧，很多童鞋或者职场小伙伴想要提升技能-学习Python。这是非常好的事情，但问题在于很多人不知道学Python做什么，所以什么零碎细末、艰难晦涩、长篇大论的都去看，很容易陷入学不下去的困境。必须要有针对性、选择性地学！针对性学习宗旨是按需去学，学以致用。这里有一份Python3.8教程，个人感觉主要还是偏基础，包括数据类型和结构、变量、函数、逻辑语句（判断、循环）、匿名函数、错误处理、遍历和迭代、进程和线程、库的使用。学习这些东西并不需要购买书籍，能省则省。这里就有一份

原创 【教程资源分享】PYTHON3.8 入门 + 精通! 百度网盘分享！

Python在近几年越来越受追捧，很多童鞋或者职场小伙伴想要提升技能-学习Python。这是非常好的事情，但问题在于很多人不知道学Python做什么，所以什么零碎细末、艰难晦涩、长篇大论的都去看，很容易陷入学不下去的困境。必须要有针对性、选择性地学！针对性学习宗旨是按需去学，学以致用。这里有一份Python3.8教程，个人感觉主要还是偏基础，包括数据类型和结构、变量、函数、逻辑语句（判断、循环）、匿名函数、错误处理、遍历和迭代、进程和线程、库的使用。学习这些东西并不需要购买书籍，能省则省。这里就有一份

转载 shell遍历mysql的方式

转：https://www.wangt.cc/2017/08/shell-%E9%81%8D%E5%8E%86mysql%E6%9F%A5%E8%AF%A2%E7%BB%93%E6%9E%9C-%E5%9B%9B%E7%A7%8D%E6%96%B9%E5%BC%8F/# 定义数据库连接信息HOST_NAME=localhostDB_NAME=simaUSER_NAME=sudaPASSWD='111111'# -s 去掉表头MYSQL_ETL="mysql-h $HOST_NAME -P..

转载 Spark UDAF实现举例 — average pooling

目录1.UDAF定义 2.向量平均(average pooling) 2.1 average的并行化 2.2 代码实现 2.3 使用 参考 转：https://www.wangt.cc/2020/12/spark-udaf%E5%AE%9E%E7%8E%B0%E4%B8%BE%E4%BE%8B-average-pooling/1.UDAF定义spark中的UDF(UserDefinedFunction)大家都不会陌生, UDF其实就是将一个普通的函数, 包装为可以按行操作...

转载 基于Huggingface使用BERT进行文本分类的fine-tuning

随着BERT大火之后，很多BERT的变种，这里借用Huggingface工具来简单实现一个文本分类，从而进一步通过Huggingface来认识BERT的工程上的实现方法。1、loaddatatrain_df = pd.read_csv('../data/train.tsv',delimiter='t',names=['text','label']) print(train_df.shape) train_df.head() sentences = list(train_...

原创 如何进BAT，有了这个篇面试秘籍，成功率高达80%!!(附资料)

多年前自己刚来北京找工作的时候，面了一个星期 面了七八家公司才拿到一个offer。而上次跳槽面了不到10家公司基本全过而且都给到了期望的薪资，本来自己在面试前没想到能够这么顺利，回想起来还是自己准备的方法比较得当!先说前提此方法适用于培训机构，专科，普通本科毕业的同学，工作经验在1到5年之间。(985，211大学的同学或者研究生，技术大拿可以不用往下看了，因为他们本身的面试通过率就很高。...

原创 大话Spark(4)-一文理解MapReduce Shuffle和Spark Shuffle

Shuffle本意是混洗, 洗牌的意思, 在MapReduce过程中需要各节点上同一类数据汇集到某一节点进行计算,把这些分布在不同节点的数据按照一定的规则聚集到一起的过程成为Shuffle.在Hadoop的MapReduce框架中, Shuffle是连接Map和Reduce之间的桥梁, Map的数据要用到Reduce中必须经过Shuffle这个环节. 由于Shuffle涉及到磁盘的读写和网络的...

原创 ​​​​​​​大话Spark(3)-一图深入理解WordCount程序在Spark中的执行过程

本文以WordCount为例, 画图说明spark程序的执行过程WordCount就是统计一段数据中每个单词出现的次数,例如hello spark hello you这段文本中hello出现2次,spark出现1次,you出现1次.先上完整代码:object WordCount { def main(args: Array[String]) { val conf = ...

原创 大话Spark(2)-Spark on Yarn运行模式

Spark On Yarn 有两种运行模式:Yarn - Cluster Yarn - Client他们的主要区别是:Cluster:Spark的Driver在App Master主进程内运行, 该进程由集群上的YARN管理, 客户端可以在启动App Master后退出.Client:Driver在提交作业的Client中运行, App Master仅用于从YARN请求资源.这里...

原创 大话Spark(1)-Spark概述与核心概念

说到Spark就不得不提MapReduce/Hadoop, 当前越来越多的公司已经把大数据计算引擎从MapReduce升级到了Spark. 至于原因当然是MapReduce的一些局限性了, 我们一起先来看下Mapreduce的局限性和Spark如何做的改进.Spark概述MapReduce局限性1 仅支持Map和Reduce两种操作2 处理效率极低Map中间结果写磁盘，Red...

原创 详细讲解MapReduce二次排序过程

我在15年处理大数据的时候还都是使用MapReduce, 随着时间的推移, 计算工具的发展, 内存越来越便宜, 计算方式也有了极大的改变. 到现在再做大数据开发的好多同学都是直接使用spark, hive等工具, 很少有再写MapReduce的了.这里整理一下MapReduce中经常用到的二次排序的方法, 全当复习.##简介二次排序(secondary sort)问题是指在Reduce阶段对...

原创 mysql索引设计的注意事项(大量示例,收藏再看)

目录一、索引的重要性 二、执行计划上的重要关注点 (1).全表扫描,检索行数 (2).key,using index(覆盖索引) (3).通过key_len确定究竟使用了复合索引的几个索引字段 (4) order by和Using filesort 三、索引设计的注意事项 (1). 关于INNODB表PRIMARY KEY的建议 (2). 什么列上适合建索引,什么列上不适...

原创 重构，开启系统优化的钥匙

代码重构会不会太low?说到重构，其实可能每个人心中的理解都不太一样。单纯意义上来说，重构是对代码的再调整，在不改变业务逻辑的前提下，降低代码的长度、圈复杂度、重复度，提高其可读性、可维护性和可扩展性。简单来说，就是把代码整的规整干净，逻辑清晰，层次分明。然而，这往往不是产品线希望得到的答案，不同的产品线在和我们接触的初期，都会很明确的说，我的系统需要重构。但当我们介绍完什么是重构，如...

原创 JDK10源码阅读--String

dk源码里对String的介绍:String 是不可变的,一旦被创建其值不能被改变. String buffers 支持可变String. 因为String是不可变的, 所以它们可以被共享.例如: String str = "abc";等价于char data[] = {'a', 'b', 'c'};String str = new String(data);源码中提供的其...

原创 [java大数据面试] 2018年4月百度面试经过+三面算法题:给定一个数组,求和为定值的所有组合.

给定一个数组,求和为定值的所有组合, 这道算法题在leetcode应该算是中等偏下难度, 对三到五年工作经验主要做业务开发的同学来说, 一般较难的也就是这种程度了.简述经过:不算hr面,总计四面,第一天前三面, 然后过了一个多星期第四面(领导一般都比较忙~)平均每一面都是一小时,面完前三面已经很辛苦了. 我之前去美团面试从一面到hr面,总计四面 面了一下午将近四个小时...还不包括来回...

原创 python scrapy爬取知乎问题和收藏夹下所有答案的内容和图片

上文介绍了爬取知乎问题信息的整个过程,这里介绍下爬取问题下所有答案的内容和图片,大致过程相同,部分核心代码不同.爬取一个问题的所有内容流程大致如下:一个问题url 请求url,获取问题下的答案个数(我不需要,因为之前获取问题信息的时候保存了问题的回答个数) 通过答案的接口去获取答案(如果一次获取5个答案,总计100个答案,需要计算的出访问20次答案接口)[答案的接口地址如下图所示] ...

原创 python scrapy框架爬取知乎提问信息

前文介绍了python的scrapy爬虫框架和登录知乎的方法.这里介绍如何爬取知乎的问题信息,并保存到mysql数据库中.首先,看一下我要爬取哪些内容:如下图所示,我要爬取一个问题的6个信息:问题的id(question_id) 标题(title) 问题描述(intro) 回答个数(answer_num) 关注人数(attention_uv) 浏览次数(read_pv) ...

原创 [java基础]一文理解java多线程必备的sychronized关键字，从此不再混淆！

java并发编程中最长用到的关键字就是synchronized了,这里讲解一下这个关键字的用法和容易混淆的地方.synchronized关键字涉及到锁的概念, 在java中,synchronized锁大家又通俗的称为:方法锁,对象锁 和 类锁 三种.先上结论!1 无论是修饰方法还是修饰代码块都是 对象锁,当一个线程访问一个带synchronized方法时，由于对象锁的存在，所有加synch...

原创 python scrapy 登录知乎过程

前面了解了scrapy框架的大概各个组件的作用,现在要爬取知乎数据,那么第一步就是要登录!看下知乎的登录页面发现登录主要是两大接口一: 登录页面地址,获取登录需要的验证码,如下图打开知乎登录页面,需要输入用户名和密码, 还有一个验证码,看chrome 调试工具发现验证码是这个地址返回的: https://www.zhihu.com/api/v3/oauth/captcha?la...

原创 python scrapy爬虫框架概念介绍(个人理解总结为一张图)

python的scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架 python和scrapy的安装就不介绍了,资料很多这里我个人总结一下,能更加快理解scrapy和快速上手一个简单的爬虫程序 首先开始一个scrapy项目用命令: scrapy startproject 项目名创建出来的文件如下图:红框是我的命令,蓝框是scrapy自动创建的文件其...

转载 【干货】一文理解Druid原理架构（时序数据库，不是ali的数据库连接池）

Druid.io（以下简称Druid）是2013年底开源出来的， 主要解决的是对实时数据以及较近时间的历史数据的多维查询提供高并发(多用户)，低延时，高可靠性的问题。Druid简介：Druid是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层，一个分布式、shared-nothing的架构，和一个高级的索引结构，来达成在秒级以内对十亿行级别的表进行任...

原创 淘宝tsar 安装使用教程 nginx配置

在github上有3块tsar代码，分别为：1 tsar 项目，  tsar项目 https://github.com/alibaba/tsar2 tsar 添加自定义nginx监控模块  tsar_nginx_mod https://github.com/taobao/tsar-mod_nginx3 tsar结果导出到mysql  tsar2db https://gith

原创 linux 安装redis 部署 启动 停止

http://wlheihei.com/view/58

转载 centos6 yum 安装nginx 不成功解决办法

http://wlheihei.com/view/64

转载 linux 上 crontab 使用教程

http://wlheihei.com/view/68

原创 新bolg地址 http://www.wangt.cc/

我的新博客地址

转载 Spring 的启动过程

首先，对于一个web应用，其部署在web容器中，web容器提供其一个全局的上下文环境，这个上下文就是ServletContext，其为后面的spring IoC容器提供宿主环境； 其次，在web.xml中会提供有contextLoaderListener。在web容器启动时，会触发容器初始化事件，此时contextLoaderListener会监听到这个事件，其contextIniti

原创 git@oschina 上的web项目基础框架

#webbase ## 说明 ### 项目功能一般hr,erp,财务,进销存... 等一系列业务系统都需要有的共通的功能,例如:* 员工管理* 组织机构管理* 流程申请* 申请汇总* excel导出等. 本项目包括以上功能,可在此基础上继续开发.###使用技术* springmvc* mybatis* shiro* bootstrap

原创 Spring SpringMvc 3.0 + MyBatis 整合--补充关于.properties文件的读取

Spring SpringMvc + Mybatis 整合上篇文章中关于.propertis文件的每条记录在xml文件里面配置,如下图  新方法: 项目启动时候自动扫描.propertis里面的每条内容到map中. 配置文件: /WEB-INF/config/config.properties /WEB-INF/config/sy

转载 linux 版本分类

Linux最早由Linus Benedict Torvalds在1991年开始编写。在这之前，Richard Stallman创建了Free Software Foundation（FSF）组织以及GNU项目，并不断的编写创建GNU程序（此类程序的许可方式均为GPL: General Public License）。在不断的有杰出的程序员和开发者加入到GNU组织中后，便造就了今天我们所看到的Lin

原创 dwr 3.0 配置 + 不同参数，不同返回值调用方法 示例

配置方法：1 官网 dwr.jar包2 web.xml org.directwebremoting.servlet.DwrListener dwr-invoker org.directwebremoting.servlet.DwrServlet debug true 3 dw

原创 tomcat 添加到windows 服务

安装测试进入D:/ProgramFiles/Tomcat6/bin目录:双击运行:startup.bat待启动完成后,在浏览器中输入:http://localhost:8080如果出来tomcat首页,表示安装成功.3.关闭服务先关闭刚才启动的Tomcat,可以在刚才打开的面板中按Ctrl + C 结束运行.4.修改startup.bat在第一行前加入如下内容:

转载 中国特色程序员的[钱途]

今天在微博看到一篇文章，程序员转型书商 年交易额千万元，作为一个合格的中国特色的码农，忍不住想写点儿什么。程序员的「钱途」在那里？从出版业说起网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。许

原创 Mybatis ＜collection＞ 标签使用。

select name name, ht_authority_id htAuthorityId, (select ${uid} from dual ) currentUserId from ht_authority where pid = 0

原创 Spring 拦截器的使用 例子

在applicationContext.xml 中配置如下：（此配置拦截 /dynamic/dynamic.do中  action 以 checklogin  字符串结尾的请求） 

原创 Spring SpringMvc 3.0 + MyBatis 整合

一、使用的jar包就不详细讲解了，下载了Mybatis 和 Spring 的jar包基本上都添加上去了、一图概括：（这是我使用的ar包，有些不是Mybatis 和 Spring 的 ）  二、 web.xml配置文件<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.

转载 mysql 时间和日期函数

对于每个类型拥有的值范围以及并且指定日期何时间值的有效格式的描述见7.3.6 日期和时间类型。  这里是一个使用日期函数的例子。下面的查询选择了所有记录，其date_col的值是在最后30天以内：  mysql> SELECT something FROM table  WHERE TO_DAYS(NOW()) - TO_DAYS(date_col) DAYOFWEEK

转载 javascript 闭包 简单明了教程例子

闭包（closure）是Javascript语言的一个难点，也是它的特色，很多高级应用都要依靠闭包实现。下面就是我的学习笔记，对于Javascript初学者应该是很有用的。一、变量的作用域要理解闭包，首先必须理解Javascript特殊的变量作用域。变量的作用域无非就是两种：全局变量和局部变量。Javascript语言的特殊之处，就在于函数内部可以直接读取全局变量。　　va

转载 notepad++ 快捷键

Notepad++ 快捷键 大全Ctrl+C 复制Ctrl+X 剪切Ctrl+V 粘贴Ctrl+Z 撤消Ctrl+Y 恢复Ctrl+A 全选Ctrl+F 键查找对话框启动Ctrl+H 查找/替换对话框Ctrl+D 复制并粘贴当行Ctrl+L 删除当前行Ctrl+T 当行向上移动一行F3 查找下一个Shift+F3 查找上一个Ctrl+

原创 对Java学习的认知