- 博客(164)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 150、机器阅读理解dureader-bert
机器阅读理解很有可能成为人机问答中的主力技术，目前FAQ大多使用的是语义匹配模型，该模型需要进行很多的人工标注，成本较高。与语义匹配模型相比，机器阅读理解可以减少人工标注的数量，降低成本。同时可以对未知问题自动寻找QA对。减少人工寻找答案的困难。本文的机器阅读理解模型主要包含以下5个步骤：1、根据F1-score寻找相关段落：通过计算query和候选段落的F1-score的匹配程度。在一篇文档中找出最相关的三个段落。2、根据F1-score寻找答案模块：根据F1-score在最相关的三个
2021-12-23 15:35:32
1161
原创 149、disruptor精通篇
Disruptor为什么这么快Disruptor不使用锁，通过内存屏障和原子性的CAS操作替换锁锁机制： 悲观锁：读写的时候都严格加锁，高并发下锁竞争问题严重，性能低下。 乐观锁：读的时候不加锁、写的时候才加锁；性能有所提高，但是会引起读写不一致的问题。缓存基于数组而不是链表，用位运算替代求模。缓存的长度总是2的N次方，这样可以用位运算i&(length-1) 替代i%length去伪共享，CPU的缓存一般是以缓存行为最小单位的，对应主存的一块相应大小的单元；当前...
2020-12-25 16:14:20
424
原创 148、JAVA并发编程讲解2
1、ReentranLock的构造函数可以传入一个boolean参数，用来指定公平/非公平模式，默认是false非公平的。非公平的效率更高。2、Lock的其他方法 tryLock() 尝试获得锁，返回true/false tryLock(timeout,unit) 在给定的时间内尝试获得锁 isFair() 是否为公平锁 isLocked() 当前线程是否持有锁 lock.getHoldCount() 持有锁的数量，只能...
2020-12-10 11:00:49
314
原创 147、java并发编程粗略讲解
最近博主学习了一下java并发编程的相关课程，在这里跟各位童鞋粗略地分享一下java并发编程的底层逻辑。谈到并发，博主在刚刚毕业的时候，做过一个用spring executor service 结合java mail service异步发送邮件的一个需求，一个邮件模板要发送给N个人。但是发邮件需要调用stmp服务器，就导致这中间的过程比较缓慢。为了用户体验友好，就将这个操作做成了多线程异步去处理。这里想说并发的场景是在多个线程去访问一个资源的时候，会出现并发的问题。为了处理并发情况下，多
2020-12-07 15:01:09
195
原创 146、爬取某博某条热搜的详细数据。
今天是20201101。博主表示在今天第一次真正的用上了5G信号，好开心。移动的5G信号真的爽。随时随地起飞。这周周二的时候，有个小姐姐来找我帮忙爬取一些微博的数据。作为一个程序员大哥，而且是大哥，辛亏不是大叔。这件小事肯定是当仁不让的呀。虽然没有什么把握，但是这么厉害的小姐姐怎么说也要答应呀。回家后，调研了半天，制定了如下的方案1、上网百度，百度上面和csdn上面的大佬都说要模拟微博登录，但是博主按照上面的方式去搞，怎么都登录不了，一直返回system error 。看样是接口调通
2020-11-01 12:05:20
1065
原创 145、disruptor无锁消息队列
disruptor无锁消息队列，使用ringbuffer来实现无锁消息队列正常多线程访问访问同一个资源的时候是需要进行加锁的，如synchronized方法。但是使用synchronized方法的时候会使cpu进行等待，在高并发的情况下会消耗大量的cpu资源。为了解决这个问题，使用无锁消息队列+共享指针的方式。解决了多线程访问同一个资源的加锁问题和多线程之间复制数据导致效率低下的问题（共享指针）上图为ringbuffer的数据结构，底层的数据结构为数组结构，在..
2020-10-26 11:57:48
471
原创 144、React实现电影列表页面
1、首先来看React实现电影列表的效果图是什么样子的2、下一步来看一下项目的结构如何:根目录下面有src文件夹src文件夹下components文件夹存放React组件的代码文件css 文件夹下面存放样式表还有App.jsx 为主组件，所以需要放在最外层index.html 为html页面，为的是引入main.js文件，main.js 文件为了使用主组件App.jsx，React项目js的入口文件...
2020-07-05 18:12:18
1139
1
原创 122、Flutter 实现类似网易新闻的客户端APP（视屏列表页面的抽象及优化）
这一篇来讲解一下视频列表页面的优化，与上一篇的区别主要是进行的代码的抽象，对可复用部分使用tabCommon类进行了封装。将主页中的SmallVideoPage.dart页面替换成VideoTabPage2这个界面，因为视频页面也有一级菜单和二级菜单。这里的TabCommon就是为了多级菜单抽象出来的抽象工具类。VideoTabPage2 是bottomTabBar里面对应的...
2020-03-16 00:45:19
983
原创 121、Flutter 实现类似网页新闻的客户端APP （视频列表页面）
继上一章讲到如何构建首页多顶部tab页，加底部导航栏的多层级页面切换的模式今天来继续讲一下底部导航栏切换到视频模块的时候，视频模块内部的构建形式如下图所示，视频模块首页是VideoTabPage2是视频模块的主页面，通过顶部的tabStrData中的标签和tabWidgets中的widget，将顶部的tab标签映射到具体的页面TabCommon是具体的负责映射，的页面，appB...
2020-03-02 01:24:45
1273
原创 120、Flutter 实现类似网页新闻的客户端APP
Hi dear 今天是0202 年02月25日。在2019-COV病毒的侵扰下，全国童鞋都闷在家中与病毒做斗争。题外话： 简称为国宅家。然鹅上个星期，在疫情稍微有些好转的时候，全国除湖北外，其他省份新增确诊人数开始下降，湖北新增还在增长之时。博主接到了复工的通知。作为一名码农，真的很佩服我们公司湖北分部的同志们，在疫情肆虐如此严重的情况下，依然可以使用我们的出单机器人继续出单...
2020-02-25 01:17:24
2005
原创 103、微调bert 模型
自从老大离职去了Oracle之后，就一直觉得找不到组织了。老大在的时候真的觉得有什么新的想法可以和老大说，然后老大会权衡利弊。然后如果可行真的会让我们付诸实际行动的。然而老大离职之后，感觉没有领导了。只能自己漫无目的的工作了。下面转到正题，在Azure K80 深度学习主机上面微调bert模型1、下载cuda9.0的驱动，因为BERT模型需要的tensorflow-gp...
2019-03-31 08:23:47
4722
5
原创 103、rasa_nlu 集成tf.estimator 做分类器 tf.data 做ETL部分，
最近一直在看tf dev summit 2018 , tf dev summit 2019人家说一个东西从无到有刚开始可能有些神奇，比较好发展。但当时间一长的时候，再能把它做好就不容易啦今天就来介绍一下tensorflow 的一些高级api，并且结合rasa_nlu 实际操作一下，构建一个分类器学习一下tf高级API的用法。主要使用的组件有tf.estimator : (1) ...
2019-03-25 13:44:31
840
原创 102、bert词向量进行文本分类和命名实体识别
最近一年来一直在从事语言助手的开发，和自然语言处理方面的工作最近刚出来效果最好的模型是bert的动态词向量，刷新了各个自然语言处理Task的成绩如QA,NER,CLASSIFICATION等接下来就让我们实际来构建一个以bert为后端词向量的文本分类模型1、首先安装腾讯开源的Bert-as-service模块pip install bert-serving-serverpip ...
2019-03-10 01:05:40
4495
4
原创 99、Tensorflow Serving 实现模型的部署
昨晚终于实现了Tensorflow模型的部署 使用TensorFlow Serving 1、使用Docker 获取Tensorflow Serving的镜像，Docker在国内的需要将镜像的Repository地址设置为阿里云的加速地址，这个大家可以自己去CSDN上面找然后启动docker2、使用Tensorflow 的 SaveModelBuilder保存Tensorflow的计...
2018-10-26 21:54:57
693
转载 cs224d 作业 problem set1 (一) 主要是实现word2vector模型,SGD,CBOW,Softmax,算法
'''Created on 2017年9月13日@author: weizhen'''import numpy as npdef sigmoid(x): return 1 / (1 + np.exp(-x))首先上来的是最简单的sigmoid激励函数，至于为什么选他做激励函数，1、因为这个函数能将定义域为(-inf,+inf)的值映射到(0,1)区间
2017-10-14 21:26:51
1367
原创 cs224d 作业 problem set3 (一) 实现Recursive Nerual Net Work 递归神经网络
1、Recursive Nerual Networks能够更好地体现每个词与词之间语法上的联系这里我们选取的损失函数仍然是交叉熵函数2、整个网络的结构如下图所示:每个参数的更新时的梯队值如何计算,稍后再给大家计算相应的数学公式这里先列出节点的合并规则 1、即假设将一句话中的词先两个合并，并通过神经网络计算出合并后的得分情况2、然后找出合并后得分最高的两个词进行真正的合
2017-10-13 11:15:06
574
转载 cs224d 作业 problem set2 (三) 用RNNLM模型实现Language Model，来预测下一个单词的出现
今天将的还是cs224d 的problem set2 的第三部分习题，原来国外大学的系统难度真的如此之大，相比之下还是默默地再天朝继续搬砖吧下面讲述一下RNN语言建模的数学公式: 给出一串连续的词x1,x2...xt关于预测其后面紧跟的词xt+1的建模方式是:vj是词库中的某个词。实现一个循环神经网络，此网络利用隐层中的反馈信息对"历史记录"x1,x2...xt进行建模:$h
2017-10-13 11:15:01
807
原创 cs224d 作业 problem set2 (二) TensorFlow 实现命名实体识别
神经网络在命名实体识别中的应用所有的这些包括之前的两篇都可以通过tensorflow 模型的托管部署到 google cloud 上面，发布成restful接口，从而与任何的ERP,CRM系统集成、天呀，这就是赤果果的钱呀。好血腥。感觉tensorflow的革命性意义就是能够将学校学到的各种数学算法成功地与各种系统结合起来。实现了matlab一直不能与其他系统结合的功能，并且提供GPU并行计
2017-10-13 11:14:56
2146
原创 cs224d 作业 problem set2 (一) 用tensorflow纯手写实现sofmax 函数,线性判别分析,命名实体识别
Hi DearToday we will use tensorflow to implement the softmax regression and linear classifier algorithm.not using the library of tensorflow (like tf.nn.softmax),but using tensorflow simple function
2017-10-13 11:14:51
466
原创 cs224d 作业 problem set1 (二) 简单的情感分析
使用在上一篇博客中训练好的wordvector在这一节进行情感分析。因为在上一节中得到的是一个词就是一个向量所以一句话便是一个矩阵，矩阵的每一列表示一个词向量情感分析的前提是已知一句话是 （超级消极，比较消极，中立，积极，非常积极）中的一类作为训练集分别用（0,1,2,3,4）进行表示然后通过对每一句话的矩阵按列求均值，便得到一个维数固定的向量，用这个向量作为该句话的特征向量然后将这个
2017-10-13 11:14:45
537
原创 95、自然语言处理svd词向量
import numpy as npimport matplotlib.pyplot as pltla = np.linalgwords = ["I","like","enjoy","deep","learning","NLP","flying","."]X = np.array([[0,2,1,0,0,0,0,0], [2,0,0,1,0,1,0,0],
2017-10-13 11:14:41
1351
原创 kaldi aishell1语音识别
最近就会一直哭，坐地铁也会哭，中午吃饭也会哭。我真的好难过。下面来讲一讲kaldi的语音识别，使用aishell1的15GB的语音数据1、首先要下载kaldi的语音识别库git clonehttps://github.com/kaldi-asr/kaldi.git然后进入到tools文件夹下面安装依赖包cd tools.extras/check_dependencies.shcheck_dependencies.sh之后会提示相关的命令，让你去安装相关的包。安装完后再执行.
2020-10-21 07:05:01
1911
2
原创 145、React实现电影列表页面（二）
这一篇来讲一下电影列表页面的详细页面具体是如何实现的首先我们看一下各个组件在页面上的布局是什么样子的作为MovieContainer 组件，主要使用Slider，Menu和Route等组件，将对应的模块导航到相应的页面上去这里涉及到路由规则的设置和inline 即html元素将块级元素变为内联元素，MovieContainerimport React from 'react'//布局相关的组件import { Layout, Menu, Icon }...
2020-07-05 18:58:05
847
原创 143、React.js的导航组件的使用
import React from 'react'import Home from './components/Home.jsx'import Movie from './components/Movie.jsx'import About from './components/About.jsx'// 导入日期选择组件import { DatePicker } from 'antd'//导入路由模块// HashRouter表示一个路由的根容器，将来，所有的路由相关的东西，都要包裹在.
2020-07-05 13:13:46
218
原创 142、Reactjs 组件的更新机制
import React from 'react'// prop-types包中职能很单一，只提供了一些常见的数据类型，用于做类型校验import ReactTypes from 'prop-types'//封装组件的目的，是为了团队协作开发更加方便，//有的人只负责开发组件，//有的人只负责调用别人开发好的组件 //最好在封装组件的时候，为组件中的一些必要数据，进行一个类型的校验export default class Counter extends React.Component {.
2020-07-05 13:09:34
457
原创 141、React.js 父组件向子组件共享数据
import React from 'react'import ReactTypes from 'prop-types'// 最外层的父组件// export default class Com1 extends React.Component {// constructor(props) {// super(props)// this.state = {// color: 'red'// }// .
2020-07-05 13:08:14
341
原创 140、React.js 组件的事件绑定和传参
import React from 'react'import ReactDOM from 'react-dom'export default class BindThis extends React.Component { constructor(props) { super(props) this.state = { msg: '这是默认的msg' } // 绑定this并传参的方式2: .
2020-07-05 13:05:43
259
原创 139、React.js的面向对象中的继承
class Person { constructor(name, age) { this.name = name this.age = age } say() { console.log('这是Person中的say方法') }}//使用extends实现继承，extends前面的是子类，后面的是父类 class Chinese extends Person { constructor(name, ag.
2020-07-05 12:58:59
186
原创 138、React.js之DOM的渲染方式
React创建虚拟DOM元素的方式一：使用React.createElement方法创建虚拟DOM，并使用ReactDOM.render方法进行渲染//这两个包名导入的时候，接受的成员名称，必须这么写import React from 'react' //创建组件，虚拟DOM元素，生命周期import ReactDOM from 'react-dom' //把创建好的组件 和虚拟DOM 放到页面上展示//2 创建虚拟DOM元素//参数1 创建的元素的类型，字符串，表示元素
2020-07-05 12:56:01
860
原创 137、React.js之编译打包的配置
一、React.js项目的打包和使用创建一个index.html文件，并且在这个文件中引入main.js的javascript程序文件，我们要做的就是编译生成main.js的javascript文件。<!DOCTYPE html><html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=de
2020-07-05 12:11:37
1865
原创 136、springcloud-bus 系统的飞行状态
今天来讲解一下springcloud中的bus 消息总线的功能，结合springcloud-config 配置中心，可以在系统的运行过程中，动态地更改一个微服务的状态例如端口号，服务名称，或者其他的信息。1、首先需要在github上面创建一个配置项目2、(1) 在配置中心的application.yml文件中，设置github上面配置文件的地址# 服务名称...
2020-04-20 14:46:37
156
原创 135、springcloud分布式配置中心的搭建
1、分布式配置中心，需要用到github或者gitlab作为配置文件的存储地址作者这里使用github作为配置文件的存储地址首先需要在github上面，创建一个属于自己的项目，其次在这个项目里面创建bootstrap.yml配置文件来修改和指定，当前用户输入到哪里了。2、在bootstrap.yml配置文件中填写上github的仓库路径和用户名、密码# 服务名称spring...
2020-04-15 10:11:09
153
原创 135、springcloud zipkin+Sleuth 链路监控
springcloud-zipkin 链路监控用于监控请求的调用链路，访问量，成功或者失败的次数，反映app的健康状态。为之后的springcloud 配置中心打好基础。下面讲解Zipkin+Sleuth的使用过程1、Sleuth具有跟踪收集请求的调用链路和信息发送给zipkin server进行统计的功能，sleuth结合springcloud使用的时候，需要先下载启动zipki...
2020-04-13 11:05:27
226
原创 134、springcloud-zuul网关的使用
springcloud-zuul网关的使用1、使用idea创建springcloud项目的时候选择eureka-client和zuul这两种组件2、确保pom.xml的maven依赖文件中含有springcloud-zuul的依赖 <dependency> <groupId>org.springframework.clou...
2020-04-09 10:39:49
122
原创 134、springcloud-hystrix-dashboard监控组件的使用
这一节来讲springcloud-hystrix-dashboard监控组件的使用，在微服务的场景下，一个矩形的app会有很多的服务，如何对这些服务进行监控，时间追踪服务的健康状态就变得特别重要，springcloud-hystrix-dashboard就提供了监控微服务状态的功能，并且将服务的状态以报表的形式，进行展示下面就讲解一下hystrix-dashboard的使用1、在s...
2020-04-06 14:44:10
241
原创 133、springcloud-hystrix 服务监控的告警机制
Springcloud-hystrix组件可以用来进行服务的熔断和降级，当一个服务出现问题的时候，也可以在降级的方法里面通过发送短信和邮件的形式来进行告警下面来讲解，如何在hystrix的降级方法里面，进行发短信通知，进行告警的操作1、首先要引入springboot和redis集成的相关依赖包 <dependency> ...
2020-04-05 11:30:47
1095
原创 132、springcloud-fegin-hystrix远程调用上的降级
这是今天的第三篇文章，继续讲解springcloud-hystrix熔断降级相关的知识上一节讲解了hystrix熔断的应用这一节讲一下hystrix降级的应用，何为降级，当远程调用的服务宕机了的时候，404或者500这个时候就使用到了降级处理，下面讲解一下hystrix中如何使用降级，并且和fegin进行结合1、springcloud的配置文件中打开fegin对hystrix的支持...
2020-04-04 18:02:56
318
原创 131、springcloud-hystrix熔断降级
今天的第二篇文章，下午16:27写的，spring-cloud-hystrix熔断降级之前写过高并发下的nginx的性能优化，熔断降级这个词则是在高并发的时候由于访问量比较高，超出了其中某一个服务的承载上限时，为了使后续的请求能够被成功处理，而不导致整个系统宕掉，而采取的保护服务的措施。下面来讲解spring-cloud-hystrix的使用方法1、导入spring-cloud...
2020-04-04 16:47:11
138
原创 130、springcloud-feign-client的使用以及微服务调用的结构
春城无处不飞花，寒食东风御柳斜，今天是2020年4月4日，清明节，又是举国悼念在covid-19新冠肺炎疫情中，为了国家和同胞抵御病毒而牺牲烈士的一天。博主在这里向医生哥哥和姐姐们还有护士们，致敬，白衣天使，救死扶伤，无比伟大。小时候一直想，长大要做一个对社会有用的人，为建设和谐美好的社会贡献一份小小的力量。不知道多久才能让朋友们感受到自己的微薄之力。下面进入正题，spr...
2020-04-04 11:37:28
455
原创 129、springcloud-eureka-client微服务的互相调用
这里要写的是springboot 订单模块的服务去调用商品模块的服务进行下单操作下面首先进行订单模块的代码编写1、将order订单模块注册到注册中心eureka: client: serviceUrl: defaultZone: http://localhost:8181/eurekaspring: application: name: eure...
2020-04-02 11:48:54
344
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人