NEU_LightBulb的博客

原创 从0探索NLP——神经网络

图文并茂的详解神经网络原理

原创 SmoothNLP新词发现算法的改进实现

SmoothNLP新词发现算法的改进实现，增加多线程提高效率，调优一些算法过程

原创 从0探索NLP——KenLM

KenLM原理介绍

原创 从0探索NLP——人言否？

语言模型在NLP中占有非常重要的地位，从传统‘基于统计概率的语言模型’到‘基于深度学习的语言模型’各类语言模型层出不穷。本文将介绍传统的语言模型。

原创 从0探索NLP——导航帖

人工智能是一个定义宽泛、知识组成复杂的领域，而NLP是人工智能领域中的一类任务，他在哪呢？Emmmmm~不能说都有涉猎只能说全都都沾点：每次想要针对NLP的某一点进行讲解时，不讲那写细枝末节，就会晦涩难懂，但讲了又会越讲越发散，难以收敛。回顾从0基础小白开始的NLP修炼之路。欢迎感兴趣的朋友一起交流、批评指正，大家的思想交流与支持是我想开写本专栏的核心主旨。

原创 【Java数据结构】树

【Java数据结构】树Java中的树一、树基础结构1.树定义1.1.一些花里胡哨的名词1.2.存储方式2.二叉树2.1.性质2.2.遍历方式二、树的进阶与Java1.完全二叉树1.1.定义1.2.性质1.3.优先级队列中的堆排序2.二叉查找树与平衡二叉树（小陀螺）2.1.定义3.红黑树3.1.定义3.2.性质3.3.HashMap,TreeMap中的红黑树4.B-Tree4.1.定义4.2.性质5.B+Tree（还有B*Tree不讲了）5.1.定义5.2.性质5.3.数据库中的索引5.4. HBase中的L

原创 日期正则校验（含日期合法性检查）

适用场景YYYY-MM-DD YYYY-MM-DDHH:mm:ss YYYY MM DD YYYY MM DDHH:mm:ss YYYY/MM/DD YYYY/MM/DDHH:mm:ss YYYY年MM月DD日 YYYY年MM月DD日HH:mm:ss YYYY年MM月DD日 HH:mm:ss完整语句^((([0-9]{3}[1-9]|[0-9]{2}[1-9][0-9]{1}|[0-9]{1}[1-9][0-9]{2}|[1-9][0-9]{3})[\.\-/|年\s]((...

原创 【JAVA使用笔记】——大文件分割、内容处理

简述对于提高大文件读写效率的方法网上数不胜数，我这里选择了使用NIO结合多线程处理的方式。通过 io 的RandomAccessFile实现对大文件按行分片。通过 nio 的MappedByteBuffer 和 ByteBuffer 对缓冲区内的数据进行处理通过nio 的 FileChannel，实现大文件的读写。分片实现在限制的分片大小（partitionSize）...

原创 【大数据平台】——Docker+Conda3+Tensorflow1.15+Google模型+远程Jupyter

基于Docker的远程TensorFlow的Jupyter环境搭建本文所解决的是大部分Docker的远程TensorFlow环境的搭建，都是围绕着Tensorflow这个镜像运作的，这个镜像的好处是安装简单，大体步骤就是“Nvidia/CUDA >> Nvidia-Docker2 >> Tensorflow-xx-xx-...”。缺点是：---没有Anacon...

原创 【区块链】——区块链学习初探（四）

联盟链中的共识机制上一篇中介绍了基于法院业务的区块链样例，使用的是比特币链式的结构，但在实际法院这种政府机关使用的区块链中，使用的不是比特币链这种公有链，而是更符合政府网络架构（机关内部网）的联盟链或私有链。更多是联盟链，联盟链中组织与组织的关系很好地还原了各个内部网的关系。上一篇中介绍的“未输出交易（UTxO）”模式与计算特定难度Hash的“工作量证明（PoW）”这些共识机制在联盟链中是...

原创 【区块链】——区块链学习初探（三）

从0开始搭建一个区块链Demo主要以比特币区块链为基础，做一个法院案件记录上链及修改的样例。结合上一篇的介绍https://blog.csdn.net/NEU_LightBulb/article/details/103475390假设区块链服务用的库表和数据库表在一个数据库里。整个工程是一个Springboot2工程https://github.com/zjw271208550/l...

原创 【区块链】——区块链学习初探（二）

Java实现比特币区块链工具包结合上一篇的介绍：https://blog.csdn.net/NEU_LightBulb/article/details/103086867以下就是代码介绍想看源码直接：https://github.com/zjw271208550/learn/tree/master/blockchain-core 工程结构 实体类 Bloc...

原创 【大数据平台】——基于Confluent的Kafka Rest API探索（五）

介绍 在Confluent的schema注册中心Schema Registry注册，在生产或者消费时使用。本质作用是规定消息的Key和Value的结构和格式，就像为Topic指定一个表结构，随后的消息都和表结构一致。在发送时并不会因为你指定Schema就可以省去结构中的字段名，比如指定Value结构 {{name:string},{count:int}}，并不是在发送的records里...

原创 【大数据平台】——基于Confluent的Kafka Rest API探索（四）

Kafka RestAPI 指定分区 Kafka消息分区规则 这里我们戳进KafkaProducer的send方法@Override public Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) { // intercep...

原创 【大数据平台】——基于Confluent的Kafka Rest API探索（三）

Kafka RestAPI性能测试 Rest与Java Client配置 测试服务器是CentOS 7- 16核，测试代码与Confluent在同一台机器上，使用相同的配置并使用了HttpClientPool： KEY_SERIALIZER_CLASS_CONFIG org.apache.kafka.common.serialization.S...

原创 【大数据平台】——基于Confluent的Kafka Rest API探索（二）

Kafka Rest Proxy特点与使用 Metadata 可以使用对相应URL的GET请求读取有关群集的大多数Metadata 信息，如：brokers, topics, partitions, configs等。 Producers 区别于Java Client，Kafka-rest不会对外公开Producer对象，而是通过一个Producers Pool来...

原创 【大数据平台】——基于Confluent的Kafka Rest API探索（一）

Confluent安装 本文主要对（时至2019/12/3）最新的 Confluent-5.3.1的单节点安装做说明，并使用 Confluent-5.3.1集成的Kafka-2.3。 下载并解压 官网下载2.confluent-5.3.1-2.12.tar.gz，上传服务器并解压，解压后的目录作为< CONLUENT_HOME >。 添加到环境变量 添加CO...

原创 【区块链】——区块链学习初探（一）

一、宏观理解区块链——区块链不是技术而是技术集合1. 本质区块链不是比特币，也不是分布式数据库。区块链步入神坛的原因是提出了一个能够解决数据隐私、安全、可信的存储方式与交换方式，加上一个“去中心化”思想。他不是一门新鲜的技术，而是众多‘老技术’的集合：分布式存储 分布式网络——P2P 密码学——编码加密与非对称加密（RSA、ECC） 分布式一致性——共识算法 智能合约——一段（...

原创 【JAVA使用笔记】—— Spring 开启Druid监控面板

说明 Druid内置提供了一个StatViewServlet用于展示Druid的统计信息。将Druid的Filter拦截器模块处理的情况可视化的展示在界面上，包括应用信息、数据源、SQL执行、SQL防火墙、Web应用、URL监控、Session监控、Spring监控以及提供可外部调用的JSON APIGit源码及文档 Druid源码工程地址：github.c...

原创 【JAVA使用笔记】——SpringBoot启动方式及远程调用（三）

上一篇：https://blog.csdn.net/NEU_LightBulb/article/details/102892314四、以RMI为例的多模块间方法调用1. Pre RMI、Hessian和Spring HttpInvoker的使用逻辑基本相同： 编写服务端的方法接口与实现 >> 注册到对应的代理中暴露服务 >> 客户...

原创 【JAVA使用笔记】——SpringBoot启动方式及远程调用（二）

上一篇：https://blog.csdn.net/NEU_LightBulb/article/details/102891292下一篇：https://blog.csdn.net/NEU_LightBulb/article/details/102894232二、SpringBoot的启动方式1.拒绝包办婚姻 上文中有提到依赖中的spring-boot-starter...

原创 【JAVA使用笔记】——SpringBoot启动方式及远程调用（一）

下一篇：https://blog.csdn.net/NEU_LightBulb/article/details/102892314一、RUN1.Spring Boot 启动 SpringBoot项目入口在@SpringBootApplication注解的类的main方法中。在main方法中有两种启动Spring项目方式，一种是简而明了的：SpringApplicat...

原创 【大数据组件学习笔记】Pipeline DB机制及参数解释（二）

通过源码（src/config.c）我们可以得到每一个参数的简要描述、默认值、取值范围（官网文档没有取值范围）。再结合官网文档和源码中使用的典型位置，分析参数作用【源码部分逐步更新】num_workers默认：1范围：1~1024解释：设置为每一个database分配的并行连续查询的Worker进程数量，设置的越大，吞吐量越大，直到受到CPU限制。num_combiner...

原创 【大数据组件学习笔记】Pipeline DB机制及参数解释（一）

这是一个学习笔记，欢迎指正、交流一、Pipeline DB到底安装了什么 Pipeline DB（以下简称PDB）作为Postgre SQL的一个扩展插件，到底安装了什么。通过PDB 的Git开源代码 GitHub，在bin目录和根目录的执行文件中可以找到如下操作： 载入C定义的stream_fdw_handler方法：CREATE OR REPLAC...

原创 【Python使用笔记】Flask进阶之路——Hello and Goodbye

其实网络上关于Flask的介绍文章数不胜数，所以本系列文并不是技术分享或者优化炫技，而是重个人学习的角度出发，简单谈谈自己是如何把玩Flask的。 Hello Flask 使用Flask这种PyWeb框架的人无非三种，要么是专业的；要么写算法、模块、脚本的忽然接到个前端展示的需求；要么是写了一路java忽然发现自己要和一个叫python的乖乖对接。我是后两种的结合（...

原创 【大数据组件学习笔记】——Win10 Hadoop2.7.1+Spark2.2.0+Scala2.11.11 环境搭建与测试

Win10 Hadoop2.7.1+Spark2.2.0+Scala2.11.11 环境搭建与测试一、文件准备1.apache-maven-3.2.5.zip说明：用于构建Maven项目链接：https://pan.baidu.com/s/1t3o3d-20dC7rUrV3fQSPPA bdvy2.spark-2.2.0-bin-hadoop2.7.tgz...

原创 Python实现F1 、AUC计算

# -*- coding: utf-8 -*- ## author NEU_LightBulb-----ZhangJimport numpy as npimport pandas as pdclass Score(): def __init__(self,pre_score,rel_label,threshold,beta): self.tn = 0 ...

原创 【机器学习-周志华】——学习笔记（2.3）

上一篇第二章：第三节：1. 查准率P：指查出来的有几个对的2. 查全率R：指对的有几个被查出来3. 特别的，对于二分类问题，将预测的正误与真实的正误交叉构成“混淆矩阵”，分为真正TP、假正FP、真反TN、假反FN 4. 很明显P-R是互斥的，做P-R曲线如下图，且与 P=R 的交点称为平衡点（BEP），平衡点对应的(P,R)值越高或P-R曲线围得面积越大，就越好。...

原创 【机器学习-周志华】——学习笔记（1.1 to 2.2）

自己学习的心得，持续更新，欢迎大家评论区交流第一章：第一节：一本书的标准开头第二节：1.基本术语：数据集 :机器学习过程所使用的，具有目标属性（标记）值的数据样本：数据集每一条（行）数据称之为样本。特征：数据集每一个（列）属性称之为特征。样本空间：所有特征的集合。又称“输入空间”。维数：一条样本拥有的特征个数。标记：机器学习的目标特征。标记空间：每一...

原创 【JAVA使用笔记】—— 自定义方法的超时控制

说明本文介绍的是利用Java 并发工具箱concurrent包，实现对指定类中指定方法的执行时间的控制。存在于 java.util.concurrent 包里的 ExecutorService 实现就是一个线程池的实现，包里定义了三个Executor接口：        a. Executor:一个运行新任务的简单接口。        b. ExecutorService:扩展了E...

原创 【JAVA使用笔记】——VUE安装与第一个工程

原创 【JAVA使用笔记】——VUE入门（三）

原创 【JAVA使用笔记】——VUE入门（二）

原创 【JAVA使用笔记】——VUE入门（一）

原创 【JAVA使用笔记】——Spring Bean（四）

原创 【JAVA使用笔记】—— MyBits 环境搭建与第一个例子

原创 【JAVA使用笔记】—— Win10 的 MySQL 搭建

原创 【天池笔记】——IJCAI-18 数据初步清洗

空值检查  Name Shape inTarget 0 Inital Data (478138, 27) (9021, 27) 1 instance_id is -1: (0, 27) (0, 27) 2 item_id is -1: (0, 27) (0, 2...

原创 【天池笔记】——IJCAI-18 部分数据可视化

训练集用户属性分布    广告商品属性分布    商店属性分布    测试集用户属性分布    广告商品属性分布    店铺属性分布

原创 【JAVA使用笔记】——Spring Bean（三）