- 博客(26)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 TensorFlow 非线性激活函数
给定的链接中，可以选择数据集、激活函数、损失函数等。在非线性可分的数据集中，使用线性激活函数不可分，换成非线性激活函数之后就可分了。那么这几个非线性激活函数有什么区别呢？可以发现不同的非线性激活函数的决策边界不一样，说明后期可以研究下不同的激活函数对模型有什么影响。TensorFlow提供了7种不同的非线性激活函数，常用的是这三个...
2020-09-07 15:59:51
423
原创 TensorFlow 模型持久化四种方式
model.ckpt.meta：保存TensorFlow计算图的结构model.ckpt：保存了TensorFlow程序中每一个变量的取值checkpoint文件：保存了一个目录下所有的模型文件列表持久化的四种方式可以restore ckpt文件，读取变量的取值，不过需要定义计算图上的所有运算如果不希望重复定义图上的运算，可以直接加载已经持久化的图ckpt.meta文件，也要restore ckpt文件给变量重命名，方便使用变量的滑动平均值有时只需要知道如何从神经网络的输入层经过前向传播计算
2020-09-07 15:56:14
384
原创 TensorFlow 梯度下降算法
训练神经网络时，参数的初始值会很大程度影响最后得到的结果，只有当损失函数为凸函数时，梯度下降算法才能保证达到全局最优解。优化点参数初始值对结果影响很大，随机初始化bacth梯度下降设置学习率：太大参数容易摇摆，太小大大降低优化速度；正则化L1正则、L2正则、也可以同时使用。，刻画模型复杂度，表示所有参数，包括权重和偏置。一般来说模型复杂度只有权重决定。TensorFlow中有两种方式来写，第一种如下，这样的方式可能导致损失函数loss的定义很长，可读性差易出错。TensorFlow提供了集合
2020-09-07 15:52:38
411
原创 训练你的第一个神经网络：基本分类
文章是tensorflow的入门，实现一个简单的分类问题。数据集是fashion mnist，没有直接用mnist，mnist手写字识别认为是tensorflow的‘hello world’。fashion mnist是一些灰度图，内容是衣服，鞋子等，有10个类别，一共有样本70000条，60000条作为训练集、1000条作为测试集。导入需要的库参考链接需要的库https://www.tensorflow.org/beta/tutorials/keras/basic_classification导入
2020-09-07 15:46:59
294
原创 机器学习 Tensorflow 环境搭建
Tensorflow的主要依赖包Protocol BufferProtocol Buffer是Tensorflow系统中使用到的重要工具，Tensorflow中的数据基本都是通过Protocol Buffer来组织的。结构化数据进行持久化和网络传输时，需要先将其序列化(将结构化的数据变成数据流的格式，简单地说就是变为一个字符串)。除了Protocol Buffer，Xml和Json也是两种比较常用的结构化数据处理工具。Protocol Buffer格式的数据和Xml和Json格式的数据有比较大的区别
2020-09-07 15:39:03
346
原创 爬取分析雪球网实盘用户数据
对雪球网实盘用户（地理位置信息）进行爬取，数据分析。结论：1、遍历了约20%的雪球用户，检索到近9000个活跃实盘用户，预估所有实盘用户在50000个左右。2、样本中约9000个实盘用户，大约一半近期实盘有操作；另外一半实盘被关闭，应该可以检索到历史数据。3、基于目前样本，发现1265个有明确地理位置的用户，其地区分布与雪球官方公布的地区分布基本一致。详细数据：1、本次遍历雪球网，初步检索到 8253 个有实盘数据的用户，其中：a. 现在依旧活跃的实盘用户：3808个b. 目前已经关停实盘，
2020-08-13 16:03:31
3462
1
原创 python爬取雪球网交易数据
雪球网交易数据爬取，python源码。雪球是一个投资者的社交网络平台，爬取交易数据。代码：def get_trade_behavior(uid): import requests import random import time import json result = [] res = [] headers = [{ 'User-Agent': "Mozilla/5.0 (X11; CrOS x86_64
2020-08-13 15:51:24
5279
原创 Logstash Grok解析日志数据
Grok 是一个十分强大的 Logstash Filter 插件，它可以通过正则解析任意文本，将非结构化日志数据格式转换为结构化的、方便查询的结构。它是目前 Logstash 中解析非结构化日志数据最好的方式。Grok 的语法规则是：这里的 “语法” 指的是匹配模式，例如，使用 NUMBER 模式可以匹配出数字，IP 模式则会匹配出 127.0.0.1 这样的 IP 地址。比如按以下格式输入内容：172.16.213.132 [16/Jun/2020:16:24:19 +0800] "GET / HT
2020-08-11 16:23:51
2528
原创 使用kafka-connect将数据存入elasticsearch
前提：准备好Java环境。可docker；使用es为2.3.4版本(高版本连接器索引问题)所以使用低版本连接器，测试时为单节点运行。发送到kafka的日志格式必须是json格式启动zookeeperzookeepertar -zxf zookeeper-*.tar.gzcd zookeeper-*bin/zkServer.sh start# bin/zkServer.sh stop启动kafkatar -zxf kafka_* tar.gzcd kafka_*bin/kafka-se
2020-08-11 16:07:29
3493
2
原创 使用Java操作kafka，生产者、消费者模拟
添加依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.3</version> </dependency>生产者import org.apache.kafka.clients.producer.K
2020-08-11 15:54:23
1277
原创 ElasticSearch索引的基本操作
一、新建索引基本用法请求PUT http://127.0.0.1:9200/user响应{ "acknowledged": true, "shards_acknowledged": true, "index": "user"}说明• user：表示新建的索引名• acknowledged：表示操作成功同时设置映射信息请求PUT http://127.0.0.1:9200/user5参数{ "settings":{ "numbe
2020-08-07 15:35:26
1379
原创 ElasticSearch文档检索，分词、精确匹配、多条件
请求GET http://127.0.0.1:9200/user/user5/_search一、match{ "query": { "match": { "name" : "中华人民共和国" } }}上面的查询会先对内容进行分词，分词以后所有包含这分词中的一个或多个的文档就会被搜索出来。并且根据lucene的评分机制(TF/IDF)来进行评分。二、match_phrase{ "query": { "match_phrase": {
2020-08-07 15:30:37
2658
原创 解决java项目控制台、日志出现乱码
前言：java操作中，总是出现莫名其妙的乱码，有时候是控制台输出出现乱码，有时候是日志打印出现乱码…按照下面的操作来，从此解决乱码问题右击Idea图标，打开文件位置，找到两个文件：idea.exe.vmoptions和idea.64.exe.vmoptios用记事本打开两个文件，在最下面添加： -Dfile.encoding=UTF-8，然后保存在Idea中，setting->fileEncoding设置，贴个图：如果项目配置了Tomcat，在VM options一行
2020-08-07 15:22:03
4617
1
原创 JS实现文本复制，剪切板复制（极简主义）
国外网站看见的代码。JS实现前端文本的复制（ctrl+c），代码非常简洁。代码：<input type="button" value="Copy Link" class="btn_small" onclick="document.querySelector('input[name=banner728x90]').select(); document.execCommand('copy');" data-popup3="Q29Vk">...
2020-08-03 10:47:31
1140
原创 机器学习新手十大算法
有一个通用原则是所有用于预测建模的受监督机器学习算法的基础。机器学习算法被描述为学习目标函数（f），该函数最好将输入变量（X）映射到输出变量（Y）：Y = f（X）这是一个简单的学习任务，我们想在给定新的输入变量（X）的情况下，对（Y）进行预测。但是不知道函数（f）。机器学习的最常见类型是学习映射 Y = f（X）可以对新 X 预测到 Y，目标是尽可能进行最准确的预测。对于初入机器学习领域，没有机器学习基础知识的新手，我会对常用的十大机器学习算法做简单介绍。1-线性回归线性回归可能是统计和机器学
2020-08-03 09:33:07
1479
原创 Python多线程实现生产者消费者模式
什么是生产者消费者模式在软件开发的过程中，经常碰到这样的场景：某些模块负责生产数据，这些数据由其他模块来负责处理（此处的模块可能是：函数、线程、进程等）。产生数据的模块称为生产者，而处理数据的模块称为消费者。在生产者与消费者之间的缓冲区称之为仓库。生产者负责往仓库运输商品，而消费者负责从仓库里取出商品，这就构成了生产者消费者模式。结构图如下：为了大家容易理解，我们举一个寄信的例子。假设你要寄一封信，大致过程如下：1、你把信写好——相当于生产者生产数据2、你把信放入邮箱——相当于生产者把数据放入
2020-07-15 17:25:59
2968
原创 Python numpy报错：ImportError: DLL load failed
python程序运行出错，出错的两行主要信息如下：ImportError: DLL load failed: 找不到指定的模块ImportError: numpy.core.multiarray failed to import但是import numpy包又没问题，估计是使用numpy的第三方出问题了。在网上一番搜索，发现对于第一个错误而且有import numpy报错：ImportError: DLL load failed: 找不到指定的模块。如果是Anaconda下的环境中的程序出错，则
2020-07-10 17:42:31
3278
1
转载 Conda创建python虚拟环境
前言conda常用的命令：conda list 查看安装了哪些包。conda env list 或 conda info -e 查看当前存在哪些虚拟环境conda update conda 检查更新当前conda一.虚拟环境的作用问题：如果在一台电脑上, 想开发多个不同的项目, 需要用到同一个包的不同版本, 如果使用上面的命令, 在同一个目录下安装或者更新, 新版本会覆盖以前的版本, 其它的项目就无法运行了. 解决方案 : 虚拟环境 作用 : 虚拟环境可以搭建独立的python运行环境, 使得单
2020-07-10 17:09:54
2493
原创 JSONObject与JSONArray的使用区别
方便查看json结构，先用 在线json格式化工具处理一下，也校验下语法。效果：(1)JSONObject : java对象,用｛｝包裹起来例如：｛”id”:1 , “username”:”wp”｝(2)JSONArray : 数组或字符串[1,2,3](3)特殊形式{“id”:1 , “username:” :”wp” , “books” :[{“book1” : “java开发”},{ “book2” : “android开发”}]}这是JSONObject中嵌套JSONArray
2020-07-08 20:41:19
1698
原创 Java 亿万级数据导出到Excel
由于项目需要，处理百万级数据导出问题。直接开始撸代码~导入依赖 <!-- 文件导出--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.17</version> </d
2020-07-08 17:45:37
5126
4
原创 Spring Boot对数据库的增删改查
框架技术：SpringBoot+Mybatis+MySQL等配置文件配置文件application.propreties文件spring.datasource.url=jdbc:mysql://localhost:3306/blogs?serverTimezone=UTCspring.datasource.username=rootspring.datasource.password=rootspring.datasource.driver-class-name=com.mysql.
2020-07-08 17:38:10
2371
原创 Springboot支持跨域请求
目前项目一般采用的是前后端分离，当使用前端node + vue + axios 发送跨域请求时会报错，如下解决需要在项目中配置CorsConfiguration代码如下：import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.web.cors.CorsConfiguratio
2020-07-08 17:22:51
1542
原创 SpringBoot+angularJs实现百万级数据导出
由于项目需要，需要在页面点击导出按钮，然后根据条件进行查询数据，并导出。最开始的时候想着使用是前端的xlsxJs来实现前端Excel数据导出，后面想了想这种办法行不通，原因很简单，假如后台数据几百万的话，那么前端会瞬间崩掉，这个xlsxJS感觉适合数据量少的导出Excel文件，数据量大的话可能也有，但是现在没时间去尝试了，以后吧。So，这显然是行不通的，网上找了一堆后，有使用poi还是阿里的easyExcel亦或者easypoi，可能看着poi好感度更高吧，就选择它了，正好网上也有现成的，直接拿来使用了。
2020-07-08 17:19:16
4968
原创 Java内存结构与内存溢出
Java有着内存动态分配和垃圾回收功能，对于内存的分配和回收，不需要程序员关心。而像C、C++则需要开发者手动对内存进行管理。也正在因为这个区别，JAVA在虚拟机自动内存管理的帮助下，一旦出现内存泄漏和溢出方面的问题，如果不了解虚拟机是怎样分配、回收内存的，在问题排查上会是一份艰难的工作。Java虚拟机在执行Java程序时会把所管理的内存划分为若干个不同的存储区域，主要包含三块：堆、栈和方法区。内存布局如下图所示：JVM主要分为三个子系统，分别是：类加载器子系统、运行时...
2020-07-02 22:10:16
2541
原创 Java在线格式化JSON，美化显示
没有经过格式化的Json很难阅读，那一坨是什么东西???所以一系列的Json格式化、美化、高亮工具应运而生。不过，最方便的、使用最多的还是那些在线工具。推荐一个 [在线JSON格式化工具]这个不但可以格式化，还能高亮显示，可以折叠分级(层级分明，非常直观)咳咳~~~跑题啦，这个不是重点！！！Java如何格式化JSON？？？我们使用Jackson 格式化输出JSON 代码说明（字符）其实这里就是把字符串转成对象（Object ），然后再输出的。public static void
2020-07-01 23:51:14
3148
原创 编程类在线工具大集合(持续更新)
不得不说，现在的在线工具真是厉害、功能丰富。极大的方便了我们日常工作和学习。这里将会为大家收集、整理一些在线工具。持续更新中…代码处理类(代码格式化、美化、高亮、压缩整理)1、JSON格式化2、HTML格式化3、XML格式化4、SQL格式化5、CSS格式化6、Javascript格式化java、python代码处理的，强烈推荐。python工具是个简易版本的代码编辑器，超方便。7、Java代码格式化，高亮显示8、Python编辑器，代码美化小工具1、在线UUID生成工具2
2020-07-01 23:15:49
3544
Warez组织64K的3D动画(1.9G的数据压缩到64K)
2020-07-02
Sublime Text Build 3083 x64 Setup-安装-破解-汉化包
2015-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人