thinktothings-CSDN博客

原创 opensourceteams 所有项目汇总

opensourceteams 所有项目汇总https://github.com/opensourceteams/opensourceteams-allFlink 1.7.2 源码分析(scala 版)https://github.com/opensourceteams/flink-maven-scalaFlink 1.7.2 源码分析(java 版)https://github....

2019-03-26 16:38:27 230

原创 Flink 1.7.2源码分析

技术交流微信:thinktothings微博:https://weibo.com/thinktothingsFlink版本为1.7.2本站持续更新中…2019-03-06…源码https://github.com/opensourceteams/flink-maven-scala查看jar中文件列表jar tvf test.jar 执行计划图地址:https://...

2019-03-06 23:07:25 1153

原创 SPARK 2.4.0 学习笔记分享

SPARK 2.4.0 学习笔记分享【本站点正在持续更新中…2018-12-26…】微博: https://weibo.com/thinktothings更多资源SPARK 1.6.0-cdh5.15.0 源码分析: https://github.com/opensourceteams/spark-scala-maven前置条件Hadoop版本: hadoop-2.9.2S...

2018-12-26 14:31:18 1165

原创 SPARK 源码分析技术分享(带bilibili视频)

githubhttps://github.com/opensourceteams/spark-scala-mavenSPARK 源码分析技术分享SPARK 1.6.0-cdh5.15.0spark-scala-mavenYoutub 视频HadoopRdd源码分析-读取本地文件需求分析-01HadoopRDD源码分析-文件拆分partition划分-02HadoopRdd源码...

2018-12-02 19:37:58 2684

转载 Flink 原理与实现：Aysnc I/O

原文：http://wuchong.me/blog/2017/05/17/flink-internals-async-io背景Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数...

2019-12-20 12:47:40 295

原创语音识别百度阿里哪家强？识别率评测

在线对比https://aismartvip.com/voice/pk/billing/index百度阿里语音识别对比百度阿里格式支持 pcm（不压缩） wav（不压缩，pcm编码） amr（压缩格式） pcm(无压缩的pcm文件或wav文件) Opus mono...

2019-07-31 09:55:17 4368 1

原创语音视频自动生成字幕功能介绍

语音视频自动生成字幕功能介绍中国站点https://aismartvip.com香港站点https://hk.aismartvip.com语音视频识别,自动生成字幕，支持全球120种语音/视频识别: 中文、普通话（中国简体）、中文、普通话（台湾繁体）、中文、普通话（香港简体）、中文、粤语（香港繁体）、丹麦语（丹麦）、乌克兰语（乌克兰）、乌尔都语（印度）、乌尔都...

2019-07-21 09:18:58 20754 2

原创免费语音转字幕功能介绍

免费语音转字幕功能介绍升级版(备案中) https://106.13.139.60 主站 https://thinktothings.com语音转字幕免费的语音转字幕功能介绍,基于百度语音技术，识别率极高无需注册无语音时长限制无文件大小限制可在线对音频/视频文件进行自动语音识别准备音频/视频文件准备需要进行语音识别的音频/视频文件，格式支持wav m4a mp3...

2019-05-05 21:29:47 16412 4

原创百度语音技术永久免费的语音自动转字幕介绍

视频介绍百度语音技术，识别率97%永久免费的语音转字幕支持中文，英文，粤语网站地址: http://thinktothings.com:8888视频介绍 https://www.bilibili.com/video/av42750807/ ...

2019-05-05 21:23:29 27272 5

转载 CentOS 7中使用Yum安装MariaDB数据库

CentOS 7中使用Yum安装MariaDB数据库原文:https://aiezu.com/article/centos_mariadb_yum_install.html一、实验环境：操作系统：CentOS 7.0 64位（最小安装） MariaDB版本：系统自带（mariadb-5.5.50-1.el7_2）二、安装前准备：　　爱E族提醒您，安装前需检查是否已经安装了My...

2019-04-16 17:56:48 431

原创 npm

安装库cd videojs-recordnpm installbuild js库Build the library and assets once:npm run build开启web服务And start the local webserver:npm run start

2019-04-07 12:33:13 754

原创 nginx配置http转https(tomcat不需要变还是http)

nginx配置http转https(tomcat不需要变还是http)网站升级https网站原访问http 保留不变,nginx做重定向，把所有http请求重定向到httpshttps请求转发到tomcat上(tomcat保留开放http)#user nobody;worker_processes 1;#error_log logs/error.log;#error_l...

2019-04-05 12:04:18 2517

原创语音识别实时对比(百度收费 VS SpeechTexter免费)

对比从5:00分钟开始视频地址: https://www.bilibili.com/video/av48112826).以下测试结果基于测试点（祝福语、数字、日期、绕口令、诗、日常用语）[百度收费][优点]).比起百度自家发布的免费版本，速度快很多，很好的解决了丢字(丢句、就是有的地方没有翻译)).比起百度自家发布的免费版本，语义解析在有些方面增强了，翻译的更准确些)....

2019-04-03 08:43:14 8923

原创 google sdk speech-to-text(谷歌语音转文本、谷歌语音转字幕)

google sdk speech-to-text同步识别（REST 和 gRPC）将音频数据发送到 Speech-to-Text API，对该数据执行识别，并在所有音频处理完毕后返回结果。同步识别请求仅限于持续时间不超过 1 分钟的音频数据。异步识别（REST 和 gRPC）将音频数据发送到 Speech-to-Text API 并启动长时间运行的操作。使用此操作，您可以定期轮询识别...

2019-04-02 09:09:56 17221

原创 google 语音识别 VS 百度语音识别

google[优点]).很牛逼，实时解析这么精准,了不起).有歧义的语句，复杂的语句，自动纠正能力很强，哪怕发音差(普通话差)也能识别).语音识别能力:丧心病狂).完全免费的: speechTexter[缺点]).不能自动断句,查了官网说明，只支持英文，不支持中文(不能自动加标点符号)百度[优点]).非常不错，翻译的很好).免费版本，(收费版本，更精准)[缺点]...

2019-03-31 17:51:25 2713

原创 java 读取音频/视频文件时长

java 读取音频/视频文件时长支持mp3,mp4,mov,m4a,wav 格式文件源码https://github.com/opensourceteams/java-maven-projectpom.xml  <dependency> <groupId>org</gr...

2019-03-27 21:40:39 5870

原创 nginx日志统计分析自动报表工具goaccess(推荐)

nginx日志统计分析自动报表工具goaccess(推荐)官网: https://goaccess.io/download源码https://github.com/opensourceteams/linux功能描述nginx日志统计分析自动报表工具goaccess(推荐)网站总访问量统计,按天统计访问量,按页面(不同URL)统计访问量(不包括JS、css),按静态页面统计访问...

2019-03-26 10:25:32 7449

转载 logback和log4j比较，前者是后者改良，logback配置详解(logback取代log4j的理由)

原文：https://blog.csdn.net/zbajie001/article/details/79596109一、logback的介绍　　Logback是由log4j创始人设计的另一个开源日志组件,官方网站： http://logback.qos.ch。它当前分为下面下个模块：　　logback-core：其它两个模块的基础模块　　logback-classic：它是log4j...

2019-03-17 08:46:16 248

原创 flink1.7.2 tableapi批处理示例

flink1.7.2 tableapi批处理示例源码https://github.com/opensourceteams/flink-maven-scala概述本文为flink1.7.2 tableapi批处理示例主要操作包括: print table,DataSet 转换成table,Scan,select,as,where / filter,groupBy,distinct,j...

2019-03-16 10:48:56 1493

原创 Flink1.7.2 sql 批处理示例

Flink1.7.2 sql 批处理示例源码https://github.com/opensourceteams/flink-maven-scala概述本文为Flink sql Dataset 示例主要操作包括:Scan / Select,as (table),as (column),limit,Where / Filter,between and (where),Sum,min,...

2019-03-15 12:50:09 2104

原创 Flink1.7.2 Dataset 并行计算源码分析

Flink1.7.2 Dataset 并行计算源码分析概述了解Flink处理流程(用户程序 -> JobGrapth -> ExecutionGraph -> JobVertex -> ExecutionVertex -> 并行度 -> Task(DataSourceTask,BatchTask,DataSinkTask)了解ExecutionVete...

2019-03-13 17:20:55 604

原创 Flink1.7.2 Dataset 文件切片计算方式和切片数据读取源码分析

Flink1.7.2 Dataset 文件切片计算方式和切片数据读取源码分析源码https://github.com/opensourceteams/flink-maven-scala概述了解读取的文件或目录，具体进行切片拆分的实现了解任务读取切片中的数据规则数据文件读取结论开始位置索引从0开始的实际开始位置，0结束位置:按行一直读，直到位置索引大于等于切片大小时，再...

2019-03-13 17:18:24 1270

原创 Flink 1.7.2 dataset transformation 示例

Flink 1.7.2 dataset transformation 示例源码https://github.com/opensourceteams/flink-maven-scala概述Flink transformation示例map,flatMap,filter,reduce,groupBy reduceGroup combineGroup Aggregate(sum,max,...

2019-03-13 17:16:34 461

原创 Flink1.7.2 DataStream Operator 示例

Flink1.7.2 DataStream Operator 示例源码https://github.com/opensourceteams/flink-maven-scalahttps://github.com/opensourceteams/flink-maven-scala/tree/master/src/main/scala/com/opensourceteams/module/b...

2019-03-08 21:51:22 310

原创 Flink 1.7.2 业务时间戳分析流式数据源码分析

Flink 1.7.2 业务时间戳分析流式数据源码分析源码https://github.com/opensourceteams/flink-maven-scala概述由于Flink默认的ProcessTime是按Window收到Source发射过来的数据的时间，来算了，也就是按Flink程序接收的时间来进行计算，但实际业务，处理周期性的数据时，每5分钟内的数据，每1个小时内的数据进行...

2019-03-06 22:10:57 436

原创 Flink1.7.2 并行计算源码分析

Flink1.7.2 并行计算源码分析源码源码:https://github.com/opensourceteams/fink-maven-scala-2Flink1.7.2 Source、Window数据交互源码分析: https://github.com/opensourceteams/fink-maven-scala-2/blob/master/md/miniCluster/fli...

2019-03-05 13:39:17 764

原创 Flink1.7.2 Source、Window数据交互源码分析

Flink1.7.2 Source、Window数据交互源码分析源码https://github.com/opensourceteams/fink-maven-scala-2概述Source如何按partition发射数据到对应的WindowWindow 如何处理对应的Source发过来的对应的partition数据理解Flink 数据从Source到Window,上下游数据交...

2019-03-05 13:38:26 268

原创 Flink1.7.2 Source、Window数据交互源码分析

Flink Window 排序概述对增量Window进行输出排序WordCount增量(按单词名称排序)WordCount增量(按单词个数，再单词名称排序)源码https://github.com/opensourceteams/fink-maven-scala-2源码分析WordCount 程序(增量按单词升序排序)DataStream.windowAll 说明是wi...

2019-03-05 13:37:02 370

原创 Flink Sink 接收数据的顺序(Window发送数据顺序)

Flink Sink 接收数据的顺序(Window发送数据顺序)概述InternalTimerServiceImpl.processingTimeTimersQueue存储着同一个Window中所有Key,取第一个key，调用WindowOperator.onProcessingTime进行处理,并发送给SinkInternalTimerServiceImpl.processingT...

2019-03-05 13:35:33 1483

原创 Flink1.7.2 local WordCount源码分析

Flink1.7.2 local WordCount源码分析概述Flink 环境 local,版本 Flink.1.7.2用官网示例WordCount Scala程序分析源码本文从source、operator、sink三个方面详细分析源码实现时序图https://github.com/opensourceteams/fink-maven-scala-2/blob/master/...

2019-02-28 22:48:36 534

转载阿里正式向 Apache Flink 贡献 Blink 源码

Blink作为Apache Flink的分支blink,2018年12月在 Flink Forward China 北京国家会议中心峰会所约，阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源。今天，我们终于等到了这一刻，Blink已在阿里内部上万台机器规模验证。性能远超flink 其他分支,作为下一代大数据计算引擎。github源码:https://gith...

2019-01-28 14:56:00 1276

原创 Spark2.4.0 Dataset head 源码分析

Spark2.4.0 Dataset head 源码分析更多资源github: https://github.com/opensourceteams/spark-scala-maven-2.4.0视频Spark2.4.0 Dataset head 原理分析(bilibili视频): https://www.bilibili.com/video/av38193405/?p=6Spar...

2018-12-26 14:30:25 1075

原创 Spark 2.4.0编程指南--Spark DataSources

Spark 2.4.0编程指南–Spark DataSources更多资源github: https://github.com/opensourceteams/spark-scala-maven-2.4.0视频Spark 2.4.0编程指南–Spark DataSources(bilibili视频): https://www.bilibili.com/video/av38193405...

2018-12-26 14:29:37 1010 2

原创【apache flink forward china 2018】一线公司上万台Flink机器的应运

【apache flink forward china 2018】).阿里巴巴，腾讯，美团，爱奇艺，字节跳动（抖音，头条），等一线公司上万台flink机器应用 ).一线公司已升级大数据计算引擎Flink ).公布阿里巴巴将于2019年1月左右推出阿里的flink版本批流一体计算，包括阿里在Flink中的一些升级操作 https://github.com/opensourceteams/f...

2018-12-21 09:48:06 887

原创 Spark 2.4.0 集成Hive 1.2.1

Spark 2.4.0 集成Hive 1.2.1更多资源github: https://github.com/opensourceteams/spark-scala-maven-2.4.0apache-hive-1.2.1-bin 安装: https://github.com/opensourceteams/apache-hive-1.2.1-bin官网文档https://spar...

2018-12-19 22:18:24 2725

原创 apache-hive-1.2.1-bin 安装

apache-hive-1.2.1-bin 安装更多资源:https://github.com/opensourceteams技能标签下载apache hive 安装包进行apache-hive-1.2.1-bin.tar.gz安装配置mysql存储元数据配置HDFS存储 /user/hive/warehouse该Hive版本1.2.1默认集成在(Spark1.6 到 Spark2...

2018-12-19 22:16:42 4185 1

原创 Spark 2.4.0编程指南--Spark SQL UDF和UDAF

Spark 2.4.0编程指南–Spark SQL UDF和UDAF更多资源github: https://github.com/opensourceteams/spark-scala-maven-2.4.0视频Spark 2.4.0编程指南–Spark SQL UDF和UDAF(bilibili视频) : https://www.bilibili.com/video/av3819...

2018-12-18 15:01:41 1324

原创 Spark 2.4.0编程指南--spark dataSet action

Spark 2.4.0编程指南–spark dataSet action更多资源github: https://github.com/opensourceteams/spark-scala-maven-2.4.0视频Spark 2.4.0编程指南–spark dataSet action(bilibili视频) : https://www.bilibili.com/video/av...

2018-12-18 14:27:34 708

原创 Spark 2.4.0 编程指南--快速入门

Spark 2.4.0 编程指南–快速入门更多资源github: https://github.com/opensourceteams/spark-scala-maven-2.4.0视频Spark 2.4.0 编程指南–快速入门(bilibili视频) : https://www.bilibili.com/video/av38193405/?p=2 文档(官网文档): h...

2018-12-18 14:26:42 1624

原创 Spark 2.4.0 standalone 模式安装

Spark 2.4.0 standalone 模式安装更多资源github: https://github.com/opensourceteams/spark-scala-maven-2.4.0官网文档https://spark.apache.org/docs/2.4.0/spark-standalone.html技能标签学会安装Spark 2.4.0 standalone模...

2018-12-15 12:33:40 2259 1