- 博客(17)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 ajax 访问后台数据出现身份验证失败问题的解决
前端JS：function getAjaxData() { var strResult = ""; $.ajax({ type: 'post', url: encodeURI(‘Manage.aspx/GetConfigUrl’), data: "{}", contentType: "application/json;charset=utf-8", dataType: "json", cac...
2020-10-08 16:13:34
1289
原创 paho-mqtt的一个坑
最近用js+paho-mqtt来做物联网云平台的开发，通过web前端访问消息队列，在publish消息前生成一个message对象时，总是异常，提示：TypeError: Cannot read property 'Message' of undefined。代码如下：function onConnect() { // Once a connection has been made...
2020-03-18 18:25:14
954
原创 依据kafka已配置的分区数量来配置消费者对象数量
本文开发环境：windows 10,c# ,rdkafka开发库kafka主题的消费者对象数量是个重要指标，消费者数量与主题分区一一对应，如果消费者个数多了，多余的消费者对象不能发挥作用，浪费了系统资源；如果消费者个数少了，就达不到发挥kafka最大的性能。因此，消费者对象个数的确定，也就是主题分区个数的确定，是一个重要的工作。至于设置多少个主题分区，答案是：根据需要设置。意思是根据项目规模，...
2018-10-01 22:29:51
2222
原创 C#RDKAFKA消费者的两种工作模式：消息模式，线程模式
最近开发中，用到了这2种模式。线程模式处理数据的速度和内存可控，数据处理不及的话，都存储在kafka种；消息模式并行处理，压力过大时内存可能不方便控制。消息模式：private EventConsumer CreateKafkaConsumer() { string strKafkaBrboker = "127.0.0.1"; ...
2018-10-01 15:42:20
2331
原创 c# Parallel.ForEach和for性能对比
今天百忙之中，突发奇想，证明一下Parallel.ForEach和for性能，namespace ParallelTest{ public partial class Form1 : Form { public Form1() { InitializeComponent(); Concurrent...
2018-09-29 17:22:42
3255
原创 M2MQTT客户端MqttClient异常问题解决
最近做一个物联网设备模拟器，C#+net4.5，采用M2Mqtt.Net.dll开发库，从VS2017工具nuget安装。服务器采用EMQ 2.3.11稳定版。计划是一个c#winform应用程序，批量模拟多个物联网数据采集器上传数据到服务器。1分钟一个链接发一条指令。结果在new 地347个MqttClient（）对象后，connect服务器时，出现内存异常。每次都是这样。一时解决不...
2018-09-27 00:01:11
9694
1
原创 Windows平台kafka单机环境的搭建
本文参考了https://blog.csdn.net/u010054969/article/details/70241478，今天搭建windows 单机版的kafka平台成功，准备用于开发环境在安装zookeeper前，请确认java环境已经正确安装和配置JAVA_HOME环境变量。否则无法启动zookeeper和kafka的。1.安装Zookeeper Kafka的运行依赖于Zook...
2018-08-06 14:59:53
2784
1
转载 Spark中ml和mllib的区别
Spark中ml和mllib的主要区别和联系如下：ml和mllib都是Spark中的机器学习库，目前常用的机器学习功能2个库都能满足需求。spark官方推荐使用ml, 因为ml功能更全面更灵活，未来会主要支持ml，mllib很有可能会被废弃(据说可能是在spark3.0中deprecated）。ml主要操作的是DataFrame, 而mllib操作的是RDD，也就是说二者面向的数据集不一样
2018-01-24 20:56:55
5781
转载 【Spark Summit EU 2016】使用Mobius在.NET平台上构建你的下一个Spark应用
摘要： 本讲义出自Kaarthik Sivashanmugam在Spark Summit EU上的演讲，主要介绍了微软公司的用于在.NET平台上构建Spark应用的C#的API——Mobius。更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.
2018-01-24 08:50:05
590
翻译 [翻译]用.NET平台的Spark扩展包Mobius来开发Apache Spark应用
最近一个大数据项目中，用到数据挖掘，我一直用C#开发的，还不会JAVA，试图用C#进行SPARK开发，发现网上有这个微软的Mobius项目，但中文资料很少。也许是我还没查到吧。就花几个小时翻译一下。后面有必要的话，还继续翻译相关内容。第一次翻译，不对不好的地方，请各位担待一些。出于严谨性，保留了英文。=============================================
2018-01-24 00:54:10
2188
3
转载 常用内存数据库介绍(四)
常用内存数据库介绍(四)4.5 H2 Database h2是Thomas Mueller提供的一个开源的、纯java实现的关系数据库，官方网站：http://www.h2database.com/html/main.html。 它的主要特性是：非常速的数据库引擎开源、免费数据库支持 JDBC和ODBC API，支持SQL支持嵌入式，服务器和集
2013-12-24 17:06:07
796
转载 常用内存数据库介绍(三）
常用内存数据库介绍(三）4.1.2 哪些场合适合使用其他的关系型数据库管理系统（RDBMS）· 客户端/服务器程序 如果你有许多的客户端程序要通过网络访问一个共享的数据库, 你应当考虑用一个客户端/服务器数据库来替代SQLite. SQLite可以通过网络文件系统工作, 但是因为和大多数网络文件系统都存在延时, 因此执行效率不会很高. 此外大多数网络文件系统在实现文件逻辑锁
2013-12-24 17:02:03
1038
转载 常用内存数据库介绍（二）
常用内存数据库介绍（二）4. 常用内存数据库4.1 SQLite SQLite是一个小型的C程序库，实现了独立的，可嵌入的，零配置的SQL数据库引擎。特性包括： 事务操作是原子，一致，孤立，并且持久的(ACID)，即使在系统崩溃和电源故障之后。 零配置——不需要安装和管理。 实现了绝大多数SQL92标准。 整个数据库存储在一个单一的文件
2013-12-24 17:00:11
1032
转载 常用内存数据库介绍（一）
常用内存数据库介绍（一）1. 内存数据库简介1.1 概念一、什么是内存数据库传统的数据库管理系统把所有数据都放在磁盘上进行管理，所以称做磁盘数据库（DRDB:Disk-Resident Database）。磁盘数据库需要频繁地访问磁盘来进行数据的操作，由于对磁盘读写数据的操作一方面要进行磁头的机械移动，另一方面受到系统调用（通常通过CPU中断完成，受到CPU时钟周期的制约）时间
2013-12-24 16:58:44
896
转载 RTMPT 协议
RTMPT 协议已有 1 次阅读 2009-12-25 15:36 一、 概述 RTMPT 协议是HTTP协议的扩展，Adobe的Flash Player和media server支持。RTMPT的命令基本都是用来控制网络连接的持久性的。在HTTP1.0的年代里，所有的HTTP请求都是建立一个网络连接，发出请求，得到回应，然后网络连接断开。在后来web世界变
2010-01-23 01:13:00
666
转载 DLL(Dynamic Link Libraries)
DLL(Dynamic Link Libraries)专题目录引言 调用方式 MFC中的DLL DLL入口函数 关于约定 关于DLL的函数 模块定义文件(.DEF) DLL程序和调用其输出函数的程序的关系 作者引言比较大的应用程序都由很多模块组成，这些模块分别完成相对独立的功能，它们彼此协作来完成整个软件系统的工作。可能存在一些模块的
2010-01-21 14:31:00
451
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人