ssf1987的专栏

原创 DeepSpeed在windows下构建失败的问题

使用pip install deepspeed无法安装，看教程说是可以自己安装。

原创 python 中文数字转换为阿拉伯数字

数字为3位数字以内，如下：一百八十四一百四一百十四十四四十一百一百零1对应python代码如下：def convertNumFromStr(numS): #numStr = re.findall(r"》(.+?)回",oldFilePath)# num = 0 #if "百" in numStr: #print(numStr) if "百" in numS: indexB = numS.index("百");

原创 spring cloud服务报错feign.RetryableException: Connection refused

在服务器上部署微服务的时候，框架是eureka，feign，zull等，出现一下错误信息：Caused by: feign.RetryableException: Connection refused (Connection refused) executing GET http://xxx-server/api/v1/cunchu/bucket/exist?bame=server-abc搜索网上教程：https://github.com/spring-cloud/spring-..

原创 外键操作语句-Mysql

外键操作语句-Mysqlcom.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate entry '1' for key 'UK_j5c8ny79k6s3xessw0f57r1al'解决思路：删除关联表对应的索引：show index from dbmt.user_role_mapp...

原创 Python学习，网络请求，json转换。

#!/usr/bin/python3import osimport jsonfrom urllib.request import urlopenhtml = urlopen("https://huiyan.baidu.com/openapi/v1/migration/rank?type=move&ak=kgD2HiDnLdUhwzd3CLuG5AWNfX3fhLYe&a...

原创 Jedis访问多Master的哨兵模式，实现Redis集群高可用

Jedis访问多Master的哨兵模式，实现Redis集群高可用在使用Jedis访问哨兵（Sentinel）模式的集群时，Jedis默认提供JedisSentinelPool组件来访问哨兵模式的Redis节点，但是很遗憾JedisSentinelPool只支持一个Master的节点，在访问多个Master节点的哨兵集群时，却没有很好的组件支持。虽然目前Redis Cluster提供了很好的高可用...

原创 html页面通过flv.js实现视频监控直播和点播功能。

最近在做关于视频平台的直播和点播功能，服务端使用的是SRS版本，计划手机APP使用PLDroidPlayer来通过http-flv的方式实现视频的直播和点播，Web端可以使用flv.js。目前手机端没有什么问题，介绍下使用html5页面方式通过http-flv来进行视频的直播和点播，直播和点播都使用flv。1、在点播的时候，使用yamdi对flv视频文件添加关键帧，然后将视频文件存储在ngin...

转载 心经全文及译文

观自在菩萨，行深般若波罗蜜多时，照见五蕴皆空，渡一切苦厄。【翻译】能够自由自在地观察自身佛性之奥秘的觉者，在运用大智慧深入研究生命是如何到达光辉彼岸的过程时，真实地看到，构成宇宙万事万物的五种因素（色、受、想、行、识）原本具有可变的空态性质，没有不可变的实体，一切痛苦灾难，都能被这一空态度脱而化解掉。舍利子，色不异空，空不异色，色即是空，空即是色，受想行识，亦复如是。【翻译】弟子们...

原创 tomcat下配置web.xml修复不安全的请求方法漏洞。

1、黑名单方式：<security-constraint><web-resource-collection> <web-resource-name>fortune</web-resource-name> <url-pattern>/*</url-pattern&...

原创 SparkStreaming读取Kafka读取记录问题。

有个业务，Spark程序需要读取Kafka，然后写入Redis上，Spark任务运行在Yarn集群上，由于没有开通网络策略，无法定位Spark在yarn节点上的运行情况和日志。总是报错误，中间有Redis和Kafka的报错Log，找人看了下网络，下网络也都是通的，最后看到一条这样的报错：INFO Reconnect due to socket error: java.nio.channels...

原创 SparkStreaming读取外部文件

scala语言：方法1val path = "/data1/work/config.properties"try { opinionDictPath = HDFSUtil.getProperties(path, "opinionDictPath") println("opinionDictPath 2 is " + opinionDictPath)} catch { ca...

原创 ActiveMQ集群，高可用搭建。

系统使用Zookeeper，levelDB，ActiveMQ，使用Nginx作为反向代理和负载均衡，对外nginx配置提供统一的接口。系统部署在3台服务器上，现在把关键配置参数配置记录下，仅供大家参考。其中activemq.xml如下：<persistenceAdapter> <replicatedLevelDB directory="${a...

原创 IOS客户端app在线安装ipa包，

在github上建立安装需要的plist文件，<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN""http://www.apple.com/DTDs/PropertyList-1.0.dtd"><plist version=&

原创 SparkStreaming任务保持运行，定时任务监控进程

cron任务：每隔1分钟启动脚本，检查进程是否运行。*/1 * * * * /data1/spark-1.6.0/startEnginea.sh检查进程，如果进程挂掉，重新启动Spark任务：#!/bin/shis_Engine_exist=$(ps aux | grep LbsStreamingEngineTJ | grep -v grep | wc -l)if [ $i...

原创 Visual Studio使用ffmpeg 4.0 读取视频文件，写入到bmp图片。

#include <windows.h>#include <stdlib.h>#ifndef _WINGDI_#define _WINGDI_typedef struct tagBITMAPFILEHEADER { WORD bfType; DWORD bfSize; WORD bfReserved1; WORD bfReser...

原创 java 调用hbase的api进行表操作

package client;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import org.slf4j.Lo...

原创 ffmpeg编译错误问题，`.rodata' can not be used when making a shared object; recompile with -fPIC

错误现象：/usr/bin/ld: libavcodec/mqc.o: relocation R_X86_64_32 against `.rodata' can not be used when making a shared object; recompile with -fPIClibavcodec/mqc.o: error adding symbols: Bad valuecolle...

原创 linux下用shell脚本删除mysql记录数量比较多的表。

mysql下删除记录较多的表会出现如下错误：Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after connection closed.因此需要分批删除表中数据，脚本如下：#!/bin/bashDB_USER="root"DB_PAS...

原创 java使用load data 批量插入记录到数据库表中。

public class MysqlTest { static String driver = "com.mysql.jdbc.Driver"; static String url = "jdbc:mysql://10.119.8.67:3306/test_data?useSSL=false"; static Connection conn = null; pub...

转载 大数据版本网址

https://mirrors.tuna.tsinghua.edu.cn/apache/http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.5/http://archive.apache.org/dist/

原创 按行读取文件，分隔字符串，形成sql语句，写入到文件中。

原创 Html 中表格导出生成excel文件，解决中文导出失败问题。

Html 中表格导出生成excel文件，解决中文导出失败问题。本网上有Github的jquery插件，但是表格中含有中文的时候，会导出失败，jquery.base64出现INVALID_CHARACTER_ERR: DOM Exception 5 日志，从网上找的代码可以解决问题，参考如下示例：mybase64.js(function ($) { $.base64 = function (o

原创 android应用使用ant打包过程

android应用使用ant打包过程本使用Ant打包的主要优势是方便、快速，并且可以实现自动化处理，对于android应用的打包，主要在于build.xml的定制，现在总结下我使用ant打包的过程，主要包括混淆，签名和安装，主要经验是对sdk\tools\ant\build.xml的继承和了解。开始配置Eclipse工程目录下执行命令添加build.xml： android update proj

原创 RecyclerView 试用经验。

google在support包中发布了RecyclerView，感觉这个控件的性能比较差，没有ListView流畅。决定还用ListView

原创 Android ListView控件优化

ListView的优化。

原创 android自定义组合控件，参考Launcher中FolderIcon构成，欢迎拍砖。

目的：制作一个自定义的组合控件，该控件由其它控件构成，leappitem_view.xml

原创 java 文件和文件夹的压缩实现

import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.util.ArrayList;import java.ut

原创 Diffie-Hellman

Diffie-Hellman1976年，Whit Diffie和Martin Hellman共同提出了Diffie-Hellman[1]算法（简称DH），这是一种两方密钥交换协议，用于两个对等实体安全地协商共享密钥。DH算法实质是一个通信双方进行密钥协定的协议，它的安全性基于有限域上计算离散对数的困难性。  Diffie-Hellman密钥交换协议如下：  

原创 java语言正则表达式的用法

字符说明\将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如，“n”匹配字符“n”。“\n”匹配换行符。序列“\\”匹配“\”，“\(”匹配“(”。^匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与“\n”或“\r”之后的位置匹配。$

原创 eclipse 快捷键

eclipse全局 打开资源 Ctrl+Shift+R类文件 全局 打开资源 Ctrl+Shift+T

原创 Tornado 与文件上传

Tornado 自身是不支持大文件上传的。对于接收到的文件，它会把文件内容保存在内存里，而不是像 PHP 那样保存在临时文件里。这样对于大文件，问题很明显了——内容不够。所以，Tornado 上传文件的大小限制在 100M 以下了。Tornado 官方建议使用 nginx 的上传模块来处理文件上传。http://www.afewords.com/book/502e5cff372

转载 Notepad++ 快捷键 大全

Notepad++ 快捷键 大全Ctrl+C 复制Ctrl+X 剪切Ctrl+V 粘贴Ctrl+Z 撤消Ctrl+Y 恢复Ctrl+A 全选Ctrl+F 键查找对话框启动Ctrl+H 查找/替换对话框Ctrl+D 复制并粘贴当行Ctrl+L 删除当前行Ctrl+T 当行向上移动一行F3 查找下一个Shift+F3 查找上一个Ctrl+

转载 ContentObserver——内容观察者

ContentObserver——内容观察者，目的是观察(捕捉)特定Uri引起的数据库的变化，继而做一些相应的处理，它类似于   数据库技术中的触发器(Trigger)，当ContentObserver所观察的Uri发生变化时，便会触发它。触发器分为表触发器、行触发器，  相应地ContentObserver也分为“表“ContentObserver、“行”ContentObser

转载 Android Handler

一、Handler的定义:          主要接受子线程发送的数据, 并用此数据配合主线程更新UI.          解释: 当应用程序启动时，Android首先会开启一个主线程 (也就是UI线程) , 主线程为管理界面中的UI控件，进行事件分发, 比如说, 你要是点击一个 Button ,Android会分发事件到Button上，来响应你的操作。  如果此时需要

原创 ubuntu linux下执行.sh文件

首先，要确保这个文件的类型是可执行的。有两种办法把文件设置为可执行文件。1) 直接在文件属性标签中选中 "可执行"，--b 如果用的是图形界面，这个方法最简单直接。2) 使用命令 chmod +x file.sh。将可执行属性添加到文件属性中。然后，执行这个shell脚本文件。1) 双击 file.sh 直接运行。 --b 别笑，图形界面的优点： 简单直接。2) 使用命令

转载 Python正则表达式指南

本文介绍了Python对于正则表达式的支持，包括正则表达式基础以及Python正则表达式标准库的完整介绍及使用示例。本文的内容不包括如何编写高效的正则表达式、如何优化正则表达式，这些主题请查看其他教程。注意：本文基于Python2.4完成；如果看到不明白的词汇请记得百度谷歌或维基，whatever。 尊重作者的劳动，转载请注明作者及原文地址 >.html1. 正则表达式基础

转载 ubuntu清理系统垃圾与备份

虽然linux下不会有windows下的那么多垃圾和磁盘碎片!但还是会留下一些用不着的临时文件或是多次升级后的N个旧的内核!1，非常有用的清理命令：sudo apt-get autocleansudo apt-get cleansudo apt-get autoremove这三个命令主要清理升级缓存以及无用包的。2，清理opera firefox的缓存文件：ls ~/.

转载 ubuntu更新命令点点滴滴

sudo: sudo是linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具，如halt，reboot，su等等。这样不仅减少了root用户的登陆 和管理时间，同样也提高了安全性。Sudo不是对shell的一个代替，它是面向每个命令的。      apt-get: apt-get是一条linux命令，适用于deb包管理式的操作系统，主要用于自动从互联网的

原创 robotium遍历——测试感想

使用映射的方式把手机端映射类似为PC的服务端。然后，可以采用socket通信的方式，进行进一步的操作。http://repo1.maven.org/maven2/com/jayway/android/robotium/robotium-solo/3.6/robotium-solo-3.6-sources.jar

转载 ubuntu 学习资料

http://developer.android.com/sdk/installing/installing-adt.html#Troubleshooting  ADT plugin离线包Ubuntu下安装配置Android SDK1、安装Eclipse，详见http://blog.csdn.net/gavin_dinggengjia/article/details/7364375