gwd777的专栏

原创 CV炼丹心得总结

3，在模型Block当中处理的特征图Feature Map，size越小，运行速度越快。(*) 比如下面的例子当中，8*8 运行的速度就比 16*16运行的速度快。1，ResNet的思想 y=F(x)+x 这个经验可帮助模型更快的收敛。2，在模型最后输出分类的时候，最好有个归一化层。

原创 python 安装 dlib，basicsr 遇见的坑爹问题

1，当使用 pip install -r .\requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 安装依赖环境时，如何 requirement.txt 当中出现 dlib,basicsr 这样的包，请抠出来单独安装，否则会影响其他选手的发挥。2，安装 basicsr==1.4.2；3，安装 dlib==19.24.0；

原创 PostMan简单使用(模拟前端发送文件)

原创 python pandas.DataFrame 直接写入Clickhouse

if con.execute('EXISTS default.table_name') == [(0,)]: 来判断表是否存在的。这里的 schema 一定要写，判断表是否存在 是用。1) 运行需要安装包。

原创 python实现的TopologySort

【代码】python实现的TopologySort。

原创 根据Pytorch源码实现的 ResNet18

CV ， ResNet18， 图像分类模型

原创 sql问题

核心思路是：将下一行日期拉取到上一行，构成一个范围 [a,b]，left join一个连续的时间维表，使得数据膨胀，最后在用范围去做行过滤。构建上表的核心思路是：按照行与列进行分组。

原创 metabase BI 做 Like 条件过滤

【代码】metabase BI 做 Like 条件过滤。

原创 Sqoop 同步问题

【代码】【无标题】Sqoop 同步问题。

原创 Clickhouse常用的sql

【代码】Clickhouse常用的sql。

原创 Clickhouse 同步mysql报错 Cannot read all data. Bytes read: 0. Bytes expected

2）CH 这边要同步MySQL的数据是根据binlog来同步的，刚才的报错是binlog被服务端清理掉了。两种情况（1）binlog 过期时间太短了。（2）RDS 还有一种策略是磁盘满了，也会清理binlog.1）clickhouse 内存是否已经占满，如果一次向CH当中插入过多的数据，会出现这种情况。1，用clickhouse自带的MaterializeMySQL引擎，同步mysql数据时报了上述错误。3) 解决办法: 升级内存等硬件，修改binlog过期策略，重建MM映射表~

原创 MySQL_MaxWell 写入Clickhouse

maxwell to clickhouse

原创 datax数据传输实践

datax

原创 李沐从0到1实现softmax分类器

python

原创 docker-clickhouse 备份tsv文件，上传s3

clickhouse备份，python 上传文件s3

原创 Docker Kafka手动重置 offset

kafka，docker

原创 grafana采坑记录

grafana 展示问题

原创 windows 定时任务

windows定时任务，python

原创 python监控主机信息，重启浏览器

python开发

原创 Telegram Chat Bot采坑日记

python ; telegream chat bot

原创 python xpath 解析html文件

python xpath解析html文件

原创 CH采坑日记

clickhouse 建表相关

原创 python多线程消费heapq序列数据

python多线程, 同时消费heapq

原创 python利用pandas.DataFrame批量写入clickhouse

clickhouse批量写入，python CH-client处理数据

原创 docker-metabase镜像打入clickhouse驱动

docker基本操作

原创 ClickHouse物化视图，SQL替换实操记录

clickhouse 物化视图

原创 Docker打包Java maven项目记录

Java docker镜像制作

原创 PostgreSQL(Hologress-Sql)常见问题总结

postgresql

原创 Metabase使用记录

1)通过代码设置变量2）查看归档项目3）在仪表盘当中添加企业关联的按钮。4）指定关联字段

原创 python3 configparser读取配置文件

import configparser### 加载配置文件holo_config = configparser.ConfigParser()base_path=os.path.dirname(os.path.dirname(os.path.abspath(__file__)))if 'tmp' in base_path: base_path = '/tmp/src/app'config_path=f'{base_path}/config2.properties'holo_conf.

原创 kafka-Consumer-SSL-获取对应groupID的offset

import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.alibaba.fastjson.JSONPObject;import org.apache.kafka.clients.CommonClientConfigs;import org.apache.kafka.clients.consumer.Consumer;import org.apache.kafka.clients.con..

原创 kafka-producer-SSL

/** * kafka生产者，向kafka发送消息 * */public class KafkaProductMsg { public static void main(String[] args) throws Exception { Random r = new Random(); Properties environment = new Properties(); InputStream is = KafkaProductMs.

原创 Flink 报错：java.lang.NoClassDefFoundError 问题解决

https://www.cnblogs.com/-courage/p/14106325.html

原创 KafkaConsumer初始化遇到的问题

class org.apache.kafka.common.serialization.StringSerializer is not an instance of org.apache.kafka.common.

原创 Java-引入Neo4j驱动

<dependency> <!-- 服务器开发需要的jar包 --> <groupId>org.neo4j.driver</groupId> <artifactId>neo4j-java-driver</artifactId> <version>4.2.0</version> </depende...

原创 shell脚本调用python脚本，获取python返回值并且做字符串的切分

#!/usr/bin/python# coding=utf-8import sysimport pymysql#pymysql连接mysqldef getmsg(): sysconn = pymysql.connect( host='192.168.1.3', port=3306, user='xxx', password='123123', db='xxx_table', charset.

原创 Java代码执行 Linux-shell命令

package com.bigdata.pushdata;import java.io.*;import ch.ethz.ssh2.ChannelCondition;import ch.ethz.ssh2.Connection;import ch.ethz.ssh2.SCPClient;import ch.ethz.ssh2.Session;public class SshClientUtils { private static String IP = "11.211.112...

原创 如何用java开发windows的窗口应用，可以运行在其他任意没有java环境的机器上

1,首先用idea编辑JavaFrame应用(参考)https://blog.csdn.net/mawei7510/article/details/896381262，使用exe4j将可执行的jar文件打包成 xxx.exe程序（可参考）https://blog.csdn.net/mawei7510/article/details/89675034需要注意的几点:1,这里需要勾选上 64-bit，如果你的机器是64位操作系统。2，在这一步一定要勾选 需要运行的jar文件，已经 .

转载 SuperSet BI Windows 安装

1，安装python 3.6，官网自行下载2，superset官网：http://superset.apache.org/installation.html3，安装步骤：https://my.oschina.net/wangbinykit/blog/9951374，遇到的问题：https://blog.csdn.net/xx117501/article/details/88685409...

原创 mysql导入大量数据时报MySQL server has gone away错误的解决办法

在mysql Clint 客户端中执行:&gt;set global max_allowed_packet=524288000; //500M&gt;show global variables like 'max_allowed_packet';