jingyu.wang-CSDN博客

原创 wscp收到了太大的SFTP包,支持的最大包大小1024000 B

winscp提示错误，收到了太大的SFTP包(774766592 B)

2023-06-12 20:45:36 1486 1

原创 grafana 8.4.6 报错无法打开

grafana 8.4.6 报错无法打开报错如下If you're seeing this Grafana has failed to load its application files1. This could be caused by your reverse proxy settings.返向代理会引起这个问题。2. If you host grafana under subpath make sure your grafana.ini root_url setting include

2022-04-18 14:39:50 7378

原创 linux split 按文件大小整行分割文本文件

linux split 按文件大小整行分割文件在网上搜了一段时间，没搜到有专门写，如何把文件按大小分割，但切出来的文件每行是完整的（可能是我运行不好吧）。后来查了split --help 发现了如下方法。经过测试好用。比如把50G文件分割成50个小文件，每个文件1G，如果按 -b 参数分割，有很多文件第一行和最后一行不是完整的，残缺不全。笔者部份工作是hadoop数据入关系数据库工作，有时为了效率需要把大文件切成小文件，多线程入库。直接上干货代码与测试结果。案例一：hdfs 上 /tmp/wjy

2021-04-16 11:23:45 1070 1

翻译 Airflow 2正式出来了

Airflow 2正式出来了Airflow 2.0.0, 2020-12-17https://github.com/apache/airflow/releases/tag/2.0.01.新的写dag脚本方式。（使用python注释）@taskdef extract():return {“1001”: 301.27, “1002”: 433.21, “1003”: 502.22}2.Fully specified REST API (AIP-32)更全的 REST API 接口。提供外部调用。

2020-12-23 13:48:44 822

原创 hive与spark合并小文件，将大文件打碎成小文件

场景一：将小文件合并成大文件。mro_hour_test表每个分区有几千个1m未压缩小文件，以下语句是将几千个文件在输入时(map阶段)合并成150M一个的文件，插入到mro_hour_test_cp表中，每个150M文件将会压缩成每个30M左右的gz文件。如果 mro_hour_test表每个分区有几千个1m大小的gz文件，在插入到mro_hour_test_cp表时，会被合并成每个150M的gz文件。set hive.hadoop.supports.splittable.combineinpu

2020-06-19 21:03:17 1656

原创 WIN10更新失败,win10安装组件失败解决方案

WIN10更新失败,win10安装组件失败解决方案抛砖引玉,例如:安装一些更新失败,无法安装或开启"windows开发人员模式"或安装ssh 客户端失败抛砖引玉,例如:安装一些更新失败,无法安装或开启"windows开发人员模式"或安装ssh 客户端失败‘‘解决方案是’’,下载"win10易升",将win10升级到最高版本.win10易升下载方法:在百度中搜索"win10易升", 点击打...

2020-01-27 17:26:05 2470

翻译 IntelliJ IDEA各历史版本下载地址

IntelliJ IDEA各历史版本下载地址https://www.jetbrains.com/idea/download/other.html

2019-12-08 19:12:12 1858

原创 IntelliJ IDEA 编辑python项目，如何更换python环境

IntelliJ IDEA 编辑python项目，如何更换python环境(更换venv或Virtualenv环境Virtualenv 和 venv 区别为 ,Virtualenv需要安装，venv 是python3自带的组件不需要安装。推荐使用venv配置venv环境$ python3 -m venv [ virtual-environment-name ]样例：$ python -m...

2019-11-29 10:43:49 5689

VScode_User_GuideV0.1.pdf

此文档描述如果用vscode开发python/java/scacal，并配置git,maven,连接docker容器、连接ssh服务器、连接Linux子系统环境开发。一站式入门开发文档。并包括vscode下载连接和周边工具等。

2020-03-01

VMware-Tools-core-10.3.10-12406962_win_linux.zip.zip

VMware Tools是一款VMware Workstation 虚拟机软件的增强工具包，适用于VMware Player 和 workstation ,是VMware提供的增强虚拟显卡和硬盘性能、以及同步虚拟机与主机文件的驱动程序。设置网络共享，协调分辨率等。此包里包含Linux和windows 工具。

2020-03-01

VMware-Tools-core-10.3.10-12406962_windows.zip

VMware Tools是一款VMware Workstation 虚拟机软件的增强工具包，适用于VMware Player 和 workstation ,是VMware提供的增强虚拟显卡和硬盘性能、以及同步虚拟机与主机文件的驱动程序。设置网络共享，协调分辨率等。此工具适用于winosws版。

2020-03-01

VMware-Tools-core-10.3.10-12406962_linux.iso

VMware Tools是一款VMware Workstation 虚拟机软件的增强工具包，适用于VMware Player 和 workstation ,是VMware提供的增强虚拟显卡和硬盘性能、以及同步虚拟机与主机文件的驱动程序。设置网络共享，协调分辨率等。此工具包用于Linux系统。

2020-03-01

airflow1.10.2.pdf

airflow官方文档1.10.2版PDF是英文版的。 Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和管理。

2019-12-02

airflow_cn.zip

汉化airflow的shell脚本，所以理论上适合所有airflow版本。此脚本只在python2上进行测试通过。在airflow 1.10.3版本上经过测试。如果你想在python3上使用，你可能需要更改脚本中python路径,将 /usr/lib/python2.7 改为python3的路径/usr/local/lib/python3.7/site-packages/airflow 此脚本适合对shell和linux了解的人使用。注意！！注意！！注意！！注意！！没在python3上进行测试。可能存在bug注意！！注意！！注意！！注意！！注意！！

2019-11-29

airflow中文时区完美解决方案_与安装大全

本文档让你使用最新版的airflow同时可以使用中国时区。并附有airflow中文资料引用。airflow安装方案细节。 airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。airflow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。同时，airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作，并且airflow提供了监控和报警系统。

2019-01-07

net framework 4 安装失败

解决安装net framework 4 失败出现如下类似的问题. Returning IDOK.INSTALLMESSAGE_ERROR[无法将数值 PresentationHost.exe 写入键] \Software\Microsoft\Internet Explorer\Main\FeatureControl\FEATURE_LEGACY_COMPRESSION。请验证您对该键拥有足够的访问权限，或者与您的技术人员联系。

2011-12-20

java压缩(zip)中文问题完美解决

使用java压解有中文字符的文件乱码,apache项目中的ant.jar包可完美解决此问题,代码是用eclipse项目,项目下有ant.jar包,使用前请把ant.jar包导入.

2011-11-01

Subversion1.5 服务+客户+中文包

TortoiseSVN 是 Subversion 版本控制系统的一个免费开源客户端，可以超越时间的管理文件和目录。文件保存在中央版本库，除了能记住文件和目录的每次修改以外，版本库非常像普通的文件服务器。你可以将文件恢复到过去的版本，并且可以通过检查历史知道数据做了哪些修改，谁做的修改。这就是为什么许多人将 Subversion 和版本控制系统看作一种“时间机器”。　　某些版本控制系统也是软件配置管理(SCM)系统，这种系统经过精巧的设计，专门用来管理源代码树，并且具备许多与软件开发有关的特性 - 比如，对编程语言的支持，或者提供程序构建工具。不过 Subversion 并不是这样的系统；它是一个通用系统，可以管理任何类型的文件集，包括源代码。

2008-12-17

TA关注的人

aondy1的博客

原创 wscp收到了太大的SFTP包,支持的最大包大小1024000 B

原创 grafana 8.4.6 报错无法打开

原创 linux split 按文件大小整行分割文本文件

翻译 Airflow 2正式出来了

原创 hive与spark合并小文件，将大文件打碎成小文件

原创 WIN10更新失败,win10安装组件失败解决方案

翻译 IntelliJ IDEA各历史版本下载地址

原创 IntelliJ IDEA 编辑python项目，如何更换python环境

VScode_User_GuideV0.1.pdf

VMware-Tools-core-10.3.10-12406962_win_linux.zip.zip

VMware-Tools-core-10.3.10-12406962_windows.zip

VMware-Tools-core-10.3.10-12406962_linux.iso

airflow1.10.2.pdf

airflow_cn.zip

airflow中文时区完美解决方案_与安装大全

net framework 4 安装失败

java压缩(zip)中文问题完美解决

Subversion1.5 服务+客户+中文包

sip培训ppt,什么是SIP

PLSQL Developer 7.0.1 中文版

oracle12.1 sqlldr 的direct方式导数据比“非direct方式导数据慢”，如何解决？