weixin_42541261的博客

翻译 字节跳动开源高性能分布式训练框架BytePS:兼容TensorFlow等主流训练框架

首先奉上 BytePS 开源项目地址：https://github.com/bytedance/byteps BytePS 结合了字节跳动人工智能实验室几个月来对分布式训练通信的多个研究与优化成果，包含通信优先级调度、PS 的 RDMA 实现、针对 PCIe switch 与 NUMA 的优化，以及 BytePS 本身构架的创新等。 深度学习的效果取决于模型与数据，目前行业内不断刷新深度学习准确率...