机器学习相关框架

2016/3/24 14:1:8翻牌: 4631临幸: 11
    caffe-parallel通过参数服务器的方式对caffe进行了多机数据并行,底层通信采用MPI。下面记录一些看源码过程中的一些笔记,以免自己忘记。    caffe-parallel主要修改了solver.cpp net.cpp data_layer.cpp等几个文件。采用多线程的方式实现了参数服务器。0号处理器为参数服务器,有n个线程(n表示共有n个核),其中n-1个ComputeValueThreadClient线程分别对应其余n-1个核,用于异步的接收n-1个核上传来的参数,并向他们发送数据。剩余的n-1个核都是client。1个ComputeValueThreadServe...
2016/3/25 10:13:7翻牌: 2004临幸: 0
技术向:一文读懂卷积神经网络Large Scale Distributed Deep Networks 中译文Scaling Distributed Machine Learning with the Parameter ServerCommunication Efficient Distributed Machine Learning with the Parameter ServerMore Effective Distributed ML via a Stale Synchronous Parallel Parameter Server常用  blas 函数An overview of ...
2016/4/2 13:10:8翻牌: 5605临幸: 4
ps-lite是一个异步通信的参数服务器。主要提供push,pull,wait操作。ps-lite底层通信采用ZMQ实现。ZMQ是一个简单好用的传输层,像框架一样的一个socket library,他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。ps-lite中van封装了通信操作。整体结构postoffice类对van进行了管理,管理了customer的信息,提供worker和server的id转换和查询。postoffice类以单例模式出现。customer类主要维护了request和response的状态,其中的tracker...
2016/4/4 13:34:6翻牌: 3311临幸: 2
整体结构:主要有以下部分:net, blob, layer, solver.net.cpp:  net定义网络, 整个网络中含有很多layers,net构造函数中将所有layer按配置组装起来。net.cpp负责计算整个网络在训练中的forward, backward过程, 即计算forward/backward 时各layer的gradient。layer:  在protobuffer (.proto文件中定义message类型,.prototxt或.binaryproto文件中定义message的值) 中调用时包含属性name, type(data/conv/pool…), con...