2017/3/23 15:42:20翻牌: 1954临幸: 0
物是人非和物非人是人生总纠结在两中事情中:物是人非和物非人是。物是人非事事休,欲语泪先流。让人流泪的岂止是物是人非,还得加上物非人是。匆匆岁月,蹉跎几载往事再提,昔人重聚,事如当初,人若当时,初心不在,唏嘘不已。世事变迁,人已沧桑,初心仍在,叹息不止。又是毕业季忆往昔,没有峥嵘岁月更别提稠了。那年的毕业季那年的心境,今年的毕业季又是什么心境呢。说好的要来罐啤酒然后并没有喝。忙于实习,写论文,测数据。一心不能多用。那点小忧郁在忙起来的时候想发酵起来都难。以去年的开头来结尾for day in xrange(monday, sunday):     I.think(whatToThink)一句写...
2016/7/24 3:58:9翻牌: 4690临幸: 4
    笔记主要 记录三部分内容。第一部分记录词向量的概念和训练方法,第二部分记录如何用哈夫曼树加速网络的训练,第三部分记录word2vec的功能和实现方法。内容整理于网络。词向量词向量是一种低维实数向量。这种向量一般长成这个样子:[0.792, −0.177, −0.107, 0.109, −0.542, ...]。维度以 50 维和 100 维比较常见。1. 词向量的来历    Distributed representation 最早是 Hinton 在 1986 年的论文《Learning distributed representations of concepts》中提出的。...
2016/5/19 15:14:10翻牌: 4995临幸: 2
$*               不包含扩展名的目标文件名称。$+               所有的依赖文件,以空格分开,并以出现的先后为序,可能包含重复的依赖文件。$<               第一个依赖文件的名称。$?               所有的依赖文件,以空格分开,这些依赖文件的修改日期比目标的创建日期晚。$@               目标的完整名称。$^               所有的依赖文件,以空格分开,不包含重复的依赖文件。$%               如果目标是归档成员,则该变量表示目标的归档成员名称。例如,如果目标名称                 ...
2016/4/4 13:34:6翻牌: 4175临幸: 2
整体结构:主要有以下部分:net, blob, layer, solver.net.cpp:  net定义网络, 整个网络中含有很多layers,net构造函数中将所有layer按配置组装起来。net.cpp负责计算整个网络在训练中的forward, backward过程, 即计算forward/backward 时各layer的gradient。layer:  在protobuffer (.proto文件中定义message类型,.prototxt或.binaryproto文件中定义message的值) 中调用时包含属性name, type(data/conv/pool…), con...
2016/4/2 13:10:8翻牌: 6979临幸: 4
ps-lite是一个异步通信的参数服务器。主要提供push,pull,wait操作。ps-lite底层通信采用ZMQ实现。ZMQ是一个简单好用的传输层,像框架一样的一个socket library,他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。ps-lite中van封装了通信操作。整体结构postoffice类对van进行了管理,管理了customer的信息,提供worker和server的id转换和查询。postoffice类以单例模式出现。customer类主要维护了request和response的状态,其中的tracker...
2016/3/25 10:13:7翻牌: 2593临幸: 0
技术向:一文读懂卷积神经网络Large Scale Distributed Deep Networks 中译文Scaling Distributed Machine Learning with the Parameter ServerCommunication Efficient Distributed Machine Learning with the Parameter ServerMore Effective Distributed ML via a Stale Synchronous Parallel Parameter Server常用  blas 函数An overview of ...
2016/3/24 14:1:8翻牌: 6335临幸: 11
    caffe-parallel通过参数服务器的方式对caffe进行了多机数据并行,底层通信采用MPI。下面记录一些看源码过程中的一些笔记,以免自己忘记。    caffe-parallel主要修改了solver.cpp net.cpp data_layer.cpp等几个文件。采用多线程的方式实现了参数服务器。0号处理器为参数服务器,有n个线程(n表示共有n个核),其中n-1个ComputeValueThreadClient线程分别对应其余n-1个核,用于异步的接收n-1个核上传来的参数,并向他们发送数据。剩余的n-1个核都是client。1个ComputeValueThreadServe...
2016/3/23 13:35:50翻牌: 2076临幸: 8
for day in xrange(monday, sunday):     I.think(whatToThink)一句写在博客head图片上的代码。子曰:饱食终日无所用心难矣哉。饱食终日无所正事的过了半余载。前三句竟然一般的长度。眼见要进入求职高峰却有种莫名的不安。虽然不喜欢现在无所务实的生活,却对工作并不渴求。越来越怀念大学时的自己,被各种比赛虐被各种题目虐,单纯而自在。以前的自己会用一天时间去写一个解自己手机上推箱子的几百行的c程序。现在的自己会用一天的时间看一季的《迷失》。以前的自己毕业时喝了一小杯白酒呛到不行。现在的自己喝了半斤多还把别人扶到了宿舍然后回去扶另一个人上车。以前的自...
2016/1/25 2:34:30翻牌: 2512临幸: 0
第一部分 基本charm++编程第二章 程序结构,编译和工具    charm++程序基本上是一个C++程序,其中一些组件描述其并行结构。串行代码可以使用任何编程技术,与C++工具链协作。这包括C和Fortran。用户代码中的并行实体是用C++编写的。这些实体与charm++框架通过继承类和函数调用进行交互。2.1 .ci文件    所有用户的程序组件,包括并行接口(如消息、chare,入口方法等)通过在单独的charm++接口(charm interface)描述文件中定义或描述他们来授予这一更高层状态。这些文件有.ci后缀,并采用了一个类似C++的声明语法,带有几个额外的关键字。在一些声明...
2016/1/8 14:28:42翻牌: 3414临幸: 0
写在前面一学期也没干成什么工作。每天拿半小时翻译一点东西,虽然也没什么用,养成一个习惯也不错。贴上原文链接http://charm.cs.illinois.edu/manuals/html/charm++/manual-1p.html。如有翻译或版权问题,欢迎留言。第一章  基本概念    charm++是一个基于C++的并行编程系统,它建立在可迁移对象的编程模型上,并且charm++被一个全新和强大的自适应运行时系统所支持。它支持常规或不常规的应用程序,也可用于在单个应用程序中特定的任务并行或数据并行。它可以通过独立的负载均衡套件自动的为任务并行或数据并行应用程序提高负载均衡。通过它的消息驱...