CWYAlpha

Just another WordPress.com site

Thought this was cool: ICML Paper:Building High-level Features Using Large Scale Unsupervised Learning

leave a comment »


又读了一篇Angrew Ng教授指导的文章《Building High-level Features Using Large Scale Unsupervised Learning》。

这篇文章的理论层次比较简单,因为目的还是要从没有标记的样本中构建High-level的架构化特征(Deep Learning),所以优化方面接近Sparse Coding,一方面是重构Codes,另一方面要约束Sparsity。

这里是要讨论的工程价值。文章的8个作者有六个是Google的,两个Stanford的,当然第一个作者应该是在Google实习或者联合培养。

文章里面有几个壮观的数字,有1000台机器,一共16000个Core训练了三天,参数的个数是1000000000个。由于采用的并行的策略,用了自己写的独立的软件DistBelief来进行节点之间的通讯,采用了model replica的方法。

我们知道,像是SGD梯度下降优化方法是比较难以直接用Hadoop的(貌似是?),因为他的基本策略是迭代。但是当然通过其他的方法(例如数据分块)可以做到并行计算,文章用的方法是Asynchronous SGD,通过数据并行的策略进行求解,Asynchronous SGD不是很懂,发现GD方法以及各种变种需要找个时间挨个看看,能学到不少。

数据集是从YouTube上收集的,除了针对人脸建立起了这种High-level的特征,还有对猫脸以及人体也有特征训练出来。将Codes可视化一下其实大体能看出轮廓-Stimuli。

======

关于这个项目,还有不少新闻报道

Google眼下开发了一套虚拟“神经网络”系统,这套系统可以通过在You Tube上浏览图像,从而自学如何识别喵星人(NB闪闪)。开发这个系统的实验室原隶属于Google X,他们最广为人知的作品包括 Project Glass (没错就是那款骚包的眼镜)以及自动驾驶汽车。

“神经网络” 由包含16000个运算内核的共1000台计算机组合而成。Google把从YouTube随机挑选的1000万张200 x 200像素缩略图输入到该系统,让计算机寻找图像中一再重复出现的特征,从而对含有这种特征的物体进行识别。这种新的面部识别方式本身已经是一种技术创新,更不用提有史以来机器首次对于猫脸或人体这种“高级概念”有了认知。

以下是Google的这个系统工作原理的一些简单介绍:

在开始分析数据之前,工作人员不会教授系统、或者向系统输入任何诸如“脸、肢体、猫的长相是什么样子”这类信息。一旦系统发现了重复出现的图像信息,计算机就创建出“图像地图”,该地图稍后会帮助系统自动检测与前述图像信息类似的物体。Google之所以把它命名为“神经系统”,旨在向神经生物学中的一个经典理论致敬。这个理论指出,人类大脑颞叶皮层的某些神经元是专门用来识别面部、手等这类对象的。

以往传统的面部识别技术,一般都是由研究者先在计算机中通过定义识别对象的形状边缘等信息、 来“教会”计算机该对象的外观应该如何,计算机然后对包含同类信息的图片作出标识,从而达到“识别”的结果。然而,据Jeff Dean博士( “神经系统”参与者)所说,在Google的这个新系统里,『 我们从不向计算机描述“喵星人长啥样”这类信息,计算机基本上靠自己产生出“喵星人”这一概念” 』

截至目前,这个系统还不完美。但它取得的成功有目共睹,Google已经将该项目从Google X中独立出来,现在由总公司的搜索及商业服务小组继续引领完成。Google的目标是宏伟的,它希望能开创一种全新的算法,并将其应用于图像识别、语言识别,以及机器语言翻译等更广阔的领域。

您可能也喜欢:


Pattern Recognition and Machine Learning


一些machine learning的网站总结


Yahoo! Learning to Rank Challenge的总结


经典回顾–谈谈机器学习(Machine Learning)大家


在新的划时代的机器学习框架诞生之前,关注下“集成学习(Ensemble Learning)”

无觅

最热文章

from 丕子: http://www.zhizhihu.com/html/y2012/3860.html

Written by cwyalpha

七月 12, 2012 在 1:26 下午

发表在 Uncategorized

发表评论

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 更改 )

Twitter picture

You are commenting using your Twitter account. Log Out / 更改 )

Facebook photo

You are commenting using your Facebook account. Log Out / 更改 )

Google+ photo

You are commenting using your Google+ account. Log Out / 更改 )

Connecting to %s

%d 博主赞过: