ICML2017上哪些论文值得关注

2019-12-10 23:53:39

前几天刚从澳大利亚回来,悉尼离波士顿20多个小时的飞机,也是挑战我坐飞机的极限了。老实说,ICML‘17之行比我在夏威夷参加的CVPR'17收获更大,这其中一个原因可能是我已经很熟悉CVPR上面发表的工作的套路了,ICML相关的paper还涉及比较少。我在实验室里分享了一个总结,顺便也在知乎分享一些我开会的片段吧。这里分享的主要跟我关注相关的论文,不喜勿拍。参加ICML对我来说是个很好的学习交流机会,正好ICML一个workshop我有个invitedtalk,所以在夏威夷开完CVPR直接飞悉尼了。总的来说,ICML的开会行程非常紧凑,白天是oralsession和keynote,晚上是postersession。因为每篇论文都有oralpresentation,同时有8个parallelsession,所以只能挑自己最感兴趣的去参加。这次ICML大概有400篇论文,2500注册人数,比起CVPR‘17的5000人大会,还是稍微好了点。前面第一天和最后两天是tutorial和workshop。往往一个顶会的tutorial和workshop能反映目前研究的热点。我参加了下面几个,TutorialonInterpretableMachineLearningWebpage:(http://people.csail.mit.edu/beenkim/icml_tutorial.html).GivenbyBeenKim(slide:http://people.csail.mit.edu/beenkim/papers/BeenK_FinaleDV_ICML2017_tutorial.pdf)挺high-level的介绍了什么是机器学习算法的可解释性,以及相关的问题和研究工作。我之前CVPR‘17的那个networkdissection也被提了一下。TutorialonSeq2seqlearninghttps://sites.google.com/view/seq2seq-icml17,GivenbyOriolVinyalsSlides:https://docs.google.com/presentation/d/1quIMxEEPEf5EkRHc2USQaoJRC4QNX6_KomdZTBMBWjk/edit#slide=id.g2349e758b6_0_293Oriol风头十足,他在sequencelearning上面也做了一系列工作。从RNN,到attention-basedsequencemodel,以及到怎么用pixelCNN去估计naturalimagestatistics。这个slide是个很好的总结。不过最近RNN好像并不是这么火了,FAIR那边更推崇直接用CNN取代RNN,ICML的那篇Convoluaitonsequencetosequencelearning(https://arxiv.org/pdf/1705.03122.pdf)可能是一个新起点,毕竟RNN的训练和测试速度都有瓶颈。TutorialonDeepReinforcementLearning,decisionmaking,andcontrolGivenbySergeyLevineandChelseaFinn.https://sites.google.com/view/icml17deeprlSlide:https://drive.google.com/file/d/0B_j5EZzjlxchV2l3TGJPdTljM1k/viewDRL不用说了,绝对热点。ChelseaFinn也是炙手可热的AI红人。。。WorkshoponVisualizationforDeepLearning.http://icmlviz.github.io/schedule/我在这个workshop上面有个invitedtalk,讲了Interpretingdeepvisualrepresentation的相关工作,slide在这里:http://people.csail.mit.edu/bzhou/ppt/presentation_ICML_workshop.pdf.WorkshoponVideogamingandmachinelearninghttps://syhw.github.io/vgml_workshop_icml2017/打游戏也是目前AI的热点问题啊。几家大公司如DeepMind,OpenAI,FAIR都在猛搞。DeepMind在这个时间点上公布跟暴雪合作开放StarcraftAPI。OpenAI也在ICML的最后一天搞个大新闻。看Dota和Starcraft打完了大家又该打啥。。正会开场的keynote是BernardScholopf做的,关于Causalityinference的,topic很有意思,但是talk讲得并不是很有意思。提到了一本新书ElementsofCausaulinference:PDFdraft:http://www.math.ku.dk/~peters/jonas_files/bookDRAFT11-online-2017-06-28.pdfThelosssurfaceofdeepandwideneuralnetworks:http://proceedings.mlr.press/v70/nguyen17a/nguyen17a.pdfitarguesthatalllocalminimaareglobaloptimalgiventhatthenumberofhiddenunitsofonelayerofthenetworkislargerthanthenumberoftrainingpoints.Onexpressivepowerofdeepneuralnetworks:http://proceedings.mlr.press/v70/raghu17a/raghu17a.pdfOntheproblemofneuralnetworkexpressivity,whichseekstocharacterizehowstructuralpropertiesofaneuralnetworkaffectthefunctionsitisabletocompute两篇deeplearningtheory相关的论文。VideoPixelCNN(https://arxiv.org/pdf/1610.00527.pdf):把pixelCNN的扩展到video上面,直接暴力地学习naturalvideostatistics。我一直觉得PixelCNN可以跟GAN匹敌,但是好像Deepmind的东西并不是很积极的open-source,reddit上面大家都吐槽无法复现PixelCNN的结果。Model-agnosticmeta-learningforfastadaptionofdeepnetworks(https://arxiv.org/pdf/1703.03400.pdf)关于few-shotlearning的论文。这一两年meta-learning蛮火(呃,meta-learning的大致意思是meta-learnerlearnshowtoupdatetheparametersofthelearner’smodel)。是个非常简单的思路,实验在supervisedlearning和reinforcementlearning都有测试,属于想法简单,实验非常solid的套路。Understandingtheblack-boxpredictionsviainfluencefunctions(https://arxiv.org/pdf/1703.04730.pdf)今年的ICML的bestpaper。恭喜PercyLiang,今年ICML和COLT都是bestpaper。这篇论文我也是非常推崇。首先是分析的问题很重要,如何去理解黑箱分类器。再者是分析的手法挺另辟蹊径,从trainingdata本身去寻找跟testingdata预测的相关性,挺elegant地用了统计里面叫做influencefunction的东西作为量度。Curiosity-drivenexplorationbyself-supervisedprediction(https://arxiv.org/pdf/1705.05363.pdf):Berkeley那边做CV的组出的关于DRL的论文,在VizDoom和超级马里奥上面都有测试(https://pathak22.github.io/noreward-rl/)大致是在rl模型里面更强调explorationwithoutextrinsicreward.SchemaNetworks:Zero-shotTransferwithaGenerativeCausalModelofIntuitivePhysics(https://arxiv.org/pdf/1706.04317.pdf):VicariousAI公司的工作。Vicarious一直很神秘,一直号称做强AI。这个工作跟Q-learning不一样的地方是直接对环境进行explictly建模,这样环境里面每个东西就变成了个entity,训练过程中得到的weight其实就是各个entity之间的关系,形成了各种humaninterpretableschema。而且这些schema更像是游戏之中的物理定律,很容易解释和扩展到新的任务之中去。挺有insight的工作。Testoftimeawardpaper:CombiningonlineandofflineknowledgeinUST(http://www.machinelearning.org/proceedings/icml2007/papers/387.pdf)十年沉淀下来的paper。想不到DavidSilver在Go上面已经有十多年的积累。David和Sylvain没能到场,但是录制了一段视频,从这篇testoftimeawardpaper说起,在一小时的时间里给大家分享了AlphaGo的前世今生。从改进UCT,到valuenetwork,从9x9格子围棋上尝试模仿业余选手,到19x19格子围棋战胜人类世界冠军,一个人在同一个问题上花费十年寒暑,真是让人动容。真希望这个视频能放出来。Cognitivepsychologyfordeepneuralnetworks:ashapebiascasestudy(https://arxiv.org/pdf/1706.08606.pdf)DeepMind的一篇从设计心理学实验来分析深度学习网络的论文,让人耳目一新。关于这篇论文的科普帖子:https://deepmind.com/blog/cognitive-psychology/还有一些基于神经网络的炫酷的应用:比如说跳舞机,流体力学仿真,网页浏览AIagent,量子化学。。。DanceDanceConvolution(https://arxiv.org/pdf/1703.06891.pdf)AcceleratingEulerianFluidSimulationWithConvolutionalNetworks(http://proceedings.mlr.press/v70/tompson17a/tompson17a.pdf):projectpage:http://cims.nyu.edu/~schlacht/CNNFluids.htmWorldofBits:AnOpen-DomainPlatformforWeb-BasedAgents(http://proceedings.mlr.press/v70/shi17a/shi17a.pdf)NeuralMessagePassingforQuantumChemistry(https://arxiv.org/pdf/1704.01212.pdf)-----------分割线-----------(图文无关:悉尼冬日暖阳下公然打劫小伙伴午餐的海鸥)我在实验室内部还分享了个ICML'17note,感兴趣的话请移步(国内GoogleDoc需要翻墙):https://docs.google.com/document/d/1MJRNTGccyU3Jv_slB5PE85PcKsyk5CgCASqfiQZLO5s/edit?usp=sharing

上一篇:React解决了前端开发中的哪些痛点
下一篇:CVML顶级会议上的灌水文都有哪些特征如何快速判断顶会论文是在灌水
设为首页 | 保存到桌面 | 网站地图 | 用户帮助 | 用户注册 | 在线投稿 | 广告投放 | 留言反馈
Copyright © 2005-2012 ™ 165163.com.All Rights Reserved. 东阳在线版权所有
地址:浙江省东阳市画水镇华阳 电话:0579-86220017 013509201192 QQ:393614973 互联网ICP备案编号:浙ICP备10046462号
温馨提示:东阳在线所有帖子仅且代表作者本人意见,均不代表本站立场;如转载请注明出东阳在线(www.165163.com),商业用途请联系本站。

东阳E网 金华公安网监
s