当前位置: 首页 >> 推荐新闻 >> 张籽沐,美宜佳,董小飒 >> 正文

张籽沐,美宜佳,董小飒

2019年03月25日 22:42:10     作者:admin     分类:推荐新闻     阅读次数:220    

机器学习算法那么多,一个问题的解决往乳刑往可能有好多算法的选择。

这些算法有什么特点呢?特定的场景需要选择哪一算法呢?

我们为大家翻译了Quora上大牛们最喜欢的机器学习算法,一起欣赏。

Carlos Guestrin,亚马逊计算机科学机器学习教授,Dato公司ceo及创始人 (Dato原名GraphLab,大数据分析云服务平台)


Quora上的大牛们最喜欢哪种机器学习算法?



我并没有最喜欢的机器学习算法,但有一些比较青睐的,比如:

最简洁的算法:感知器算法(Perceptron)。这种算法是Rosenblatt和他的同事们在20世纪50年代创造的。这个算法非常简单,但它是现在一些最成功的分类器的基础,包括支持SVM和逻辑回归,它们都使用了随机梯度下降法。感知器算法的收敛性证明是我在ML中见过的最优雅的数学过程之一。

最有用的算法: Boosting,特别是提升决策树。这种方法比较直观,可以结合许多简单模型来构建高精度机器学习模型。Boosting是机器学习中最具实践性的方法,在工业中得到了广泛的引用,可以用它处理相当广泛的数据类型,在数据规模上也没有太多限制。在实际过程中的提高树的可伸缩性应用上,我建议考虑XGBoost。Boosting的证明过程也是非常优雅的。

卷土重来的算法:卷积神经网络深度学习。这种神经网络算法在2张褀忠0世纪80年代早期开始流雅津1号甜高粱行。从90年代后期到2000年代后期,大家对这种算法的兴趣逐渐死神之月牙减弱,但在过去的5年里,这种算法出人意料的卷土重来。特别是,卷积神经网络常永芬建立了深度学习模型的核心,在计算机视觉和语音识别方面有巨大影响力。

最优美的算法:动态规划(Dynamic programming闪耀光芒腿甲)(比如维特比,onlygay forward-backward, 变量消除以及belief propagation算法)。


在计算机科学中动态规划是最优雅的一种算法,是通过搜索一个指数型大的空间来找到可选的解决方案。这种方法在机器学习中已经得到了各种应用,特别是图形模型,如隐马尔可夫模型、贝叶斯网络和马尔可夫网络。

无与伦比的基准:邻近算法。当我毕庆堂们想显示我们的曲线比别人好时,一个办法就是引入一个基准来证明自己的方法更加准确。邻近算法实现起来非常简单。我们总是觉得自己的算法可以轻易的超过邻近算法,但实际上很难!如果我们有足够的数据,邻近算法非常有效果,在实践中也是非常有用的。

Franois Chollet,谷歌深度学习研究专家,Keras作者


Quora上的大牛们最喜欢哪种机器学习算法?



矩阵分解——一个简单而美丽的降维方法,而降维是认知的本质。

矩阵分解在推荐系统得到了很大应用。另一个应用是分解特征的互信息对的矩阵,或更为常见的逐点互信息。我从2010年开始处理视频数据的时候就开始用了。可用于特征提取、计算单村官贪赃枉法怎么举报词嵌入、计算标签嵌入(我最近的论文的主题就是这个),等等。

在卷积中,矩阵分解是图像、视频的无监督特征的优秀的提取器。但有个问题,它从根本上来说是比较浅的算法。一旦监督标签可用,深度神经网络将很快超越它洛克王国幽暗蟹。

Yann LeCun,Facebook人工智能研究院主管,纽约大学教授

Backprop,反向传播算法。

Ian Goodfellow,谷歌大脑高级研究员


Quora上的大牛们最喜欢哪种机器学习算法?



我喜欢dropout,在一个简单模型中构建一个指数型的大集成是非常优雅的。在近似集成预测结果时,权重除以2的技巧效果很好。我不太理解在深度非线性模型中其效果如此好的理论原因,但它的效果真的很好。

Claudia Perlich,Dstillery首席科学家,纽约大学客座教授


Quora上的大牛们最喜欢哪种机器学习算法?



毫无疑问,我最喜欢逻辑回归,包括随机梯度下降、特征散列以及惩罚。

在深度学习如此火爆的时代,我的这个回答肯定让张籽沐,美宜佳,董小飒人费解,来告诉你们原因:

1995年到1998年,我使用神经网络;1998京典丽园年到2002年,我一般使用基于方法的树;从2002年以后,就开始慢慢使用逻辑回归了,还包括线性回归、分量回归、泊松回归等。2003年,我在Machine Learning上发表了一篇文章,使用 35个数据集(在那时这样的数据量还是比较大的)上,对比基于方法的树、基于逻辑回归分别得到的结果。

简要结论——如果信号噪声比较高,那么决策树效果更好。但如果有非常杂乱的问题,最好的模型的AUC小于0.8,那么逻辑回归的效果总是比决策树好。最终结果在意料之中,如果信号太弱,高方差模型就会失效。

所以这个试验说明了什么?我需要处理的问题类型是比较杂乱的,并且可预测性低。一般都是处于随机确定性(象棋??)的条件下,像所谓的股票市场。根据数据不同,不同问题的可预测性也不同。这已经不简单是算法问题,而是对世界的概念表述。

我感兴趣的大多数问题非常类似于股市的某一个极端。深度学习在另一端效果非常好——比如判断图片中是否是一只猫。在不确定的问题中,偏差权衡仍然经常结束了更多的偏差,也就是,你希望得到一个简单的、非常受限的模型。这里就用孽乱青石沟到逻辑回归了。我发现,添加复杂特征来加傲气雄风强简单线性模型,比限制一个强大的高方差模型更容易。而每一次我赢过的数据挖掘比赛,我都使用了线性模型。

除了性能比较好,线性模型还比较可靠、需要的控制更少,不婚途陌爱过还要用随机梯度下降法和惩罚。这些是很重要的,因为在工业上,我们根本不可能花3个月的时间来建立一个完美的模型。

最后,在线性模型上,我可以更好的理解一切如何运行。

Alex Smola,卡内基梅隆大学教授,1-Page首席科学家


Quora上的大牛们最喜欢哪种机器学习算法?



可能大家都最喜欢禁忌游戏之迷藏感知器算法,由它发展出其他很多重要的算法,比如:

  • 核函数方法(只是转换预处理)
  • 深度网络(只是增加了更多的层)
  • 随机梯度下降法(只改变目标函数)
  • 学习理论(保证了更新)


感知器算法如下:

假设一个线性函数f(x)=⟨w,x⟩+b,我们要估计向量w和常数b,当得到分类1时,f为正数,得到分类−1时,f为负数。然后我们可以做如下步骤:

  • 初始化w和b为零(或其他可能更好的值);
  • 继续遍历(x,y),直到没有错误;
  • 如果 yf(x)<0,那么更新 w+=yx,b+=y。


该算法是收敛的,所花时间长短取决于问题有多难,从技术上来讲就是将正数和负数集合分开的困难程度。但是解决所有的错误更重要。

Xavier Amatriain,前ML研究人员,目前在Quora带乐朗乐读领工程师


Quora上的大牛们最喜欢哪种机器学习算法?



我喜欢简单而灵活的算法。如果一定要选一个,我最喜欢集成(Ensemble)算法,我个人认为它是“大师级别”。无论我们从哪个算法开始,总可以用集成算法来提高它。集成算法获得了Netflix奖,经常表现优异,也相对容易理解、优化和检查东北往事之关东匪事。

但如果要选一个“超级算法”,我选另一个——逻辑回归。逻辑回归很简单,但很有效并且有弹性,可以用在很多地方,包括分类、排序。

Thorsten Joachims,康奈尔大学教授,主要研究人类行为的机器学习

我目前使用的学习算法并不是我最喜欢的,因为它们十头金毛吼都有一个缺陷。这些优异又重要的机器学习算法中,都有个巨大的帕累托边界。

事实上,基本的机器学习理论告诉我们,没有一个单独的机器学习算法可以很好的解决所有问题。如果训练样本相对比较少,又有非常高维的稀疏数据(例如按主题分类的文本),可以使用一个正规化的线性模型,比如SVM或逻辑回归。但如果有大量的训练样本与低维的稠密数据(如语音识别、视觉),可以使用深度网络。

Ricardo Vladimiro,Miniclip 游戏分析和数据科学负责人

注:Mini柯德来clip,瑞士在线游戏公司,2015年被腾讯控股。

随机森林。学习随机森林对我来说是个非常享受的过程。最后的总体效果也很有意义。我觉得决策树实在是很可爱。对特征进行Bootstrap经常会让我惊叹。这真的很神奇。我觉得我对于随机森林已经有感情了,因为我在如此短短的时间内学到了很多东西。

Ps:我知道我对决策树的看法有点极端。

相关报道:

https://www.quora.com/What-is-your-favorite-machine-learning-algorithm-1?no_redirect=1

除非特别注明,本文『张籽沐,美宜佳,董小飒』来源于互联网、微信平台、QQ空间以及其它朋友推荐等,非本站作者原创。 本站作者admin不对本文拥有版权,如有侵犯,请投诉。我们会在72小时内删除。 但烦请转载时请标明出处:“本文转载于『乌塔咖啡-咖啡爱好者协会-服务业新闻报道』,原文地址:http://www.untacoffee.com/articles/1264.html