数据科学周刊-20170713

【技术框架】

1. PacificA:微软设计的分布式存储框架

摘要:随着信息量的急剧增长,大规模的分布式存储系统变得越来越重要。这些系统往往采用廉价的商用机器或硬件,失效出错成为了分布式存储系统的常态,因此,容错是这类系统实现可用性和可靠性的关键。PacificA是微软为大规模分布式存储系统开发的一个通用复制框架,也可称之为一个原型系统。该框架简单,实用,提供强一致性,并且可以适配不同的复制策略。它对于我们理解分布式系统的强一致性,容错,仲裁有很好的指导意义。

 

2. Spark 2.2.0正式发布

摘要:分布式计算框架spark 2.2.0版本正式发布,新特性主要包括
  • Structured Streaming的生产环境支持已经就绪;
  • 扩展 SQL 的功能;
  • R 中引入了新的分布式机器学习算法;
  • MLlib 和 GraphX 中添加了新的算法

阅读全文>>

 

【架构实践】

1. 基于Elasticsearch构建千亿流量日志搜索平台实战

摘要:Elasticsearch 常用于日志搜索服务的基础技术栈,七牛云在基于 ES 构建日志搜索云服务的时候,碰到不少问题,也总结了很多经验,本文是对这些解决方案的总结。本文从五个方向展开:一,背景;二,系统的设计目标;三,我们在做这个系统过程中遇到的挑战;四,如何应对;五,简单的总结。

阅读全文>>

 

2.机器学习平台痛点与模型提升方法:基于Spark的机器学习平台在点融网风控应用介绍

摘要:大数据和机器学习是近年来快速增长的热门领域,各个领域的数据量和数据规模都以惊人的速度增长。本文是近期举行的架构实践日点融网刘利就“机器学习平台在点融网业务的应用介绍”这一话题的精彩分享。

本次演讲主要分三大块,第一块是我们在点融做的一个机器学习平台或者说框架,第二块是在我们在做风控业务的一些案例分析,第三块是在建模时的一些经验分享。

阅读全文>>

 

【行业资讯】

1.“淘咖啡”探店体验:这就是马云眼中的无人便利店?

2.新智元首发:商汤科技B轮融资4.1亿美元 创AI行业融资纪录

3.阿里巴巴这个无人超市,究竟有哪些值得注意的黑科技

4.2017共享单车市场报告:用户规模突破7000万,两强苦苦缠斗、四家挣扎求生

 

【推荐系统】

1.今日头条成功的核心技术秘诀是什么?深度解密个性化资讯推荐技术

摘要:本文主体分以下三个大的部分。除此以外也会在最后用一小节展望下个性化资讯推荐的未来。

  • 个性化资讯产品:先介绍资讯推荐产品是什么,着重分析其业务特点。
  • 个性化推荐方案:接着介绍资讯推荐所需的技术,着重分析其技术难点。
  • 个性化推荐算法:最后介绍业界常用的个性化推荐算法。

阅读全文>>

 

2.蘑菇街推荐工程实践

摘要:推荐一直是电商平台的重要流量入口。以往在电商平台上,推荐的场景更多的覆盖在交易的各个环节,比如详情页、购物车、订单及支付等。近年来推荐发展逐渐的多样化,场景上逐渐覆盖到各流量入口,推荐的实体也扩展到活动、类目、运营位等。本文将介绍蘑菇街的推荐系统工程实现,主要介绍在线推荐服务、埋点及效果统计。

阅读全文>>

 

3.亚马逊推荐二十年

摘要:近期,IEEE Internet Computing上发表了一篇名为《亚马逊推荐系统二十年》的文章,提纲挈领地回顾了亚马逊推荐系统二十年来的发展,而这二十年的起点,就是基于物品的协同过滤算法,也就是ItemCF算法的发明时间,而文章的作者,也正是当年ItemCF的发明人。作为靠ItemCF算法养家糊口的从业人员,有必要学习一下“祖师爷”的训导。

阅读全文>>

 

4.推荐系统理论与实践

InfoQ分享的架构师特刊之推荐系统

百度网盘:推荐系统理论篇

百度网盘:推荐系统实践篇

 

关注微信公众号:

0 Likes
你目前的身份是游客,评论请输入昵称和电邮!