JuiceFS 如何帮助趣头条超大规模 HDFS 降负载

【JuiceFS 如何帮助趣头条超大规模 HDFS 降负载】的更多相关文章

JuiceFS 如何帮助趣头条超大规模 HDFS 降负载

作者简介王振华,趣头条大数据总监,趣头条大数据负责人. 王海胜,趣头条大数据工程师,10 年互联网工作经验,曾在 eBay.唯品会等公司从事大数据开发相关工作,有丰富的大数据落地经验. 高昌健,Juicedata 解决方案架构师,十年互联网行业从业经历,曾在知乎.即刻.小红书多个团队担任架构师职位,专注于分布式系统.大数据.AI 领域的技术研究. 背景趣头条大数据平台目前有一个近千节点的 HDFS 集群,承载着存储最近几个月热数据的功能,每日新增数据达到了百 TB 规模.日常的 ETL 和…

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

王振华,趣头条大数据总监,趣头条大数据负责人曹佳清,趣头条大数据离线团队高级研发工程师,曾就职于饿了么大数据INF团队负责存储层和计算层组件研发,目前负责趣头条大数据计算层组件Spark的建设范振,花名辰繁,阿里云计算平台EMR高级技术专家,目前主要关注开源大数据技术以及云原生技术. 1. 业务场景与现状趣头条是一家依赖大数据的科技公司,在2018-2019年经历了业务的高速发展,主App和其他创新App的日活增加了10倍以上,相应的大数据系统也从最初的100台机器增加到了1000台以上规…

趣头条基于 Flink 的实时平台建设实践

本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设,整理者叶里君.文章将从平台的架构.Flink 现状,Flink 应用以及未来计划四部分分享. 一．平台架构 1.Flink 应用时间线首先是平台的架构,2018 年 3 月之前基本都是基于 Storm 和 Spark Streaming 来做的.目前,基本已经把 Spark Streaming 和 Storm 淘汰了,主要都是 Flink SQL 来做的.起初还比较传统,一般是接需求然后开发类似于 Flink SQL 的任务,基本是手工…

python3+scrapy 趣头条爬虫实例

项目简介爬取趣头条新闻(http://home.qutoutiao.net/pages/home.html),具体内容: 1.列表页(json):标题,简介.封面图.来源.发布时间 2.详情页(html):详细内容和图片目录结构生成的数据文件-单条记录主要代码说明爬虫: #爬取趣头条列表和详情页 qutoutiao.spiders.qutoutiaos.QutoutiaosSpider管道文件: #封面图片处理类 qutoutiao.imagepipelines.CoverImageP…

从字节跳动离职后,拿到探探、趣头条、爱奇艺、小红书、15家公司的 offer【转】

前言博主目前从事Android开发3年,前两年一直在抖音工作.我这篇文章并不是简单的描述一些面试中的题,或者总结一些Android的知识,而是想记录我整个的想法和准备的过程,以及一些心得体会,让大家更加全面的去看待工作.跳槽和生活(从我的角度,当然肯定有不合理的地方,大家借鉴就好) 抖音两年在字节跳动的两年时间中见证了抖音从百万日活到2.5亿.团队从10人到100多人的过程,技术上不同时期的选型以及迭代.沉淀和更替.项目上经历了一个工程到模块化再到组件化最后插件化,深刻理解项目不同阶段和不同…

百亿级小文件存储，JuiceFS 在自动驾驶行业的最佳实践

自动驾驶是最近几年的热门领域,专注于自动驾驶技术的创业公司.新造车企业.传统车厂都在这个领域投入了大量的资源,推动着 L4.L5 级别自动驾驶体验能尽早进入我们的日常生活. 自动驾驶技术实现的核心环节是自动驾驶模型的训练,训练数据是由汽车实际采集回来的真实道路驾驶视频,数据规模有数 PB 到数十 PB 之多.在模型训练之前,先要对这些原始视频进行处理,截取其中的关键帧保存为照片.然后再由专业数据标注团队在图片上标记关键信息,比如红绿灯.道路标记等.最终经过标记的数十亿图片和标记数据成为真正要「喂…