这是自毕业后的第一篇博客,希望自己今后能养成写博客的一个好习惯.最近公司为了加速APP推广,采取在外部平台(如:今日头条)进行广告投放的方式,进行用户引流.因此我们需要对广告的激活数据进行一个检测,跟踪广告的转化效果.以下主要列举对接今日头条广告激活数据API的流程以及接口的实现.付开发文档下载地址 1.先熟悉流程(文档提供的流程图) 由上图我们可以看出我们需要完成两个接口和一个匹配方法: 接口一:当用户点击我们投放在今日头条上的广告时,今日头条服务器向接口一发一下数据,然后我们对这条数据进行保…
此文章对开放数据接口 API 之「全国天气预报信息数据 API」进行了功能介绍.使用场景介绍以及调用方法的说明,供用户在使用数据接口时参考之用,并对实战开发进行了视频演示. 1. 产品功能 接口开放了全国天气预报信息数据,你可以通过关键字查询任意市或者区级别的位置代码,通过位置代码查询最详细的天气预报数据. 全国天气预报每隔 6 小时更新数据: 精确到行政区级别的天气预报数据: 提供最长 7 天的天气预报数据: 提供每日小时级别的天气预报数据: 提供本地日出日落.当日历史温度等附加数据: 提供紫…
前提 产品有个新需求,类似今日头条的图集效果 大致看了下UI,大致就是ViewPager,横向滑动切换图片,纵向滑动移动图片,纵向超过一定距离,图片飞出,图集淡出动画退出,支持图片的双击放大. 思路 第一个问题就是图集详情页用什么实现?Activity?Fragment?还是一个复杂的View? 我最初打算用Fragment的,因为觉得效率高,Fragment需要自己处理进入退出, 今日头条使用了Activity,因为这个Activity可以显示前一个Activity,所以它一定是一个透明的Ac…
接口支持的消息接收方式:HTTP POST 请求方法的编码格式(utf-8):"application/x-www-form-urlencoded;charset=utf-8" 请求.返回数据类型:只支持JSON格式 接口提供:快递鸟 系统级参数定义 参数名称 类型 说明 必须要求 RequestData String 请求内容需进行URL(utf-8)编码.请求内容JSON格式,须和DataType一致. 必填 EBusinessID String 商户ID,请在我的服务页面查看.…
Struts2数据验证 使用Java代码进行数据验证 重写ActionSupport的validate()方法 对Action类的中所有请求处理方法都会进行验证! 对Action类的数据属性进行检查,如果发现错误,通过以下方法向Action添加错误信息: addActionError(errorMessage) //添加action级别的错误 addFieldError(fieldName, errorMessage) //添加字段级别的错误 addActionMessage(message)…
简介 最近花了一两天的时间完成一个简易的新闻头条客户端的应用,引用到了SwipeRefreshLayout,CircleImageView,RxAndroid,Picasso,PhotoPicker等开源库,GsonFormat等插件,主要是用来锻炼自己独立完成APK的能力. 数据接口 使用的数据接口和之前的一样,聚合数据的免费接口:新闻头条,笑话大全和历史上的今天等等.这种方式就避免了自己写服务器来传递json数据的麻烦,注意力全部集中在Android应用的开发上. 应用地址 https://…
1 导入相关的pom依赖 <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.9</version> </dependency> 2 编写代码,完成CURD public static void main(String[] args) throws Excepti…
MyBatis生成代码需要用到mybatis-generator-core-1.3.2.jar.数据库连接驱动包和一个xml文件,xml文件一般命令为:generator.xml. Xml内容格式如下: 配置好xml后,使用dos命令进入该文件夹,执行java命令: D:\generator>java -jar mybatis-generator-core-1.3.2.jar -configfile generator.xml –overwrite 我这里的D:\generator>是自己电脑…
通过之前<kafka分布式消息队列介绍以及集群安装>的介绍,对kafka有了初步的了解.本文主要讲述java代码中常用的操作. 准备:增加kafka依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.10.2.0</version> </dependenc…
版权声明 作者:今日头条iOS团队 原文:https://techblog.toutiao.com/2017/01/17/iosspeed/ 应用启动时间,直接影响用户对一款应用的判断和使用体验.头条主app本身就包含非常多并且复杂度高的业务模块(如新闻.视频等),也接入了很多第三方的插件,这势必会拖慢应用的启动时间,本着精益求精的态度和对用户体验的追求,我们希望在业务扩张的同时最大程度的优化启动时间. 技术调研 先说结论: t(App总启动时间) = t1(main()之前的加载时间) + t…
爬取今日头条图片 这里只讨论出现的一些问题,代码在最下面github链接里. 首先,今日头条取消了"图集"这一选项,因此对于爬虫来说效率降低了很多: 在所有代码都完成后,也许是爬取下载次数太多,今日头条实行了反爬,目前还不知道解决办法. 使用json.loads(html)时报错: json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char…
前言 由于工作原因,需要用到今日头条的Marketing API做一些广告投放的定制化开发.然后看现在网上也没多少关于头条Marketing API的文章,于是便就有了该篇文章. 头条Marketing API主页地址:https://ad.toutiao.com/openapi/index.html. 头条Marketing API开发文档:https://ad.toutiao.com/openapi/doc/index.html 交互图 典型的OAuth2.0授权流程: 使用步骤 1. 首先…
现在大多手机新闻APP都需要输入码,在网上找了很久,最终找到一个比较全的文章,本人试过,都是可以使用的! 第1个比较好,可边看新闻,边收益!嘻嘻!平时写代码累了,休息刷一下!或者在睡觉前刷新一下,每天积累,够买早餐! 1.今日头条极速版(邀请码)DHQPJ63A 2.天天快报(邀请码)DVRR5V 3.东方头条(邀请码)025971713 4.趣头条(邀请码)A186368472 5.惠头条(邀请码)10712906 6.淘新闻(邀请码)73369541…
一.介绍 本例子用Selenium +phantomjs爬取今日头条(http://www.toutiao.com/search/?keyword=电视)的资讯信息,输入给定关键字抓取资讯信息. 给定关键字:数字:融合:电视 抓取信息内如下: 1.资讯标题 2.资讯链接 3.资讯时间 4.资讯来源 二.网站信息 三.数据抓取 针对上面的网站信息,来进行抓取 1.首先抓取信息列表 抓取代码:Elements = doc('div[class="articleCard"]') 2.抓取标题…
<!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>今日头条APP顶部点击可居中导航</title> <meta name="viewport" content="width=device-width…
今日头条这类的网站制作,从数据形式,CSS样式都是通过数据接口的样式来决定的,所以它的抓取方法和其他网页的抓取方法不太一样,对它的抓取需要抓取后台传来的JSON数据,先来看一下今日头条的源码结构:我们抓取文章的标题,详情页的图片链接试一下: 看到上面的源码了吧,抓取下来没有用,那么我看下它的后台数据:‘ 所有的数据都在后台的JSON展示中,所以我们需要通过接口对数据进行抓取 提取网页JSON数据 执行函数结果,如果你想大量抓取记得开启多进程并且存入数据库: 看下结果: 总结一下:网上好多抓取今日…
Android精选源码 android漂亮的加载效果 android各种 选择器 汇总源码 Android仿bilibili搜索框效果 Android记事本app.分类,涂鸦.添加图片或者其他附件 仿今日头条app 一个很酷的ViewPager,支持双向自动循环滚动效果源码 Kotlin语言开发开发一款简单豆瓣 app android 流式布局FlowLayout效果源码 Android优质博客 Smart Toast Snackbar简化调用,并提高性能和用户体验! App的界面消息提示中,T…
本文搜集和整理了今日头条创业的一些关键点的资料------by 春跃(本文的主要观点都是搜集整理,所以不得本人同意不得转载) 一,18年之前的今日头条创业时间表: 1,张一鸣参与创业的履历:酷讯,饭否,99房. 2,2008年,张一鸣就一直思考如何有效的获取信息. 3,2012年,张一鸣创办了字节跳动,准备移动互联网创业. 4,相继推出产品:内涵段子,搞笑囧图,内涵漫画等12款不同的内容应用. 5,2018年8月份:推出今日头条,3个月DAU100万. 6,2012年7月,完成SIG海纳亚洲投资…
整理了一下网易云歌曲评论抓取.分析好友信息抓取.淘宝宝贝抓取.今日头条美图抓取的一些代码 抓取网易云评论 进入歌曲界面: http://music.163.com/#/song?id=453185824 找到如下的数据源: 贴一段Lyrichu的代码: (运行环境为P2.7) ))) first_param ) ) encSecKey )) ) encSecKey )) ) uuid ) ) ) ) , , )) selector ) )), ))) , total ), , )) )]) po…
http://blog.csdn.net/u011475134/article/details/70198533 原出处 在上一篇文章<使用python-aiohttp爬取网易云音乐>中,我们给自己的微信公众号添加了在线点歌的功能,这次我们再增加一个新闻浏览的功能.由于我平时浏览新闻用的是今日头条,所以在这里就想通过爬取今日头条来获取新闻.不过遗憾的是,这一次我在网上没有找到满意的方法,所以还是自己动手吧. 打开抓包软件Fiddler并设置Filters.  打开今日头条网页,选择热点. ur…
夏绪宏,今日头条架构师,专注对高性能大规模 Web 架构,云计算.性能优化.编程语言理论等方向,PHP committer,HHVM 项目贡献者.2009 加入百度,先后从事大规模 IDC 自运维设施建设.云计算平台的架构设计.贴吧业务性能优化.百度通用 RPC 设计和优化等.2015 年加入今日头条负责基础设施,系统架构设计和优化,解决大流量高并发下的系统性能.可靠性和运维效率等方面的问题. 今天给大家分享今日头条架构演进,前面几位讲师讲了很多具体的干货,我的分享偏重基础设施及架构思路的介绍,…
vue-toutiao 这是用 vue.js 2.0 高仿 今日头条 的移动端项目,结合了原生app的部分功能以及网页版. 前言 本人是 今日头条 的重度用户,在学习vue.js过程中,在GitHub上看到了很多高仿webapp的好项目.由此在有了一定的技术积累后,开始构思使用Vue写今日头条,一是自己对于头条的喜爱,另外也是对于自己学习成果的检验. 技术栈 vue.js 2.0全家桶(vue.vuex.vue-router) axios.jsonp element-ui.iview vue-l…
利用一个月的时间,自学了 Android 开发 ,为了检验学习成果,特意 开发了这个  仿 今日头条 新闻客户端 AppNews 包括图文新闻+视频新闻+图片新闻 预览演示如下: 功能说明: 1)底部标签切换 (TabHost + FrameLayout) 2)新闻列表+ 视频列表 顶部 Tab标签切换 (TabLayout + ViewPager) 3)新闻列表+ 视频列表 下拉刷新 + 上滑加载 (XRecycleListView) 4)视频播放 JiaoZiVideoPlayer 5)图片…
爬取今日头条https://www.toutiao.com/首页推荐的新闻,打开网址得到如下界面 查看源代码你会发现 全是js代码,说明今日头条的内容是通过js动态生成的. 用火狐浏览器F12查看得知 得到了今日头条的推荐新闻的接口地址:https://www.toutiao.com/api/pc/focus/ 单独访问这个地址得到 此接口得到的数据格式为json数据 我们用scrapy+selenium+PhantomJS的方式获取今日头条推荐的内容 下面是是scrapy中最核心的代码,位于s…
刚入门Python爬虫,试了下爬取今日头条官网中的段子,网址为https://www.toutiao.com/ch/essay_joke/源码比较简陋,如下: import requests import json res = requests.get('https://www.toutiao.com/api/article/feed/?category=essay_joke&utm_source=toutiao&widen=1&\max_behot_time=0&max_…
高仿今日头条 --- 第一篇:(android高仿系列)今日头条 --新闻阅读器 (一)    上次,已经完毕了头部新闻分类栏目的拖动效果. 这篇文章是继续去完好APP 今日头条  这个新闻阅读器的其它功能. 这次所实现的功能清单: 1.通过SlidingMenu实现左右側拉菜单效果 2.通过重写CompoundButton实现--昼夜模式切换button效果. 3.通过PopupWindow控件实现了列表中很多其它菜单弹框操作效果. 4.通过universal-image-loader库实现了…
[PPT详解]曹欢欢:今日头条算法原理 悟空智能科技 4月8日 公众号后台回复:“区块链”,获取区块链报告 公众号后台回复:“sq”,进入区块链分享社群 热文推荐: 1000位专家推荐,20本区块链必读书籍(附PDF) 中国首个区块链标准<区块链参考架构>发布 今天,算法分发已经是信息平台.搜索引擎.浏览器.社交软件等几乎所有软件的标配,但同时,算法也开始面临质疑.挑战和误解.今日头条的推荐算法,从2012年9月第一版开发运行至今,已经经过四次大的调整和修改. 今日头条委托资深算法架构师曹欢欢…
Ajax原理   在用requests抓取页面时,得到的结果可能和浏览器中看到的不一样:在浏览器中可以正常显示的页面数据,但用requests得到的结果并没有.这是因为requests获取的都是原始 HTML文档,而浏览器中页面 则是经过Ajax处理数据后生成的.这些数据可能在HTML文档中,也可能是经过JavaScript和特定算法后生成的.   刚开始HTML文档中不包含某些数据,当原始页面加载完后,会向服务器发送Ajax请求获取数据,这些数据被JavaScript处理形成一些新页面.  …
示例浅谈PHP与手机APP开发,即API接口开发 API(Application Programming Interface,应用程序接口)架构,已经成为目前互联网产品开发中常见的软件架构模式,并且诞生很多专门API服务的公司,如:聚合数据.百度APIStore 作为最流行的服务端语言PHP(PHP: Hypertext Preprocessor),在开发API方面,是很简单且极具优势的这篇文章写给不太了解PHP开发API接口的开发者 一.先简单回答两个问题 1.PHP 可以开发客户端吗?答:正…
昨天我们分析了今日头条搜索得到的信息,一直对图集感兴趣的我还是选择将所有的图片下载下来. 我们继续讲一下如何通过各个图集的url得到每个图集下面的照片. 分析图集的组成 [插入图片,某个图集的页面] 我们看上面的这个图片,右面的1/5可以看出,这个图集有5张图片,在图片上右侧点击的话,会打开下一张图片. 我们来看一下这些图片的url在哪里? 分析图集的源代码 [插入图片,图集页的XHR信息] 我们先看一下XHR,返回的仍然是一些json信息,但是每个json里面的内容都不是我们需要的图片的url…