[Full-stack] 一切皆在云上 - AWS

一元课程:https://edu.51cto.com/center/course/lesson/index?id=181407[非常好] Based on AWS Lambda. 包含:DevOps + Data engineering [AWS] Cloud Server [AWS] S3 Bucket [AWS] EC2 & GPU [AWS] Deploy react project on EC2 [AWS] Severless & Lambda [AWS] Lambda by Py…

【AWS】使用X-Ray做AWS云上全链路追踪监控系统

功能 AWS X-Ray 是一项服务,收集应用程序所请求的相关数据,并提供用于查看.筛选和获取数据洞察力的工具,以确定问题和发现优化的机会. 对于任何被跟踪的对您应用程序的请求,不仅可以查看请求和响应的详细信息,还可以查看应用程序对下游AWS 资源.微服务.数据库和 HTTP Web API 进行的调用的详细信息. 类似的全链路追踪监控系统还有: pinpoint zipkin skywalking 总结:X-Ray本质上是一个适用于AWS的分布式系统调用链追踪工具,我们选择X-Ray的原因是我…

一文读懂云上DevOps能力体系

简介: 阿里云ECS自动化运维套件架构师,深度拆解云上运维能力体系建设:自动化运维等级金字塔.自动化运维的进阶模式.DevOps的基础核心.云上标准化部署三大能力-- 序言云计算行业已经有十多年的发展了,话题早已从"要不要上云"转向"如何用好云"."要不要"其实是一个决策性的话题,直到决策出来一个结果了,话题就算结束了.而"如何用好云"却是一个持续性的话题. 一般来说,在规划阶段开始,企业就会开始思考"如何用好云&…

腾讯云上PhantomJS用法示例

崔庆才前言大家有没有发现之前我们写的爬虫都有一个共性,就是只能爬取单纯的html代码,如果页面是JS渲染的该怎么办呢?如果我们单纯去分析一个个后台的请求,手动去摸索JS渲染的到的一些结果,那简直没天理了.所以,我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面. 其中有一个比较常用的工具,那就是 PhantomJS Full web stack No browser requiredPhantomJS is a headless WebKit scriptable with a…

腾讯云VS AWS ：云存储网关性能谁更优？

p { text-indent: 2em } 随着企业规模的扩大及业务的扩展,现有IT基础设施特别是存储设备无法满足爆炸性的数据增长,企业 IT 部门为了解决该问题,往往面临市场上多种存储产品及方案的选择.本文主要基于公司的现状及需求对主流存储方案及产品进行了评估和考量. 先抛开公司实际的业务诉求,单纯从存储拓展的需求出发,企业存储量扩容时面临的选择归结起来会有如下三种: 1) 扩容已有节点.大部分企业在建设之初都进行过IT基础设施采购,虽然存储设备容量急需扩张,但其他计算设备等还在维保期…

Tencent Cloud 腾讯云上部署 EMR Cluster + Kafka + Confluent (Schema-Registry)

腾讯云上有些操作比起 Amazon AWS 还是很方便的, 尤其部署EMR Cluster,下面详细介绍步骤:…

这个技术的出现，可能会颠覆阿里云、AWS！

在大数据和人工智能的带动下,越来越多的大型公司开始争夺云服务市场这块香饽饽. AWS.阿里云.Azure,这些耳熟能详的云服务商依然牢牢占据着全球70%以上的市场,但是随着去年“区块链”这个领域的兴起,未来云服务市场可能发生改变. 目前我们所知道的云服务商.云存储机构都属于中心化存储,而去中心化存储反而拥有更高速,更廉价,更隐私的特点.此前去中心化存储一直无法解决文件上传.下载的信任问题,而“区块链”的出现,正好弥补了去中心化存储的信任问题. 今天,就从传输速度方面来讲讲,去中心化存储,为何能颠…

在阿里云上遇见更好的Oracle（四）

2016.5.13,北京,第七届数据库技术大会. 从最初的itpub社区,到后来被it168收购,DBA社区的线下聚会发展成2010年第一届数据库技术大会(DTCC).第一届大会汇聚了社区内活跃的各位DBA大神们,星光灿烂.我当时也在会上分享了淘宝DBA团队在数据库监控产品方面做的一些努力. 七年过去,数据库技术大会上Oracle相关议题的比例明显下降,MySQL/PostgreSQL/NoSQL/大数据等百花齐放.然而Oracle在第一天宣布说在中国的市场占有率依然有56%,还是有众多企业客户…

在阿里云上遇见更好的Oracle（二）

从上一篇文章的反馈来看,大家还是喜欢八卦多过技术细节,那这一篇继续一些题外话,说说我对“去IOE”的看法. 对同一件事情,参与的没参与的人,讨论起来,都会有各自的立场.所以这里先申明一下,以下内容只是我个人的观点,与任何公司及组织及其他个人皆无关:限于个人记忆力,部分细节可能有出入,如有差错,纯属年老失忆. 淘宝当年从单个Java应用到服务化后的垂直分库,再到水平分库,一步一步走过来,每一步皆有其必然性.但从传播性和话题性上来讲,“淘宝技术架构升级”,显然不如“去IOE”这种标签化的短语有力量,…

让你的 vs code 跑在云上，用手机浏览器就能写代码

让你的vs code 跑在云服务器上在B站上看到一个视频Run VS Code in the browser with massive computing resources(教你如何配置一个云IDE),视频里将vs Code部署在谷歌云上,这样就可以在任意的地方,使用浏览器在线编辑代码执行程序. 随后我自然是那我在腾讯云上的服务器进行了一番测试. 这是PC上的效果: 这是手机上的效果: 以下是准备阶段: 打开github地址:code-server 购买一台云服务器(腾讯云),2核4G 开始…

如何在阿里云上运行SAP UI5应用

本来Jerry觉得这个知识点太简单了完全不值得写成微信公众号文章,但转念一想,可能网络上有一些刚刚初学UI5的朋友们可能会问到,所以还是写了. 今天一个成都同事问我这个问题,因为SAP WebIDE可以非常方便地将开发好的UI5应用一键部属到SAP的其他系统,比如On-Premises环境的SAP gateway系统:但对于SAP Cloud Platform之外的其他云平台,比如AWS或者阿里云,SAP官方文档讲得不多. 其实如果已经在WebIDE里完成了UI5应用的开发,要让它运行在其他Ia…

云上自动化 vs 云上编排

1 摘要本文介绍了为什么在一个好的公有云或私有云中必须要有一个编排系统来支持云上自动化,以及实现这个编排系统的困难和各家的努力.同时提供了一套实现编排系统的原型,它包括了理论分析及主体插件框架,还给出一些细节控制的建议.希望有助于大家对“资源编排&应用编排”概念有更深的了解,也希望以开放的心态与大家一起努力,使得云真的像水电一样自然和普及. 2 为什么需要云上自动化 IT领域的自动化要求无需多言,每个程序员都知道这是必须品.自动化脚本,自动化测试,自动化部署等等,都是为了程序及围绕此程序的各类…

一面数据： Hadoop 迁移云上架构设计与实践

背景一面数据创立于 2014 年,是一家领先的数据智能解决方案提供商,通过解读来自电商平台和社交媒体渠道的海量数据,提供实时.全面的数据洞察.长期服务全球快消巨头(宝洁.联合利华.玛氏等),获得行业广泛认可.公司与阿里.京东.字节合作共建多个项目,旗下知乎数据专栏"数据冰山"拥有超30万粉丝.一面所属艾盛集团(Ascential)在伦敦证券交易所上市,在 120 多个国家为客户提供本地化专业服务. 公司在 2016 年线下机房部署了 CDH 集群,到 2021 年已存储和处理 PB…

乾象投资：基于JuiceFS 构建云上量化投研平台

背景乾象投资 Metabit Trading 成立于2018年,是一家以人工智能为核心的科技型量化投资公司.核心成员毕业于 Stanford.CMU.清北等高校.目前,管理规模已突破 30 亿元人民币. Metabit 非常重视基础平台的建设,有一支强大的 Research Infrastructure 团队.团队试图打破在单机上进行研发的壁垒,利用云计算进行更高效.安全的工具链研发. 01 量化的研究都在做什么作为一家成立时间不久的量化投资机构,我们在对基础存储平台进行选型时,会受到这样两…

腾讯云上免费部署HTTPS

接上篇<腾讯云下安装 nodejs + 实现 Nginx 反向代理>,想从头一步到位的同学建议从上篇文章开始阅读.本文将继续介绍如何通过 Nginx 免费部署HTTPS. 留意下,这里的“免费”指的是HTTPS证书的获取,至于域名还是需要额外购买(其实域名真心很便宜了). 笔者在腾讯云上购买了 vajoy.org 的域名,并根据官方指引进行了解析处理,绑定到服务器ip上(留意处理后大约10分钟后才能ping通): 接着在云主机修改配置,执行: #vim /home/ubuntu/nginx/c…

云计算之路-阿里云上：从ASP.NET线程角度对“黑色30秒”问题的全新分析

在这篇博文中,我们抛开对阿里云的怀疑,完全从ASP.NET的角度进行分析,看能不能找到针对问题现象的更合理的解释. “黑色30秒”问题现象的主要特征是:排队的请求(Requests Queued)突增,到达HTTP.SYS的请求数(Arrival Rate)下降,QPS(Requests/Sec)下降,CPU消耗下降,Current Connections上升. 昨天晚上18:08左右发生了1次“黑色30秒”,正好借此案例分析一下. 1.为什么Requests Queued会突增? 最直接的原因…

不用git将项目push到码云上

1.在码云上创建一个项目: 2.打开STS(spring Tool Suite) 新建一个Maven(webapp)项目: 3.打开你的码云账号,把码云上的工程的URL复制: 4.重新在另一个目录下import 一个Git 项目: 5.狂点next: 6.这个时候将本地的MVAEN项目的内容复制到刚从码云上面拉下的项目: 7.注意:直接在项目所在的文件夹中复制,否则会复制出错.而且前后两个项目项目名最好一样,否则会出错.…

云计算之路-阿里云上：Web服务器遭遇奇怪的“黑色30秒”问题

今天下午访问高峰的时候,主站的Web服务器出现奇怪的问题,开始是2台8核8G的云服务器(ECS),后来又加了1台8核8G的云服务器,问题依旧. 而且3台服务器特地使用了不同的配置:1台是禁用了虚拟内存的临时磁盘云服务器,1台是启用了虚拟内存的临时磁盘云服务器,1台是禁用了虚拟内存的云盘云服务器.这样排除了磁盘IO与虚拟内存的原因. 问题的表现是这样的(以下监视截图来自Windows性能监控器Performance Monitor): 1. ASP.NET请求执行时间(Request Execut…

流程图制作在云上 https://www.processon.com/

流程图制作在云上 : https://www.processon.com/…

Storm实战：在云上搭建大规模实时数据流处理系统（Storm+Kafka）

在大数据时代,数据规模变得越来越大.由于数据的增长速度和非结构化的特性,常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集.管理和处理.本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统,以及这个过程中主要遭遇的一些挑战.实践主要立足建立一套汽车状态实时监控系统,可以在阿里云上立即进行部署. 实时大数据处理利器——Storm和Kafka 大数据时代,随着可获取数据的渠道增多,比如常见的电子商务.网络.传感器的数据流.太空数据等,数据规模也变得越来越大…

在腾讯云上创建您的SQL Cluster(4)

版权声明:本文由李斯达原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/255 来源:腾云阁 https://www.qcloud.com/community 作者介绍:李斯达,微软最具价值专家.认证讲师.无界工程师.场景式学习倡导者,曾在阿里O2O仓储解决方案公司担任系统架构师一职,目前就职于互联网企业担任系统运维工程师,致力于IT改善生活的实践之路. 正文: 接上篇在腾讯云上创建您的SQL Cluster(3)和在腾讯…

亚马逊云服务器AWS安装CentOS

亚马逊云服务器默认创建的实例,在停止之后再启动的情况下,IP会发生改变.所以我们最好先创建一个弹性IP,即EIP,不过我也不清楚这个费用. 1.按如图操作创建一个弹性IP,弹性IP创建之后可以随便绑定到该region下的实例 2.创建好弹性IP之后,然后去创建实例: 3.点启动实例之后,会进入到Amazon 系统映像(AMI)的选择: 4.我这里以安装Centos为例,点击上图中的“AWS Marketplace”,从镜像市场选择centos安装,可以慢慢找,也可以搜索centos然后再找合适的…

云计算之路-阿里云上：遭遇CDN问题

7月10日11:14接到一位用户反馈,访问园子时加载不了 common.cnblogs.com/script/jquery.js 这个文件. 由于这个域名用了阿里云CDN,所以我们判断可能是某个CDN节点出了问题,准备让这位用户ping common.cnblogs.com将CDN节点的IP反馈给我们.恰好这时我们也遇到了同样的问题,浏览器长时间停留在连接common.cnblogs.com的状态中: 然后ping common.cnblogs.com,ping包的响应速度很快,看来不是部分CD…