本文是字节跳动数据平台开发套件团队在1月9日Flink Forward Asia 2021: Flink Forward 峰会上的演讲分享,将着重分享Flink在字节跳动数据流的实践. 字节跳动数据流的业务背景 数据流处理的主要是埋点日志.埋点,也叫Event Tracking,是数据和业务之间的桥梁,是数据分析.推荐.运营的基石. 用户在使用App.小程序.Web等各种线上应用时产生的行为,主要通过埋点的形式进行采集上报,按不同的来源分为客户端埋点.Web端埋点.服务端埋点. 不同来源的埋点都

一.前言 因为之前在项目中使用了Groovy对业务能力进行一些扩展,效果比较好,所以简单记录分享一下,这里你可以了解: 为什么选用Groovy作为脚本引擎 了解Groovy的基本原理和Java如何集成Groovy 在项目中使用脚本引擎时做的安全和性能优化 实际使用的一些建议 二.为什么使用脚本语言 2.1 脚本语言可解决的问题 互联网时代随着业务的飞速发展,不仅产品迭代.更新的速度越来越快,个性化需求也是越来越多,如:多维度(条件)的查询.业务流转规则等.办法通常有如下几个方面: 最常见的方式是

Nlua NLua is the bind between Lua world and the .NET world. NLua is a fork of project LuaInterface (from Fábio Mascarenhas/Craig Presti). Example: using NLua from command line. NLua allow use Lua from C#, using Windows, Linux, Mac, iOS , Android, Win

案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 对一个互联网产品来说,典型的风控场景包括:注册风控.登陆风控.交易风控.活动风控等,而风控的最佳效果是防患于未然,所以事前事中和事后三种实现方案中,又以事前预警和事中控制最好. 这要求风控系统一定要有实时性. 本文就介绍一种实时风控解决方案. 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: 业务系统,通常是APP+后台 或者 web,是互联网业务的载体,风险从业务

关键字:SVD.奇异值分解.降维.基于协同过滤的推荐引擎作者:米仓山下时间:2018-11-3机器学习实战(Machine Learning in Action,@author: Peter Harrington)源码下载地址:https://www.manning.com/books/machine-learning-in-actionhttps://github.com/pbharrin/machinelearninginaction ****************************

一.前言 AgileEAS.NET SOA 中间件平台是一款基于基于敏捷并行开发思想和Microsoft .Net构件(组件)开发技术而构建的一个快速开发应用平台.用于帮助中小型软件企业建立一条适合市场快速变化的开发团队,以达到节省开发成本.缩短开发时间,快速适应市场变化的目的. AgileEAS.NET SOA中间件平台提供了敏捷快速开发软件工程的最佳实践,通过提供大量的基础支撑功能如IOC.ORM.SOA.分布式体系及敏捷并发开发方法所支撑的插件开发体系,以及提供了大量的实体.数据模型设计生

最近在做新产品,这个产品需要满足不同项目对于系统的定制性数据处理需求,比如有的要统计一段时间内某开关打开关闭了多少次,有的要统计一段时间内空调的使用率,有的希望根据温度来控制空调的开还是关,有的则是希望根据教室内人员的多少来控制教室灯管的开关,或者根据季节来决定路灯的开关时间.总之规则很灵活,不同的项目有不同的需求,很难事先在系统中预先事先. 通过分析这些需求发现,其实他们有一些共同的输入输出,只是规则各不相同,这时我的第一反应就是脚本化,把一些常用的基础功能做成api,然后根据不同项目的需求编

Nmap脚本引擎原理 一.NSE介绍 虽然Nmap内嵌的服务于版本探测已足够强大,但是在某些情况下我们需要多伦次的交互才能够探测到服务器的信息,这时候就需要自己编写NSE插件实现这个功能.NSE插件能够完成网络发现.复杂版本探测.脆弱性探测.简单漏洞利用等功能. 转载请注明出处:http://www.cnblogs.com/liun1994/ 在文章   "Nmap脚本文件分析(AMQP协议为例)"   中会将版本探测,NSE脚本原理联系起来,具体分析Nmap探测的执行过程. 在文章 

1.前言 目前实时计算的业务场景越来越多,实时计算引擎技术及生态也越来越成熟.以Flink和Spark为首的实时计算引擎,成为实时计算场景的重点考虑对象.那么,今天就来聊一聊基于Kafka的实时计算引擎如何选择?Flink or Spark? 2.为何需要实时计算? 根据IBM的统计报告显示,过去两年内,当今世界上90%的数据产生源于新设备.传感器以及技术的出现,数据增长率也会为此加速.而从技术上将,这意味着大数据领域,处理这些数据将变得更加复杂和具有挑战性.例如移动应用广告.欺诈检测.出租车预

本文为了解所有关于 Nashorn JavaScript 引擎易于理解的代码例子. Nashorn JavaScript 引擎是Java SE 8的一部分,它与其它像Google V8 (它是Google Chrome 和Node.js的引擎)的独立引擎相互竞争. Nashorn 扩展了Java在JVM上运行动态JavaScript脚本的能力. 在接下来的大约15分钟里,您将学习如何在 JVM 上动态运行 JavaScript. 通过一些简短的代码示例演示最近 Nashorn 的语言特性. 学习

开源地址: https://git.oschina.net/chejiangyi/NScript 开源QQ群: .net 开源基础服务  238543768 .Net 动态脚本引擎 NScript   用于解决.net环境windows系统下类似java中Grovvy的功能和方向.在互联网项目可以用来做一些功能,如动态营销活动(营销业务解耦和剥离),规则引擎,流程引擎,windows运维脚本,源码式插件开发等. 使用方式 包括exe Main方式,程序集方式,应用程序域三种方式. 最终编译文件

Jint   嵌入式的javascript脚本支持引擎,一直都在更新,对各种方法支持也比较好,可以 C# 交互. https://github.com/sebastienros/jint Jurassic 嵌入式的javascript脚本支持引擎,很久都没有更新了,和 jint很类似,稳定性还可以,可以 C# 交互. http://jurassic.codeplex.com/ IronPython 嵌入式的Python脚本引擎,支持各种python包.也是一个不错的引擎,但是对熟悉python的

Nmap提供了强大的脚本引擎(NSE),以支持通过Lua编程来扩展Nmap的功能.目前脚本库已经包含300多个常用的Lua脚本,辅助完成Nmap的主机发现.端口扫描.服务侦测.操作系统侦测四个基本功能,并补充了其他扫描能力:如执行HTTP服务详细的探测.暴力破解简单密码.检查常见的漏洞信息等等.如果用户需要对特定的应用做更深入的探究,可以按照NSE脚本格式编写Lua脚本来增强Nmap的扫描能力. 1简单引入 1.1 实现原理 NSE(Nmap Scripting Engine)是Nmap最为强大

当你在运行一些基于VBS脚本语言的文件时,系统可能报错.这时候可能是你的VBS脚本服务在注册表中出错了,原因可能是卸载或安装一些代码不规范的程序引起的.这里给出无法找到脚本引擎"vbscript"的解决方法: 把以下代码复制另存为<vbs关联修复.reg>,双击运行即可. 原因是vbs文件没有正常关联,要建立关联,主要有三个地方要修改. Windows Registry Editor Version 5.00 [HKEY_CLASSES_ROOT\.vbs]@="

Scripted AI and Scripting Engines 脚本AI与脚本引擎 This chapter discusses some of the techniques you can use to apply a scripting system to the problem of game AI, and the benefits you can reap from doing this. At its most basic level, you can think of scri

基于大神akuma的脚本引擎. 下面是demo

1.前言 目前实时计算的业务场景越来越多,实时计算引擎技术及生态也越来越成熟.以Flink和Spark为首的实时计算引擎,成为实时计算场景的重点考虑对象.那么,今天就来聊一聊基于Kafka的实时计算引擎如何选择?Flink or Spark? 2.为何需要实时计算? 根据IBM的统计报告显示,过去两年内,当今世界上90%的数据产生源于新设备.传感器以及技术的出现,数据增长率也会为此加速.而从技术上将,这意味着大数据领域,处理这些数据将变得更加复杂和具有挑战性.例如移动应用广告.欺诈检测.出租车预

Jx9是一个可嵌入的脚本引擎,基于JSON实现了图灵完备(Turing complete)的编程语言. Jx9 是那些需要流行和高效率脚本支持应用程序(比如:游戏.数据库系统,文本编辑器,网络应用程序等)的理想库. Jx9 借用来Lua编程的概念,使用一种简洁并且类似于C,JavaScript 和 JSON 的语法.拥有一个丰富的标准库,内置303个函数和139个常量.Jx9还原生支持多线程.Jx9具有以下特性: Easy to bind C/C++ foreign functions as w

本文来自于PowerBI星球嘉宾天行老师的分享,天行老师不仅DAX使用娴熟,更是精通SQL,下面就来欣赏他利用SQL思维编写DAX解决问题的一个实战案例. 基于SQL思维使用DAX解决实战问题 作者:天行 学习掌握DAX语言的初期,尤其是刚开始尝试将DAX应用到实战中时,书上的.别人的例子永远是别人的,自己工作中的问题还是找不到如何下手. 其实如果有SQL的使用经验,上手DAX就相对容易很多,尤其对于工作实践中的复杂逻辑,使用SQL思维,进行逐步分解,然后用DAX的方式去具体实现,确实是高效的解

最近想要在程序中嵌入一个C#脚本引擎,在.NET Framework时代用过一个叫做CS-Script的东西,感觉还是不错,发现现在也支持.NET Core了,试着嵌入一下. 比较 要说能够运行C#脚本的解决方案,有Roslyn和Mono,与他们相比,CS-Script能够提供的封装更为高级,它底层是通过Roslyn之类的引擎运行的,在此基础上,提供了一些额外功能: 执行完整的C#文件 通过外部进程执行C#文件 在运行过程中链接多个c#文件,并集成运行 提供简便的方法进行链接 脚本调试功能 注:

当编写应用程序时,经常性需要花费大量的时间与精力处理业务逻辑,往往业务逻辑的变化需要重构或者增加大量代码,对开发测试人员很不友好. 之前在这篇文章说过,可以使用脚本引擎来将我们需要经常变化的代码进行动态编译执行,自由度非常大,不过对应的需要资源也多.如果只是针对非常具体业务逻辑的变化,可以尝试使用RulesEngine对程序进行操作. 下文使用了官方示例且部分内容翻译自说明文档 简介 RulesEngine是微软推出的规则引擎,规则引擎在很多企业开发中有所应用,是处理经常变动需求的一种优雅的方法