linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Linux基础建设 >

微软开源大规模数据处理项目Data Accelerator

时间:2019-04-24  来源:未知  作者:admin666

微软开源了一个原为内部使用的大规模数据处理项目 Data Accelerator。自 2017 年开发以来,该项目已经大规模应用在各种微软产品工作管道上。

据微软官方开源博客介绍,Data Accelerator 的一些方法可以更容易地在 Apache Sp棋牌搭建ark 上构建流式传输管道:

即插即用:轻松设置输入源和输出接收器,以便在几分钟内建立管道。Data Accelerator 支持从 Eventhub 和 IoThub 取数据,并支持将数据下载到 Azure blob、CosmosDB、Eventhub 等。无代码体验:无需编写任何代码即可设置警报和数据处理。通过规则设计器体验,您可以指定简单和聚合的数据处理,标记和警报。SQL 查询:在 SQL 中编写复杂的处理——无需在 Scala 中工作。内置的可扩展性模型还支持用户定义的函数并利用 Azure 功能,例如,用于 ML 中流。实时查询:通过针对传入数据样本运行,在几秒钟内验证您的查询,从而节省设置和测试管道处理的工作时间。

Data Accelerator 不仅仅是 EventHub 和数据库之间的管道。它允许用户在继续流式传输的同时重塑传入的事件,然后将同一事件的不同部分路由到不同的数据存储,同时提供健康监控和整个管道状态的警报。

Data Accelerator 还提供配置 UI 和规则/查询设计器体验,使用户无需编写任何代码即可启动和运行。

此外,任何进行流数据处理的人通常都需要使用滑动窗口处理数据,或处理延迟到达数据,或者随时间累积数据。Data Accelerator 支持并简化了这些高级功能的使用。

最后,微软提到,Data Accelerator 支援 dev-test 循环的快速验证周期,其中查询针对本地采样的事件运行在部署之前就能迭代修正到可用,这可以节省大量测试工作管道处理的时间。

友情链接
  • Panfrost DRM驱动程序被添加到Linux 5.2用于Midgard/Bifrost图形
  • Linux 5.2引入了现场总线子系统
  • JITLink被合并LLVM代码库
  • Oracle的Ksplice实时内核补丁可以检测到已知的漏洞
  • SuperTuxKart 1.0 发布,开源Linux赛车游戏
  • intel i40e驱动程序支持Linux 5.2的动态设备个性化
  • Android Studio 3.4发布,支持Android Q Beta和Intellij 2018.3.
  • Mozilla为Windows版的Firefox Nightly提供原生画中画功能
  • Linux 5.1为全屏选择键盘映射,切换显示键
  • NULL TTY驱动程序将出现在Linux 5.2内核中
  • Qt 6可能会放弃它们短暂的通用Windows平台支持
  • Crystal 0.28.0 发布,改进的语言、范围、库查找等
  • AMDGPU在Linux 5.2之前还有另一轮更新
  • 2019年,大多数Linux发行版仍然没有限制Dmesg的访问
  • Mesa的Vulkan驱动程序将在19.1分支之前完成更多的扩展工作
  • NVIDIA 418.52.05 Linux驱动程序为非RTX GPU带来Vulkan光线追踪
  • FreeBSD映像重新与ZFS On Linux的代码进行测试
  • 在微软基于Chromium的新Edge浏览器中试用阅读模式
  • 优麒麟19.04正式版发布,激流勇进,精益求精!
  • ZFS的提示已经让我们对Ubuntu 19.10充满了期待
  • Microsoft Edge 75 Dev现在可供下载
  • 微软发布全新开源编程语言Bosque,以Functors取代Loop循环
  • Zstd 1.4 发布,更好的压缩/解压缩性能
  • VIRTIO 1.1 发布,2D图形支持,Evdev输入设备
  • Ubuntu 19.10代号将以Eoan开头,与黎明或东方有关
  • VirtualBox 6.0.6发布,支持Linux 5.0和Linux 5.1内核
  • LibreOffice 6.2.3 Office套件发布,90多个Bug修复
  • KDE Applications 19.04开源软件套件已正式发布
  • Google可能会通过Google Play商店分发Android系统更新
  • Mozilla WebThings不再是一个实验
  • Ubuntu 19.04 (Disco Dingo) 正式发布,提供所有官方口味ISO映像
  • NoScript for Chrome现已推出
  • RedHat接管了Oracle的OpenJDK 8和OpenJDK 11项目的管理权
  • WPS 2019 更新版(8392)发布,搭配优麒麟 19.04 运行更奇妙!
  • Platform9开源Klusterkit,以简化Kubernetes集群的部署和操作
  • Proton 4.2
  • 鼎盛娱乐
  • 腾乐博
  • 手机彩票app哪个好
  • 澳门葡京网址
  • 网上轮盘