Google最近发表了一篇有关大数据系统的论文,讨论了一个名为Mesa的数据仓库系统,它能处理近实时数据,即使在整个数据中心断线后还能正常工作。
Mesa是一个高度可扩展的分析数据仓库系统,能存储与Google广告业务有关的关键测量数据。Mesa能满足复杂和具有挑战性的用户与系统需求,包括近实时数据提取和查询,同时在海量数据和查询量中保持高可用性、可靠性、容错率和扩展性。Mesa每秒能处理数百万行更新,每天进行数十亿查询抓取数万亿行数据。Mesa能进行跨数据中心复制,即使在整个数据中心故障时,也能以低延迟返回一致和可重复的查询结果。
针对数分钟更新吞吐量、跨数据中心等等严苛需求,已有的商业数据仓库系统(处理周期往往以天和周来计算)和Google的解决方案包括BigTable、Megastore、Spanner和F1都无法满足要求。BigTable无法提供必要的原子性,Megastore、Spanner和F1无法满足峰值更新需求。此外,Google自己开发的Tenzing、Dremel,以及Twitter开发的Scribe、LinkedIn的Avatara、Facebook的Hive以及HadoopDB等Web规模数据仓库处理的都是批量负载。
Mesa的主要特点是:
1、近实时的更新吞吐量。支持持续的更新,每秒支持数百万行的更新。
2、同时支持低时延查询性能和批量大量查询。99%的查询在几百毫秒之内返回。
3、跨数据中心备份。
今天先简单介绍下mesa的特点,具体的技术细节,后面再分享。大家可以到网上下载google的论文《Mesa:Geo-Replicated, NearReal-Time, ScalableData Warehousing》阅读以下。
相关推荐
9月在杭州举行的数据库学术会议VLDB 2014上,Google的工程副总Shivakumar Venkataraman与正在Google访问的UCSB教授、IEEE与ACM Fellow Divyakant Agrawal将做主题演讲,介绍Google的实时分析数据仓库Mesa。...
Google的近实时数据仓库系统Mesa的论文
台面Mesa是一个WebSocket库,提供了其他功能,例如心跳,自动重新连接处理和Pub / Sub支持。 Mesa包装的通常是不够的。 它没有提供现代应用程序所需的开箱即用功能,这意味着许多用户要么坚持使用要么在ws软件包周围...
台面用于海量数据的更好的表。 Mesa 是尝试使用 jquery 和 css 创建响应式数据表。
MESA简介pdf,MESA简介
Mesa3D 7.8.2库的源代码和vc2005及vc208编译好的DLL及lib(MD和MT配置都有)。Mesa 3D是一个在MIT许可证下开放源代码的三维计算机图形库,以开源形式实现了OpenGL的应用程序接口。OpenGL的高效实现一般依赖于显示设备...
Mesa OpenGL的Demo,Mesa官网上下的
开始我有个特殊应用方式需要用到Mesa,但是找了很久都没找到新的能用的预编译dll。自己尝试了在本机Win10、虚拟机Ubuntu、云服务器Ubuntu、云服务器Server 2012 R2上编译,结果都是失败的。只在云服务器Ubuntu上编译...
台面示例 这是Mesa Examples的原型回购 警告:请勿使用。 当前该存储库与主存储库不同步,示例可能无法运行。 您应该使用主存储库中的Mesa示例:
基于Linux和OpenGL_基于Linux和OpenGL_Mesa的数控铣削仿真系统的研究Mes基于Linux和OpenGL_Mesa的数控铣削仿真系统的研究a的数控铣削仿真系统的研究
这是一份MESA在MES标准制订时,发表的MES报告,其中包括MES的研究和应用的现状,MES标准的制订,MES的实施与应用等方面的内容。整个报告分7个部分。
MESA网站这是MESA恒星演化代码的网站源代码。 您可以。贡献您发现错误了吗? 您看到可以改善的地方了吗? 您是否还编写了其他自己认为可以合并的材料? 如果是这样,请:电子邮件Josiah Schwab 如果您订阅了mesa-...
mesa source mesa source mesa source mesa source mesa
Mesa学习总结,http://www.mesa3d.org/: Mesa is an open-source implementation of the OpenGL specification - a system for rendering interactive 3D graphics.
Mesa 7.11 windows库以及arm opengl es下的一个简单demo,vs2005编译通过,Mesa可以说是OpenGL以及OpenGL ES的软模拟实现,对于需要OpenGL或OpenGL ES模拟器的同学来说还是有一定用处的,如果需要研究Mesa的实现,...
MesaLib-9.2.2.tar.gz
Mesa-geo允许您从任何矢量数据文件(例如shapefile),有效的GeoJSON对象或GeoPandas GeoDataFrame创建GeoAgent。 这是mesa-geo的第一个版本。 不保证功能,包括错误。 安装 要在linux或macOS上安装mesa-geo,请...
Mesa7.8.2学习总结.doc http://www.mesa3d.org/: Mesa is an open-source implementation of the OpenGL specification - a system for rendering interactive 3D graphics.
1nothing intresting boring mesa
mesa expert10.3非常好用的工具