博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
整合 Tachyon 运行Shark(译)
阅读量:6807 次
发布时间:2019-06-26

本文共 982 字,大约阅读时间需要 3 分钟。

  hot3.png

整合 Tachyon 运行Shark

前提是已经有 Shark , 我们也假设你已经安装了 Tachyon 和 Hadoop  根据   or  。

Shark 0.7 增加了一个新的存储格式支持从 Tachyon 高效率读取数据,这使得在 Shark 实例间数据共享和隔离。我们的聚会幻灯片()给出了使用Tachyon 缓存 Shark's 表的好处一个很好的概述。总之,以下四个是主要的:

  • 内存中的数据共享多个 Shark 实例 (即:加强隔离)

  • 即时恢复内存中的表

  • 减少 Shark 的堆大小导致的频繁GC 问题

  • 如果表的大小超出了可用内存总数,只有常用列会被缓存在内存中(译者注:根据使用频率缓存)

Shark 兼容性

Tachyon 版本 Shark 版本
0.2.1 0.7.x
0.3.0 0.8.1
0.4.0 0.9.0
0.4.1 0.9.1 +
0.5.0 0.9.1 +

配置

为了基于Tachyon运行 Shark,首先需要配置Tachyon,在  or in , 及 HDFS 。

然后添加以下行内容在 shark-env.sh:

export TACHYON_MASTER="tachyon://TachyonMasterHost:TachyonMasterPort" export TACHYON_WAREHOUSE_PATH=/sharktables

缓存 Shark tables 到 Tachyon

组合方式在Tachyon 上创建缓存表,运行这些查询需要一些数据已经在 文件系统 或加载到 Shark。

指定 TBLPROPERTIES(“shark.cache” = “tachyon”), 示例:
CREATE TABLE data TBLPROPERTIES(“shark.cache” = “tachyon”) AS SELECT a, b, c from data_on_disk WHERE month=“May”;
指定表名字必须以 _tachyon 结尾,示例:

CREATE TABLE orders_tachyon AS SELECT * FROM orders;

之后再Tachyon中创建这个表,你可以像其他表那样查询它。

转载于:https://my.oschina.net/Rayn/blog/519232

你可能感兴趣的文章
mongodb
查看>>
CMAKE总结(1) .lib .dll .a .so libx.dll libx.dll.a
查看>>
java读取配置文件*.property
查看>>
how to send mail from 3rd
查看>>
mappingResources、mappingLocations、mappingDirectoryLocations、mappingJarLocations
查看>>
AJAX 传递jison数组 ;前端循环辅助数组 -----解决方案
查看>>
关于磁盘相关知识
查看>>
Mozilla推出HTML/CSS在线交互式学习网站Thimble
查看>>
关于ppp认证
查看>>
彻底禁用SilentDetection.aspx,极速登录
查看>>
为了忘却的纪念,我的天龙游戏生涯
查看>>
12294错误事件的处理--利用审核日志查找病毒来源
查看>>
第25讲: Scala中柯里化实战详解
查看>>
81.LAMP,PHP5和PHP7安装
查看>>
linux服务(一)LAMP编译安装
查看>>
一次RPC调用时间都去哪儿了
查看>>
linux的rsync工具的常用选项及ssh同步介绍
查看>>
oracle内存体系(二)
查看>>
ReflectASM的使用
查看>>
智能家居监控移动手机组态现实生活中的应用
查看>>