技术特色
服务易用
提供完善的数据导入方案以及多种经典的分布式计算模型,可以不必关心分布式计算和维护细节,便可轻松完成大数据分析。
支持多种计算模型
支持SQL、MapReduce、UDF(Java/Python)、Graph、基于DAG的处理、交互式、内存计算、机器学习等计算类型及MPI迭代类算法。简化了企业大数据平台的应用架构。
弹性扩展
提供按量付费模式下的作业级别的资源管理。系统会自动扩展计算、存储、网络等资源。
产品功能
实时增量数据通道
提供高并发的离线数据上传下载服务,支持每天TB/PB级别的数据导入导出,特别适合于全量数据或历史数据的批量导入。
批量历史数据通道
针对实时数据上传的场景,提供了延迟低、使用方便的DataHub服务,特别适用于增量数据的导入。
支持SQL、UDF、MapReduce、Graph等多种计算模型,详情如下:
SQL
以表的形式存储数据,对外提供SQL查询功能。您可以将其认是为传统的数据库软件进行操作,但其却能处理TB、PB级别的海量数据。
UDF
即用户自定义函数。您还可以通过创建自定义函数来满足不同的计算需求。
MapReduce
MapReduce是一种Java MapReduce编程模型,它可以简化开发流程,更为高效。使用MapReduce,需要对分布式计算概念有基本了解,并有相对应的编程经验。
Graph
我们提供的Graph功能是一套面向迭代的图计算处理框架。图由点 (Vertex)和边(Edge)组成,点和边包含权值(Value)。通过迭代对图进行编辑、演化,最终求解出结果,典型应用是PageRank、单源最短距离算法 、K-均值聚类算法等。
提供了功能强大的安全服务,为您的数据安全提供保护。