对象存储

美团云深度学习平台支持通过美团云对象存储上传项目所需要的运行代码、数据集以及输出目录。
您有三种方式进入对象存储来进行管理操作:

  • 美团云控制台:对象存储
  • 深度学习平台:“文件”目录
  • 深度学习平台:“任务”——“新建任务”——“文件选择”

对象存储入口

注:在对象存储管理中创建的所有Bucket、文件夹、文件均可在DLS平台中进行调用。

1.DLS文件管理

在“文件”目录下,您可在标题行最右侧提示入口进入对象存储。
点击“注:此处为HDFS文件管理,对象存储文件管理请移步对象存储”对象存储蓝色超链接可进入对象存储管理界面。
图片

2.DLS文件选择

在新建任务——文件选择的弹框中,可在弹框下的提示项进入对象存储。
点击“选择文件前,请先将文件上传至HDFS或对象存储服务”提示中的对象存储蓝色超链接可进入对象存储管理界面。
图片

3.对象存储管理

首先您需要开通个人认证,然后在控制台中点击“对象存储”,最后在对象存储中创建对应的任务目录并上传相应的数据(美团云对象存储为收费服务)。

对象存储的使用

1.使用方法

新建任务过程中,文件地址可通过“文件选择”器进行选择,选择过程中可通过标签页进行选择对象存储中的文件
图片
新建任务过程中,文件地址可通过输入文件地址选择对象存储中的文件,文件地址必须为全路径,以S3://开头
图片
对象存储具体使用方法见:对象存储

2.性能限制

对象存储有两种使用方式:web端、API接口。

限制 web端 API接口
单次上传文件大小 <=2G 大文件接口<=100G,普通接口<=2G
单次上传文件数量 1 1
并发上传数量 100个
断点续传 不支持 支持
注:对象存储暂不支持分发缓存