数模论坛

 找回密码
 注-册-帐-号
搜索
热搜: 活动 交友 discuz
查看: 15006|回复: 12

modelarts notebook中怎么读取obs文件,使用import moxing as mox,出现错误

[复制链接]
发表于 2019-9-21 08:52:25 | 显示全部楼层 |阅读模式
不使用moxing 指令,报错读不到同文件中数据,用了就会出现MoxFileRespException: Error occurs when accessing to OBS.的报错
发表于 2019-9-21 09:02:35 | 显示全部楼层
notebook需要将obs文件拷贝到本地才可读取,比如你要读取obs中桶名为obs-example下example文件夹下的文件,需要先拷贝到本地的例如./HOME/example/文件夹下,再读取,例如以下代码

obspath = 's3://obs-example/example/'  #目标文件夹
localpath = os.path.join(os.environ['HOME'],'example')  #本地文件夹
mox.file.copy_parallel(obspath ,localpath) #批量拷贝

然后你就可以读取本地localpath下的文件了
以上代码 你需要
import moxing as mox
import os

 楼主| 发表于 2019-9-21 10:17:14 | 显示全部楼层
您好,这个我试了,不过出现了No such file or directory: 'train_set',没找到我的训练集
发表于 2019-9-21 10:40:18 | 显示全部楼层
wisdomsj 发表于 2019-9-21 10:17
您好,这个我试了,不过出现了No such file or directory: 'train_set',没找到我的训练集

是在mox.file.copy_parallel时报错吗
 楼主| 发表于 2019-9-21 13:43:58 | 显示全部楼层
这部分有警告,下面有用到csv文件读取时,显示No such file or directory: 'train_set'
发表于 2019-9-21 14:11:28 | 显示全部楼层
A题专家 发表于 2019-9-21 09:02
notebook需要将obs文件拷贝到本地才可读取,比如你要读取obs中桶名为obs-example下example文件夹下的文件, ...

你好,官网要求提交saved_model.pb文件和测试集。也就是只要提交模型的权重值,那想问一下是不是系统会自动对我么提交的模型进行测试集的预测,而不用我们自己写测试文件?
发表于 2019-9-21 14:32:41 | 显示全部楼层
GGFlyhk 发表于 2019-9-21 14:11
你好,官网要求提交saved_model.pb文件和测试集。也就是只要提交模型的权重值,那想问一下是不是系统会自 ...

是的,你只要按照baseline的模式,将里面的save_model.pb和variables换成自己生成的模型,然后将customise_serivce.py中添加自己的预处理,将整个model文件上传,然后部署成批量服务,系统会自动对测试集进行预测
 楼主| 发表于 2019-9-21 15:14:20 | 显示全部楼层
您好,是不是我线下跑过了的代码,按照baseline的模式替换就可以提交进行预测了吗
发表于 2019-9-21 15:43:44 | 显示全部楼层
哦哦,谢谢。那您的意思预测得到的输出函数写哪里呢?
发表于 2019-9-21 17:11:13 | 显示全部楼层
wisdomsj 发表于 2019-9-21 15:14
您好,是不是我线下跑过了的代码,按照baseline的模式替换就可以提交进行预测了吗

是的,如果输入输出也换了的话,再修改一下customise_serivce.py里的代码就可以了
您需要登录后才可以回帖 登录 | 注-册-帐-号

本版积分规则

小黑屋|手机版|Archiver|数学建模网 ( 湘ICP备11011602号 )

GMT+8, 2024-3-29 14:06 , Processed in 0.055201 second(s), 19 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表