澳门威尼斯

文件大于10M的JAR和资源文件不能上传到Dataworks【澳门威尼斯】

八月 17th, 2019  |  互联网

责任编辑:

通过上述方法,我们可以在Dataworks上跑大于10M的MR作业。

第三步:瘦身Jar,因为Dataworks执行MR作业的时候,一定要本地执行,所以保留个main就可以;

用户在DataWorks上执行MapReduce作业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,导致无法使用调度去定期执行MapReduce作业。

第一步:大于10M的resources通过MaxCompute CLI客户端上传,

第二步:目前通过MaxCompute
CLI上传的资源,在Dataworks左侧资源列表是找不到的,只能通过list
resources查看确认资源;

摘要:
用户在DataWorks上执行MapReduce作业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,导致无法使用调度去定期执行MapReduce作业。
解决方案: jar -resources test_mr.

原标题:通过简单瘦身,解决Dataworks 10M文件限制问题

澳门威尼斯 1

list resources;//查看资源

​本文为云栖社区原创内容,未经允许不得转载。返回搜狐,查看更多

add jar C:\test_mr\test_mr.jar -f;//添加资源

客户端配置AK、EndPoint:https://help.aliyun.com/document\_detail/27804.html

作者:隐林

客户端下载地址:https://help.aliyun.com/document\_detail/27971.html

解决方案:

标签:, , , , ,

Your Comments

近期评论

    功能


    网站地图xml地图