| 如何在DataWorks上使用PyODPS | 您所在的位置：网站首页 › matlab语言转换为python › 如何在DataWorks上使用PyODPS |
|
使用方式限制 如果您发现有Got killed报错，即表明内存使用超限，进程被中止。请避免在PyODPS节点中直接下载数据并在DataWorks中处理数据，建议将数据处理任务提交到MaxCompute进行分布式执行处理，两种方式的对比详情请参见注意事项：请勿下载全量数据到本地并运行PyODPS。 包支持限制DataWorks的PyODPS节点缺少matplotlib等包，如下功能可能受限： DataFrame的plot函数。DataFrame自定义函数需要提交到MaxCompute执行。由于Python沙箱限制，第三方库只支持所有的纯粹Python库以及Numpy，因此不能直接使用Pandas。DataWorks中执行的非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。DataWorks的PyODPS节点不支持Python的atexit包，请使用try-finally结构实现相关功能。读取数据记录数限制DataWorks的PyODPS节点中，options.tunnel.use_instance_tunnel默认设置为False，即默认情况下，最多读取一万条数据记录。如果需要读取更多数据记录，需全局开启instance tunnel，即需要手动将options.tunnel.use_instance_tunnel设置为True。 |
| CopyRight 2018-2019 实验室设备网 版权所有 |