MaxCompute客户端（odpscmd）

您可以通过MaxCompute客户端访问MaxCompute项目并运行命令。

前提条件

在使用MaxCompute客户端前，请您确认已满足如下条件：

待安装MaxCompute客户端的设备已安装Java 8或以上版本。
已创建MaxCompute项目。
使用MaxCompute客户端的RAM用户已被添加至MaxCompute项目所属的DataWorks工作空间。

安装并配置MaxCompute客户端

安装并配置MaxCompute客户端的操作流程如下：

下载MaxCompute客户端安装包（Github）。
说明如果上方链接无法下载，您可以尝试单击此处的MaxCompute客户端安装包（OSS）进行下载。更多关于Github链接访问失败的问题，推荐您直接在搜索引擎中查找相关解决方案。
解压下载的安装包文件，得到bin、conf、lib和plugins文件夹。

进入conf文件夹，配置odps_config.ini文件。

odps_config.ini文件内容如下。

project_name=
access_id=
access_key=
end_point=
log_view_host=
https_check=
# confirm threshold for query input size(unit: GB)
data_size_confirm=
# this url is for odpscmd update
update_url=
# download sql results by instance tunnel
use_instance_tunnel=
# the max records when download sql results by instance tunnel
instance_tunnel_max_record=
# IMPORTANT:
#   If leaving tunnel_endpoint untouched, console will try to automatically get one from odps service, which might charge networking fees in some cases.
#   Please refer to Endpoint
# tunnel_endpoint=

# use set.<key>=
# e.g. set.odps.sql.select.output.format=

odps_config.ini文件中使用井号（#）作为注释。参数详细信息如下。

参数	是否必填	描述	示例
project_name	是	访问的目标MaxCompute项目名称。如果您创建了标准模式的工作空间，在配置project_name时，请注意区分生产环境与开发环境（_dev）的项目名称，请参见简单模式和标准模式的区别。您可以登录MaxCompute控制台，在项目管理页签获取MaxCompute项目名称。	doc_test_dev
access_id	是	阿里云账号或RAM用户的AccessKey ID。您可以进入AccessKey管理页面获取AccessKey ID。	无
access_key	是	AccessKey ID对应的AccessKey Secret。您可以进入AccessKey管理页面获取AccessKey Secret。	无
end_point	是	MaxCompute服务的连接地址。您需要根据创建MaxCompute项目时选择的地域以及网络连接方式配置Endpoint。各地域及网络对应的Endpoint值，请参见Endpoint。注意如果Endpoint配置有误，会出现无法访问错误，请务必仔细确认。	http://service.cn-hangzhou.maxcompute.aliyun.com/api
log_view_host	否	Logview地址。您可以通过该地址查看作业的详细运行信息，并为报错处理提供依据。固定取值为：http://logview.odps.aliyun.com。说明推荐您配置该参数，如果不配置该参数，在作业报错时无法快速定位问题。	http://logview.odps.aliyun.com
https_check	否	是否开启HTTPS访问机制，对访问MaxCompute项目的请求进行加密。取值范围如下：True：采用HTTPS机制。False：采用HTTP机制。默认值为False。	True
data_size_confirm	否	输入数据量的最大值，单位为GB。取值范围无限制。推荐设置为100 GB。	100
update_url	否	预留参数，暂无需关注。	无
use_instance_tunnel	否	是否使用InstanceTunnel下载SQL执行结果。取值范围如下：True：使用InstanceTunnel下载SQL执行结果。False：不使用InstanceTunnel下载SQL执行结果。默认值为False。	True
instance_tunnel_max_record	否	客户端返回的SQL执行结果的最大记录数。如果use_instance_tunnel值为True，需要配置该参数。最大值为10000。	10000
tunnel_endpoint	否	Tunnel服务的外网访问链接。如果您未配置Tunnel Endpoint，Tunnel会自动路由到MaxCompute服务所在网络对应的Tunnel Endpoint。如果您配置了Tunnel Endpoint，则以配置为准，不进行自动路由。各地域及网络对应的Tunnel Endpoint值，请参见Endpoint。	http://dt.cn-hangzhou.maxcompute.aliyun.com
set.	否	设置MaxCompute项目的属性。更多属性信息，请参见属性列表。	set.odps.sql.decimal.odps2=true

运行MaxCompute客户端

MaxCompute客户端可通过如下方式启动，您可以任选其中一种：

方式一：在MaxCompute客户端安装路径下的bin文件夹中，双击odpscmd.bat文件（Windows系统），即可启动MaxCompute客户端。返回如下信息，表明已成功连接MaxCompute项目。
方式二：在系统的命令行执行窗口，进入MaxCompute客户端安装路径下的bin目录，执行odpscmd命令（Windows系统）或
sh odpscmdLinux系统或Mac系统），即可启动MaxCompute客户端。返回如下信息，表明已成功连接MaxCompute项目。
说明在Ubuntu执行sh odpscmd会提示报错，请您使用./odpscmd命令尝试启动。

您可以在上述图中的光标位置处输入命令，按下回车即可运行。命令示例及返回结果如下。

获取当前登录用户

您可以在上述运行窗口执行如下命令获取当前登录用户的信息。

odps@project_name>whoami;

返回结果如下。

当前登录用户

Name：当前登录的账号信息。
Source IP：MaxCompute客户端所在设备的IP地址。
End_Point：MaxCompute服务的连接地址。
Project：MaxCompute项目的名称。

退出MaxCompute客户端

您可以在上述运行窗口执行如下命令退出MaxCompute客户端。

odps@project_name>quit;
--等价于如下命令。
odps@project_name>q;

获取命令帮助

您可以通过如下方式快速获取MaxCompute客户端的命令帮助，您可以任选其中一种：

方式一：在MaxCompute客户端查看命令帮助信息。

查看全部命令的帮助。

odps@project_name>help;
--等价于如下命令。
odps@project_name>h;

通过指定关键字查看相关命令帮助信息。

例如获取与表操作相关的命令帮助。

odps@project_name>help table;
--返回结果如下。
Usage: alter table <tablename> merge smallfiles
Usage: export table <tablename>
Usage: show tables [in <project_name>] [like '<prefix>']
       list|ls tables [-p,-project <project_name>]
Usage: describe|desc [<projectname>.]<tablename> [partition(<spec>)]
Usage: read [<project_name>.]<table_name> [(<col_name>[,..])] [PARTITION (<partition_spec>)] [line_num]

方式二：在系统的命令行执行窗口，切换到MaxCompute客户端安装路径下的bin目录，执行如下命令查看全部命令的帮助信息。在命令行执行窗口启动MaxCompute客户端时，您可以指定一系列参数，更多参数信息，请参见启动参数。
```
...\odpscmd\bin>odpscmd -h
```

启动参数

在系统的命令行执行窗口，您可以通过指定一系列参数快速执行命令，命令使用方法如下。

Usage: odpscmd [OPTION]...
where options include:
    --help                                  (-h)for help
    --config=<config_file>                  specify another config file
    --project=<prj_name>                    use project
    --endpoint=<http://host:port>           set endpoint
    -k <n>                                  will skip begining queries and start from specified position
    -r <n>                                  set retry times
    -f <"file_path;">                       execute command in file
    -e <"command;[command;]...">            execute command, include sql command

启动参数说明如下。

命令	说明	命令示例
`--help`或`-h`	获取MaxCompute客户端的全部命令帮助信息。	`odpscmd --help`
`--config`	指定配置文件odps_config.ini的路径。默认配置文件的路径是`odpscmd_public/conf/odps_config.ini`。	`odpscmd --config=D:/odpscmd/conf/odps_config.ini`
`--project`	指定访问的MaxCompute项目名称。	`odpscmd --project=doc_test`
`--endpoint`	指定连接MaxCompute服务的Endpoint信息。更多Endpoint信息，请参见Endpoint。	`odpscmd --endpoint=http://service.cn-shanghai.maxcompute.aliyun.com/api`
`-k`	运行从指定位置开始的语句。当`n≤0`时，从第一条语句开始执行。每条语句以分号（;）分隔。	忽略前两条语句，直接从第三条语句开始执行。`odpscmd -k 3 -e "drop table table_name;create table table_name (dummy string);insert overwrite table table_name select count(*) from table_name;"`
`-r`	设置作业运行失败时的重试次数。	`odpscmd -r 2 -e "select * from sale_detail;select * from table_test;"`
`-f`	指定读取的文件。	1.准备本地脚本文件script.txt，假设存放在D盘，文件内容如下。 `drop table if exists test_table_mj; create table test_table_mj (id string, name string); drop table test_table_mj;` 2.在系统命令行窗口，换到MaxCompute客户端安装路径下的bin目录，运行如下命令。 `..\odpscmd\bin>odpscmd -f D:/script.txt;`
`-e`	指定执行的命令。	`odpscmd -e "select * from sale_detail;"`

在Shell（或Windows命令行）执行窗口，用户可能需要使用odpscmd -e SQL语句执行得到的动态返回值，Shell的变量会获取这个动态返回值，然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。为便于Shell调用，您需要配置odps_config.ini文件中的use_instance_tunnel参数值为false，关闭Instance Tunnel服务。然后执行set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":""""};命令，关闭表头显示。

例如表noheader中有一列三行数据，为1、2、3。执行如下命令，将计算结果重定向stdout到目标句柄，计算结果仅包含具体数据，不包含其它额外信息：

--Windows命令行执行窗口运行命令如下。
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":""""};select * from noheader;" >D:\test.txt
--返回结果会保存在D:\test.txt中。

--Shell执行窗口运行命令如下。
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":""""};select * from noheader;" >/Users/A/temp/test.txt
--返回结果会保存在/Users/A/temp/test.txt中。
--返回结果如下。
1
2
3

原文链接：https://blog.csdn.net/shenglishuguang/article/details/123215686