| 第 12 章 编程 | 您所在的位置：网站首页 › 生成shell脚本 › 第 12 章 编程 |
|
第 12 章 编程
目录 12.1. Shell 脚本 12.1.1. POSIX shell 兼容性 12.1.2. Shell 参数 12.1.3. Shell 条件语句 12.1.4. shell 循环 12.1.5. Shell 环境变量 12.1.6. shell 命令行的处理顺序 12.1.7. 用于 shell 脚本的应用程序 12.2. 解释性语言中的脚本 12.2.1. 调试解释性语言代码 12.2.2. 使用 shell 脚本的 GUI 程序 12.2.3. 定制 GUI（图形用户界面）文件管理器的行为 12.2.4. Perl 短脚本的疯狂 12.3. 编译型语言代码 12.3.1. C 12.3.2. 简单的 C 程序（gcc） 12.3.3. Flex — 一个更好的 Lex 12.3.4. Bison — 一个更好的 Yacc 12.4. 静态代码分析工具 12.5. 调试 12.5.1. 基本的 gdb 使用命令 12.5.2. 调试 Debian 软件包 12.5.3. 获得栈帧 12.5.4. 高级 gdb 命令 12.5.5. 检查库依赖性 12.5.6. 动态调用跟踪工具 12.5.7. 调试与 X 相关的错误 12.5.8. 内存泄漏检测工具 12.5.9. 反汇编二进制程序 12.6. 编译工具 12.6.1. make 12.6.2. Autotools（自动化工具） 12.6.2.1. 编译并安装程序 12.6.2.2. 卸载程序 12.6.3. Meson 12.7. Web 12.8. 源代码转换 12.9. 制作 Debian 包这里我给出一些 Debian 系统中的信息，帮助学习编程的人找出打包的源代码。下面是值得关注的软件包和与之对应的文档。 安装 manpages 和 manpages-dev 包之后，可以通过运行“man 名称”查看手册页中的参考信息。安装了 GNU 工具的相关文档包之后，可以通过运行“info 程序名称”查看参考文档。某些 GFDL 协议的文档与 DFSG 并不兼容，所以你可能需要在 main 仓库中包含 contrib 和 non-free 才能下载并安装它们。 请考虑使用版本控制系统工具。参见 第 10.5 节 “Git”。 警告不要用“test”作为可执行的测试文件的名字，因为 shell 中内建有“test”命令。 小心你可以把从源代码编译得到的程序直接放到“/usr/local”或“/opt”目录，这样可以避免与系统程序撞车。 提示“歌曲：99瓶啤酒”的代码示例可以给你提供实践各种语言的好范本。 12.1. Shell 脚本Shell 脚本 是指包含有下面格式的可执行的文本文件。 #!/bin/sh ... command lines第一行指明了读取并执行这个文件的 shell 解释器。 读懂 shell 脚本的最好 办法是先理解类 UNIX 系统是如何工作的。这里有一些 shell 编程的提示。看看“Shell 错误”（http://www.greenend.org.uk/rjk/2001/04/shell.html），可以从错误中学习。 不像 shell 交互模式（参见第 1.5 节 “简单 shell 命令” 和 第 1.6 节 “类 Unix 的文本处理”），shell 脚本会频繁使用参数、条件和循环等。 12.1.1. POSIX shell 兼容性系统中的许多脚本都可以通过任意 POSIX shell（参见 表 1.13 “shell 程序列表”）来执行。 默认的非交互 POSIX shell "/bin/sh" 是一个指向到 /usr/bin/dash 的符号链接，并被许多系统程序使用。 默认的交互式 POSIX shell 是 /usr/bin/bash。 避免编写具有 bashisms（bash 化）或者 zshisms（zsh 化）语法的 shell 脚本，确保脚本在所有 POSIX shell 之间具有可移植性。你可以使用 checkbashisms(1) 对其进行检查。 表 12.1. 典型 bashism 语法列表 好的：POSIX 应该避免的：bashism if [ "$foo" = "$bar" ] ; then … if [ "$foo" == "$bar" ] ; then … diff -u file.c.orig file.c diff -u file.c{.orig,} mkdir /foobar /foobaz mkdir /foo{bar,baz} funcname() { … } function funcname() { … } 八进制格式："\377" 十六进制格式："\xff"使用 "echo" 命令的时候需要注意以下几个方面，因为根据内置 shell 和外部命令的不同，它的实现也有差别。 避免使用除“-n”以外的任何命令行选项。 避免在字符串中使用转义序列，因为根据 shell 不同，计算后的结果也不一样。 注意尽管“-n”选项并不是 POSIX 语法，但它已被广泛接受。 提示如果你想要在输出字符串中嵌入转义序列，用 "printf" 命令替代 "echo" 命令。 12.1.2. Shell 参数特殊的 shell 参数经常在 shell 脚本里面被用到。 表 12.2. shell 参数列表 shell 参数 值 $0 shell 或 shell 脚本的名称 $1 第一个 shell 参数 $9 第 9 个 shell 参数 $# 位置参数数量 "$*" "$1 $2 $3 $4 … " "$@" "$1" "$2" "$3" "$4" … $? 最近一次命令的退出状态码 $$ 这个 shell 脚本的 PID $! 最近开始的后台任务 PID如下所示是需要记忆的基本的参数展开。 表 12.3. shell 参数展开列表 参数表达式形式 如果 var 变量已设置那么值为 如果 var 变量没有被设置那么值为 ${var:-string} "$var" "string" ${var:+string} "string" "null" ${var:=string} "$var" "string" (并运行 "var=string") ${var:?string} "$var" 在 stderr 中显示 "string" (出错退出)以上这些操作中 ":" 实际上都是可选的。 有 ":" 等于测试的 var 值是存在且非空 没有 ":" 等于测试的 var 值只是存在的，可以为空 表 12.4. 重要的 shell 参数替换列表 参数替换形式 结果 ${var%suffix} 删除位于 var 结尾的 suffix 最小匹配模式 ${var%%suffix} 删除位于 var 结尾的 suffix 最大匹配模式 ${var#prefix} 删除位于 var 开头的 prefix 最小匹配模式 ${var##prefix} 删除位于 var 开头的 prefix 最大匹配模式 12.1.3. Shell 条件语句每个命令都会返回 退出状态，这可以被条件语句使用。 成功：0 ("True") 失败：非0 ("False") 注意"0" 在 shell 条件语句中的意思是 "True"，然而 "0" 在 C 条件语句中的含义为 "False"。 注意"[" 跟 test 命令是等价的，它评估到 "]" 之间的参数来作为一个条件表达式. 如下所示是需要记忆的基础 条件语法。 "command && if_success_run_this_command_too || true" "command || if_not_success_run_this_command_too || true" 如下所示是多行脚本片段 if [ conditional_expression ]; then if_success_run_this_command else if_not_success_run_this_command fi这里末尾的“|| true”是需要的，它可以保证这个 shell 脚本在不小心使用了“-e”选项而被调用时不会在该行意外地退出。 表 12.5. 在条件表达式中进行文件比较 表达式 返回逻辑真所需的条件 -e file file 存在 -d file file 存在并且是一个目录 -f file file 存在并且是一个普通文件 -w file file 存在并且可写 -x file file 存在并且可执行 file1 -nt file2 file1 是否比 file2 新 file1 -ot file2 file1 是否比 file2 旧 file1 -ef file2 file1 和 file2 位于相同的设备上并且有相同的 inode 编号表 12.6. 在条件表达式中进行字符串比较 表达式 返回逻辑真所需的条件 -z str str 的长度为零 -n str str 的长度不为零 str1 = str2 str1 和 str2 相等 str1 != str2 str1 和 str2 不相等 str1 < str2 str1 排列在 str2 之前（取决于语言环境） str1 > str2 str1 排列在 str2 之后（取决于语言环境）算术整数的比较在条件表达式中为 "-eq"，"-ne"，"-lt"，"-le"，"-gt" 和 "-ge"。 12.1.4. shell 循环这里有几种可用于 POSIX shell 的循环形式。 "for x in foo1 foo2 … ; do command ; done"，该循环会将 "foo1 foo2 …" 赋予变量 "x" 并执行 "command"。 "while condition ; do command ; done"，当 "condition" 为真时，会重复执行 "command"。 "until condition ; do command ; done"，当 "condition" 为假时，会重复执行 "command"。 "break" 可以用来退出循环。 "continue" 可以用来重新开始下一次循环。 提示C 语言中的数值迭代可以用 seq(1) 实现来生成 "foo1 foo2 ..."。 提示参见 第 9.4.9 节 “使用文件循环来重复一个命令”。 12.1.5. Shell 环境变量普通的 shell 命令行提示下的一些常见的环境变量，可能在你的脚本的执行环境中不存在。 对于 "$USER", 使用 "$(id -un)" 对于 "$UID", 使用 "$(id -u)" 对于 "$HOME"，使用"$(getent passwd "$(id -u)"|cut -d ":" -f 6)" (这个也在 第 4.5.2 节 “现代的集中式系统管理” 下工作) 12.1.6. shell 命令行的处理顺序shell 大致以下列的顺序来处理一个脚本。 shell 读取一行。 如果该行包含有"…" 或 '…'，shell 对该行各部分进行分组作为 一个标识（one token） （译注：one token 是指 shell 识别的一个结构单元）. shell 通过下列方式将行中的其它部分分隔进 标识（tokens）。 空白字符：空格 tab 换行符 元字符： | ; & ( ) shell 会检查每一个不位于 "…" 或 '...' 的 token 中的 保留字 来调整它的行为。 保留字：if then elif else fi for in while unless do done case esac shell 展开不位于 "…" 或 '...' 中的 别名。 shell 展开不位于 "…" 或 '...' 中的 波浪线。 "~" → 当前用户的家目录 "~user" → user 的家目录 shell 将不位于 '...' 中的 变量 展开为它的值。 变量："$PARAMETER" 或 "${PARAMETER}" shell 展开不位于 '...' 中的 命令替换。 "$( command )" → "command" 的输出 "` command `" → "command" 的输出 shell 将不位于 "…" 或 '...' 中的 glob 路径 展开为匹配的文件名。 * → 任何字符 ? → 一个字符 […] → 任何位于 "…" 中的字符 shell 从下列几方面查找 命令 并执行。 函数 定义 内建命令 “$PATH” 中的可执行文件 shell 前往下一行，并按照这个顺序从头再次进行处理。 双引号中的单引号是没有效果的。 在 shell 中执行 “set -x” 或使用 “-x” 选项启动 shell 可以让 shell 显示出所有执行的命令。这对调试来说是非常方便的。 12.1.7. 用于 shell 脚本的应用程序为了使你的 shell 程序在 Debian 系统上尽可能地具有可移植性，你应该只使用 必要的 软件包所提供的应用程序。 "aptitude search ~E"，列出 必要的 软件包。 "dpkg -L package_name |grep '/man/man.*/'"，列出 package_name 软件包所提供的 man 手册。 表 12.7. 包含用于 shell 脚本的小型应用程序的软件包 软件包 流行度 大小 说明 dash V:894, I:995 191 小和快的 POSIX 兼容 shell，用于 sh coreutils V:908, I:999 18062 GNU 核心工具 grep V:799, I:999 1245 GNU grep、egrep 和 fgrep sed V:792, I:999 987 GNU sed mawk V:391, I:997 263 小和快的 awk debianutils V:919, I:999 243 用于 Debian 的各种工具 bsdutils V:610, I:999 355 来自 4.4BSD-Lite 的基础工具 bsdextrautils V:454, I:548 337 来自 4.4BSD-Lite 的额外的工具 moreutils V:14, I:39 244 额外的 Unix 工具 提示尽管 moreutils 可能不存在 Debian 之外，但它提供了一些有趣的小程序。最值得注意的一个是 sponge(8)，当你想覆盖原来的文件时，它会非常好用。 参见 第 1.6 节 “类 Unix 的文本处理” 的例子。 12.2. 解释性语言中的脚本表 12.8. 解释器相关软件包列表 软件包 流行度 大小 文档 dash V:894, I:995 191 sh: 小和快的 POSIX 兼容的 shell，用于 sh bash V:821, I:999 7163 sh: 由 bash-doc 包提供的“info bash” mawk V:391, I:997 263 AWK: 小和快的 awk gawk V:313, I:402 2456 AWK: 由 gawk-doc 包提供的“info gawk” perl V:644, I:990 669 Perl: perl(1) 以及通过 perl-doc 和 perl-doc-html 提供的 html 文档 libterm-readline-gnu-perl V:2, I:30 379 GNU ReadLine/History 库的 Perl 扩展： perlsh(1) libreply-perl V:0, I:0 171 Perl 的 REPL : reply(1) libdevel-repl-perl V:0, I:0 237 Perl 的 REPL : re.pl(1) python3 V:726, I:931 80 Python: python3(1) 以及通过 python3-doc 包提供的 html 文档 tcl V:28, I:268 22 Tcl: tcl(3) 以及通过 tcl-doc 包提供的更详细的手册页文档 tk V:22, I:261 22 Tk:tk(3) 以及通过 tk-doc 包提供的更详细的手册页文档 ruby V:112, I:254 29 Ruby: ruby(1), erb(1), irb(1), rdoc(1), ri(1)当你希望在 Debian 上自动化执行一个任务，你应当首先使用解释性语言脚本。选择解释性语言的准则是： 使用 dash，如果任务是简单的，使用 shell 程序联合 CLI 命令行程序。 使用 python3，如果任务不是简单的，你从零开始写。 使用 perl、tcl、ruby……，如果在 Debian 上有用这些语言写的现存代码，需要为完成任务进行调整。 如果最终代码太慢，为提升执行速度，你可以用编译型语言重写关键部分，从解释性语言调用。 12.2.1. 调试解释性语言代码大部分解释器提供基本的语法检查和代码跟踪功能。 “dash -n script.sh” - Shell 脚本语法检查 “dash -x script.sh” - 跟踪一个 Shell 脚本 “python -m py_compile script.py” - Python 脚本语法检查 “python -mtrace --trace script.py” - 跟踪一个 Python 脚本 “perl -I ../libpath -c script.pl” - Perl 脚本语法检查 “perl -d:Trace script.pl” - 跟踪一个 Perl 脚本 为测试 dash 代码，尝试下 第 9.1.4 节 “Readline 封装”，它提供了和 bash 类似的交互式环境。 为了测试 perl 代码，尝试下 Perl 的 REPL 环境，它为 Perl 提供了 Python 类似的 REPL (=READ + EVAL + PRINT + LOOP) 环境。 12.2.2. 使用 shell 脚本的 GUI 程序shell 脚本能够被改进用来制作一个吸引人的 GUI（图形用户界面）程序。技巧是用一个所谓的对话程序来代替使用 echo 和 read 命令的乏味交互。 表 12.9. 对话（dialog ）程序列表 软件包 流行度 大小 说明 x11-utils V:169, I:556 712 xmessage(1)：在一个窗口中显示一条消息或疑问（X） whiptail V:258, I:996 57 从 shell 脚本中显示用户友好的对话框（newt） dialog V:13, I:113 1213 从 shell 脚本中显示用户友好的对话框（ncurses） zenity V:74, I:356 167 从 shell 脚本中显示图形对话框（GTK） ssft V:0, I:0 75 Shell 脚本前端工具 (zenity, kdialog, and 带有 gettext 的 dialog 封装) gettext V:55, I:278 5825 “/usr/bin/gettext.sh”：翻译信息这里是一个用来演示的 GUI 程序的例子，仅使用一个 shell 脚本是多么容易。 这个脚本使用 zenity 来选择一个文件 (默认 /etc/motd) 并显示它。 这个脚本的 GUI 启动器能够按 第 9.4.10 节 “从 GUI 启动一个程序” 创建。 #!/bin/sh -e # Copyright (C) 2021 Osamu Aoki , Public Domain # vim:set sw=2 sts=2 et: DATA_FILE=$(zenity --file-selection --filename="/etc/motd" --title="Select a file to check") || \ ( echo "E: File selection error" >&2 ; exit 1 ) # Check size of archive if ( file -ib "$DATA_FILE" | grep -qe '^text/' ) ; then zenity --info --title="Check file: $DATA_FILE" --width 640 --height 400 \ --text="$(head -n 20 "$DATA_FILE")" else zenity --info --title="Check file: $DATA_FILE" --width 640 --height 400 \ --text="The data is MIME=$(file -ib "$DATA_FILE")" fi这种使用 shell 脚本的 GUI 程序方案只对简单选择的场景有用。如果你写一个其它任何复杂的程序，请考虑在功能更强的平台上写。 12.2.3. 定制 GUI（图形用户界面）文件管理器的行为GUI（图形用户界面）文件管理器在选定的文件上，能够用外加的扩展软件包来扩展执行一些常见行为。通过增加特定的脚本，它们也能够用来定制执行非常特殊的行为。 对于 GNOME，参见 NautilusScriptsHowto。 对于 KDE，参见 Creating Dolphin Service Menus。 对于 Xfce，参见 Thunar - Custom Actions 和 https://help.ubuntu.com/community/ThunarCustomActions。 对于 LXDE，参见 Custom Actions。 12.2.4. Perl 短脚本的疯狂为了处理数据，sh 需要生成子进程运行 cut、grep、 sed 等，是慢的。从另外一个方面，perl 有内部处理数据能力，是快的。所以 Debian 上的许多系统维护脚本使用 perl。 让我们考虑下面一行 AWK 脚本片段和它在 Perl 中的等价物。 awk '($2=="1957") { print $3 }' |这等价于下列的任意一行。 perl -ne '@f=split; if ($f[1] eq "1957") { print "$f[2]\n"}' | perl -ne 'if ((@f=split)[1] eq "1957") { print "$f[2]\n"}' | perl -ne '@f=split; print $f[2] if ( $f[1]==1957 )' | perl -lane 'print $F[2] if $F[1] eq "1957"' | perl -lane 'print$F[2]if$F[1]eq+1957' |最后一个简直就是个迷。它用上了下面列出的这些 Perl 的特性。 空格为可选项。 存在从数字到字符串的自动转换。 通过命令行选项： perlrun(1) 的 Perl 执行技巧 Perl 特异变量：perlvar(1) 灵活性是 Perl 的强项。与此同时，这允许我们创建令人困惑和繁乱的代码。所以请小心。 更多疯狂的 Perl 脚本，有兴趣的可以看下 Perl Golf 。 12.3. 编译型语言代码表 12.10. 编译相关软件包列表 软件包 流行度 大小 说明 gcc V:153, I:565 47 GNU C 编译器 libc6-dev V:246, I:581 11954 GNU C 库：开发库和头文件 g++ V:56, I:503 14 GNU C++ 编译器 libstdc++-10-dev V:38, I:269 17587 GNU 标准 C++ 库 版本 3（开发文件） cpp V:317, I:727 30 GNU C 预处理 gettext V:55, I:278 5825 GNU 国际化工具 glade V:0, I:6 1209 GTK 用户界面构建器 valac V:0, I:5 717 使用 GObject 系统类似 C# 的语言 flex V:8, I:82 1260 LEX 兼容的 fast lexical analyzer generator bison V:8, I:89 3116 YACC 兼容的 解析器生成器 susv2 I:0 16 通过“单一UNIX规范（版本2）”获取（英语文档） susv3 I:0 16 通过“单一UNIX规范（版本3）”获取（英语文档） golang I:20 12 Go 编程语言编译器 rustc V:3, I:13 7753 Rust 系统编程语言 haskell-platform I:4 12 标准的 Haskell 库和工具 gfortran V:8, I:75 16 GNU Fortran 95 编译器 fpc I:3 102 自由 Pascal这里，包括了 第 12.3.3 节 “Flex — 一个更好的 Lex” 和 第 12.3.4 节 “Bison — 一个更好的 Yacc”，用来说明 类似编译器的程序怎样用C 语言来编写，是通过编译高级描述到 C 语言。 12.3.1. C你可以通过下列方法设置适当的环境来编译使用 C 编程语言编写的程序。 # apt-get install glibc-doc manpages-dev libc6-dev gcc build-essentiallibc6-dev 软件包，即 GNU C 库，提供了 C 标准库，它包含了 C 编程语言所使用的头文件和库例程。 参考信息如下。 “info libc”（C 库函数参考） gcc(1) 和 “info gcc” each_C_library_function_name(3) Kernighan & Ritchie，“C 程序设计语言”，第二版（Prentice Hall） 12.3.2. 简单的 C 程序（gcc）一个简单的例子 “example.c” 可以通过如下方式和 “libm” 库一起编译为可执行程序 “run_example”。 $ cat > example.c /lib/librt.so.1 (0x4001e000) libc.so.6 => /lib/libc.so.6 (0x40030000) libpthread.so.0 => /lib/libpthread.so.0 (0x40153000) /lib/ld-linux.so.2 => /lib/ld-linux.so.2 (0x40000000)因为 ls(1) 运行在 `chroot`ed 环境，以上的库在 `chroot`ed 环境也必须是可用的。 参见 第 9.4.6 节 “跟踪程序活动”。 12.5.6. 动态调用跟踪工具在 Debian 中，有几个动态调用跟踪工具存在。参见 第 9.4 节 “监控、控制和启动程序活动”。 12.5.7. 调试与 X 相关的错误如果一个 GNOME 程序 preview1 收到了一个 X 错误，您应当看见一条下面这样的信息。 The program 'preview1' received an X Window System error.如果就是这种情况，你可以尝试在运行程序的时候加上 "--sync" 选项，并且在 "gdk_x_error" 函数处设置中断来获得栈帧信息。 12.5.8. 内存泄漏检测工具Debian 上有一些可用的内存泄漏检测工具。 表 12.15. 内存泄漏检测工具的列表 软件包 流行度 大小 说明 libc6-dev V:246, I:581 11954 mtrace(1)：调试 glibc 中的 malloc valgrind V:6, I:38 77683 内存调试器和分析器 electric-fence V:0, I:4 73 malloc(e) 调试器 libdmalloc5 V:0, I:3 393 内存分配库调试 duma V:0, I:0 293 在 C 和 C++ 程序中检测缓存溢出和缓存欠载（ buffer under-runs ）的库 leaktracer V:0, I:2 56 C++ 程序内存泄露跟踪器 12.5.9. 反汇编二进制程序你可以使用下面的方式通过 objdump(1) 反编译二进制代码。 $ objdump -m i386 -b binary -D /usr/lib/grub/x86_64-pc/stage1 注意gdb(1) 可以用来交互式反汇编代码。 12.6. 编译工具表 12.16. 编译工具软件包列表 软件包 流行度 大小 文档 make V:147, I:574 1592 通过 make-doc 包提供“info make” autoconf V:33, I:257 2025 由 autoconf-doc 包提供“info autoconf” automake V:34, I:256 1837 由 automake1.10-doc 包提供“info automake” libtool V:29, I:240 1213 由 libtool-doc 包提供"info libtool" cmake V:16, I:116 28897 cmake(1) 跨平台、开源的编译系统 ninja-build V:5, I:34 417 ninja(1) 接近 Make 精髓的小编译系统 meson V:2, I:20 3451 meson(1) 在 ninja 之上的高生产力的构建系统 xutils-dev V:1, I:10 1485 imake(1)，xmkmf(1) 等。 12.6.1. makeMake 是一个维护程序组的工具。一旦执行 make(1)，make 会读取规则文件 Makefile，自从上次目标文件被修改后，如果目标文件依赖的相关文件发生了改变，那么就会更新目标文件，或者目标文件不存在，那么这些文件更新可能会同时发生。 规则文件的语法如下所示。 target: [ prerequisites ... ] [TAB] command1 [TAB] -command2 # ignore errors [TAB] @command3 # suppress echoing这里面的 "[TAB]" 是一个 TAB 代码。每一行在进行变量替换以后会被 shell 解释。在行末使用 "\" 来继续此脚本。使用 "$$" 输入 "$" 来获得 shell 脚本中的环境变量值。 目标跟相关文件也可以通过隐式规则给出，例如，如下所示。 %.o: %.c header.h在这里，目标包含了 "%" 字符 (只是它们中确切的某一个）。"%" 字符能够匹配实际的目标文件中任意一个非空的子串。相关文件同样使用 "%" 来表明它们是怎样与目标文件建立联系的。 表 12.17. 自动变量的列表 自动变量 值 $@ 当前目标 $ |
| CopyRight 2018-2019 实验室设备网 版权所有 |