【参考文献】
【1】 A5互联
【2】 Shell基本用法
【3】 shell计时

1 如何使用Chmod使Bash脚本可执行

引用自参考文献【1】
在本教程中，我将逐步介绍创建bash脚本并使用chmod命令使脚本可执行的步骤。之后，无需使用sh或bash命令就可以运行它。
步骤1： 创建一个Bash文件
首先是.sh使用以下命令创建带有扩展名的新文本文件。

$ touch hello_script.sh

步骤2： 编写示例脚本
使用任何喜欢的编辑器打开新创建的文件，将以下bash脚本添加到文件中。

$ vim hello_script.sh

#!/bin/bash
echo "Hello World"

使用保存并关闭文件:wq!。
步骤3： 执行Bash脚本
有两种方法可以运行bash文件。第一个是通过使用bash命令，另一个是通过将执行权限设置为bash文件。
让我们运行以下命令以使用bash或sh命令执行bash脚本。

$ bash hello_script.sh

要么

$ sh hello_script.sh

步骤4： 将可执行权限设置为脚本
执行bash脚本的第二种方法是设置可执行权限。
要使脚本可执行文件，请使用+x或u+x，例如：

$ chmod u+x hello_script.sh

步骤5：运行可执行脚本
将可执行文件权限分配给脚本后，可以运行不带bash命令的脚本，如下所示。

$ ./hello_script.sh

另一个示例
在下面的示例中，我将编写并执行一个bash脚本以从源到目标进行备份。

$ vim backup_script.sh

#!/bin/bash
TIME=`date +%b-%d-%y`
DESTINATION=/home/kashif/backup-$BACKUPTIME.tar.gz
SOURCE=/data_folder
tar -cpzf $DESTINATION $SOURCE

使用:wq！保存并关闭文件，并使用下面的命令赋予其可执行权限：

$ chmod +x backup_script.sh

现在运行脚本：

$ ./backup_script

2 shell教程

2.0 运行程序

以运行python为例，一个名为write_totTb.py的python文件，在终端上运行使用python write_totTb.py，

现在不在终端运行，而是通过在bash里面运行，则bash的内容如下（名为test.sh）：

然后直接运行test.sh

#方法1
sh test.sh
#方法2
chmod +x test.sh #加成可执行权限，运行之后看到文件变绿色
./test.sh  #运行可执行文件

2.1 for 循环

2.1.1 单层for循环

这部分可以查看参考文献【2】Shell基本用法
这里对for循环做一个说明，通常情况下我们的for循环是下面这个样子

不过系统为了加快速度，不是使用的bash，因此需要改如下（有两种方法，这里只说第一种，参考小小小羊羊羊）：


是从1开始的，一直到10，如果要从0开始，则

2.1.2 两层for循环

2.1.3 循环列表

连续列表可以使用

for i in `seq 0 9` #从0到9共10个数
or
for i in {
    0..9}    #从0到9共10个数

如果是不连续的列表，如[1,9,11,25], 则

for i in 1 9 11 25
do 
	xxx
done

注意数字中间是空格，不能用{1,9,11,25}

2.2 文件读写

2.2.1 保存到文件

有两种方式指定到文件

> a.txt  写入文件
>> a.txt 追加形式写入文件

2.2.2 终端的输出保存到文件

参考博文
在bash中，

>标准输出
2>错误输出
<标准输入

如果需要将终端输出的信息保存到文件中，可以认为终端的是warning或者error之类的，那么可以

./run.sh 2> err.log > info.txt  #表示错误信息（终端上的）输出到err.log， 而我们需要的输出值放到info.txt中

2.2.3 读取文件并相加

这里要实现读取两个.txt文件并相加
两个文件a.txt和b.txt都如下：

1
2
3

需要读取并对应相加，得到的值应该是2,4,6
实现思路：先将文件读取并保存到变量中，然后实现这两个变量求和（应该有更好的方法，比如不保存，而是直接求和）

2.2.4 利用tee一次性写入多个文件

params.txt如下：

#!/bin/bash

mapfile params_arr < params.txt 
echo ${
    params_arr[@]}

echo ${
    params_arr[0]} | tee a.txt b.txt c.txt # 将数组中的第一个数写入三个文件中

上面的方法tee写入的时候，会echo输出，为了不让输出可以将标准输出扔到“黑洞”中

echo ${
    params_arr[0]} | tee a.txt b.txt c.txt >/dev/null

2.3 运行时间

参考【3】

#/bin/bash
declare starttime=`date +%s%N`
declare endtime=`date +%s%N`
c=`expr $endtime - $starttime`
# do something 

# end do something
c=`expr $c / 1000000`  #从纳秒到毫秒
echo "$c ms"

计算机给的是纳秒，除以10的六次方得到毫秒，如果要得到秒，则上面除以10的九次方。
从秒到分则是除以60

c=`expr $c / 1000000`   # ms
c=`expr $c / 1000000000` # s
c=`expr $c / 60000000000`  #min

更新
上面的方法好像没用，一直都显示0，可以使用下面新方法

#!/bin/bash
 
start_time=$(date +%s)
sleep 1

###
运行程序
###

end_time=$(date +%s)
cost_time=$[ $end_time-$start_time ]
echo "time cost: $(($cost_time/60))min $(($cost_time%60))s"

如果想把时间输出到文件上，则可以把最后一行改为

echo "time cost: $(($cost_time/60))min $(($cost_time%60))s">time_cost.log

此时查看time_cost.log就可以看到时间了

2 另外一个方法是使用time关键字，
比如test.sh文件为：

运行：

time sh test.sh 
or
time bash test.sh

得到

第一个real time就是表示程序运行所花的时间

更新…
计算时间间隔，可以调用date，两者相减，参考

start_time="$(date -u +%s.%N)"
sleep 5
end_time="$(date -u +%s.%N)"

elapsed="$(bc <<<"$end_time-$start_time")"
echo "Total of $elapsed seconds elapsed for process"

 Total of 5.001884264 seconds elapsed for process

或者直接调用内置变量SECONDS计时，参考

SECONDS=0
# do some work
duration=$SECONDS
echo "$(($duration / 60)) minutes and $(($duration % 60)) seconds elapsed."

文中说需要先SECONDS=0，实际上默认第一次调用就是0，所以也可以不用初始化为0（更新：必须设置SECONDS=0，否则可能不对，比如下面设置小于等于10一直运行，如果不初始化SECONDS=0，则可能4秒就结束了; 更新：注意要用bash运行，使用sh会得到都是0）
使用循环

SECONDS=0
while [ $SECONDS -le 10 ]
do
	echo $SECONDS
done

2.4 数组

2.4.1 数组定义和索引

参考博文
使用括号括起来，空格隔开，如：（注意复制号前后不能空）

运行之后

数组的索引是从0开始的，因此要获得某个变量的值可以如下：（$不可少）

2.4.2 数组创建

创建数组除了直接定义如a=(1,2,3)外，还可以借助seq来创建

a=$(seq 0 5)  # 从0到5的list，即a=[0,1,2,3,4,5]
a=($(seq 0 5)) # 从0到5的数组array，即a=np.array([0,1,2,3,4,5])

即

其中seq还可以创建小数位数的数组

只要让增量为小数即可，如

另一个方便的方法是：

for i in {
    0..5} #则i=0,1,2,3,4,5共6个数

2.4.3 数组长度

数组长度有两个方法：

在终端上输入：

第一行表示数组从0.7430到0.8320,间隔为0.0001
第二行表示数组长度，输出为：

2.4.4 mapfile读文件到数组–bash

有一个params.txt文件，如下：

通过mapfile读到数组中，代码文件名为test.sh

#!/bin/bash

mapfile params_arr < params.txt  #读到数组
echo ${
    params_arr[0]}   # 返回第一个数组值

运行bash test.sh得到

307200

如果要读取数组全部内容，需要

echo ${
    params_arr[@]}  #全部
echo ${
    params_arr}    #只读第一个数

2.4.5 读文件到数组–sh

sh不能像bash一样使用mapfile（发现手机的sh和linux自带的sh不一样，linux自带的应该是可以用2.4.4节的方法，但是手机的只能用本节方法），比如Android手机是没有bash的，只有sh，这个时候可以一行一行的读，然后加载到文件
比如

m=0
for line in `cat /data/local/tmp/params.txt`
do 
    params[$m]=$line 
    ((m++))
done 
echo ${
    params[@]}
echo ${
    params[0]}
echo ${
    params[1]}
echo ${
    params[4]}

307200 307200 633600 633600 806400 806400
307200
307200
806400

2.4.5 数组最后一个数/索引

在比较高版本的bash中，数组最后一个数可以像python一样用-1来读，如

#!/bin/bash
a=(1 2 3 4)
echo ${
    a[-1]}   #直接获取最后一个数
echo ${
    a[${
    #a[@]}-1]}   #先获取数组长度，然后再获取最后一个的索引

4
4

在手机adb中，只能使用后者

2.5 参数传递

2.5.0 无参数–bash运行python

有一个add.py文件，内容为：

建立一个run.sh脚本，内容为：

则通过

sh run.sh 
or 
bash run.sh

则可以实现bash来运行python的功能，这个简易的功能对某些情况非常有效，如对python很熟，但对bash不熟的情况，可以将代码用大量的python写，之后用bash来传递参数进行提交作业等简易工作。（如下两个例子）

2.5.1 单参数传递–运行python

假如有一个名为test.py的python文件，里面需要传递一个参数，那么可以通过run.sh来传递如下：

for i in {
    0..2}
do
	python test.py $i
done

在test.py中要用sys接收这个参数
test.py如下：

import sys
i = int(sys.argv[1]) #int也可以改为想要的类型，如str,float等，1表示第一个参数
xxx

这里的$i$(可以任意命名)表示接收的上面run.sh的参数$i$
这样就把参数传递到python文件里面了。

但这样做没有提高计算速度，实际上相当于在python的test.py里面加了一层循环而已，现在可以通过提交多个文件的方式提高速度，相当于多次任务，每个任务都是1分钟的话，那么总的任务也是1分钟，这些任务是分开计算的。
假如有一个名为test.py的python文件，里面需要传递一个参数，
run.sh

test.sh

其中$1表示传入的第一个参数，即run.sh的i

2.5.2 举例1，多参数传递

目标：要实现多参数传递。
有一个名为run.sh的文件，如下：（实现的功能为，利用hep_sub提交任务到服务器，并在atm_xv_xd.sh中有两个参数需要传递，第一个参数为循环的[0,1,2]，第二个参数为数组array([2.70,2.71,...,3.10]),即间隔为0.01的数组。错误信息填在err.log中，输出信息填在out.log中

其中atm_xv_xd.sh为：

所以在out.log的结果如下：

对于am来计算大气，则atm_xv_xd.sh可以如下：

再以读取文件时的参数传递为例：
一般文本保存都是以数字来有序标记，比如test0.txt, test1.txt等，那么读取文件的时候也可以按顺序读取，
现在 a.sh如下：循环[0,1]，提交作业到服务器

am_run.sh如下

读取test0.txt和test1.txt文件，注意，上面的$1表示的是传递第一个参数，即前面的loop，而不是表示第一个文件！

2.5.4 adb参数传递

这里主要讨论adb参数比较多的情况，比如获取一个正在运行的进程的pid，发现会有多个，这个时候在手机adb直接传数组会出错，此时的方法是先保存到文件，然后再读取文件内容到数组

2.6 条件判断

2.6.1 if语句

举例1：

其中：

所以结果为：

举例2：取余，当余数为0打印出数。注意等号那儿有空格。

for i in {
    0..100}
do
        b=$(($i%10))
        if [ $b = 0 ];then
                echo $i
        fi
done
~     

3 常见问题

3.1 提交作业运行时间很长

最近遇到一个问题，有个run.sh文件用于提交432分作业，然后每份作业计算361个点。每个点在本地计算大约4 s，只提交一次作业到服务器计算一个点大约0.5 s，现在提交432分作业，每份361个点，那么时间应该是361*0.4=144.4s，但结果却出奇的慢


这主要是因为输出错误文件都到err.log了，导致这个文件一直打开封闭直接读写，因此会出矛盾，也不能用>>data/err.log来追加，因为这样只能等所有文件都写完才能关闭这个文件，才算结束，这就等于串行了。修改方法为：err.log单独保存

#单独保存
am 00001.amc ${
    x[$k]} ${
    y[$k]} 2>data/jacobian/test/err${
    k}.log> data/jacobian/test/det_$1_ring_${
    k}.out