« 上一篇下一篇 »

执行耗时较长的任务时,如何让Linux进程在后台安静运行的几种方法

      我们经常会碰到这样的问题,用 telnet/ssh 登录了远程的 Linux 服务器,运行了一些耗时较长的任务, 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口/网络断开连接的干扰呢?下面举了一些例子, 您可以针对不同的场景选择不同的方式来处理这个问题。
如果只是临时有一个命令需要长时间运行,什么方法能最简便的保证它在后台稳定运行呢?

一、Linux后台运行需求的发生
我们使用远程主机跑项目的时候,有时会运行一些需要长时间执行的监控类或扫描类的Linux命令,但我们又不需要一直盯着它运行,为了不影响执行其他任务,我们就需要让它在后台隐藏起来安静的运行,那么有哪些方法可以让这些Linux命令可以后台运行呢

二、几个简单的解决办法
1.命令:nohup

nohup python -u run.py > run.log 2>&1 &
参数说明:
run.py: 你需要后台运行的程序.
>: 日志文件追加到文件中
run.log: 运行的日志,或你的文件的输出内容.

& 是一个描述符,如果1或2前不加&,会被当成一个普通文件。

1>&2 意思是把标准输出重定向到标准错误.

2>&1 意思是把标准错误输出重定向到标准输出。

&>filename 意思是把标准输出和标准错误输出都重定向到文件filename中

这条命令的意思是,执行run.py程序,并把程序中执行的情况记录到run.log文件中,包括程序异常、程序中打印的信息等。

2.若直接使用下面命令呢?

nohup python run.py &

这样运行,在run.py的目录默认直接生成了nohup.out文件,但是内容始终是空的.

原因如下↓↓:

python的输出又缓冲,导致out.log并不能够马上看到输出。
-u 参数,使得python不启用缓冲。

解决

nohup python -u run.py > run.log 2>&1 &
如果权限不够的话就

nohup sudo python -u flush.py > flush.log2>&1 &
三、针对Python程序的后台运行
1.前言:
我们在本地运行scrapy程序只需要命令scrapy crawal myspider,那么在服务器端,怎样后台运行这个命令呢?
2.解决:
我们想这样写一个python文件,如run.py,内容如下,再执行上面的命令就可以了:

import os

if __name__ == '__main__':
    os.system("scrapy crawl myspider")


3.谨记
注! 如果你是爬虫君,还不小心创建了自己的虚拟环境,那么,执行这条命令前记得workon切换至虚拟环境.
注! 如果你很幸运的看见了这个[1]+ Done你说明你的后台程序运行失败了.温馨提示:可以去看看日志呦~
四、其他几条命令的引入
command & : 后台运行,你关掉终端会停止运行
nohup command & : 后台运行,你关掉终端也会继续运行
& : 将指令丢到后台中去执行
[ctrl]+z : 將前台任务丟到后台中暂停
jobs : 查看后台的工作状态
fg : %jobnumber 将后台的任务拿到前台来处理
bg : %jobnumber 将任务放到后台中去处理
kill : 管理后台的任务
tmux:这是附赠的强大的一个功能


    在 Unix 的早期版本中,每个终端都会通过 modem 和系统通讯。当用户 logout 时,modem 就会挂断(hang up)电话。 同理,当 modem 断开连接时,就会给终端发送 hangup 信号来通知其关闭所有子进程。
我们知道,当用户注销(logout)或者网络断开时,终端会收到 HUP(hangup)信号从而关闭其所有子进程。因此,我们的解决办法就有两种途径:要么让进程忽略 HUP 信号,要么让进程运行在新的会话里从而成为不属于此终端的子进程。
      这里还有一个关于 subshell 的小技巧。我们知道,将一个或多个命名包含在“()”中就能让这些命令在子 shell 中运行中,从而扩展出很多有趣的功能,我们现在要讨论的就是其中之一。
当我们将"&"也放入“()”内之后,我们就会发现所提交的作业并不在作业列表中,也就是说,是无法通过jobs来查看的。让我们来看看为什么这样就能躲过 HUP 信号的影响吧。
从上例中可以看出,新提交的进程的父 ID(PPID)为1(init 进程的 PID),并不是当前终端的进程 ID。因此并不属于当前终端的子进程,从而也就不会受到当前终端的 HUP 信号的影响了。
我们已经知道,如果事先在命令前加上 nohup 或者 setsid 就可以避免 HUP 信号的影响。但是如果我们未加任何处理就已经提交了命令,该如何补救才能让它避免 HUP 信号的影响呢?
这时想加 nohup 或者 setsid 已经为时已晚,只能通过作业调度和 disown 来解决这个问题了。让我们来看一下 disown 的帮助信息:
可以看出,我们可以用如下方式来达成我们的目的。
在我们的日常工作中,我们可以用 CTRL-z 来将当前进程挂起到后台暂停运行,执行一些别的操作,然后再用 fg 来将挂起的进程重新放回前台(也可用 bg 来将挂起的进程放在后台)继续运行。这样我们就可以在一个终端内灵活切换运行多个任务,这一点在调试代码时尤为有用。因为将代码编辑器挂起到后台再重新放回时,光标定位仍然停留在上次挂起时的位置,避免了重新定位的麻烦。
      需要注意的是,当使用过 disown 之后,会将把目标作业从作业列表中移除,我们将不能再使用jobs来查看它,但是依然能够用ps -ef查找到它。
但是还有一个问题,这种方法的操作对象是作业,如果我们在运行命令时在结尾加了"&"来使它成为一个作业并在后台运行,那么就万事大吉了,我们可以通过jobs命令来得到所有作业的列表。但是如果并没有把当前命令作为作业来运行,如何才能得到它的作业号呢?答案就是用 CTRL-z(按住Ctrl键的同时按住z键)了!
CTRL-z 的用途就是将当前进程挂起(Suspend),然后我们就可以用jobs命令来查询它的作业号,再用bg jobspec来将它放入后台并继续运行。需要注意的是,如果挂起会影响当前进程的运行结果,请慎用此方法。
我们已经知道了如何让进程免受 HUP 信号的影响,但是如果有大量这种命令需要在稳定的后台里运行,如何避免对每条命令都做这样的操作呢?
此时最方便的方法就是 screen 了。简单的说,screen 提供了 ANSI/VT100 的终端模拟器,使它能够在一个真实终端下运行多个全屏的伪终端。screen 的参数很多,具有很强大的功能,我们在此仅介绍其常用功能以及简要分析一下为什么使用 screen 能够避免 HUP 信号的影响。我们先看一下 screen 的帮助信息:
使用 screen 很方便,有以下几个常用选项:
      当我们用“-r”连接到 screen 会话后,我们就可以在这个伪终端里面为所欲为,再也不用担心 HUP 信号会对我们的进程造成影响,也不用给每个命令前都加上“nohup”或者“setsid”了。这是为什么呢?让我来看一下下面两个例子吧。
我们可以看出,未使用 screen 时我们所处的 bash 是 sshd 的子进程,当 ssh 断开连接时,HUP 信号自然会影响到它下面的所有子进程(包括我们新建立的 ping 进程)。
而使用了 screen 后就不同了,此时 bash 是 screen 的子进程,而 screen 是 init(PID为1)的子进程。那么当 ssh 断开连接时,HUP 信号自然不会影响到 screen 下面的子进程了。
现在几种方法已经介绍完毕,我们可以根据不同的场景来选择不同的方案。nohup/setsid 无疑是临时需要时最方便的方法,disown 能帮助我们来事后补救当前已经在运行了的作业,而 screen 则是在大批量操作时不二的选择了。