如何在Linux上实现定时任务的分页执行(linux定时任务分页执行)

如何在Linux 上实现定时任务的分页执行

创新互联服务项目包括万全网站建设、万全网站制作、万全网页制作以及万全网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，万全网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到万全省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

定时任务是Linux 系统管理员经常用到的一种任务调度方式，可以让系统按照预设的时间自动进行一系列任务的执行。但是对于大量数据处理的任务而言，一次性执行可能会过于耗时，导致系统资源占用过多，甚至出现程序崩溃等情况。因此，如何在Linux 上实现定时任务的分页执行成为一项具有实用价值的技术。

一、什么是定时执行任务

在Linux 上，定时执行任务是通过Cron服务来实现的。Cron 服务是一个用于定时执行程序或脚本的守护进程，它会在指定的时间自动执行指定的任务。 Cron 服务的配置文件为“/etc/crontab”和“/etc/cron.d/”，大部分的Linux 发行版都默认包含了Cron 服务。

在Cron 服务中，用户可以通过命令行输入如下的命令行指令来编写一个定时任务：

$ crontab -e

在编辑器中输入以下内容后保存退出即可：

* * * * * /path/to/your/command

这个任务会每分钟执行一次。

二、如何实现定时任务的分页执行

对于需要处理大规模数据的任务，如何分页执行成为一个重要的问题。以日志分析为例，如果一天的日志文件有几百GB 的大小，一次性处理不仅效率低下，而且容易出现内存占用过多，系统负载过重等问题。因此，我们需要将这个任务分隔成多个小任务，并分页执行，以达到高速处理的目的。

1.分页处理数据

将大规模的数据分页处理成小文件，通常我们将大文件按照规定的页数分解成多个小文件，然后分页进行处理。

假设我们需要处理一个20GB 的日志文件，我们可以将其分成100个小文件，每个小文件大小为200MB ，同时我们限制每次处理5个小文件（也就是1GB 的数据）。

$ split -b 200M logfile.log

$ ls

logfile.log xaa xab xac ……..xaz

这样我们就将其中一个20GB 的日志文件分成了100个200MB 的文件，文件名从xaa-xaz ，接下来就可以开始分页进行处理。

2.使用Shell 脚本进行分页执行

当我们需要将大规模数据分页处理时，我们可以编写Shell 脚本。通常，我们需要将每个小文件（页）文件名进行传递，并在脚本中按顺序执行每一页。在每一页处理完毕后，我们需要将处理结果记录在一个日志文件中。我们需要将所有数据处理的日志文件打包成一个文件，方便存储与查看。

#!/bin/sh

# 该脚本用于按页执行指定任务

# 定义日志文件名称及路径

logfile=task.log

logpath=/var/log/

# 定义数据文件路径

datapath=/data/

# 定义每页数据文件的大小（字节数）

split_size=202315200

# 获取所有小数据文件

filelist=`ls $datapath`

# 记录处理过的页数

pagenum=0

# 每次处理5页数据

process_page=5

# 开始分页执行

for pagefile in $filelist

echo $(date ‘+%Y-%m-%d %H:%M:%S’) “开始处理数据：” $pagefile >> $logpath/$logfile

# 处理当前数据页

process_stuff $datapath/$pagefile

# 记录处理数据的日志

echo $(date ‘+%Y-%m-%d %H:%M:%S’) “处理数据：” $pagefile “成功！” >> $logpath/$logfile

# 更新已经处理的页数

let pagenum+=1

# 判断是否需要休眠

if [ $(($pagenum%$process_page)) -eq 0 ]; then

sleep 1m

echo $(date ‘+%Y-%m-%d %H:%M:%S’) “休眠1分钟” >> $logpath/$logfile

done

# 打包所有的处理日志

tar -zcf result.tar.gz $logpath/*.log

3.编写定时任务

编写完成Shell 脚本后，我们需要在Cron 中添加定时任务。通常我们将任务分页执行时间设置为凌晨，以避免影响系统的正常使用。

# 每天凌晨1点开始执行分页任务

0 1 * * * /data/run-task.sh

4.启动Cron 服务并查看脚本执行记录

我们在Cron 中添加了新的任务后，需要启动Cron 服务，只需要输入以下命令：

$ systemctl start cron

同时我们可以查看Cron 执行记录并检查指定任务是否按分页执行。通过以下命令可以查看所有用户的Cron 记录：

$ grep CRON /var/log/syslog

在执行完以上命令后，我们可以在日志记录中找到对应的任务执行记录。

结论：

以上就是如何在Linux 上实现定时任务的分页执行。在进行大规模数据处理时，我们可以通过使用Shell 脚本和Cron 服务，将数据任务分成多个小任务进行分页处理，以大幅提高处理的效率，同时避免出现内存泄漏和系统负载过重等情况。

成都网站建设公司-创新互联为您提供网站建设、网站制作、网页设计及定制高端网站建设服务！

Linux crontab怎么定时执行任务

crontab 需要由root用户部署，“su – ” 切换到root；

”crontab -e” 进入crontab 编辑状态；

输入” * * * * * /usr/bin/bash /home/ganlin/ganlin.sh”，这代表每秒执行一次脚本。

部署完成后输入 ”crontab -l” 查看crontab 中所有部裤稿署的内容；

脚本更好不要放在/home目录下，行纯老可以在脚本中档升写入一行标准输出用来在部署完成后测试结果用。

“> /dev/null 2>&1“ 这样写得结果是就看不到标准输出了， /dev/null 代表一个虚拟的设备把标准输出写到一个不存在的设备中去了。

linux使用crontab实现PHP执行计划定时任务

首先说说cron,它是一个linux下的定时执行工具。根用户以外的用户可以使用

crontab

工具来配置

cron

任务。所有用户定义的

crontab

都被保存在/var/spool/cron

目录中，并洞滑衡使用创建它们的用户身份来执行。要以某用户身份创建一个

crontab

项目，登录为该用户，然后键入

crontab

-e

命令来编辑该用户的

crontab。该文件使用的格式和

/etc/crontab

相同。当对

crontab

所做的改变被保存后，该

crontab

文件就会根据该用户名被保存，并写入文件

/var/spool/cron/username

中。cron

守护进程每分钟都检查

/etc/crontab

文件、etc/cron.d/

目录、以及

/var/spool/cron

目录中的改变。如果发现了改变，它们就会被载入内存。这样，当某个

crontab

文件改变后就不必重新启动守护进程了。

安装crontab:

yum

install

crontabs

说明：

/in/service

crond

start

//启动服务

/in/service

crond

stop

//关闭服务

/in/service

crond

restart

//重启服务

/in/service

crond

reload

//重新载入配置

查看crontab服务状态：service

crond

status

手动启动crontab服务：service

crond

start

查看crontab服务是否已设置为开机启动，执行命令：ntsysv

加入开机自动启动:

chkconfig

–level

crond

crontab命令：

功能说明：设置计时器。

语　　法：crontab

或

crontab

补充说明：cron是一个常驻服务，它提供计时器的功能，让用户在特定的时间得让渣以执行预设的指令或程序。只要用户会编辑计时器的配置文件，就可以使

用计时器的功能。其配置文件格式如下：

Minute

Hour

Day

Month

DayOFWeek

Command

参　　数：

-e

　编辑该用户的计时器设置。

-l

　列出该用户的计时器设置。

-r

　删除该用户的计时器设置。

-u

　指定要设定计时器的用户名称。

crontab

格式：

基本格式

分钟

小时

日

月

星期

命令

* 纳做

第1列表示分钟1～59

每分钟用*或者

*/1表示

第2列表示小时1～23（0表示0点）

第3列表示日期1～31

第4列

表示月份1～12

第5列标识号星期0～6（0表示星期天）

第6列要运行的命令

记住几个特殊符号的含义:

“*”代表取值范围内的数字,

“/”代表”每”,

“-”代表从某个数字到某个数字,

“,”分开几个离散的数字

Use

the

hash

sign

prefix

comment

+—————-

minute

–

59)

+————-

hour

–

23)

+———-

day

month

–

31)

+——-

month

–

12)

+—-

day

week

–

(Sunday=0

command

executed

crontab几个例子如下：

（1）之一个例子。

/etc/init.d/nginx

restart

每晚的21:30重启

nginx。

（2）第二个例子，也就是本教程测试的例子

/usr/bin/php

-f

/root/test.php

test.log

每一分钟执行/root/test.php文件，将结果输出到test.log中。

完成了上面基础工作后，就来看看怎么使用crontab定时执行PHP脚本：

（1）我在/root下新建test.php文件，内容如下：

复制代码

代码如下:

说明：你可以用whereis

php查找php执行文件位置。

（2）然后crontab

-e编写如下shell:

复制代码

代码如下:

/usr/bin/php

-f

/root/test.php

test.log

说明：test.php必须为可执行文件：chmod

test.php

测试结果很正常，截图如下：

当然你可以用使用crontab

-e继续添加任务，在/var/spool/cron下你可以看到一个root文件。

关于linux定时任务分页执行的介绍到此就结束了，不知道你从中找到你需要的信息了吗？如果你还想了解更多这方面的信息，记得收藏关注本站。

香港云服务器机房,创新互联（www.cdcxhl.com）专业云服务器厂商,回大陆优化带宽,安全/稳定/低延迟.创新互联助力企业出海业务,提供一站式解决方案。香港服务器-免备案低延迟-双向CN2+BGP极速互访！

网页标题：如何在Linux上实现定时任务的分页执行(linux定时任务分页执行)
路径分享：http://www.shufengxianlan.com/qtweb/news48/193798.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容