「Guide | Linux 如何高效地镜像一个网站?」 (linux 镜像一个网站)

Guide | 如何高效地在 Linux 上镜像一个网站?

宜良网站制作公司哪家好,找创新互联公司!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作,到程序开发,运营维护。创新互联公司于2013年成立到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联公司

在这个信息化时代,我们经常访问各种网站获取所需信息,但是有时候我们需要在没有网络的情况下访问某个网站,或者是对某个网站进行离线阅读和分析,这个时候我们就需要用到网站镜像的功能。网站镜像可以将一个网站的内容保存到本地磁盘中,方便我们离线访问和分析。本文将介绍在 Linux 环境中如何高效地镜像一个网站。

一、使用wget下载整站

wget是一个著名的linux命令行工具,被广泛地用于从网络下载文件和网页。wget可以递归地下载一个网站上的全部页面,并保持本地和远程服务器同步更新。使用wget镜像一个网站步骤如下:

“`bash

$ wget –recursive –no-clobber –page-requisites –html-extension –convert-links –restrict-file-names=windows –domns website.org –no-parent http://website.org

“`

1. `–recursive`: 递归递归下载整个网站。

2. `–no-clobber`: 不覆盖现有文件。

3. `–page-requisites`: 下载为页面必需的元素,如图像和样式表。

4. `–html-extension`: 将所有文件下载为html文件。

5. `–convert-links`: 重写类似 /online/ 为本地相对路径 /online/。

6. `–restrict-file-names=windows`: 适用于Windows的文件名约束字符。

7. `–domns website.org`: 不要下载任何其他域名。

8. `–no-parent`: 不要跟进上一级链接。

这个命令可以让我们在只使用wget一个工具的情况下,完成网站全部内容的下载工作,非常方便。

二、使用HTTrack镜像整站

HTTrack是一个免费的,开源的,跨平台的网站镜像工具,支持Windows,Linux,macOS等多个操作系统。使用HTTrack镜像一个网站步骤如下:

“`bash

$ sudo apt-get install httrack

$ httrack http://www.example.com/ -O /home/user/output_folder/

“`

1. `sudo apt-get install httrack`: 在Debian或者Ubuntu下安装HTTrack。

2. `httrack http://www.example.com/ -O /home/user/output_folder/`: 开始镜像网站。此命令将网站下载到指定的 `output_folder` 文件夹中。

HTTrack可以递归地下载整个网站,支持用户自定义排除某些文件的类型、网页链接的深度等参数,更加灵活。另外,HTTrack还支持Web服务器缓存和HTTP认证,适用于一些受保护的网站。

三、使用网站镜像工具

除了上述两种方法,还有一些专门用于网站镜像的工具,如网站镜像工具,Teleport Pro,Getleft等工具,这些工具都有可视化的界面,非常方便。这里就不一一介绍了。

通过上述三个方法,我们可以高效地在Linux上进行网站镜像,方便我们离线阅读和分析网站内容。在进行网站镜像时,需要注意以下几点:

1. 尊重原网站作者的版权。在对网站进行任何形式的转载和传播时,要注意遵守版权法规。

2. 镜像的网站内容会占用一定的磁盘空间。在进行大规模网站镜像时,需要考虑磁盘空间的限制。

3. 镜像的内容可能存在过期和不完整的情况,需要进行定期更新和检查。

在合规的前提下,网站镜像是一个非常有用的工具,可以方便我们在没有网络的情况下浏览网站内容,同时也有助于我们对网站的分析和研究。

相关问题拓展阅读:

  • linux系统下怎么搭建网站服务器?
  • linux系统安装程序无法连接镜像网站,电脑可以直接上网
  • 求linux一个centos 完整版的镜像下载地址,谢谢了,本人新手,看不懂那些镜像网站的一大堆文件夹内容呀…

linux系统下怎么搭建网站服务器?

1、下载源码 通过搜索引擎找到CVS的源代码包,也可以从CVS的官方网站cvshome.org上寻找,由于CVS历史上也出现过一些安全漏洞,所以建议要定期去其官方网站上看看有没有最新版本推出。 2、编译安装 # tar -vf cvs-1.12.5.tar.bz2 # cd cvs-1.12.5 # ./configure –prefix=/usr/local/terry_yu/cvs –disable-server-flow-control # make # make install 以上指令将CVS安装到/usr/local/terry_yu/cvs这个目录上。 注:除了使用源码包进行安装之外,还可以使用RPM包来安装。 3、设置启动CVS服务 在Linux上CVS服务可以通过inetd、xinetd或tcpwrapper等来启动,其中inetd由于安全理由在许多场合已经被xinetd所取代了,这里我们使用xinetd来启动CVS服务。 在/etc/xinetd.d目录下为CVS服务创建一个配置文件,比如:/etc/xinetd.d/cvspserver,编辑/etc/xinetd.d/cvspserver,输歼困入以下内容: service cvspserver { disable = no socket_type = stream wait = no user = root env = HOME= server = /usr/正神bin/cvs server_args = -f –allow-root=/home/cvsroot pserver } 注: 1)pserver表示是口令认证的访问方式,这是最常用的方式,其他还有gserver,kserver,ext,如果想要更高的安全性可以使用ssh来加密口令和数据流,不过这里为了用户使用的方便,仍然选的是pserver。 2)–allow-root是指定Repository的目录,可以建立多个Repository 然后重新启动xinetd: # /etc/rc.d/init.d/xinetd restart Stopping xinetd: Starting xinetd: 重新启动xinetd服务后,CVS服务也开始工作了。 4、在CVS服务器端建立Repository 首先要创建一个名为cvs的组和一个名为cvsroot的用户,以后要访问CVS服务的用户加入cvs这个组: # groupadd cvs # useradd -g cvs -s /in/nologin cvsroot # chown -R cvsroot /home/cvsroot 接下来进行初始化: # cvs -d /home/cvsroot init 这样在/home/cvsroot目录中就产生了CVSROOT目录,其中存放了一些配置文件,如config等,然后设置权限: # chown -R cvsroot.cvs /home/cvsroot # chmod -R ug+rwx /home/cvsroot # chmod 644 /home/cvsroot/CVSROOT/config 为了CVS系统的安全,我们要修改/home/cvsroot/CVSROOT/config文件,将“#SystemAuth =no”前面的注释号#去掉,即改为“SystemAuth =no”,然后给开发者们逐一建立账号,新建的不要分配用户目录,因为它将作为一个虚拟用户氏清念帐号来使用,具体命令如: # useradd -g cvs -M bogus # passwd bogus 上面的命令就创建了一个并没有Home目录的用户bogus,接着将系统的shadow文件复制到CVSROOT, 并重命名为passwd: # cp /etc/shadow /home/cvsroot/CVSROOT/passwd # chmod 0644 /home/cvsroot/CVSROOT/passwd 然后修改passwd文件,将除bogus之外的所有行删除,然后去掉每行第二个冒号以后的所有内容,并添上字符串cvsroot, 改为如下格式: bogus:ND5$J8N9BW5DKV.nPdxfdsh:cvsroot 然后,删除掉刚刚在系统中添加的那个用户bogus: # userdel -f bogus 好了,到这里,CVS服务器端就已经安装设置好了,这样你的CVS用户就只能用passwd中规定的用户来登陆你的CVS服务器了,要注意的是:本文介绍的添加用户的方法适用于小数量的用户,如果是有大规模的开发人员,推荐采用连接LDAP或者数据库来进行用户的认证服务。

具体方法如下:

1、使用putty或类似的SSH工具登录服务器(本地安装跳过);

2、安装Apacheyum install httpd修改防火墙配置,打开80端口vi /etc/sysconfig/iptables添加记录-A INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT

配置Apache

vi /etc/httpd/conf/httpd.conf

找到ServerName,设置为自己的域名,如果没有域名,可以设置为localhost:80

3、重纯族启并测试Apache

service httpd restart

打开浏览器,输入http://ip,可以看到Apache的测试页

4、安装MySQLyum install mysql mysql-server修改防火墙配置,打开3306端口vi /etc/sysconfig/iptables添加记录-A INPUT -m state –state NEW -m tcp -p tcp 亮猜–dportj ACCEPT 设置MySQL开机自动启动chkconfig mysqld on

设置root密码mysql_secure_installation回车后,输入y进行密码设置,设置完密码之后,一路回车,直到出现:Thanks for using MySQL! 重启MySQLservice mysqld restart

安装PHPyum install php  安装PHP组件yum install php-mysql php-gd libjpeg* php-imap php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-mcrypt php-bcmath php-mhash libmcrypt

重启Apache和MySQL

 创建info.php

vi /var/www/html/info.php

 内容:

浏览器打敬裤型开http://ip/info.php进行测试。

有本叫做linux高级编程的书轮姿袭,教的很详细……答服务器,说起来其实腊兄就是创册蔽建一个bin文件的server让他不停的接受客户端的请求和连接 ,就是一个socket函数,当然这是从C语言的角度去考虑的

Redhat下搭建LAMP环境,即可实现网站服务器(web)的功能,方法如下:

一、安装mysql

#1.首先查看系统是否已经安装过了mysql.

rpm -qa | grep mysql

#2.采用cmake方式安装(mysql-5.0.21.tar.gz)

configure & make & make install

#3.mysql 的安装方法:

cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DSYSCONFDIR=/data/mysql/etc -DMYSQL_DATADIR=/data/mysql –

DMYSQL_TCP_PORT=3306 -DMYSQL_UNIX_ADDR=/tmp/mysqld.sock -DMYSQL_USER=mysql -DEXTRA_CHARSETS=all -DWITH_READLINE=1 –

DWITH_SSL=system -DWITH_EMBEDDED_SERVER=1 -DENABLED_LOCAL_INFILE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1

make

make install

#在make与make install的时候可以看到进度百分比,败弊感觉这一点要比configure方式要好。

#配置并初始化数据库

#1.创建用户和用户组

groupadd mysql

useradd mysql -g mysql

#2.赋予数据存放目录权限

chown mysql:mysql -R /usr/local/mysql/data

#3.创建my.cnf配置文件

mkdir /usr/local/mysql/log

mkdir /usr/local/mysql/etc

cp support-files/my-medium.cnf /usr/local/mysql/etc/my.cnf

#4.初始化数据库

#执行前需赋给scripts/mysql_install_db文件执行权限

chmod 755 scripts/mysql_install_db

scripts/mysql_install_db –user=mysql –basedir=/usr/local/mysql/ –datadir=/usr/local/mysql/data/

#5.创建管察腊族理MySQL数据库的shell脚本

mkdir /usr/local/mysql/init.d

cp support-files/mysql.server /usr/local/mysql/init.d/mysql

#6.赋予shell脚本可执行权限:

chmod +x /usr/local/mysql/init.d/mysql

#7.启动MySQL:

/usr/local/mysql/bin/mysqld_safe &

/usr/local/mysql/init.d/mysql start

#8.通局棚过命令行登录管理MySQL服务器(提示输入密码时直接回车):

/usr/local/mysql/bin/mysql -u root -p -S /tmp/mysql.sock

二、安装apache (httpd-2.0.59.tar.gz)

#1.解压

tar zxf httpd-2.0.59.tar.gz

cd httpd-2.0.59

#2.解决Apache的关联软件安装过程中的报错问题:

./configure –prefix=/usr/local/apr

make && make install

#提示configure: error: APR-util not found. Please read the documentation

#下载apr-util-0.9.19.tar.bz2进行编译安装

./configure –prefix=/usr/local/apr-util -with-apr=/usr/local/apr

make && make install

#提示pcre错误

#下载安装pcre

./configure –prefix=/usr/local/pcre

make && make install

#3.安装APACHE

./configure –prefix=/usr/local/apache

-with-apr=/usr/local/apr

-with-apr-util=/usr/local/apr-util

-with-pcre=/usr/local/pcre

make

make install

#4.配置启动APACHE

#启动Apache中的php选项,找到下面两行

vi /usr/local/apache/conf/httpd.conf

#修改默认启动页

DirectoryIndex index.html index.php

#指定主目录(/usr/local/apache2/htdocs)

DocumentRoot

ServerName 127.0.0.1:80

#启动

/usr/local/apache/bin/apachectl start

三、安装php (php-5.1.6.tar.bz2)

#1.使用命令检查并配置安装需要的系统环境,并生成安装配置文件。命令行如下:

./configure –prefix=/usr/local/freetype

make 

make install 

#2.安装PHP

tar jxf php-5.1.6.tar.bz2

cd php-5.1.6

./configure –prefix=/usr/local/php –with-mysql=/usr/local/mysql

–with-apxs2=/usr/local/apache/bin/apxs –with-freetype-dir=/usr/local/freetype –with-mysqli

–with-curl –with-gettext –with-bz2 -enable-shmop –enable-calendar –with-openssl

–with-pspell –enable-ftp –with-openssl –with-zlib –enable-exif –with-gmp

–enable-sysvmsg –enable-sockets –enable-wddx –with-xsl –with-mcrypt

–with-pdo-mysql –with-gd

make & make install

#3.配置php.ini文件

cp php.ini-dist /usr/local/lib/php.ini //复制php的配置文件

cd /usr/local/lib/

vi php.ini //修改配置文件

register_globals = On //一般在414行

max_execution_time = 30 ; // 改为600 (增加处理脚本的时间限制)

max_input_time = 600 ; //更大输出时间600秒

memory_limit = 8M ; //改为40M (这样才能发10M的附件)

register_global =On

post_max_size = 2M ; //php可接受的 post 方法大小 2M

file_uploads = On ; //允许上载文件

upload_max_filesize = 2M ; //更大上载文件2M

session.auto_start = 1 ; //session自动启动

四、安装phpMyAdmin

tar zxf phpMyAdmin-2.6.0.tar.gz

mv phpMyAdmin-2.6.0 /usr/local/apache/htdocs/

vi config.inc.php #修改这个文件

$cfg = ‘localhost’; //改成你数据库服务器的主机名或IP地址;

$cfg = ‘root’; // MySQL 数据库的用户名;

$cfg = ”; // MySQL 数据库的密码;

#主要修改这几项,保存退出

#测试:

linux系统安装程序无法连接镜像网站,电脑可以直接上网

忽略呗!这个不要弄的!因为linux要配置网络后才能正常上网!

求linux一个centos 完整版的镜像下载地址,谢谢了,本人新手,看不懂那些镜像网站的一大堆文件夹内容呀…

Everything这个是最橘握全历斗的,你那个也圆烂庆可以

关于linux 镜像一个网站的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。

成都服务器托管选创新互联,先上架开通再付费。
创新互联(www.cdcxhl.com)专业-网站建设,软件开发老牌服务商!微信小程序开发,APP开发,网站制作,网站营销推广服务众多企业。电话:028-86922220

网页标题:「Guide | Linux 如何高效地镜像一个网站?」 (linux 镜像一个网站)
地址分享:http://www.shufengxianlan.com/qtweb/news20/202770.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联