「Guide | Linux 如何高效地镜像一个网站？」 (linux 镜像一个网站)

Guide | 如何高效地在 Linux 上镜像一个网站？

宜良网站制作公司哪家好，找创新互联公司！从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作，到程序开发，运营维护。创新互联公司于2013年成立到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选创新互联公司。

在这个信息化时代，我们经常访问各种网站获取所需信息，但是有时候我们需要在没有网络的情况下访问某个网站，或者是对某个网站进行离线阅读和分析，这个时候我们就需要用到网站镜像的功能。网站镜像可以将一个网站的内容保存到本地磁盘中，方便我们离线访问和分析。本文将介绍在 Linux 环境中如何高效地镜像一个网站。

一、使用wget下载整站

wget是一个著名的linux命令行工具，被广泛地用于从网络下载文件和网页。wget可以递归地下载一个网站上的全部页面，并保持本地和远程服务器同步更新。使用wget镜像一个网站步骤如下：

“`bash

$ wget –recursive –no-clobber –page-requisites –html-extension –convert-links –restrict-file-names=windows –domns website.org –no-parent http://website.org

“`

1. `–recursive`: 递归递归下载整个网站。

2. `–no-clobber`: 不覆盖现有文件。

3. `–page-requisites`: 下载为页面必需的元素，如图像和样式表。

4. `–html-extension`: 将所有文件下载为html文件。

5. `–convert-links`: 重写类似 /online/ 为本地相对路径 /online/。

6. `–restrict-file-names=windows`: 适用于Windows的文件名约束字符。

7. `–domns website.org`: 不要下载任何其他域名。

8. `–no-parent`: 不要跟进上一级链接。

这个命令可以让我们在只使用wget一个工具的情况下，完成网站全部内容的下载工作，非常方便。

二、使用HTTrack镜像整站

HTTrack是一个免费的，开源的，跨平台的网站镜像工具，支持Windows，Linux，macOS等多个操作系统。使用HTTrack镜像一个网站步骤如下：

“`bash

$ sudo apt-get install httrack

$ httrack http://www.example.com/ -O /home/user/output_folder/

“`

1. `sudo apt-get install httrack`: 在Debian或者Ubuntu下安装HTTrack。

2. `httrack http://www.example.com/ -O /home/user/output_folder/`: 开始镜像网站。此命令将网站下载到指定的 `output_folder` 文件夹中。

HTTrack可以递归地下载整个网站，支持用户自定义排除某些文件的类型、网页链接的深度等参数，更加灵活。另外，HTTrack还支持Web服务器缓存和HTTP认证，适用于一些受保护的网站。

三、使用网站镜像工具

除了上述两种方法，还有一些专门用于网站镜像的工具，如网站镜像工具，Teleport Pro，Getleft等工具，这些工具都有可视化的界面，非常方便。这里就不一一介绍了。

通过上述三个方法，我们可以高效地在Linux上进行网站镜像，方便我们离线阅读和分析网站内容。在进行网站镜像时，需要注意以下几点：

1. 尊重原网站作者的版权。在对网站进行任何形式的转载和传播时，要注意遵守版权法规。

2. 镜像的网站内容会占用一定的磁盘空间。在进行大规模网站镜像时，需要考虑磁盘空间的限制。

3. 镜像的内容可能存在过期和不完整的情况，需要进行定期更新和检查。

在合规的前提下，网站镜像是一个非常有用的工具，可以方便我们在没有网络的情况下浏览网站内容，同时也有助于我们对网站的分析和研究。

相关问题拓展阅读：

• linux系统下怎么搭建网站服务器？
• linux系统安装程序无法连接镜像网站，电脑可以直接上网
• 求linux一个centos 完整版的镜像下载地址,谢谢了,本人新手,看不懂那些镜像网站的一大堆文件夹内容呀…

linux系统下怎么搭建网站服务器？

1、下载源码 通过搜索引擎找到CVS的源代码包，也可以从CVS的官方网站cvshome.org上寻找，由于CVS历史上也出现过一些安全漏洞，所以建议要定期去其官方网站上看看有没有最新版本推出。 2、编译安装 # tar -vf cvs-1.12.5.tar.bz2 # cd cvs-1.12.5 # ./configure –prefix=/usr/local/terry_yu/cvs –disable-server-flow-control # make # make install 以上指令将CVS安装到/usr/local/terry_yu/cvs这个目录上。 注：除了使用源码包进行安装之外，还可以使用RPM包来安装。 3、设置启动CVS服务 在Linux上CVS服务可以通过inetd、xinetd或tcpwrapper等来启动，其中inetd由于安全理由在许多场合已经被xinetd所取代了，这里我们使用xinetd来启动CVS服务。 在/etc/xinetd.d目录下为CVS服务创建一个配置文件，比如：/etc/xinetd.d/cvspserver，编辑/etc/xinetd.d/cvspserver，输歼困入以下内容： service cvspserver { disable = no socket_type = stream wait = no user = root env = HOME= server = /usr/正神bin/cvs server_args = -f –allow-root=/home/cvsroot pserver } 注： 1)pserver表示是口令认证的访问方式，这是最常用的方式，其他还有gserver,kserver,ext，如果想要更高的安全性可以使用ssh来加密口令和数据流，不过这里为了用户使用的方便，仍然选的是pserver。 2)–allow-root是指定Repository的目录，可以建立多个Repository 然后重新启动xinetd: # /etc/rc.d/init.d/xinetd restart Stopping xinetd: Starting xinetd: 重新启动xinetd服务后，CVS服务也开始工作了。 4、在CVS服务器端建立Repository 首先要创建一个名为cvs的组和一个名为cvsroot的用户，以后要访问CVS服务的用户加入cvs这个组： # groupadd cvs # useradd -g cvs -s /in/nologin cvsroot # chown -R cvsroot /home/cvsroot 接下来进行初始化： # cvs -d /home/cvsroot init 这样在/home/cvsroot目录中就产生了CVSROOT目录，其中存放了一些配置文件，如config等，然后设置权限： # chown -R cvsroot.cvs /home/cvsroot # chmod -R ug+rwx /home/cvsroot # chmod 644 /home/cvsroot/CVSROOT/config 为了CVS系统的安全，我们要修改/home/cvsroot/CVSROOT/config文件，将“#SystemAuth =no”前面的注释号#去掉，即改为“SystemAuth =no”，然后给开发者们逐一建立账号，新建的不要分配用户目录，因为它将作为一个虚拟用户氏清念帐号来使用，具体命令如： # useradd -g cvs -M bogus # passwd bogus 上面的命令就创建了一个并没有Home目录的用户bogus，接着将系统的shadow文件复制到CVSROOT, 并重命名为passwd: # cp /etc/shadow /home/cvsroot/CVSROOT/passwd # chmod 0644 /home/cvsroot/CVSROOT/passwd 然后修改passwd文件，将除bogus之外的所有行删除，然后去掉每行第二个冒号以后的所有内容，并添上字符串cvsroot, 改为如下格式： bogus:ND5$J8N9BW5DKV.nPdxfdsh:cvsroot 然后，删除掉刚刚在系统中添加的那个用户bogus: # userdel -f bogus 好了，到这里，CVS服务器端就已经安装设置好了，这样你的CVS用户就只能用passwd中规定的用户来登陆你的CVS服务器了，要注意的是：本文介绍的添加用户的方法适用于小数量的用户，如果是有大规模的开发人员，推荐采用连接LDAP或者数据库来进行用户的认证服务。

具体方法如下：

1、使用putty或类似的SSH工具登录服务器（本地安装跳过）；

2、安装Apacheyum install httpd修改防火墙配置，打开80端口vi /etc/sysconfig/iptables添加记录-A INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT

配置Apache

vi /etc/httpd/conf/httpd.conf

找到ServerName，设置为自己的域名，如果没有域名，可以设置为localhost:80

3、重纯族启并测试Apache

service httpd restart

打开浏览器，输入http：//ip，可以看到Apache的测试页

4、安装MySQLyum install mysql mysql-server修改防火墙配置，打开3306端口vi /etc/sysconfig/iptables添加记录-A INPUT -m state –state NEW -m tcp -p tcp 亮猜–dportj ACCEPT 设置MySQL开机自动启动chkconfig mysqld on

设置root密码mysql_secure_installation回车后，输入y进行密码设置，设置完密码之后，一路回车，直到出现：Thanks for using MySQL! 重启MySQLservice mysqld restart

安装PHPyum install php  安装PHP组件yum install php-mysql php-gd libjpeg* php-imap php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-mcrypt php-bcmath php-mhash libmcrypt

重启Apache和MySQL

 创建info.php

vi /var/www/html/info.php

 内容：

浏览器打敬裤型开http：//ip/info.php进行测试。

有本叫做linux高级编程的书轮姿袭，教的很详细……答服务器，说起来其实腊兄就是创册蔽建一个bin文件的server让他不停的接受客户端的请求和连接 ，就是一个socket函数，当然这是从C语言的角度去考虑的

Redhat下搭建LAMP环境，即可实现网站服务器（web）的功能，方法如下：

一、安装mysql

#1.首先查看系统是否已经安装过了mysql.

rpm -qa | grep mysql

#2.采用cmake方式安装（mysql-5.0.21.tar.gz）

configure & make & make install

#3.mysql 的安装方法：

cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DSYSCONFDIR=/data/mysql/etc -DMYSQL_DATADIR=/data/mysql –

DMYSQL_TCP_PORT=3306 -DMYSQL_UNIX_ADDR=/tmp/mysqld.sock -DMYSQL_USER=mysql -DEXTRA_CHARSETS=all -DWITH_READLINE=1 –

DWITH_SSL=system -DWITH_EMBEDDED_SERVER=1 -DENABLED_LOCAL_INFILE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1

make

make install

#在make与make install的时候可以看到进度百分比，败弊感觉这一点要比configure方式要好。

#配置并初始化数据库

#1.创建用户和用户组

groupadd mysql

useradd mysql -g mysql

#2.赋予数据存放目录权限

chown mysql:mysql -R /usr/local/mysql/data

#3.创建my.cnf配置文件

mkdir /usr/local/mysql/log

mkdir /usr/local/mysql/etc

cp support-files/my-medium.cnf /usr/local/mysql/etc/my.cnf

#4.初始化数据库

#执行前需赋给scripts/mysql_install_db文件执行权限

chmod 755 scripts/mysql_install_db

scripts/mysql_install_db –user=mysql –basedir=/usr/local/mysql/ –datadir=/usr/local/mysql/data/

#5.创建管察腊族理MySQL数据库的shell脚本

mkdir /usr/local/mysql/init.d

cp support-files/mysql.server /usr/local/mysql/init.d/mysql

#6.赋予shell脚本可执行权限：

chmod +x /usr/local/mysql/init.d/mysql

#7.启动MySQL：

/usr/local/mysql/bin/mysqld_safe &

/usr/local/mysql/init.d/mysql start

#8.通局棚过命令行登录管理MySQL服务器（提示输入密码时直接回车）：

/usr/local/mysql/bin/mysql -u root -p -S /tmp/mysql.sock

二、安装apache （httpd-2.0.59.tar.gz）

#1.解压

tar zxf httpd-2.0.59.tar.gz

cd httpd-2.0.59

#2.解决Apache的关联软件安装过程中的报错问题:

./configure –prefix=/usr/local/apr

make && make install

#提示configure: error: APR-util not found. Please read the documentation

#下载apr-util-0.9.19.tar.bz2进行编译安装

./configure –prefix=/usr/local/apr-util -with-apr=/usr/local/apr

make && make install

#提示pcre错误

#下载安装pcre

./configure –prefix=/usr/local/pcre

make && make install

#3.安装APACHE

./configure –prefix=/usr/local/apache

-with-apr=/usr/local/apr

-with-apr-util=/usr/local/apr-util

-with-pcre=/usr/local/pcre

make

make install

#4.配置启动APACHE

#启动Apache中的php选项,找到下面两行

vi /usr/local/apache/conf/httpd.conf

#修改默认启动页

DirectoryIndex index.html index.php

#指定主目录(/usr/local/apache2/htdocs)

DocumentRoot

ServerName 127.0.0.1:80

#启动

/usr/local/apache/bin/apachectl start

三、安装php （php-5.1.6.tar.bz2）

#1.使用命令检查并配置安装需要的系统环境，并生成安装配置文件。命令行如下:

./configure –prefix=/usr/local/freetype

make 

make install 

#2.安装PHP

tar jxf php-5.1.6.tar.bz2

cd php-5.1.6

./configure –prefix=/usr/local/php –with-mysql=/usr/local/mysql

–with-apxs2=/usr/local/apache/bin/apxs –with-freetype-dir=/usr/local/freetype –with-mysqli

–with-curl –with-gettext –with-bz2 -enable-shmop –enable-calendar –with-openssl

–with-pspell –enable-ftp –with-openssl –with-zlib –enable-exif –with-gmp

–enable-sysvmsg –enable-sockets –enable-wddx –with-xsl –with-mcrypt

–with-pdo-mysql –with-gd

make & make install

#3.配置php.ini文件

cp php.ini-dist /usr/local/lib/php.ini //复制php的配置文件

cd /usr/local/lib/

vi php.ini //修改配置文件

register_globals = On //一般在414行

max_execution_time = 30 ; // 改为600 (增加处理脚本的时间限制)

max_input_time = 600 ; //更大输出时间600秒

memory_limit = 8M ; //改为40M (这样才能发10M的附件)

register_global =On

post_max_size = 2M ; //php可接受的 post 方法大小 2M

file_uploads = On ; //允许上载文件

upload_max_filesize = 2M ; //更大上载文件2M

session.auto_start = 1 ; //session自动启动

四、安装phpMyAdmin

tar zxf phpMyAdmin-2.6.0.tar.gz

mv phpMyAdmin-2.6.0 /usr/local/apache/htdocs/

vi config.inc.php #修改这个文件

$cfg = ‘localhost’; //改成你数据库服务器的主机名或IP地址；

$cfg = ‘root’; // MySQL 数据库的用户名；

$cfg = ”; // MySQL 数据库的密码；

#主要修改这几项，保存退出

#测试：

linux系统安装程序无法连接镜像网站，电脑可以直接上网

忽略呗！这个不要弄的！因为linux要配置网络后才能正常上网！

求linux一个centos 完整版的镜像下载地址,谢谢了,本人新手,看不懂那些镜像网站的一大堆文件夹内容呀…

Everything这个是最橘握全历斗的，你那个也圆烂庆可以

关于linux 镜像一个网站的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。

成都服务器托管选创新互联，先上架开通再付费。
创新互联（www.cdcxhl.com）专业-网站建设,软件开发老牌服务商！微信小程序开发,APP开发,网站制作，网站营销推广服务众多企业。电话：028-86922220

网页标题：「Guide | Linux 如何高效地镜像一个网站？」 (linux 镜像一个网站)
地址分享：http://www.shufengxianlan.com/qtweb/news20/202770.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联