使用Go语言开发一个并发文件下载器

[[421486]]

本文转载自微信公众号「Golang来啦」，作者Seekload。转载本文请联系Golang来啦公众号。

今天给大家分享一个实战项目，涉及到的知识点还挺多，文末也有源码地址!!

原文如下：

Go 语言是一门了不起的语言，尽管它非常简单，与 Koltin 和 Scala 等其他现代语言相比，它的功能很少，但它具有强大的并发能力。这篇文章，我们将会看到使用 Go 语言如何编写一个完整的并发文件下载器。完整的代码在这里[1]。

检查服务器是否支持并发下载

如何之前使用过类似 IDM 的下载工具，你可能会注意到它支持并发下载文件。

可以看到下载文件的时候启动了 8 个进程。

实现并发下载，我们必须确保服务器支持范围请求。怎么确认呢?我们可以发送 HEAD 请求，如果响应头的 Accept-Ranges 返回的值是 bytes，我们就能确定服务器支持此功能。

 
 
 
 

  
  
  
  
res, err := http.Head("http://some.domain/some.file") 
  
  
  
  
if err != nil { 
  
  
  
  
   log.Fatal(err) 
  
  
  
  
} 
  
  
  
  
 
  
  
  
  
if res.StatusCode == http.StatusOK && res.Header.Get("Accept-Ranges") == "bytes" { 
  
  
  
  
   // Yeh, server supports partial request 
  
  
  
  
} 
 
 
 
 

如何下载文件的其中一部分

设想服务器支持范围请求，我们知道文件大小是 4000 字节(文件大小从响应头的 Content-Length 获取)。要仅下载 2000 到 3000 字节的文件的一部分，我们可以发送 HTTP GET 请求，并在 header 头设置 Range 参数：

 
 
 
 

  
  
  
  
curl -X GET -H "Range: bytes=2000-3000" -o OUTPUT_FILE http://some.domain/some.file 
 
 
 
 

实现相同功能的代码如下：

 
 
 
 

  
  
  
  
req, err := http.NewRequest("GET", "http://some.domain/some.file", nil) 
  
  
  
  
if err != nil { 
  
  
  
  
    log.Fatal(err) 
  
  
  
  
} 
  
  
  
  
rangeStart := 2000 
  
  
  
  
rangeStop := 3000 
  
  
  
  
req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", rangeStart, rangeStop)) 
  
  
  
  
 
  
  
  
  
// make a request 
  
  
  
  
res, err := http.DefaultClient.Do(req) 
 
 
 
 

将响应保存在文件中

为了支持断点续传功能，我们不会将请求响应保存在内存里，而是会持久化在文件中。举个例子，如果我们把并发级别设置成 4，在输出目录将会有 4 个临时文件。下面的代码，我们只是简单地读取 HTTP 响应体并将它写入一个文件中：

 
 
 
 

  
  
  
  
f, err := os.OpenFile(outputPath, flags, 0644) 
  
  
  
  
    if err != nil { 
  
  
  
  
        log.Fatal(err) 
  
  
  
  
    } 
  
  
  
  
defer f.Close() 
  
  
  
  
 
  
  
  
  
_, err = io.Copy(f, res.Body) 
 
 
 
 

暂停下载

不知道大家注意到没有，上面代码有个问题，使用时不支持 CTRL+C 暂停下载。如果下载的文件过大，或者网络慢，下载需要花费很长时间。因为 io.Copy 复制文件时遇到 EOF 或者发生错误才结束。为了解决这个问题，我们使用 io.CopyN 和 cancel channel 组合：

 
 
 
 

  
  
  
  
// copy to output file 
  
  
  
  
for { 
  
  
  
  
  select { 
  
  
  
  
    case <- context.Done(): 
  
  
  
  
       // user canceled the download 
  
  
  
  
        return 
  
  
  
  
    default: 
  
  
  
  
      _, err = io.CopyN(f, res.Body, BUFFER_SIZE)) 
  
  
  
  
      if err != nil { 
  
  
  
  
        if err == io.EOF { 
  
  
  
  
            return 
  
  
  
  
        } else { 
  
  
  
  
            log.Fatal(err) 
  
  
  
  
        } 
  
  
  
  
      } 
  
  
  
  
    } 
  
  
  
  
  } 
 
 
 
 

其他功能参见完整源代码

这篇文章只提到了代码中最重要的部分，但是通过阅读代码你可以了解其他功能是怎么实现的，比如：进度条的工作方式、如何使用 sync 包实现部分下载的同步、如何合并临时文件以及如何实现恢复功能等。所以可以通过阅读仓库代码[2]获取更多信息。

参考资料

[1]这里: https://github.com/mostafa-asg/go-dl

[2]仓库代码: https://github.com/mostafa-asg/go-dl

via:

https://returnfn.com/lets-build-a-concurrent-file-downloader-in-go

作者：Mostafa Asgari

文章标题：使用Go语言开发一个并发文件下载器
标题网址：http://www.shufengxianlan.com/qtweb/news14/312914.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联