首页 > 编程语言 >Debian上用Golang实现Web爬虫教程

Debian上用Golang实现Web爬虫教程

来源：互联网 2026-08-01 07:17:09

在Debian系统搭建Golang爬虫：安装Go环境并初始化项目，编写基础代码抓取HTML，利用goroutine实现并发请求，使用goquery解析HTML，需遵守robots.txt并控制请求频率。

在Debian上搭建Golang爬虫并不复杂，本文将从环境安装到进阶玩法逐步介绍。

1. 在Debian上安装Go语言环境

首先，确保Debian系统中已安装Go语言环境。若未安装，执行以下两条命令：

sudo apt update
sudo apt install golang-go

安装完成后，使用以下命令检查版本，确认安装成功：

go version

2. 创建Golang爬虫项目

接下来，创建一个新项目目录，并在其中初始化Go模块，以便清晰管理项目依赖：

mkdir my-crawler
cd my-crawler
go mod init my-crawler

3. 编写Web爬虫代码

在项目目录下新建main.go文件，并写入基本爬虫逻辑。以下是一个简单示例，用于抓取指定页面的HTML内容：

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
)

func main() {
    url := "https://example.com"
    resp, err := http.Get(url)
    if err != nil {
        fmt.Println("Error fetching URL:", err)
        return
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        fmt.Println("Error reading response body:", err)
        return
    }
    fmt.Println(string(body))
}

该代码虽简单，但已能完成最基本的请求流程。

4. 运行爬虫

在项目目录下执行以下命令，即可查看抓取到的页面内容：

go run main.go

5. 处理更复杂的爬虫任务

实际应用中，爬虫常需应对更复杂的场景，常见需求包括：

并发请求：利用Go的goroutine和channel，可大幅提升爬取效率。
解析HTML：推荐使用goquery库，它能像jQuery一样方便地操作DOM元素。
存储数据：抓取的数据可存入文件、数据库，或进一步做清洗处理。

示例：使用`goquery`解析HTML

首先安装goquery库：

go get github.com/PuerkitoBio/goquery

然后修改main.go，使用goquery提取页面中所有链接的href属性：

package main

import (
    "fmt"
    "log"
    "net/http"

    "github.com/PuerkitoBio/goquery"
)

func main() {
    url := "https://example.com"
    resp, err := http.Get(url)
    if err != nil {
        log.Fatal(err)
    }
    defer resp.Body.Close()

    doc, err := goquery.NewDocumentFromReader(resp.Body)
    if err != nil {
        log.Fatal(err)
    }

    doc.Find("a").Each(func(i int, s *goquery.Selection) {
        href, exists := s.Attr("href")
        if exists {
            fmt.Println(href)
        }
    })
}