引言

在我們日常維護中，經常有爬蟲進行爬取網頁，少則1秒鐘請求數十次，多則達百次，嚴重消耗了服務器帶寬，且影響正常使用者，好在nginx可以配合lua可以完成類似的需求，本次我們將使用go來完成本需求。

需求背景

在我們日常維護中，可能需要這樣一種工具，來對某些路由，對特定IP或者用戶ID,在特定時間內，限制最大訪問次數，這樣有效的避免服務器帶寬資源的浪費的同時也能接入更多用戶請求，本次使用go來做一個類似的。

web demo搭建

我們先來使用SampleHttp編寫一個最簡單的web服務器，定義路由queryAll，收到后，假設將返回客戶端1w字節的數據信息。

在啟動web服務器后，我們使用curl進行測試

命令：

curl 127.0.0.1:8083/queryAll

限制訪問次數編寫

在上述整體需求的情況下，我們需要編寫在規定時間限制訪問次數的需求，這里我們為了方便，使用ip來作為限制條件，其核心功能分類大致分為：

• 從未訪問過web服務器
• 訪問過web服務器，在規定時間內沒有超出限制
• 訪問過web服務器，在在規定時間內超出了限制
• 訪問過web服務器，時間間隔超過了規定時間

如上分類，除了第三種需要限流外，其他則視為正常訪問即可。

核心存儲，我們可以選擇go map，其中key為ip，value為結構體，該結構體包含訪問次數和創建間戳。

其定義如下

我們來根據如上定義的核心功能來編寫程序

從未訪問過服務器

我們根據map中是否存在這個key來判斷，如

_, ok := visitHashMap[ip]; if !ok {
    // 如果沒有該ip的訪問次數,則新增記錄
}

訪問過服務器，在規定時間超過了限制

if time.Now().Unix()-visit.createUnixTime >= interval*60 {
    // 在規定時間超過了限制，需要重新計算閾值
}

超過最大允許訪問數

if visitHashMap[ip].number >= maxNum {
    // 超過允許最大訪問次數
}

整理為其核心函數如下

功能測試

我們在定義路由地方，將來訪者IP傳入，就可以根據其返回的bool值來判斷是否需要限制訪問了。

其main函數定義如下:

func main() {
	SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) {
		ip := strings.Split(info.RemoteIP,":")[0]
		if ! limits(ip) {
			info.Write([]byte(fmt.Sprintf("%s 已經被限制訪問，在%d分鐘內，訪問達到%d次",time.Now(),interval,visitHashMap[ip].number)))
			return
		}
		info.Write([]byte(fmt.Sprintf("%s 收到queryAll請求,開始查詢,返回1W字節數據信息...,統計信息: 在%d分鐘內，訪問達到%d次",time.Now(),interval,visitHashMap[ip].number)))
	})
	visitHashMap = make(map[string]visitInfo,0)
	SampleHttp.StartServer("0.0.0.0:8083")
}

我們將開啟服務器來測試一下

通過上述執行結果圖，可以看到，當1分鐘內訪問次數超過10次后，就被限制訪問了，而從第一次訪問時間到目前訪問時間間隔達到1分鐘以上后，限制就被解除了，可見功能已經完成了。

總結

如上只是實現了這種方法而已，在實際項目中，還需要詳細的打磨才行，不然執行效率肯定堪憂，怎么樣，限制這個看著好玩吧，快來試試吧，相關代碼已經放置到了gitee上。