数据结构优化

This commit is contained in:
李琦
2026-01-20 14:31:39 +08:00
parent 05b315013c
commit 946855bff2
16 changed files with 104045 additions and 157 deletions

View File

@@ -11,9 +11,8 @@ import (
)
var (
searcher *xdb.Searcher
once sync.Once
mu sync.RWMutex // 保护 searcher 的并发访问
ipBuff []byte // 全局保存 xdb 文件内容,加载后只读,天然线程安全
once sync.Once // 确保只初始化一次
)
// InitIP2Region 初始化 ip2region
@@ -53,36 +52,31 @@ func InitIP2Region(dbPath string) {
// 如果最终路径为空,说明找不到文件
if finalPath == "" {
log.Printf("IP2Region database file not found. Region lookup will be disabled.")
mu.Lock()
searcher = nil
mu.Unlock()
return
}
// 5. 尝试加载整个xdb到内存,性能最好
// 5. 尝试加载整个xdb到内存
cBuff, err := xdb.LoadContentFromFile(finalPath)
if err != nil {
log.Printf("Failed to load ip2region.xdb from %s: %v. Region lookup will be disabled.", finalPath, err)
mu.Lock()
searcher = nil
mu.Unlock()
return
}
newSearcher, err := xdb.NewWithBuffer(nil, cBuff)
if err != nil {
log.Printf("Failed to create searcher: %v", err)
mu.Lock()
searcher = nil
mu.Unlock()
// 验证 cBuff 是否有效
if cBuff == nil || len(cBuff) == 0 {
log.Printf("Invalid ip2region.xdb buffer (nil or empty) from %s. Region lookup will be disabled.", finalPath)
return
}
// 使用写锁设置 searcher
mu.Lock()
searcher = newSearcher
mu.Unlock()
// 验证 buffer 长度是否合理
if len(cBuff) < 1024 {
log.Printf("ip2region.xdb buffer too small (%d bytes) from %s. Region lookup will be disabled.", len(cBuff), finalPath)
return
}
// 赋值给全局变量
ipBuff = cBuff
log.Printf("Loaded ip2region.xdb buffer: %d bytes from %s", len(ipBuff), finalPath)
log.Printf("IP2Region loaded successfully from %s", finalPath)
})
}
@@ -90,49 +84,58 @@ func InitIP2Region(dbPath string) {
// GetRegion 获取IP归属地
// 返回格式: 国家|区域|省份|城市|ISP
func GetRegion(ip string) string {
// 添加 recover 保护,防止 panic 导致整个请求失败
defer func() {
if r := recover(); r != nil {
log.Printf("Panic in GetRegion for IP %s: %v", ip, r)
}
}()
// 使用读锁保护并发访问
mu.RLock()
s := searcher
mu.RUnlock()
// 再次检查 searcher 是否为 nil
if s == nil {
return "Unknown"
}
// 过滤内网IP
if isPrivateIP(ip) {
return "Internal"
}
// 再次检查 searcher 是否为 nil防止在检查后、调用前被设置为 nil
mu.RLock()
s = searcher
mu.RUnlock()
if s == nil {
// 检查数据是否已加载
if len(ipBuff) == 0 {
return "Unknown"
}
// 使用 defer recover 保护 SearchByStr 调用
defer func() {
if r := recover(); r != nil {
log.Printf("Panic in searcher.SearchByStr for IP %s: %v", ip, r)
}
// 核心改进:每次请求创建一个新的 Searcher 对象
// xdb.NewWithBuffer 只是引用了 ipBuff并没有发生内存拷贝所以创建速度极快且开销很小。
// 这样做彻底避免了多个 goroutine 共用同一个 searcher 对象可能导致的内部状态并发问题。
// 根据官方文档,第一个参数应该是 version (xdb.IPv4 或 xdb.IPv6),而不是 nil
searcher, err := xdb.NewWithBuffer(xdb.IPv4, ipBuff)
if err != nil {
log.Printf("Failed to create searcher for IP %s: %v", ip, err)
return "Unknown"
}
// 检查 searcher 是否为 nil防御性编程
// 即使 err == nilsearcher 也可能为 nil需要显式检查
if searcher == nil {
log.Printf("Searcher is nil for IP %s (err was nil, ipBuff length: %d)", ip, len(ipBuff))
return "Unknown"
}
// 注意searcher 是局部变量,用完即毁,无需 Close如果是基于 buffer 创建的)
// 安全调用 SearchByStr
// 依然保留 recover 保护,防止库内部处理特殊 IP 字符串时发生 Panic
var region string
func() {
defer func() {
if r := recover(); r != nil {
log.Printf("Panic in searcher.SearchByStr for IP %s: %v", ip, r)
region = "Unknown"
}
}()
region, err = searcher.SearchByStr(ip)
}()
region, err := s.SearchByStr(ip)
if err != nil {
log.Printf("Error searching region for IP %s: %v", ip, err)
return "Unknown"
}
if region == "" {
return "Unknown"
}
return region
}
@@ -152,7 +155,20 @@ func isPrivateIP(ipStr string) bool {
return false // 暂不处理IPv6内网判断
}
return ip4[0] == 10 ||
(ip4[0] == 172 && ip4[1] >= 16 && ip4[1] <= 31) ||
(ip4[0] == 192 && ip4[1] == 168)
// 10.0.0.0/8
if ip4[0] == 10 {
return true
}
// 172.16.0.0/12
if ip4[0] == 172 && ip4[1] >= 16 && ip4[1] <= 31 {
return true
}
// 192.168.0.0/16
if ip4[0] == 192 && ip4[1] == 168 {
return true
}
return false
}