网站首页 > 精选教程 正文
凌晨3点26分,你的手机突然炸了——
10亿次请求正在冲击服务器,CPU飙到100%!
更可怕的是:老板问你:"到底是哪个IP在攻击我们?"
如果支支吾吾答不上来,明天就可以收拾工位了…
别慌!今天我们用Redis+Java代码,彻底解决这个亿级数据下的"最热IP统计"难题!
▎01 方案对比:Redis五种统计方案谁最强?
(实测数据来自4核8G云服务器,10亿UV统计场景)
真实案例:某社交APP用Hash方案统计UV,服务器每天凌晨准时崩溃,改用HLL后成本直降99%
▎02 终极方案:RedisBloom TopK(压测代码)
Redis的Bloom模块提供了精确的TopK统计,原理如下:
Java实现代码(SpringBoot版):
@RestController
public class TopIPController {
@Resource
private RedisTemplate<String, String> redisTemplate;
// 统计IP访问
@PostMapping("/visit")
public void recordVisit(@RequestParam String ip) {
redisTemplate.opsForValue()
.setBit("ip_bitmap:" + ip, 1, true); // 用Bitmap去重
redisTemplate.opsForZSet()
.incrementScore("ip_rank", ip, 1); // ZSet计数
}
// 获取Top10 IP
@GetMapping("/top10")
public List<String> getTop10IP() {
return redisTemplate.opsForZSet()
.reverseRange("ip_rank", 0, 9);
}
// 使用BloomFilter版TopK(需Redis 5.0+)
public void initTopK() {
redisTemplate.execute((RedisCallback<Object>) connection -> {
connection.execute("TOPK.RESERVE", "ip_topk".getBytes(),
"10".getBytes(), // 保留Top10
"10000".getBytes(), // 计数器数量
"0.01".getBytes()); // 误差率1%
return null;
});
}
}
性能实测(10亿IP场景):
▎03 分片优化:百亿级数据的处理技巧
如果数据量超过单机Redis容量,就要用分片方案:
Java分片代码示例:
// 根据IP的CRC16分片
public int getShard(String ip) {
int slot = CRC16.crc16(ip.getBytes()) % 16384;
return slot / 5461; // 假设分3片
}
// 分片统计
public void shardedRecord(String ip) {
int shard = getShard(ip);
redisTemplates.get(shard).opsForZSet()
.incrementScore("ip_rank", ip, 1);
}
分片后性能提升:
- 内存压力分散到多台机器
- 查询吞吐量提升N倍(N=分片数)
▎04 防作弊:如何识别刷量IP?
识别异常IP的4个维度(附代码):
- 频率检测:1秒内请求超过100次
String key = "ip_limit:" + ip;
Long count = redisTemplate.opsForValue().increment(key);
redisTemplate.expire(key, 1, TimeUnit.SECONDS);
if(count > 100) throw new RuntimeException("刷量IP!");
- 设备指纹:相同UserAgent+IP组合
- 行为分析:只访问特定API的IP
- 地理位置:突发的境外IP请求
▎05 彩蛋:Redis模块安装指南
TopK功能需要RedisBloom模块,安装步骤:
# 1. 下载模块
wget https://github.com/RedisBloom/RedisBloom/archive/refs/tags/v2.4.5.tar.gz
# 2. 编译
make && cp redisbloom.so /path/to/modules/
# 3. 启动Redis时加载
redis-server --loadmodule /path/to/redisbloom.so
实战总结:
- 10万级以下
- 直接用ZSet
- 百万~十亿级
- TopK+分片
- 百亿级以上
- Flink+Redis分层存储
- 上一篇: Nginx在Java项目中的负载均衡配置详解
- 下一篇: APP数据泄露接到境外电话 该怎么查服务器
猜你喜欢
- 2025-04-29 搭建一个基于Docker服务的java Web服务器环境2
- 2025-04-29 JAVA——网络分层和网络三要素
- 2025-04-29 java web服务器tomcat介绍
- 2025-04-29 zk基础—4.zk实现分布式功能
- 2025-04-29 从浏览器访问百度的首页这个过程,涉及到哪些协议
- 2025-04-29 APP数据泄露接到境外电话 该怎么查服务器
- 2025-04-29 Nginx在Java项目中的负载均衡配置详解
- 2025-04-29 《我的世界》服务器搭建
- 2025-04-29 Java Web项目发布,服务器部署(完整版)
你 发表评论:
欢迎- 最近发表
-
- 2024最全版本奖状证书模板素材,含PSD和word格式,附带预览图
- 免费领取 | 第十三届“三创赛”项目计划书Word模板
- 用Word就能做高大上的论文封面,你信吗?小白也能学会
- Word排版有何难?教你30秒创建模板,节省大把手动排版的时间
- Word“联手”Excel写报告(电脑右键新建没有word和excel怎么办)
- 柚墨个人简历Word模板分享(柚墨ppt)
- 建筑工程刚需,全套安全技术交底模板整理,word 版本可编辑直接用
- [word] word 2013 如何套用模版(怎么套用模版文件)
- 114套证书授权书任命书模板,word文件精美背景,合并套打不操心
- 根据模板将Exce明细数据生成 Word 文档|邮件合并
- 标签列表
-
- nginx反向代理 (57)
- nginx日志 (56)
- nginx限制ip访问 (62)
- mac安装nginx (55)
- java和mysql (59)
- java中final (62)
- win10安装java (72)
- java启动参数 (64)
- java链表反转 (64)
- 字符串反转java (72)
- java逻辑运算符 (59)
- java 请求url (65)
- java信号量 (57)
- java定义枚举 (59)
- java字符串压缩 (56)
- java中的反射 (59)
- java 三维数组 (55)
- java插入排序 (68)
- java线程的状态 (62)
- java异步调用 (55)
- java中的异常处理 (62)
- java锁机制 (54)
- java静态内部类 (55)
- java怎么添加图片 (60)
- java 权限框架 (55)
本文暂时没有评论,来添加一个吧(●'◡'●)