每天1000万买卖交易数据，如何做查询优化 问题梳理 每天1000万的数据，每个月就有3亿多的数据，每年就可能有30-40亿的数据 里面有三个比较关键的问题： 1、存储，如何存储这些海量的数据 2、查询，如何提高查询效率？ 3、并发，并发性能如何优化 解决 存储问题 1、分库分表 当数据量小的时候，
东东
发布于 2025-03-10
分布式环境下本地缓存如何及时更新 当一个服务同时部署了多个节点，这样每个节点上都有一份本地缓存的数据 这个时候，如果某个接口发起调用，修改了数据库的数据，如何快速通知到所有节点，让服务修改自己的本地缓存 MQ消息的方式 当数据发生变更的时候，往MQ发一条消息，然后所有节点订阅这一消息，收到消息后更新
东东
发布于 2025-03-10
如何做查询优化 缓存 对于经常访问的数据，可以通过使用缓存来提高查询性能，降低数据库压力 场景： 1.高频访问的数据:如系统首页、热门推荐内容等。 2.计算成本较高的数据:如复杂查询结果、大量数据的统计结果. 3.允许短时间延迟的数据:如不需要实时更新的排行榜、图片列表等。 本项目中的主页数据就可以
东东
发布于 2025-02-18
1、要存储用户的签到记录或者活跃记录，实际上就是每天该用户的状态是0还是1 2、页面要展示用户一年的活跃记录图，后端如何设计更加高效？ 单纯基于数据库 设计一张签到表，每个用户每天一条数据。 这里我们要分析一点，这张表的数据属于是稳定增长的。 如果数据量比较小，那还可以接受。但是如果用户量比较大，假
东东
发布于 2024-12-20
反爬虫 1、为了避免网站的数据被别人大规模盗取 2、为了避免频繁的爬虫请求导致系统过载 手段 可以参考这篇文章 总有坏人想爬我网站的数据，看我用这 10 - 编程导航 - 程序员编程学习交流社区 1、使用协议条款 2、限制请求条件 3、统计访问频率和封禁 4、多级处理策略+自动处理（警告、短期封禁、
东东
发布于 2024-12-18
