如何定时收取很多邮件的内容？

You need to sign in to view this topic

This topic created in 712 days ago, the information mentioned may be changed or developed.

现在碰到个难题，大家帮参谋一下

系统里有很多邮箱，要 10 来秒就用 pop3 检查一下有没有新邮件。同时要把邮件里的内容更新到数据库。
这些邮箱可能属于同一个人，也可能属于不同人。

我现在是单线程，循环，速度很慢。有没有优化的方法？

1.我想到就是多线程，每一个线程对应一个邮箱。
问题就是如果属于同一个人的邮箱，如何做到数据的更新不冲突？

2.我设计一个邮件抢单中心，开很多的邮件收取客户端。大家都到我这里抢任务。这样设计是不是多此一举？

邮件

线程

数据库

9 replies • 2024-08-08 17:51:30 +08:00

vacuitym

Aug 8, 2024

可以试试 mq ？

i4color

Aug 8, 2024

@vacuitym mq 也只是控制队列，实际上还是需要靠很多线程或客户端收取的。

loongkim

Aug 8, 2024

1.每个邮箱起一个任务负责遍历捞邮箱的未读邮件；
2.把邮箱配置、未读邮件 ID 一条条丢给队列，直接标记为已读；
3.起 N 个消费端从队列领处理任务，失败了丢回队列排队重试，超过重试次数放入异常库。

这样会不会好一些

i4color

Aug 8, 2024

@loongkimc 嗯，你帮我想到了一些没想到的思路。

yty2012g

Aug 8, 2024

1 、在楼上的基础上，可以利用类似 Kafka 的 partition 这种机制，以用户邮箱为 key ，确保同一个用户一定在一个 partition ，然后消费者一个 partition 对应一个 thread ，这就确保一个人的数据只会被一个线程处理
2 、或者利用 Redis 的 SortedSet 数据结构，接收线程接收邮件写入 redis ，一个用户一个 key ，score 用接收的时间之类的。然后定时任务扫描 redis ，使用 lua 脚本结合 zrem+zrange ，一次获取一个人的一部分邮件，然后写 DB 。
3 、总体来说，就是要写入的时候一个用户只被一个 thread 操作，基于这个思路还能有其他的策略