豆瓣小组爬虫：轻松获取小组讨论内容

开源地址：https://github.com/houxiaozhao/douban

欢迎访问我的博客：https://cdtools.click，这里有更多实用的工具和技术分享。

这是一个专门用于获取豆瓣小组讨论内容的工具。它可以帮助你自动收集感兴趣的小组讨论，支持多个小组同时采集，并且智能地只获取最新内容，避免重复。

功能特点

1. 支持多个小组同时采集

你可以同时关注多个感兴趣的小组，比如：

  • 外企招聘
  • 北京租房
  • 其他任何你感兴趣的小组

oOTGb5

2. 智能增量更新

  • 自动记录已经采集的内容
  • 每次运行时只获取新发布的讨论
  • 避免重复采集相同的内容

3. 完整的讨论信息

每条讨论都会保存以下信息：

  • 标题
  • 作者
  • 发布时间
  • 讨论链接
  • 所属小组

使用说明

第一步：配置关注的小组

在配置文件中添加你想要关注的豆瓣小组名称，例如：

1
groups = ForeignCompany,beijingzufang

第二步：设置时间范围

可以设置只获取某个时间之后的讨论，例如：

1
earliestTime = 2024-12-05 00:00:00

这样就只会获取 2024 年 12 月 5 日之后的新讨论。

第三步：运行程序

运行程序后，它会自动：

  1. 访问配置的所有小组
  2. 获取每个小组的最新讨论
  3. 保存所有符合时间要求的讨论内容
  4. 自动去重，避免重复采集

使用场景

  1. 求职信息采集
  • 关注各大招聘小组
  • 及时获取最新职位信息
  • 不会错过感兴趣的机会
  1. 租房信息跟踪
  • 同时关注多个租房小组
  • 实时获取新发布的房源
  • 快人一步找到心仪房源
  1. 兴趣小组跟踪
  • 关注你感兴趣的话题小组
  • 不错过重要的讨论内容
  • 随时了解小组动态

注意事项

  1. 使用前请确保遵守豆瓣的使用条款
  2. 建议合理设置采集频率
  3. 目前暂不支持评论内容的采集
  4. 获取的时间是最后回复时间，不是发布时间

未来规划

  1. 添加代理支持，提高稳定性
  2. 优化结束判断逻辑
  3. 支持获取发布时间
  4. 添加更多自定义配置选项