2025 Github上网络爬虫开源项目推荐

COLLECTION

网络爬虫

该页面收集了与爬虫相关的框架和应用程序。

📂爬虫框架

scrapy

Scrapy project@scrapy

#爬虫框架#一款流行，高效，生态丰富的Python爬虫框架

Python scraping crawling 框架爬虫

Python57.64 k

9 天前

colly

Colly@gocolly

#爬虫框架#一个快速优雅的Golang爬虫框架

Go scraper 框架爬虫 scraping

Go24.46 k

1 个月前

pyspider存档

Roy Binux@binux

#爬虫框架#python爬虫框架。简单易上手，自带在线编程和任务管理界面

Python 爬虫

Python16.72 k

1 年前

scrapy-redis

R Max Espinoza@rmax

#爬虫框架#基于Scrapy和Redis的分布式爬虫框架

scrapy 爬虫 distributed Redis

Python5.62 k

1 年前

torsniff

@fanpei91

#爬虫应用#一个种子嗅探器，它从 BitTorrent 网络获取人们下载音乐、电影、游戏、文档等等时所用的种子

dht bittorrent-protocol metadata bep0005 bep0009

Go4.01 k

4 年前🇨🇳

SinaSpider

幸明老匹夫@LiuXingMing

#爬虫应用#新浪微博爬虫（Scrapy、Redis）

Python3.28 k

7 年前🇨🇳

wechat-spider

0fenbei@bowenpay

#爬虫应用#微信公众号爬虫

Python3.26 k

4 年前🇨🇳

bilibili-user

Airing@airingursb

#爬虫应用#🍥 Bilibili 用户爬虫

哔哩哔哩 Python MySQL

Python3.07 k

4 年前🇨🇳

webporter

brianway@brianway

#爬虫应用#基于 webmagic 的 Java 爬虫应用

elasticsearch kibana zhihu

Java2.78 k

4 年前🇨🇳

DouBanSpider

@lanbing510

#爬虫应用#豆瓣读书的爬虫

Python2.74 k

5 年前🇨🇳

twint存档

TWINT Project@twintproject

#网络爬虫#An advanced Twitter scraping & OSINT tool written in Python that doesn't use Twitter's API, allowing you to scrape a user's followers, following, Tweets and more while evading most API limitations.

OSINT X (Twitter)Python scrape tweets

Python16.15 k

2 年前

导航

导航

网络爬虫

📂爬虫框架

📂爬虫应用

该分类下的开源项目