webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。


 
Loading

该仓库已收录但尚未编辑。项目介绍及使用教程请前往 GitHub 阅读 README


0 条讨论

登录后发表评论

关于

A scalable web crawler framework for Java.

创建时间
是否国产

  修改时间

2025-07-18T03:20:24Z


语言

  • Java76.8%
  • HTML22.7%
  • JavaScript0.2%
  • Kotlin0.1%
  • Ruby0.1%
  • Groovy0.1%
  • 其他0.01%

code4craft 的其他开源项目

A tiny IoC container refer to Spring.

Java4.08 k
2 年前
Java3.56 k
9 年前🇨🇳

Jsoup学习笔记。添加了部分学习代码和注释。

Java637
2 年前

When jsoup meets XPath.

Java469
2 年前

您可能感兴趣的

大模型Grok-1开源

Python50.4 k
1 年前
scrapy/scrapy

#爬虫框架#一款流行,高效,生态丰富的Python爬虫框架

Python57.98 k
4 小时前
HeyPuter/puter

Puter 是一个运行在浏览器上的OS。功能丰富、快速、可扩展性强。它可以用于构建远程桌面环境,也可以作为云存储服务、远程服务器、网络托管平台等的接口。

JavaScript34.92 k
11 小时前

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫

Python35.92 k
8 小时前
krahets/hello-algo

#算法刷题#《Hello 算法》:动画图解、一键运行的数据结构与算法教程。支持 Python, Java, C++, C, C#, JS, Go, Swift, Rust, Ruby, Kotlin, TS, Dart 代码。简体版和繁体版同步更新,English version in translation

Java115.53 k
13 天前🇨🇳
doocs/advanced-java

#面试#😮 Core Interview Questions & Answers For Experienced Java(Backend) Developers | 互联网 Java 工程师进阶知识完全扫盲:涵盖高并发、分布式、高可用、微服务、海量数据处理等领域知识

Java78.11 k
1 个月前🇨🇳

#爬虫框架#python爬虫框架。简单易上手,自带在线编程和任务管理界面

Python16.76 k
1 年前

#安卓#fay是一个帮助数字人(2.5d、3d、移动、pc、网页)或大语言模型(openai兼容、deepseek)连通业务系统的mcp框架。

JavaScript11.72 k
6 天前🇨🇳
内容违规,已屏蔽
Java9.65 k
1 年前
Lissy93/web-check

🕵️‍♂️ All-in-one OSINT tool for analysing any website

TypeScript26.14 k
15 天前

#前端开发#A visual no-code/code-free web crawler/spider易采集:一个可视化浏览器自动化测试/数据采集/爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。

JavaScript41.52 k
18 天前
Java2.78 k
4 年前🇨🇳
numba/numba

NumPy aware dynamic Python compiler using LLVM

Python10.58 k
4 小时前
chinabugotech/hutool

Hutool是一个小而全的Java工具类库,通过静态方法封装,降低相关API的学习成本,提高工作效率,使Java拥有函数式语言般的优雅,让Java语言也可以“甜甜的”。

Java30 k
6 小时前🇨🇳
Python22.74 k
6 个月前🇨🇳
jhy/jsoup

jsoup 是一个用于解析、提取、操作HTML的Java库

Java11.24 k
3 天前
内容违规,已屏蔽
16
1 年前
996icu/996.ICU

一群反对“996”工作制的人,发起的一个项目

274.08 k17
1 年前🇨🇳

🔥 官方推荐 🔥 RuoYi-Vue 全新 Pro 版本,优化重构所有功能。基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 微信小程序,支持 RBAC 动态权限、数据权限、SaaS 多租户、Flowable 工作流、三方登录、支付、短信、商城、CRM、ERP、AI 大模型等功能。你的 ⭐️ Star ⭐️,是作者生发的动力!

Java32.83 k1
1 天前🇨🇳

后端架构师技术图谱

60.39 k
1 年前🇨🇳