Jul 14, 20254 min read大模型应用— 爬虫 ScrapeGraphAI大模型爬虫—ScrapeGraphAI 一、介绍 ScrapeGraphAI是一个网络爬虫 Python 库，使用大型语言模型和直接图逻辑为网站和本地文档（XML，HTML，JSON 等）创建爬取管道。 只需告诉库您想提取哪些信息，它将为您
Oct 11, 20244 min read基于chrome remote debug 调试抓取页面现如今大多数页面，通过html5/js等方式，动态渲染页面，对于抓取动态网页，用常规的抓取方法显得力不从心。 前些年出现了phantomjs，可以有效的抓取动态页面，但phantomjs的一些缺点，内存溢出等经常出现卡死。现在该作者也停止更