grab-site

grab-site는 웹 사이트를 WARC 파일로 아카이브하기위한 크롤러입니다.여기에는 여러 크롤링을 모니터링하기위한 대시 보드가 포함되어 있으며 크롤링 중에 URL 무시 패턴 변경을 지원합니다.

grab-site

Linux 용 grab-site의 대안

358

GNU Wget은 가장 널리 사용되는 인터넷 프로토콜 인 HTTP (S) 및 FTP를 사용하여 파일을 검색하기위한 무료 소프트웨어 패키지입니다.

284

전체 웹 사이트를 다운로드하여 재귀 적으로 로컬로 구축하는 웹 사이트 복사 서비스입니다.

ScrapBook X는 ScrapBook Plus에 기반한 Firefox 애드온이며 최신 버전의 ScrapBook의 여러 기능을 통합합니다.

고도로 사용자 정의 가능한 구성으로 웹 페이지를 충실하게 캡처하는 브라우저 확장입니다.

Wpull은 WARC 및 Python / Lua 스크립팅을 지원하는 wget 호환 웹 다운로더 및 크롤러입니다.

Fossilo.com은 완성 된 웹 사이트를 pdf 및 여러 다른 형식으로 지속적으로 보관하여 향후 종속성없이 쉽게 열고 볼 수 있습니다.플랫폼 내에서 아카이브를 탐색하거나 독립 패키지로 다운로드 할 수 있습니다.