Đây là ứng dụng Linux có tên là ahCrawler có bản phát hành mới nhất có thể được tải xuống là ahcrawler-0.164.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên ahCrawler với OnWorks này miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
ahCrawler
MÔ TẢ
ahCrawler là một bộ để triển khai tìm kiếm của riêng bạn trên trang web của bạn và là một công cụ phân tích cho nội dung web của bạn. Nó có thể được sử dụng trên một máy chủ được chia sẻ.
Nó bao gồm
* trình thu thập thông tin (trình thu thập thông tin) và trình lập chỉ mục
* tìm kiếm (các) trang web của bạn
* thống kê tìm kiếm
* trình phân tích trang web (tiêu đề http, tiêu đề ngắn và từ khóa, trình kiểm tra liên kết, ...)
Bạn cần cài đặt nó trên máy chủ của riêng bạn. Vì vậy, tất cả dữ liệu được thu thập thông tin vẫn ở trong môi trường của bạn.
Bạn không bao giờ biết khi nào một webspider bên ngoài cập nhật nội dung của bạn. Kích hoạt quét lại bất cứ khi nào bạn muốn - bạn luôn kiểm soát được dữ liệu nào đã được kiểm tra vào thời gian nào.
Spider là một công cụ CLI và phải được thêm vào dưới dạng cronjob.
Trong chương trình phụ trợ dựa trên web, bạn có thể kiểm soát tất cả dữ liệu và phân tích dữ liệu của mình.
Bạn có thể xử lý nhiều trang web trong cùng một chương trình phụ trợ.
PHP 7 hoặc 8 + PDO (Mysql / Sqlite)
Tính năng
- Trình thu thập thông tin / trình thu thập thông tin với nhiều yêu cầu giả lập
- Crawler tôn trọng robots.txt, X-Robots, thông tin meta rô bốt và các thuộc tính rel trong liên kết
- Crawler hỗ trợ http lên đến phiên bản 2.0
- Bạn có thể xử lý nhiều trường hợp (một số trang web) với một lần cài đặt
- Kiểm tra SSL của chứng chỉ hiện tại
- Kiểm tra SSL II: hiển thị các phần tử không được mã hóa (nếu trang web của bạn sử dụng https)
- Hiển thị tiêu đề phản hồi http được tô màu kèm theo gợi ý về thông tin không mở rộng và tiêu đề bảo mật
- Xem tất cả các cookie đã đặt nếu bạn theo dõi tất cả các liên kết trên trang web của mình
- tích hợp biểu mẫu tìm kiếm + kết quả trên trang web của bạn
- Linkchecker gieo lỗi, chuyển hướng, cảnh báo
- khám phá / lọc toàn bộ trang web của bạn theo mã trạng thái, loại, loại MIME
- Các trang chi tiết của tất cả các url của bạn: tiêu đề http, nó được liên kết ở đâu, hiển thị các liên kết đi / phần tử tham chiếu của nó
- trình cập nhật dựa trên web tích hợp
Khán giả
Người dùng cuối nâng cao, Quản trị viên hệ thống, Nhà phát triển, Kỹ sư chất lượng
Giao diện người dùng
Dựa trên web, dòng lệnh
Ngôn ngữ lập trình
PHP
Môi trường cơ sở dữ liệu
MySQL
Categories
Đây là một ứng dụng cũng có thể được tìm nạp từ https://sourceforge.net/projects/ahcrawler/. Nó đã được lưu trữ trên OnWorks để có thể chạy trực tuyến một cách dễ dàng nhất từ một trong những Hệ thống hoạt động miễn phí của chúng tôi.
