Il s'agit de l'application Linux nommée ahCrawler dont la dernière version peut être téléchargée sous le nom ahcrawler-0.164.zip. Il peut être exécuté en ligne sur le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez en ligne cette application nommée ahCrawler avec OnWorks gratuitement.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN
Ad
ahCrawler
DESCRIPTION
ahCrawler est un ensemble pour implémenter votre propre recherche sur votre site Web et un analyseur pour votre contenu Web. Il peut être utilisé sur un hébergement mutualisé.
Cela consiste en
* crawler (araignée) et indexeur
* rechercher votre (vos) site(s)
* statistiques de recherche
* analyseur de site Web (en-tête http, titres courts et mots-clés, vérificateur de liens, ...)
Vous devez l'installer sur votre propre serveur. Ainsi, toutes les données analysées restent dans votre environnement.
Vous ne savez jamais quand un webspider externe a mis à jour votre contenu. Déclenchez une nouvelle analyse quand vous le souhaitez - vous avez toujours sous contrôle quelles données et à quelle heure ont été vérifiées.
Le spider est un outil CLI et doit être ajouté en tant que tâche cron.
Dans un backend Web, vous pouvez contrôler toutes les données et analyser vos données.
Vous pouvez gérer plusieurs sites Web dans le même backend.
PHP 7 ou 8 + PDO (Mysql/Sqlite)
Caractéristiques
- Crawler/spider avec plusieurs requêtes simultanées
- Crawler respecte robots.txt, X-Robots, les informations sur les méta-robots et les attributs rel dans les liens
- Crawler prend en charge http jusqu'à la version 2.0
- Vous pouvez gérer plusieurs instances (plusieurs sites Web) avec une seule installation
- Vérification SSL du certificat actuel
- Contrôle SSL II : affichez les éléments non cryptés (si votre site Web utilise https)
- Afficher les en-têtes de réponse http colorés avec des conseils sur les informations indésirables et les en-têtes de sécurité
- Voir tous les cookies définis si vous suivez tous les liens sur votre site Web
- intégrer un formulaire de recherche + résultats sur votre site web
- Linkchecker semant des erreurs, des redirections, des avertissements
- explorer / filtrer l'ensemble de votre site Web par statuscode, type, type MIME
- Pages de détail de toutes vos URL : en-tête http, où est-il lié, afficher ses liens sortants/éléments référencés
- programme de mise à jour Web intégré
Audience
Utilisateurs finaux avancés, administrateurs système, développeurs, ingénieurs qualité
Interface utilisateur
Basé sur le Web, ligne de commande
Langage de programmation
PHP
Environnement de base de données
MySQL
Catégories
Il s'agit d'une application qui peut également être récupérée à partir de https://sourceforge.net/projects/ahcrawler/. Il a été hébergé dans OnWorks afin d'être exécuté en ligne de la manière la plus simple à partir de l'un de nos systèmes d'exploitation gratuits.
