Esta es la aplicación de Linux llamada Web Crawler Security Tool cuya última versión se puede descargar como crawler_v1.0.1.tar.gz. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada Web Crawler Security Tool con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
CAPTURAS DE PANTALLA:
Herramienta de seguridad del rastreador web
DESCRIPCIÓN:
Última actualización el martes 26 de marzo a las 16:25 UTC de 2012Web Crawler Security es una herramienta basada en Python para rastrear automáticamente un sitio web. Es un rastreador web orientado a ayudar en tareas de pruebas de penetración. La tarea principal de esta herramienta es buscar y listar todos los enlaces (páginas y archivos) en un sitio web.
El rastreador se ha reescrito por completo en v1.0 y ha aportado muchas mejoras: mejor visualización de datos, opción interactiva para descargar archivos, mayor velocidad de rastreo, exporta la lista de archivos encontrados en un archivo separado (útil para rastrear un sitio una vez, luego descargar archivos y analizarlos con FOCA), generar un registro de salida en formato de registro común (CLF), administrar la autenticación básica y más.
Muchas de las funciones antiguas se han vuelto a implementar y la más interesante es la capacidad del rastreador para buscar la indexación de directorios.
Caracteristicas
- Rastrear sitios web http y https (incluso sitios web que no utilicen puertos comunes). Rastrear sitios web http y https (incluso sitios web que no utilicen puertos comunes). Rastrear sitios web http y https (incluso sitios web que no utilicen puertos comunes).
- (¡nuevo!) Permite determinar la profundidad del rastreo (-C opción)
- (¡nuevo!) Genera un resumen al final del rastreo con estadísticas sobre los resultados del rastreo.
- (¡nuevo!) Se implementó el método HEAD para analizar los tipos de archivos antes de rastrearlos. Esta característica mejora significativamente la velocidad del rastreador.
- Utiliza expresiones regulares para encontrar enlaces 'href', 'src' y 'content'.
- Identifica enlaces relativos.
- Identifica archivos que no son HTML y los muestra.
- No rastrear archivos que no sean HTML.
- Identifica la indexación de directorios.
- Rastrear directorios con indexación (aún no implementado en v1.0)
- Utiliza CTRL-C para detener las etapas actuales del rastreador y continuar trabajando. Cosas muy útiles ...
- Identifica todo tipo de archivos leyendo el campo de encabezado de tipo de contenido de la respuesta.
- Exporta (opción -e) en un archivo separado una lista de todas las URL de archivos encontradas durante el rastreo.
- Seleccione el tipo de archivos para descargar (opción -d). Ej .: png, pdf, jpeg, gif o png, jpeg.
- Seleccione de forma interactiva qué tipo de archivos descargar (opción -i).
- Guarde los archivos descargados en un directorio. Solo crea el directorio de salida si hay al menos un archivo para descargar.
- Genera un registro de salida en CLF (Common Log Format) de todas las solicitudes realizadas durante el rastreo.
- (beta) Inicie sesión con autenticación básica. ¡Sus comentarios son bienvenidos!
- Intenta detectar si el sitio web utiliza un CMS (como wordpress, joomla, etc.) (aún no implementado en v1.0)
- Busca archivos '.bk' o '.bak' de páginas php, asp, aspx, jps. (aún no implementado en v1.0)
- Identifica y calcula el número de páginas web únicas rastreadas. (aún no implementado en v1.0)
- Identifica y calcula la cantidad de páginas web únicas rastreadas que contienen parámetros en la URL. (aún no implementado en v1.0)
- Funciona en Windows, pero aún no ha guardado los resultados.
Audiencia
Tecnologías informáticas
Interfaz de usuario
Consola / Terminal
Lenguaje de programación
Python
Esta es una aplicación que también se puede obtener de https://sourceforge.net/projects/webcrawler-py/. Se ha alojado en OnWorks para poder ejecutarse online de la forma más sencilla desde uno de nuestros Sistemas Operativos gratuitos.