unfurl: descomponiendo corpus de URLs para análisis

unfurl · MIT

unfurl recibe URLs por stdin e imprime un componente de ellas: el dominio, el path, las claves de parámetro, los valores. Es una utilidad de texto, no un escáner, y es lo que hace utilizable un corpus de URLs de 200.000 líneas.

Instalación

go install github.com/tomnomnom/unfurl@latest

Comandos principales

# hostnames
cat urls.txt | unfurl -u domains

# solo paths
cat urls.txt | unfurl -u paths

# nombres de parámetro — una wordlist en el vocabulario de la propia aplicación
cat urls.txt | unfurl -u keys

# valores de parámetro — donde aparecen los tokens filtrados
cat urls.txt | unfurl -u values

# un formato personalizado
cat urls.txt | unfurl format '%d%p'

-u deduplica. Las directivas de formato son %s scheme, %d dominio, %p path, %q query, %f fragment.

Salida

Texto simple, un componente por línea.

Dónde encaja en Tandera

unfurl se ejecuta en la fase de analyze de recon_web_lite. Se sitúa después de los productores de URL — katana, gau, waybackurls — y convierte su corpus combinado en entradas estructuradas: listas de hostnames que realimentan el discovery, listas de paths, y listas de nombres de parámetro que usa arjun.

Uso en un pentest

unfurl -u keys es la mejor wordlist que vas a conseguir. Las wordlists genéricas de parámetros adivinan. Esta se deriva de URLs que realmente existieron en esta aplicación, así que refleja las convenciones de nombres de los desarrolladores.

Haz grep de los valores, no solo de las claves. Las URLs archivadas capturadas con query strings reales filtran tokens, identificadores de sesión y correos:

cat urls.txt | unfurl -u values | grep -iE '^(eyJ|ghp_|sk_|AKIA)'

Usa unfurl -u domains como un bucle de realimentación. Los corpus de URLs contienen hostnames que tu enumeración de subdominios se perdió. Realiméntalos en dnsx y httpx y ocasionalmente encontrarás un host vivo que nada más sacó a la luz.