En el artículo de ayer expliqué cómo implementar una lista negra de dominios para evitar el hotlinking. Pido disculpas por no explicar detalladamente de qué se trata esto del "hotlinking", pero no tengo ganas de explicarlo y existe una entrada en Wikipedia que lo explica claramente. Ya expuse mi opinión acerca de por qué no es conveniente utilizar una lista blanca. Pero para reforzar la idea, está el caso de las redes sociales descentralizadas (por ejemplo Diaspora*). Las redes sociales descentralizadas no poseen un único dominio, sino cientos (o miles). Esto hace que sea imposible determinar ni predecir desde qué dominios se hará hotlinking "válido". Válido porque no queremos impedir el hotlinking desde redes sociales, para lograr que nuestros artículos se vean de forma correcta (la imagen de nuestro sitio artículo que agregan las redes sociales al momento de compartir un link).
Ahora bien, implementar una lista negra es simple, lo difícil es determinar quiénes son los ladrones que nos están robando (además de contenido) ancho de banda. Para ello, sólo se puede recurrir a los logs de acceso del servidor Web.
Tanto Apache como Nginx utilizan por defecto el formato de log CLF (Common Log Format). En este formato, una entrada de log luce como sigue:
192.168.100.101 - - [22/Aug/2015:11:06:10 -0400] "GET /linuxito.com/media/jui/js/jquery.min.js HTTP/1.1" 404 2389 "http://www.linuxito.com/seguridad/271-como-obtener-la-clave-de-producto-de-windows-8" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36"
Tal como se observa, el referer (URL desde donde se originó la petición actual) es el segundo elemento entre comillas dobles. Por ende, es posible separar la línea en columnas delimitadas por comillas dobles, y quedarse con la cuarta columna (cut -d'"' -f4). Con esto nos quedamos sólo con los referers. Luego es posible "destripar" las URLs en columnas delimitadas por el caracter '/', y quedarse sólo con la tercer columna (cut -d'/' -f3). De esta forma se obtienen todos los dominios, que luego hay que ordenar (sort) y eliminar repetidos (uniq), junto con alguna otra magia para descartar peticiones sin referer (grep -v '\-$') o peticiones desde nuestro dominio (grep -v "linuxito.com").
Si el archivo de log a revisar es access.log y nuestro dominio "linuxito.com", el comando a ejecutar es el siguiente:
cat access.log | grep ".png \|.jpg \|.gif \|.jpeg " | cut -d'"' -f4 | grep -v '\-$' | cut -d'/' -f3 | grep -v "linuxito.com" | sort | uniq
Este comando obtiene un listado en orden alfabético de todos los dominios desde donde se cargan imágenes con extensión .png, .jpg, .gif y .jpeg que se encuentran alojadas en nuestro servidor.
Ejemplo:
root@linuxito:/usr/local/nginx/logs# cat access.log | grep ".png \|.jpg \|.gif \|.jpeg " | cut -d'"' -f4 | grep -v '\-$' | cut -d'/' -f3 | grep -v "linuxito.com" | sort | uniq bay173.mail.live.com berlinspora.de bit.ly blog.cbtis88.edu.mx blog.zoller.lu br.images.search.yahoo.com campus.uladech.edu.pe cn.bing.com co.images.search.yahoo.com comunidad.dragonjar.org connect.facebook.net cronostech.no-ip.org cse.google.com ct.moreover.com diasp.de diasp.eu diasporabrazil.org diasporabr.com.br diaspora.com.ar diaspora.openhosting.com digg.com disqus.com duckduckgo.com ediska.ga ediska.gq es.images.search.yahoo.com es-mg42.mail.yahoo.com espora.com.es feedly.com feedreader.com flipboard.com fr.circlecount.com friendica.mamalibre.com.ar gaia.ddns.net gnulibre.com goo.gl hubzilla.nl idoru.pl image.baidu.com images.google.fr images.search.yahoo.com iPadOS jenaspora.de joindiaspora.com kodras.cf linuxito.disqus.com localhost londor.be m.27bn.com m.facebook.com monocle.duckduckgo.com m.taringa.net no info noys-tecnologia.blogspot.cl noys-tecnologia.blogspot.de ow.ly pic.sogou.com platform.linkedin.com plus.google.com plus.url.google.com pod.asap-soft.com pod.babillage.org poddery.com pod.diaspora.software pod.disroot.org pod.orkz.net podricing.pw profesdeciencies.net readability.com reader.gotmalk.org rebelmouse.com reparacionmac.es rss.ighome.com s3.feedly.com sechat.org slack.com snt153.mail.live.com taringa.net tavacinthe.wp.lc t.co therealtalk.org translate.googleusercontent.com tweetedtimes.com webcache.googleusercontent.com wk3.org www.augure.com www.bing.com www.blogger.com www.bloglovin.com www.circlecount.com www.comunidadhosting.com www.facebook.com www.flexamail.com www.framabag.org www.g2khosting.com www.genteguada.es www.google.cl www.google.com www.google.com.ar www.google.com.bo www.google.com.co www.google.com.cu www.google.com.do www.google.com.ec www.google.com.gt www.google.com.mx www.google.com.ni www.google.com.pe www.google.com.py www.google.com.sv www.google.com.uy www.google.co.uk www.google.co.ve www.google.cz www.google.es www.google.fr www.google.hn www.google.it www.google.sk www.guadalinex.org www.hxddc.com www.inoreader.com www.instapaper.com www.joindiaspora.com www.nuzzel.com www.srvtracker.com www.symbaloo.com www.taringa.net z.linux-users.ru
Más allá de que eliminé muchos dominios de este listado, para preservar la identidad de los ladrones de ancho de banda (excepto Taringa! que me roba contenido, tráfico y ancho de banda, se pueden ir bien a la mierda), es claro que la mayoría del hotlinking es válido. Es decir, el acceso a las imágenes desde sitios externos proviene desde redes sociales, buscadores y lectores RSS. Sitios para los cuales no deseamos evitar el hotlinking para no perjudicar la experiencia de navegación de sus usuarios (potenciales visitantes a nuestro sitio). Es claro que una lista blanca sería muchísimo más extensa que una lista negra, sin contar el mencionado problema de las redes sociales descentralizadas. Sólo basta con ejecutar regularmente este comando e identificar posibles nuevos ladrones de ancho de banda (y contenido, pero ese es otro caso) para ir agregando a la lista negra.
Cabe destacar una vez más que este comando sirve tanto para logs de Apache como Nginx.
Para cerrar el artículo les dejo un ejemplo de hotlinking de imágenes de mi sitio desde Taringa! (sitio que se encuentra en mi lista negra, como puede verse en la captura):
Me copia/pega el contenido sin atribución, lo cual es directamente un robo. Vean el título "Fuente:" el cual está en blanco, cuando debería rezar algo como:
Este trabajo es liberado bajo la licencia Atribución-CompartirIgual 4.0 Internacional (CC BY-SA 4.0). Todas las marcas registradas son propiedad de sus respectivos dueños.
Junto con un enlace al artículo original.
En fin, qué esperar de un burro más que una patada...
