Hace un tiempo un juez de USA teorizaba sobre prohibir los links para ayudar a que los diarios online vuelvan a tener audiencia y recuerdo que ante las quejas de los diarios de que "Google vive de nosotros" siempre dije que las herramientas están disponibles para que Google no te indexe solo hace falta ver si lo soportás.
La herramienta se llama robots.txt y es precisamente este el desafío que Google le tira encima a los diarios al decir "no quieren que los indexemos? Usen el robots.txt".
Ahora, la respuesta es simple... nadie va a usar el User-agent: *, Disallow: /, porque la ecuación de los diarios es simple: Quiero el tráfico y que me pagues por enviarlo a mi sitio.. me gustaría ver que todos los diarios del mundo dejen de tener el trafico de buscadores por una semana y contar cuantos ejecutivos empiezan a saltar desde sus ventanas al ver los resultados de tan grande decisión porque, sinceramente, parecen no haber entendido que las barreras para usuarios implican menos tráfico y menos tráfico implica menos inventario que implica menos ventas que implica más crisis y mas llantos de "la internet es mala para todos"