Un usuario preguntó 👇
Hola. En las últimas semanas he notado las visitas de arañas muy molestas, llamadas “spbot”, que escanean cientos de páginas sin un solo retraso entre escaneos.
Tiene su propia página web oficial: http://openlinkprofiler.org/bot
Y parece seguir las instrucciones de robots.txt:
User-agent: spbot
Disallow: /¿Podría considerar agregarlo?
Gracias por adelantado
(@pronl)
Hace 3 años, 6 meses
@ kent-brockman
Suponiendo que esto esté relacionado con agregar una regla de bloqueo a la lista negra de The HackRepair.com, la lista negra de HackRepair.com se considera un punto de partida … Los bots van y vienen, no todos los bots se pueden contar todo el tiempo … Intente contactar al autor de la lista negra de HackRepair.com (Jim Walker). Una vez que logre incluirlo en su lista maestra, es probable que los iThemes lo sigan. un bot spot no se ve mal. Él respeta el archivo robots.txt … por lo que es posible que no califique para su inclusión.
De todos modos, puede bloquear cualquier bot adicional en el Prevenir agentes de usuario Gort.
Otra cosa: ¿estás seguro de que es el oficial? spbot rastreando su sitio? Obtuviste esto de su sitio:
¿Cómo puedo verificar que un lugar es realmente un lugar?
Otros rastreadores web pueden engañar al agente de usuario del lugar para comprobar que es legítimo. Parece que proceden de nosotros, pero no es así. Puede verificar las direcciones IP para asegurarse de que el lugar que visita su sitio sea realmente de OpenLinkProfiler.org. Actualmente estamos utilizando la empresa de alojamiento Digital Ocean para nuestros rastreadores.
Puede encontrar una lista de direcciones IP en su ubicación.
Esta respuesta fue modificada hace 3 años, 6 meses por.
(@ kent-brockman)
Hace 3 años, 6 meses
Hola @pronl, sí, estoy bastante seguro de que es el bot correcto porque las IP de origen son compatibles con las que figuran en esa URL en «¿Cómo puedo verificar que un spot es realmente un spbot?» alt.
Encontré este bot escaneando muchos sitios desde abril, y aunque lo hace en una noche de hora, sigue siendo una manzana de la discordia porque es muy agresivo al no permitir el más mínimo retraso entre las URL escaneadas. Escaneó cientos de URL en varios sitios en el mismo servidor durante horas, disparando el uso de CPU y RAM. Eso no es justo. Ese es un comportamiento que vale la pena bloquear. Y lo hice usando su función, pero ciertamente no puedo aplicar lo mismo a todos nuestros clientes.
Bien: me pondré en contacto con Jim Walker con respecto a esto.
Gracias por la información. Todo lo mejor,
Marcelo
¿Solucionó tu problema??
0 / 0