¿Por qué muchos artículos publicados en Toutiao no se pueden buscar en navegadores conocidos?
Primero, corrijamos este problema. Los resultados de la búsqueda no están vinculados al navegador, sino al motor de búsqueda utilizado en el navegador.
¿Qué es un navegador?
Los navegadores son aplicaciones que muestran contenido web, como QQ Browser, Google Chrome, 360 Browser, Firefox y otras aplicaciones de software que nos permiten navegar por páginas web;
¿Qué es el motor de búsqueda? ?
Los motores de búsqueda son servicios de software para que los usuarios busquen contenidos, como Baidu, Google, 360, Bing, Search, etc.
¿Cómo funciona un buscador?
Por ejemplo, con las herramientas de diccionario, sólo necesitamos conocer el pinyin o los trazos de una palabra para encontrar rápidamente la página donde se encuentra la información detallada de la palabra.
Lo mismo ocurre con los motores de búsqueda. Primero, se recopila una gran cantidad de contenido en Internet, luego se procesa el contenido y se establece el índice correspondiente similar a un diccionario. Cuando los usuarios ingresan a la búsqueda de contenido, pueden devolver rápidamente la dirección del contenido relacionado.
¿Por qué no puedo encontrarlo allí?
Los principios de los motores de búsqueda se han explicado anteriormente. Es razonable indexar todo lo que hay en la web, pero no se pueden realizar búsquedas. ¿Por qué?
Los motores de búsqueda deben seguir un protocolo llamado robots al rastrear contenido.
El protocolo Robots, también conocido como robots.txt (uniformemente en minúsculas), es un archivo de texto codificado en ASCII almacenado en el directorio raíz del sitio web. Por lo general, les indica a los usuarios itinerantes de los motores de búsqueda web (también conocidos como arañas web) a qué contenido de este sitio web no deben acceder los itinerantes de los motores de búsqueda y a qué contenido se puede acceder.
El contenido del acuerdo de robot en el artículo del título es el siguiente
Agente de usuario: *
No permitido: /
Permitido : /queja/
Permitir: /media_partners/
Permitir: /acerca de/
Permitir: /user_agreement/
Permitir: / $
Agente de usuario: ByteSpider
Permitir: /
Agente de usuario: Toutiao Spider
Permitir: /
Solo se permite el rastreo de arañas web en el título, y otros motores de búsqueda prohíben el rastreo, por lo que estos artículos se pueden buscar en el título, pero otros motores de búsqueda no.