Feedly estaba robando su contenido esta es la historia y su código

La semana pasada, Feedly lanzó un controvertido nuevo “característica” - secuestro de enlaces de alimentación para robar tráfico de millones de bloggers.

Redirigir enlaces compartidos con Feedly a la propia opinión de Feedly del artículo en lugar del artículo en sí en el sitio original es una preocupación para los creadores de contenido original en muchos blogs. No solo resulta en pérdida de tráfico, sino que también es engañoso para aquellos que siguen un blog en particular.

Aquí está la historia completa de por qué la gente está enojada y cómo un blogger ayudó a corregir la situación. También profundizo en su código fuente para mostrarle cuán sucios son sus pequeños trucos.

Crédito adeudado: El lector digital fue la fuente original de esta noticia: decidí investigar un poco más y ver exactamente qué estaban haciendo..

Primero, las buenas noticias

En el momento de escribir este artículo, el comportamiento se ha corregido un tanto, de modo que los enlaces acortados de Feedly se envían al sitio de los creadores, pero un examen rápido del código de estado HTTP Los 10 sitios web principales para códigos de error y solución de problemas Los 10 sitios web principales para códigos de error y La resolución de problemas reveló que la redirección no se realizaba en el nivel de servidor típico con una redirección 301 o 302 (200, que Feedly está enviando, significa “sí, tenemos esa página, espera”; 404 significa “extraviado”; 301 significa “redirigir permanentemente a otra URL; mientras que 302 significa “redireccionamiento temporal”).

Esto significaba que la redirección se realizaba en JavaScript, por lo que quería saber más. Utilizando una herramienta de búsqueda de página web de línea de comandos llamada curl, pude obtener el código fuente de un enlace de Feedly de muestra a Techmeme.com antes de que ocurriera la redirección (ya que CURL no ejecutará JavaScript), y reveló algunos datos sorprendentes. Esto es lo que encontré.

(He subido la fuente completa aquí si desea echar un vistazo, a continuación solo presento algunos fragmentos interesantes)

Algunas personas estaban preocupadas por las implicaciones de SEO de básicamente que su contenido fuera robado y publicado nuevamente en otro lugar; la buena noticia es que Feedly configuró correctamente el rel =“canónico” metaetiqueta para indicar a Google que todos los valores de los enlaces deben pasarse al sitio original. Sin embargo, es imposible determinar si esto se agregó después de que comenzaron las quejas o si estuvo presente desde el principio.

Están eliminando anuncios

En lo que probablemente fue un intento equivocado de duplicar una funcionalidad de tipo de legibilidad 6 Bookmarklets que aumentarán su velocidad y productividad de navegación web 6 Bookmarklets que aumentarán su velocidad y productividad de navegación Los Bookmarklets son pequeños ayudantes insospechados que se encuentran en la barra de marcadores de su navegador. A diferencia de sus marcadores regulares, no archivan una URL, sino que los bookmarklets son pequeños applets de Java con una funcionalidad de un solo clic. Hay cientos de ..., que quita una página a sus elementos esenciales básicos, Feedly estaba quitando todos los botones de publicidad, seguimiento y redes sociales que pueden haberse incrustado en el elemento de feed original. Aquí está la lista completa de cosas que se están eliminando:

 var visualExcludePatterns = ["feedproxy", "feedburner", "/ ~", "feeds.wordpress.com", "stats.wordpress.com", "googleadservices.com", "feedads", "tweet-this", " fmpub "," - ads "," _ ads "," pheedo "," zemanta "," u.npr.org/iserver","openx.org","slashdot-it","smilies","/ico- "," commindo-media.de "," creatives.commindo-media "," doubleclick.net "," i.techcrunch "," adview "," / feed.gif ",". ads. "," / avw .php”,"wp-digg-this", "feed-injector", "/ plugins /", "tweetmeme.com", "_ icon _", "/ ad -", "share-buttons", "feedsportal.com", "buysellads "," holstee "," musictapp "," / ad _ "," / button / "," donate.png "," / sponsors / "," googlesyndication.com "," / pagead "," / adx "," assets / feed-fb "," assets / feed-tw "," feedburner.com/~ff","gstatic.com","feedsportal.com "]; 

Sacando un “donar” el botón parece particularmente irritante, por alguna razón.

Están secuestrando enlaces

Aquí llegamos al punto más serio, ya que Feedly no solo estaba eliminando el contenido de su sitio, sino que también estaban quitando los botones sociales originales y reescribiendo los metadatos. Esto significa que cuando alguien comparte el artículo posteriormente, de hecho compartir el enlace de Feedly y no la publicación original. Cualquiera que haga clic en ese enlace iría directamente a Feedly.

Captura de pantalla del contenido raspado de TheDigitalReader

¿Y qué, podrías preguntar? Cuando una publicación se vuelve viral, puede ser de gran beneficio para el sitio en cuestión: aumentar las visitas a la página y los ingresos publicitarios, y ampliar su audiencia. Feedly estaba robando ese beneficio específico del sitio para expandir su propia base de usuarios. El código de Feedly incluía comprobaciones para dispositivos móviles que dirigen a los usuarios a la página relevante de la tienda de aplicaciones.

 función acción (donde) var actionName = "seguir"; var url = "http://feedly.com/#" + encodeURIComponent ("suscripción /" + feedInfo.id); if (/iPhone|iPad/i.test (navigator.userAgent)) actionName = "install"; url = "http://itunes.apple.com/us/app/feedly/id396069556";  else if (/android/i.test (navigator.userAgent)) actionName = "install"; url = "market: // details? id = com.devhd.feedly";  _gaq.push (['_trackEvent', bucket (), actionName + "." + where, feedInfo.id]); window.setTimeout (function () document.location.href = url;, 20); window.event.cancelBubble = true window.event.stopPropagation (); window.event.preventDefault (); 

No fue “solo haciendo que el artículo sea más fácil de ver” - robaba tráfico, simple y llanamente. Eso realmente no es genial.

Su primera solución: una lista de exclusión codificada

Cuando The Digital Reader se quejó por primera vez a Feedly, su respuesta fue volver a codificar el Javascript para incluir un Lista de exclusion. Literalmente agregaron un cheque a cada enlace de Feedly para ver si era un elemento de The Digital Reader, y de ser así para evitar el secuestro de la página.

 var siteExcludePatterns = ["/ TheDigitalReader /"]; función shouldExcludeSite (url) 

Esta es, por supuesto, una forma absolutamente ridícula de hacer esto: si planeaban agregar a esa lista a medida que pasara el tiempo y más bloggers se quejaron?

Nate, de The Digital Reader respondió:

¿De dónde sales exigiendo que me excluya de tu secuestro? Es como decir que debería pedirle a alguien que deje de pegarme en la billetera. Y aun así piensas que es razonable?

Su segunda solución: un truco rápido para evitar todo el código

Después de lo que solo puedo suponer que fue un número abrumador de quejas que siguieron, ajustaron el filtro de secuestro de la siguiente manera:

 if (kind == "partial" || shouldExcludeSite ("http://www.techmeme.com/131202/p30#a131202p30") || verdadero) document.body.innerHTML = ""; document.location.href = "http://www.techmeme.com/131202/p30#a131202p30"; 

“Parcial” se refiere a que el contenido raspado es un feed completo o parcial; no tiene sentido secuestrar feeds que solo publican un extracto después de todo. Presumiblemente, esta función comenzó como la única verificación que se produjo al elegir si enviar al usuario al sitio original o no. Puede ver la primera solución después de eso, que llama a la función para verificar si este sitio está en la lista de sitios que se han excluido; pero luego vemos su solución final en su lugar -

 || cierto.

Si tienes experiencia en programación, reconocerás el truco rápido que dice “el siguiente código siempre se ejecutará”, y generalmente se usa solo en la depuración. Si alguna de esas 3 condiciones es verdadera (las dos primeras ya no importan), Feedly redirige a los usuarios instantáneamente al sitio original.

Y ahí es donde se encuentra ahora. Entonces que hemos aprendido?

Básicamente, Feedly se dedicó a crear una especie de experiencia de lectura reducida, pero la forma en que lo hicieron: reescribir enlaces para propagar su propio servicio a través de las acciones sociales posteriores fue bastante desagradable. Este no es el único movimiento malo que Feedly ha hecho recientemente tampoco: el mes pasado, comenzaron a requerir iniciar sesión con cuentas de Google+ (habiendo visto lo bien que funciona el inicio de sesión de Google+ para YouTube, la sección de comentarios de YouTube ahora está limpia, cortesía de Google+, sección de comentarios de YouTube ahora Limpiado, cortesía de Google+ Google ha limpiado YouTube con un nuevo sistema de comentarios impulsado por Google+. Ahora verá los comentarios más votados, los de las personas en sus círculos de Google+ y del propietario del video. , pero eso también se revirtió rápidamente. La lección es: es posible que desee comenzar a buscar un lector de feeds alternativo. El fin de Google Reader está cerca: prepárese con estos lectores RSS alternativos El fin de Google Reader está cerca: prepárese con estos lectores RSS alternativos Google Reader está muerto. Para julio, el principal servicio RSS de Internet se está cerrando para siempre, lo que deja a los usuarios encontrar un reemplazo por su cuenta. Si está buscando un equivalente a Google, estos son solo ..., a menos que ya haya sido engañado para pagar $ 99 por una cuenta Pro.