Что такое веб маяки
Дискриминация котов: веб-трекинг через невидимые картинки
Вы когда-нибудь задумывались над тем, по какому принципу вам показывают таргетированную рекламу? Почему, даже не лайкая ничего во время сёрфинга вы, возвращаясь на Facebook, видите рекламу, связанную с посещёнными вами сайтами? И кто заинтересован в том, чтобы отслеживать пользователей? В рамках моего учебного проекта, мне предстояло выяснить, какие компании стоят за трекингом посещений сайтов, и что они используют, чтобы делать это, не привлекая особого внимания.
Почему дискриминация
Что понимать под дискриминацией пользователей в интернете? Это когда цены на товары в онлайн магазинах меняются в зависимости от того, какие устройства используются для просмотра каталога. А нарушение приватности начинается тогда, когда сайты показывают вам рекламу средств от бессонницы, потому что вы засиживаетесь допоздна, так как это указывает на то, что данные о времени вашего пребывания в интернете передаются сторонним компаниям.
Что такое веб маяки
Веб маяк (в английском варианте «web beacon», или «1×1 pixel image») — это крошечная или прозрачная картинка, которая встраивается в страницу и используется для отслеживания действий пользователей.
Такие невидимые маяки могут использоваться не только для веб аналитики, но и для сбора агрегированной информации с целью продажи её сторонним сайтам, для построения социальных графов. Ещё одним из способов применения веб маяка это проверка, что электронное письмо прочитано. Отправитель узнает об этом, как только по определенной ссылке картинку запросили, а адресат может и не заметить, что она была в теле письма.
Сбор данных и статистика
В качестве начальных данных у меня было несколько JSON файлов со ссылками на картинки (как статически, так и динамически подгружаемых) с топ 800 доменов (по версии ALEXA). Оставалось разработать скрипт, который парсит эти файлы, проходит по ссылкам, закачивает картинки и сохраняет информацию о них в базе данных SQLite.
Эти JSON файлы содержали все ссылки на картинки, как 1st party (картинки находятся на том же сайте, где размещена ссылка на них) так и 3rd party (картинки хранятся на сторонних сайтах). И если в первом случае, маяки могут использоваться вполне в безобидных целях (для веб аналитики в пределах сайта), то во втором случае задействовано несколько сторон, и это уже межсайтовый трекинг. Так как интересовал именно последний случай, я использовала библиотеку tld, чтобы извлекать домен верхнего уровня.
Скрипт работает так, как если бы все cookies очищались перед каждым запросом, поэтому в первоначальных запросах к серверам поле Cookies пустое. Если в ответе от сервера есть заполненное поле set-cookie, это значение заносится в базу данных.
Есть два способа вычисления маяка: проверка размера и проверка поля в HTTP заголовке content size. Но не все ответы на запросы содержат поля content length и content type, так как они опциональные и даже могут содержать неправильные данные. Также встречаются маяки, которые при размере 1×1, возвращаются в пакете с content length > 100, так как картинка PNG формата. Поэтому при построении графиков я не учитывала значение content length.
Что делать, если в ответе нет картинки? Бывает, что сервер возвращает статус 204. Это означает, что контента нет, но, тем не менее, прохождение по ссылке зафиксировано. Поэтому если статус 204 и content type в HTTP заголовке содержит «image/», скрипт предполагает, что это веб маяк и помещает в базу значения width = 0 и height = 0. Таких маяков встретилось 37 294 (1.53%).
Всего было проверено 8 586 314 ссылок на картинки, в базе содержатся данные о 5 873 372 3rd party картинках, из них 2 431 277 маяка (41% от количества сторонних картинок это веб маяки!).
И еще немного статистики
В таблице image_domains хранится информация о провайдерах картинок (то есть это не те 800 топ сайтов со ссылками на картинки, а сервера, непосредственно хранящие эти картинки).
Количество доменов: 800
Количество доменов, где встретился хотя бы один маяк: 760
Количество страниц: 124 214
Количество страниц, где встретился хотя бы один маяк: 111 442
Количество провайдеров картинок: 4 348
Количество провайдеров картинок-маяков: 1 325
И то, что есть 40 доменов, на которых не встретился ни один маяк, не говорит о том, что они их не используют. Возможно, они используют маяки нестандартного размера (1×2, 3×1), которые тоже встречались при выборочной проверке ссылок.
Топ игроки на рынке веб трекинга
Итак, в базе 2 431 277 маяков. Интересно узнать, маяки каких из 1 325 провайдеров чаще всего встречались на страницах топ 800 доменов.
Используя такие маяки, компании и организации могут отслеживать онлайн-поведение пользователей Интернета. Сначала компании, занимавшиеся таким отслеживанием, были в основном рекламодателями или компаниями веб-аналитики ; позже сайты социальных сетей также начали использовать такие методы отслеживания, например, с помощью кнопок, которые действуют как маяки слежения.
В настоящее время ведется работа по стандартизации интерфейса, который веб-разработчики могут использовать для создания веб-маяков.
СОДЕРЖАНИЕ
Обзор
Обрамление
Использование кадрирования добавило веб-маякам новый уровень универсальности. Фрейминг позволяет веб-страницам ссылаться на контент, такой как изображения, кнопки или элементы HTML, которые расположены на других серверах, вместо того, чтобы размещать этот контент непосредственно на своем собственном сервере. Когда пользователь видит электронное письмо или веб-страницу, программа чтения электронной почты пользователя или веб-браузер подготавливают упомянутый контент для отображения. Для этого он должен отправить запрос на сторонний сервер, чтобы попросить его отправить упомянутый контент. В рамках этого запроса компьютер пользователя затем должен предоставить идентификационную информацию стороннему серверу.
Этот протокол позволяет компаниям встраивать маяки в контент, которым они не владеют или не управляют напрямую, а затем использовать такие маяки для отслеживания. Маяки встраиваются в электронное письмо или веб-страницу в виде изображений, кнопок или других элементов HTML, но они размещаются на другом сервере, чем веб-сайт, на котором они встроены, и именно на этот сторонний сервер запрашивается и идентифицирующая информация послал.
Например, в случае рекламы, которая отображается в виде изображения на веб-странице, файл изображения будет находиться не на главном сервере страницы, а на сервере, принадлежащем рекламной компании. Когда пользователь открывает страницу, компьютер пользователя запрашивает загрузку рекламы с сервера страницы, но затем будет перенаправлен на сервер рекламодателя и запросит загрузку изображения с сервера рекламодателя. Этот запрос потребует, чтобы компьютер пользователя предоставил рекламодателю идентифицирующую информацию о себе.
Это означает, что сторонний сайт, такой как рекламодатель, может собирать информацию о посетителях основных сайтов, таких как новостной сайт или сайт социальной сети, даже если пользователи не нажимают на рекламу. Более того, учитывая, что маяки не просто встроены в видимую рекламу, но могут быть встроены в полностью невидимые элементы, третья сторона может собирать такую информацию, даже если пользователь совершенно не знает о существовании третьей стороны.
Использование компаниями
Как только компания может идентифицировать конкретного пользователя, она может отслеживать поведение этого пользователя при множественных взаимодействиях с разными веб-сайтами или веб-серверами. В качестве примера рассмотрим компанию, владеющую сетью веб-сайтов. Эта компания могла хранить все свои изображения на одном конкретном сервере, но хранить остальное содержимое своих веб-страниц на множестве других серверов. Например, каждый сервер может относиться к определенному веб-сайту и даже находиться в другом городе. Но компания может использовать веб-маяки, запрашивающие данные с одного сервера изображений, для подсчета и распознавания отдельных пользователей, посещающих разные веб-сайты. Вместо того, чтобы собирать статистику и управлять файлами cookie для каждого сервера независимо, компания может анализировать все эти данные вместе и отслеживать поведение отдельных пользователей на всех различных веб-сайтах, собирая профиль каждого пользователя, когда они перемещаются по этим различным средам.
Email-отслеживание
Заголовки электронной почты «Return-Receipt-To» (RRT) также могут инициировать отправку информации, и их можно рассматривать как другую форму веб-маяка.
Веб-маяки используются маркетологами электронной почты, спамерами и фишерами для проверки того, что электронное письмо прочитано. Используя эту систему, они могут отправлять похожие электронные письма на большое количество адресов, а затем проверять, какие из них действительны. Действительный в этом случае означает, что адрес действительно используется, что письмо прошло проверку на спам-фильтры и что его содержимое действительно просматривается.
Однако, поскольку маяки могут быть встроены в электронную почту как не изобразительные элементы, электронная почта не обязательно должна содержать изображение или рекламу, или что-либо еще, связанное с личностью контролирующей стороны. Это затрудняет обнаружение таких писем.
Некоторые программы чтения электронной почты предлагают возможность отключить весь HTML-код в каждом сообщении (таким образом, все сообщения будут отображаться в виде простого текста), и это также предотвратит работу маяков отслеживания.
В последнее время многие программы чтения электронной почты и веб-службы электронной почты отказались от загрузки изображений при открытии гипертекстового сообщения электронной почты, исходящего от неизвестного отправителя или подозреваемого в спаме. Пользователь должен явно выбрать загрузку изображений. Но, конечно, маяки могут быть встроены в не графические элементы гипертекстового электронного письма.
Beacon API
Использование Beacon API позволяет отслеживать, не мешая или не задерживая навигацию от сайта, и невидимо для конечного пользователя. Поддержка Beacon API была представлена в браузере Mozilla Firefox в феврале 2014 года и в браузере Google Chrome в ноябре 2014 года.
За нами следят веб-камеры: как уберечься от чужих глаз
За ними наблюдают. В этом уверены почти 90% россиян. В этом они подозревают спецслужбы, крупные корпорации и мошенников. Особенно люди опасаются слежки через камеры компьютеров и смартфонов.
Специалисты рекомендуют заклеивать камеру на компьютере. От профессионального киберпреступника это, конечно, не спасет, но, как минимум, вам так будет спокойнее.
— Каждый раз, когда начинаю снова работать за компьютером, всегда меняю скотч, чтобы, на всякий случай, он не отклеился.
Этот нехитрый ритуал – первое, что делает житель Сочи Артур Магомедов, как только открывает крышку ноутбука. Уж слишком не хотелось бы молодому человеку оказаться под наблюдением чужих любопытных глаз.
«Когда ты сидишь, вроде бы, сохраняется такая твоя интимная домашняя обстановка, где ты можешь расслабиться, и что за тобой постоянно кто-то наблюдает. Это все равно сковывает немного», – отмечает Артур Магомедов.
Кстати, в том, что Большой брат следит за ними, уверены почти 90% россиян. Причем значительная часть соотечественников считает, что делают это крупные корпорации, чтобы атаковать их таргетированной рекламой. Но эксперты уверяют: ваши хоум-видео, в отличие от разговоров, коммерческим компаниям не слишком интересны.
«Нужно понимать, что функционал камеры намного шире, в том числе смартфоновской камеры, – подчеркивает исполняющий обязанности декана факультета рекламы и связей с общественностью РГГУ Алан Абаев. – И, в первую очередь, важно не видеонаблюдение, а аудионаблюдение. В основном, это работают механизмы, роботы. И они оценивают слова».
Когда следят роботы – это не так страшно. Гораздо хуже, когда за вами наблюдают мошенники. Правда, делать это они будут только при условии, что вы не рядовой гражданин, а, например, звезда шоу-бизнеса. Иначе, уверяет Дмитрий, ради вас никто не будет, что называется, заморачиваться. А словам бывшего хакера, наверное, можно верить.
«Если вы никакая не известная медийная личность, не политик – человек, на которого может быть интересен компромат, вам переживать определенно нечего. За вами, вряд ли, кто-то следит», – утешает сограждан специалист по информационной безопасности, бывший хакер Дмитрий Буравцов.
Но чисто теоретически это все-таки возможно. Чтобы кто-то не наблюдал за вами, на всякий случай наблюдайте сами. Не за другими людьми, конечно, а за своими гаджетами.
«Можно проследить за общими признаками заражения устройства – это странное поведение: зависание, это появление новых файлов, это перезагрузки», – перечисляет признаки, который могут свидетельствовать о пояснение киберугроз замглавы лаборатории компьютерной криминалистики по обучению Анастасия Баринова.
Чтобы не допустить заражения компьютера или телефона вредоносными программами, которые могут получить доступ к камере, специалисты советуют посещать только официальные сайты и пользоваться антивирусом. А, скачивая даже лицензионное приложение, давать ему минимальный доступ к своим ресурсам.
И заклеивать камеру. От профессионального киберпреступника это, конечно, не спасет, но, как минимум, вам так будет спокойнее.
Русские Блоги
Что такое маяки-приложения в веб-аналитике (маяк веб-аналитики)
Я всегда хотел написать статью о маяке. Когда я искал информацию сегодня, я случайно нашел хорошую статью на английском языке. обучения. (Спасите меня, чтобы написать снова! Хахаха! Заставляет вас смеяться!)
Английский оригинальный адрес:
[url]http://www.seolion.com/how-web-beacons-work/[/url]
Веб-маяки обычно представляют собой прозрачные изображения размером 1 * 1 пиксель, которые включаются в веб-страницы или электронные письма. Это мост для обмена данными между клиентом и сервером сбора данных Web Analytics.
Давайте посмотрим, как веб-маяки передают данные на сервер.
[b] Веб-маяки реализованы через теги javascript. [/ b]
(Оригинал: веб-маяки через теги javascript)
Как правило, методы сбора данных Web Analytics реализуются с помощью тегов javascript. Каждая веб-страница, которая должна быть проанализирована или отслежена, будет содержать некоторый код JavaScript. Например, вот код для инструмента анализа statcounter (это бесплатно, что важно):
> (После работы завтра будет Праздник середины осени, сначала идите домой. Вернитесь из отпуска и продолжайте писать. Сначала будут скопированы другие непереведенные части.) (Извините всех.)
[b] Веб-маяки используются в качестве носителей передачи данных для отслеживаемых веб-страниц. [/ b]
(Оригинал: веб-маяки как часть определенной веб-страницы для мобильных устройств)
Кто следит за вами в Интернете?
Знаете ли вы, сколько компаний отслеживает вас при посещении одного-единственного сайта? Ответ может вас удивить.
Соцсети, новостные порталы, поставщики мультимедийного контента, онлайн-магазины — в сравнении с сайтами недавнего прошлого все они предлагают по-настоящему высококачественный контент. Чтобы обеспечить такой высокий уровень качества, нужны значительные инвестиции. Как водится в случае инвестиций, они должны окупиться. Но в наши дни контент в подавляющем большинстве случаев доступен бесплатно — так как же обстоит дело с возвратом инвестиций? Кто оплачивает банкет?
Ответ весьма прост: нравится нам это или нет, за контент мы расплачиваемся приватными данными. Эта информация обрабатывается сложными системами, которые отслеживают пользователей и узнают наши вкусы и предпочтения.
Как далеко заходят системы слежки?
Насколько активно системы отслеживания используются веб-сайтами? Что ж, на 100% из 1000 самых посещаемых ресурсов, на которые заходят пользователи, включенные в сеть Kaspersky Seсurity Network, используется хотя бы один сервис слежки. Большинство веб-ресурсов используют больше одного подобного сервиса, а некоторые — десятки или даже сотни!
Например, посмотрим на TMZ.com. Согласно рейтингу Alexa, этот сайт занимает 677-е место в списке самых посещаемых сайтов в мире, то есть это не Google, конечно, но довольно популярный ресурс. Инструмент «Лаборатории Касперского» «Защита от сбора данных» регистрирует около 700 заблокированных служб на домене tmz.com, как следует из скриншота ниже (на 11 марта 2016 года).
Как это вообще возможно?
С помощью бесплатного расширения Lightbeam можно посмотреть все подключения к сторонним ресурсам с tmz.com. В центре диаграммы — домен tmz.com, а десятки отходящих от него «тентаклей» изображают подключения к сторонним доменам. Эти подключения устанавливаются сразу же, как только вы попадаете на страницу tmz.com.
Выражаясь простыми словами, когда вы посещаете tmz.com, вам кажется, что вы подключаетесь к одному-единственному серверу данного веб-ресурса. Но на самом деле вы подключаетесь к огромному количеству внешних серверов по всему миру. Конечно, не все эти подключения обязательно навредят вашей частной жизни. Но так или иначе посещение этого сайта устанавливает за вами слежку около 700 различных служб, и инструмент «Лаборатории Касперского» может их заблокировать.
Что это за службы?
Часть веб-служб, осуществляющих слежку, фиксирует онлайн-поведение пользователя для показа рекламы. Таких служб, детектируемых средствами «Касперского», 43% от общего числа, и они помогают таргетировать рекламные объявления. Они составляют категорию «Рекламные агентства».
Топ-10 служб слежки в категории «Рекламные агентства»
Оставшиеся 57% сервисов отслеживания попадают в категории веб-маяков и инструментов веб-аналитики. Категория «Инструменты веб-аналитики» включает в себя все службы, которые собирают данные для статистических целей и не занимаются безусловным сбором данных с целью таргетирования контента (например, рекламного). Примерами подобных сервисов могут быть счетчики посещаемости, а также инструменты А/В-тестирования, измерения реферального трафика и приложений, тепловые карты, сервисы геолокации, службы подсчета времени, проведенного пользователем на веб-странице, и так далее.
Топ-10 служб слежки в категории «Инструменты веб-аналитики»
В категорию «Веб-маяки» входят службы, однозначно отслеживающие пользователя, в том числе на нескольких устройствах и доменах, а также следящие пиксели, маяки и другие нетривиальные методы слежки.
Топ-10 служб слежки в категории «Веб-маяки»
Блокировщик слежки от «Лаборатории Касперского»
Возможно, лучший способ избежать нежелательной слежки — использование функции «Защита от сбора данных». Насколько хорош этот инструмент? Что ж, можем, к примеру, сравнить его с одним из конкурентов в этом сегменте, сервисом Ghostery. На диаграмме ниже показано количество инструментов слежки, заблокированных Ghostery и «Лабораторией Касперского». Эти данные получены 4 мая 2015 года, и мы можем вас заверить, что количество блокируемых «Касперским» сервисов слежки растет с каждым днем благодаря усилиям наших экспертов.
Как мы получили такие результаты? Данные Ghostery можно увидеть в подменю «Опции» в меню расширения. Чтобы получить данные инструмента от «Лаборатории Касперского», нужно зайти в настройки Kaspersky Internet Security или Kaspersky Total Security, а затем перейти во вкладку «Защита» —> «Защита от сбора данных» —> «Категории и исключения». Затем, кликнув на каждую категорию, можно в реальном времени увидеть общее количество сервисов отслеживания в нашей базе данных.
Количество сервисов слежки, блокируемых нашей «Защитой от сбора данных»
Функция «Защита от сбора данных» имеется в Kaspersky Internet Security и Kaspersky Total Security. Оба этих продукта доступны для 30-дневного бесплатного тестирования, и мы уверены, что за это время вы сможете почувствовать разницу «до» и «после».