3i Crawler – передовой инструмент сбора информации из интернет-источников

10.04.2015
Современный мир интернет-услуг и веб-сервисов существенно зависит от непрерывной работы специальных программных агентов, называемых пауками и роботами, которые постоянно изучают интернет-сайты и анализируют размещенную там информацию. С их помощью поисковые системы производят индексацию интернет-сайтов, а службы поддержки интернет-порталов актуализирует информацию, размещаемую на сайтах поставщиков и партнеров.
Создание роботов – достаточно трудоемкая задача, требующая затрат труда программистов, причем, на постоянной основе, ведь структура сайтов имеет свойство постоянно изменяться. При этом следует иметь в виду, что коммерческие компании в среднем контролируют данные на десятках и сотнях интернет-площадок.
Специалисты компании DSS Lab, которая входит в состав консорциума 3i Technologies, разработали передовой программный продукт 3i Crawler, представляющий собой комплекс специализированных программ, предназначенный для автоматизации работ по сбору информации из различных интернет-источников. «Наш краулер– умный инструмент для получения данных с нужных интернет-сайтов в полуавтоматическом режиме,- поясняет Дмитрий Макаренко, директор по развитию бизнеса консорциума 3i Technologies.- ПО 3i Crawler имеет встроенные средства для описания структуры любого сайта с помощью удобного графического интерфейса, что дает возможность пользоваться этим инструментом сотрудникам, не имеющим опыта веб-программирования». В результате кардинально ускоряется процесс разработки роботов, обследующих сайты, а также значительно повышается качество сбора данных – специальный модуль проверяет корректность механизма анализа данных сайта.
Функционал 3i Crawler включает описание стратегии сбора данных с нужных интернет-ресурсов. При наличии такой стратегии процесс получения информации из Интернета становится гораздо более управляемым, чем раньше, и обеспечивает превращение больших  массивов данных, составляющих разнообразный контент различных сайтов, в унифицированную информацию, оперативно и качественно обрабатываемую средствами краулера.
Возможность получения данных с различных интернет-площадок, включая форумы, блоги, а также социальные сети и онлайновые базы данных, удобный режим отладки создаваемой системы сбора данных, поддержка различных языков для текстов сайтов – вот неполный перечень характеристик, которые делают 3i Crawler мощным наглядным и доступным инструментом управления всеми процессами, необходимыми для сбора данных из интернет-источников различных типов.
«Можно сказать, что 3i Crawler – это единая точка удобного доступа ко всему многообразию данных, где-либо существующих на интернет-сайтах или в соцсетях,- подчеркивает Алексей Любимов, председатель Совета директоров консорциума 3i Technologies.- Многие продукты, решения, услуги 3i Technologies базируются на обработке данных, собранных в интернет-пространстве. ПО 3i Crawler дало нам возможность управлять сбором интернет-данных  гораздо более эффективно, чем раньше».

← Все новости

Rambler's Top100