Загрузите веб-страницы на свой локальный компьютер с помощью WebCopy

Иногда вам может потребоваться загрузить веб-сайт или его часть в свою локальную систему. Возможно, вы хотите использовать содержимое в автономном режиме или из соображений безопасности, чтобы иметь доступ к содержимому, даже если веб-сайт становится временно или постоянно недоступным.

Мой любимый инструмент в работе — это Httrack. Это бесплатно и поставляется с впечатляющим набором функций. Хотя это замечательно, если вы потратите некоторое время на то, чтобы привыкнуть к тому, что предлагает программа, иногда вам может потребоваться более быстрое решение, которое вам не нужно тщательно настраивать перед использованием.

Вот где WebCopy вступает в игру. Это также сложная программа, которую вы обнаружите, когда углубитесь в настройки приложения, но если вы хотите быстро скопировать веб-страницу в свою локальную систему, вы можете сделать это сразу, игнорируя дополнительные параметры конфигурации.

веб-копия

  1. Вставьте или введите веб-адрес в поле веб-сайта в WebCopy.
  2. Убедитесь, что папка для сохранения верна.
  3. Нажмите на копию сайта, чтобы начать загрузку.

Это все, что нужно сделать. Программа обрабатывает выбранную страницу для вас, отображая прогресс на вкладке результатов интерфейса. Здесь вы видите загруженные и пропущенные файлы, а также ошибки, которые могут вообще помешать загрузке. Сообщение об ошибке может помочь вам проанализировать, почему не удается загрузить определенную страницу или файл. Однако в большинстве случаев вы действительно ничего не можете с этим поделать.

Вы можете получить доступ к локально сохраненным копиям, щелкнув кнопку открытия локальной папки или перейдя к папке сохранения вручную.

Этот базовый вариант поможет вам только так далеко, поскольку таким образом вы можете скопировать только одну веб-страницу. Вам необходимо определить правила, если вы хотите загрузить дополнительные страницы или даже весь веб-сайт. Правила также могут помочь вам, когда вы столкнетесь с битыми страницами, которые невозможно скопировать, поскольку вы можете исключить их из загрузки, чтобы оставшиеся страницы были загружены в локальную систему.

правила веб-копирования

Чтобы добавить правила, щелкните правой кнопкой мыши список правил в главном интерфейсе и выберите добавить из вариантов. Правила — это шаблоны, которые сопоставляются со структурой веб-сайта. Чтобы исключить конкретный каталог из сканирования, вы просто добавляете его в качестве шаблона и выбираете параметр исключения в меню конфигурации правил.

Это все еще не так интуитивно понятно, как параметр глубины ссылки HTTracks, который можно использовать для определения глубины сканирования и загрузки.

WebCopy поддерживает аутентификацию, которую вы можете добавить в формы и настройки пароля. Здесь вы можете добавить веб-адрес, требующий аутентификации, а также имя пользователя и пароль, которые вы хотите, чтобы поисковый робот использовал для доступа к содержимому.

Примечание. Для работы программы требуется Microsoft .Net Framework 3.5.

подсказки

  1. Меню диаграммы веб-сайта отображает вам структуру активного веб-сайта. Вы можете использовать его для добавления правил в поисковый робот.
  2. Вы можете добавить дополнительные URL-адреса, которые хотите включить в загрузку, в разделе «Свойства проекта»> «Дополнительные URL-адреса». Это может быть полезно, если поисковый робот не может автоматически обнаружить URL-адреса.
  3. Пользовательский агент по умолчанию можно изменить в настройках. Хотя обычно в этом нет необходимости, вы можете столкнуться с некоторыми серверами, которые блокируют его, поэтому вам нужно изменить его, чтобы загрузить веб-сайт.

Вердикт

Программа идеально подходит для загрузки отдельных веб-страниц в локальную систему. С другой стороны, систему правил не так удобно использовать, если вы хотите загрузить несколько страниц с веб-сайта. Я бы предпочел вариант в настройках, чтобы просто выбрать глубину ссылки, которую я хочу, чтобы программа сканировала, и покончила с этим. (через Сделать технологию проще)