Лаврик - PHP парсеры - полный курс (2016)

Тема в разделе "Программирование", создана пользователем shooter, 12 апр 2016.

  1. shooter

    shooter Active Member

    Сообщения:
    1.632
    Репутация:
    132
    PHP парсеры - полный курс
    [​IMG]
    Автор: Лаврик
    Год: 2016
    Формат: mp4, pdf, php, txt


    Дорогие друзья, предлагаю вашему вниманию полный курс по PHP-парсерам в записи! За два месяца мы разобрали множество полезных и увлекательных тем.

    Вот ключевые из них:

    • CURL: основы и хитрые приёмы
    • Куки, авторизация, антикапча
    • Правильная организация стадий парсинга
    • PHPJqueryDOM и нативный класс-парсер
    • Ускорение работы строковых ключей в БД (целочисленная хеш-техника)
    • JS-морда — динамическая статистика вместо зависшего надолго PHP-скрипта
    • Парсинг картинок с bing по ключевикам
    • Модуль уникализации скачанных изображений

    Подробная программа курса

    Урок 1
    Умный CURL

    1. CURL — принципы работы
    2. Создание класса обёртки
    3. GET и POST запросы
    4. Работа с HTTPS
    5. Работа с куками
    6. Эмуляция всех заголовков браузера
    7. Фокусы keep alive
    8. Проксирование в теории
    9. Анализ заголовков
    10. Следование за редиректами
    Урок 2
    Организация парсинга

    1. Конфигурационные файлы для CURL
    2. Нативный парсинг
    3. MoveTo
    4. ReadTo
    5. ReadFrom
    6. Другие полезные функции
    7. Работа с PHPJqueryDOM
    8. Объекты и их свойства
    9. Селекторы и функции
    10. Сохранение результатов
    Урок 3
    Комбинированный парсинг

    1. Проблемы PHPJqueryDOM
    2. Доработка нативного класса
    3. Subtag
    4. Общая схема парсинга
    5. Разбор этапов парсинга
    6. Сохранение результатов в БД
    7. Класс-обёртка для PDO
    Урок 4
    Хранение скачанных данных

    1. Перенос данных в БД
    2. Таблица урлов: хорошее SEO + высокая скорость
    3. Нереальное ускорение - замыкаем урлы в кольцо чисел
    4. БД: хэш-таблица и коллизии
    5. Доработка класса БД
    6. Архитектурные изыски
    7. sender vs viewer
    Урок 5
    Фреймворк

    1. Организация PHP-классов
    2. Создание js-морды
    3. Две схемы: sender и viewer
    4. JS для ajax-парсинга
    5. JS для отображения статистики
    6. Плюсы и минусы каждой схемы
    7. Общая идея организации пауков
    Урок 6
    Противостояние

    1. Принцип работы капчи-картинки
    2. Пример создания простой капчи
    3. Антикапча
    4. Антикапча API
    5. Сохранение и передача изображения
    6. Ожидание и обработка результата
    7. Создание класса для антикапчи
    Урок 7
    Парсинг изображений

    1. Настройка парсера на bing
    2. Скачивание изображений
    3. Создание библиотеки для уникализации
    4. Работа с изображениями в PHP
    5. Освещение, обсцвечивание, сепия
    6. Отражение, повороты
    Урок 8
    Подведение итогов

    1. Доработка библиотеки для уникализации
    2. Приёмы уникализации
    3. Подведение итогов по темам
    4. Теория оценки рекламы
    5. Посетители * просмотры * CTR * стоимость
    6. Курс ещё не окончен :)
    На выходе вы сформируете полную картину организации парсинга сайтов на PHP. Вы получите мини-фреймворк для организации парсинга. А те из учеников, кто будет старательно делать дз, получат ещё и спаршенный сайт с десятками тысяч страниц :)
    Ориентировочная продолжительность одного занятия — 2 часа.
    После каждого урока выдаются домашнее задание для закрепления материала,
    которое нужно делать перед просмотром следующего видео.



    Часто задаваемые вопросы.
    1. Какой уровень начальных знаний нужен для прохождения курса?
    В идеале PHP + ООП. Без ООП вы поймёте основные процессы, но будете с напрягом работать с библиотеками и самописными классами для парсинга.
    2. А парсить сайты вообще легально?
    Конечно :) Если данные находятся в открытом доступе, нет разницы, скачиваете вы их вручную или с помощью робота.
    3. Что я получаю в комплекте?
    Восемь уроков, каждый из которых включает в себя видеозапись занятия, исходные материалы и примеры выполненных дз.
    4. Будет ли возможность задавать вопросы преподавателю?
    Все участники добавляются в закрытую группу, где мы тусуемся с учениками, проходившими этот курс онлайн. Там можно задавать вопросы и обсуждать темы парсинга.
    5. Будут ли ещё онлайн встречи?
    Будут. Весной мы соберёмся, чтобы доделать паука для скачивания сайта.
    6. А я пират, хочу купить курс и выложить в открытый доступ. Можно?
    Все видеозаписи для каждого ученика имеют водяные знаки с уникальными смещениями. Благо софт позволяет массово генерировать подобные вещи. Так что удачи в сокрытии ip, почты итп :)
    7. А курс ценный?
    1. Посмотрите, сколько на фрилансе заказов на парсеры. За один заказ вы отобьёте стоимость курса.
    2. Если вы не поленитесь сделать для себя несколько сайтов с более, чем 50000 страниц, то постепенно получите нормальный источник пассивного дохода.



    Сайт/Скачать:

    Отзывы:
    Пока нет.
     
    Последние данные очков репутации:
    sanekni: 1 Очко 20 июн 2016
    most1: 1 Очко 21 июл 2016
  2. irinfito

    irinfito New Member

    Сообщения:
    1
    Репутация:
    0
    Лаврик - известный преподаватель Школы программирования. Думаю, курс стоящий.
     
Загрузка...

Поделиться этой страницей