Сколько зарабатывает Церебро: пишем свой парсер

Привет. Давно ничего не писал и пора это исправлять. Это наверное 25 вариант начала статьи. Совсем потерял «стиль», если таковой и был.

В этой статье я расскажу как можно с помощью нескольких строчек программного кода, умения пользоваться готовыми решениями, головы на плечах и терпения написать свой простой «парсер». Бонусом будет то, что если подойти к этому с головой, то можно еще узнать сколько примерно в месяц зарабатывает Церебро на своих пользователях

Как сделать свой парсер

Если вы думаете что это сложно, то вы заблуждаетесь. Сложно из этого сделать продукт с именем такие как Церебро или Сегменто-Таргер. Если делать для себя и без особых требований к интерфейсу, обработке ошибок и еще кучи разных вещей, то большую часть тех же парсеров, которые есть в Церебро можно сделать достаточно быстро…. относительно быстро. Насколько относительно я расскажу на своём примере

  • 15 февраля 2016 я пошёл на курсы по Python (надо же на чём-то уметь писать, иначе никак)
  • До этого я особо ничего не умел. Пробовал конечно простые вещи типа математических операций или «if … else», но до функций и циклов никогда самостоятельно не доходил, а есть еще классы (ооп), которое я вообще не понимаю
  • Я знал, что на github.com есть готовые решения для взаимодействия с api vk, через которые все скрипты данные и получают. Нужно было только разобраться как с ними работать
  • Учитывая сколько времени потрачено на сериалы, то можно было бы уложиться недели в 2 или в неделю (поменьше сериалов, ага)
  • 9 марта в 00:50 мне удалось получить данные из конкретного обсуждения группы (https://vk.com/topic-73662138_30552450) и записать данные в эксель файл filename11 - Excel 2016-03-09 22.40.52

Итого: для написания парсера конкретного топика обсуждения из заданной группы потребовалось 3 недели!!! А ведь это мой первый опыт программирования как таковой.

Что потребуется чтобы написать свой первый парсер на Python с нуля без знаний программирования

  1. Качаем и устанавливаем PyCharm + можно еще https://www.continuum.io/downloads (тут автоматом ставит всё под винду + рекомендую попробовать Jupyter Notebook для начала (скрин — http://take.ms/T4YoS)
  2. http://pythonworld.ru/ http://pythontutor.ru/ — разобраться с синтаксисом Python
  3. Научиться устанавливать готовые пакеты с github.com
  4. Установить пакет vk-requests (не пугайтесь, как я написал выше можно не понимать что это, главное понимать что на выходе — [{‘first_name’: ‘Pavel’, ‘last_name’: ‘Durov’, ‘id’: 1}]и как с этим работать), пакет xlsxwriter для записи в эксель (если требуется, можно и в csv без проблем)
  5. Написать код

Вот что получилось у меня (100% это говно-код и можно его улучшить)

cerebro-kod

— https://www.dropbox.com/s/uq1po172zjk7j35/GetBoardTopicComments.py?dl=0

Вы можете взять мой скрипт, изменить в нём

Group_id 73662138 Topic_id =30552450

и получить данные из того топика, который вам нужен
Как выглядит выполнение скрипта в PyCharm
На выходе у нас получается вот такой вот Эксель-файл (в гугло-доках).

Бонус

Почему меня заинтересовало именно это обсуждение? В этом обсуждении пользователи Церебро публиковали заявки на подключение к системе до появления сайта. Каждая такая заявка содержит дату публикации, сумму оплаты, способ оплаты, автора и тд.

Оставить заявку _ Церебро Таргет - Google Chrome 2016-03-09 23.44.31

Следовательно, выгрузив комментарии из этого топика, сможем увидеть динамику заявок в Церебро на подключение и сделать предположения и доходах данного сервиса с некоторой погрешностью

Прежде чем строить этот график нужно было конечно подготовить данные: удалить ответы админа, удалить сообщения не «заявки». Это около 50-60%.

Как видно на графике после 25 марта 2015 идёт резкий обвал обращений через топик. Предполагаю, что большая часть новых и повторных покупок ушла на сайт.

Если нарисовать линию тренда, то получится примерно так

Церебро - Google Sheets - Google Chrome 2016-03-09 23.55.44

60% как было написано выше — это «плохие» обращения. В итоге получаем 100 заявок на оплату в сутки. Если чек составляет 700 рублей, то выходит 70 000 рублейв день или
2 100 000 руб. в месяц!!!.

Теперь вы понимаете почему так много было аналогов в 2015 году?

Выводы

Написать простой скрипт для сбора данных из ВКонтакте можно достаточно быстро и с нуля. Навык программирования более устойчивый во времени и более универсальный чем навыки по SMMинтернет-маркетингу.

Скрипты для сбора данных из ВК отличный вариант для начала изучения языка программирования для SMM-специалиста, так как на выходе у вас получаются данные, которые можно использовать для анализа, ретаргетинга и тд.

 

Остались вопросы или пожелания? Оставляйте их в комментариях

  • Дмитрий

    У них есть онлайн оплата довольно давно. + не всегда платили 700. У них есть возможность покупки от 1 дня до 1 года. Некоторые брали по акции, например можно было примерно за 1,3к купить год (когда устраивали складчину официальную)

    • Дмитрий, расчет естественно очень грубый и без учета многих параметров. Не думаю что я ошибся больше чем на 50% в своих расчетах или заработок Церебро составляет минимум 1,05 млн в месяц.

  • Eugene Yudin

    Что касается программирования, как навыка — +1
    Странно что до народа до сих пор не дошло. SMM и интернет-маркетинг гораздо проще осваивать имея навыки программирования в вебе.
    +вездесущий эксель и его VBA.

  • Skoba89

    Про ООП Лутц нормально пишет. Сам ща изучаю питон — классная тема) C XML + python разобрался. Подал идею — займусь аналогом церебро.

    • А зачем? Есть сотни социальных сетей почему их все упускают из виду? Почему все лезут ВКонтакте?

      • Skoba89

        Для себя больше для практики. Так-то пользуюсь церебро)

        • А я думал для зарабатывания денег)))))

  • Pingback: SMM-программирование. Часть 1 — устанавливаем Python — freesmm.ru – SMM блог()

  • супер!

  • Иван Благополучный

    File «vk.py», line 87, in
    print(i, Topic_info)
    File «C:Program FilesAnaconda3libencodingscp866.py», line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_map)[0]
    UnicodeEncodeError: ‘charmap’ codec can’t encode character ‘u0306’ in position
    480: character maps to
    Exception ignored in: <bound method Workbook.__del__ of >
    Traceback (most recent call last):
    File «C:Program FilesAnaconda3libsite-packagesxlsxwriterworkbook.py», li
    ne 148, in __del__
    Exception: Exception caught in workbook destructor. Explicit close() may be requ
    ired for workbook.

    Ну и почему ваш скрипт не работает? С авторизацией все в порядке. Кодировка исходника UTF-8, не могу понять как ликвидировать ошибки.