Парсер третий: Selenium

[swamp_agr]

Selenium - это чисто точка входа в удивительный мир возможностей использовать разные драйверы.

Хром и мозилла завелись сразу.

PhantomJS ругнулся на ghostdriver, зашитый в его кишки. В кач-ве решения предлагают пересобрать его из исходников, захачив ghostdriver.

HtmlUnit валится с ошибкой, вах, не могу поменять read-only поле constructor, исполняя

Comments

[enternet]

puppeteer
Headless Chrome

[swamp_agr]

Завтра как раз проверю случай с кукисами и 50 URL-ами, если не вылетит капча и взлетит - поставлю headless chromium на сервер, чего уж тут поделать...

[nponeccop]

Почитал внимательнее - оказалось что "различные драйверы" - это уже не просто "локальные NIH селениумовские драйверы". Это WebDriver API в статусе W3C Recommendation https://www.w3.org/TR/webdriver/ , реализуемый вендорами браузеров (включая внезапно Эдж https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/)

То есть любой future proof тест-фреймворк должен работать с браузерами через этот стандартный интерфейс.

Но это для нужд тестинга конечно, парсер (я слежу за темой) - это несколько другая область. Из не упомянутого - см. например https://www.npmjs.com/package/jsdom

[swamp_agr]

Ага, сам в шоке, W3C.

Парсер - это историческое название web scrapper тулы, пытавшейся обойти целевой ресурс, который сначала был выкуплен Яндексом, а потом встроил в себя защиту от нецелевого опроса, которая раньше обходилась Фантомом, а теперь - по-видимому, хромиумом/хромом. Делаю proof-of-concept "оффлайн" опроса. Если сработает - переделаю чуть логику, буду еженедельно свежие данные подвозить..

Ну и не охота хром на сервер тащить. Т.е. теперь всё усложняется тем, что есть ES6 скрипт, который после выполнения в браузере или фантоме должен устанавливать периодически конкретную куку, которую мне не следует терять, иначе "привет капча". Фантом так уже не умеет. Хром, вроде, может.