Заказать курсовые, контрольные, рефераты...
Образовательные работы на заказ. Недорого!

Параллелизм. 
Разработка программного обеспечения по поиску вакансий для работодателей и ищущих работу с использованием параллельного поиска на различных интернет-ресурсах

РефератПомощь в написанииУзнать стоимостьмоей работы

В разработке данного программного обеспечения была использована библиотека grequests. В простейшем случае для запуска одновременных запросов достаточно всего пары строк для распараллеливания кода, что являлось одним из самых весомых критериев на этапе выбора языка разработки. Однако, в данной работе это было реализовано сложнее. LXML — это XMLHTML парсер, который будет использован для извлечения… Читать ещё >

Параллелизм. Разработка программного обеспечения по поиску вакансий для работодателей и ищущих работу с использованием параллельного поиска на различных интернет-ресурсах (реферат, курсовая, диплом, контрольная)

Параллелизм помогает получить данные как можно быстрее, однако, запустив, к примеру, 200 параллельных запросов, можно только разозлить владельца хоста и не стоит допускать более пяти одновременных запросов.

В разработке данного программного обеспечения была использована библиотека grequests. В простейшем случае для запуска одновременных запросов достаточно всего пары строк для распараллеливания кода, что являлось одним из самых весомых критериев на этапе выбора языка разработки. Однако, в данной работе это было реализовано сложнее.

CSS Селекторы

При построении дерева тегов и парсинга html страницы, была использована библиотека xPath селекторов, однако, если имеется опыт работы с javascript, то иногда, удобнее делать выборки при помощи CSS селекторов. В качестве аналога, так же можно использовать PyQuery — аналог jQuery, библиотеки JavaScript, фокусирующаяся на взаимодействии JavaScriptи HTML. На языке Python, и xPath и css_to_xpath принадлежат библиотеке lxml.

LXML — это XMLHTML парсер, который будет использован для извлечения всей необходимой информации из выбранной веб-страницы. В качестве аналога. можно рассматривать парсер BeautifulSoup, так же разработанного для синтаксического разбора файлов HTML/XML, полностью написанный на Python.

Показать весь текст
Заполнить форму текущей работой