Параллелизм.
Разработка программного обеспечения по поиску вакансий для работодателей и ищущих работу с использованием параллельного поиска на различных интернет-ресурсах
В разработке данного программного обеспечения была использована библиотека grequests. В простейшем случае для запуска одновременных запросов достаточно всего пары строк для распараллеливания кода, что являлось одним из самых весомых критериев на этапе выбора языка разработки. Однако, в данной работе это было реализовано сложнее. LXML — это XMLHTML парсер, который будет использован для извлечения… Читать ещё >
Параллелизм. Разработка программного обеспечения по поиску вакансий для работодателей и ищущих работу с использованием параллельного поиска на различных интернет-ресурсах (реферат, курсовая, диплом, контрольная)
Параллелизм помогает получить данные как можно быстрее, однако, запустив, к примеру, 200 параллельных запросов, можно только разозлить владельца хоста и не стоит допускать более пяти одновременных запросов.
В разработке данного программного обеспечения была использована библиотека grequests. В простейшем случае для запуска одновременных запросов достаточно всего пары строк для распараллеливания кода, что являлось одним из самых весомых критериев на этапе выбора языка разработки. Однако, в данной работе это было реализовано сложнее.
CSS Селекторы
При построении дерева тегов и парсинга html страницы, была использована библиотека xPath селекторов, однако, если имеется опыт работы с javascript, то иногда, удобнее делать выборки при помощи CSS селекторов. В качестве аналога, так же можно использовать PyQuery — аналог jQuery, библиотеки JavaScript, фокусирующаяся на взаимодействии JavaScriptи HTML. На языке Python, и xPath и css_to_xpath принадлежат библиотеке lxml.
LXML — это XMLHTML парсер, который будет использован для извлечения всей необходимой информации из выбранной веб-страницы. В качестве аналога. можно рассматривать парсер BeautifulSoup, так же разработанного для синтаксического разбора файлов HTML/XML, полностью написанный на Python.