Обмен данными по протоколу http

↑

▷ Содержание

⇐ ПредыдущаяСтр 18 из 19Следующая ⇒

>>> from http.client import HTTPConnection

>>> con = HTTPConnection("test1.ru")

>>> con2 = HTTPConnection("test1.ru", 80)

>>> con3 = HTTPConnection("test1.ru:80")

Листинг 21.9. Отправка данных методом GET

>>> from http.client import HTTPConnection

>>> from urllib.parse import urlencode

>>> data = urlencode({"color": "Красный", "var": 15}, encoding="cp1251")

>>> headers = { "User-Agent": "MySpider/1.0",

"Accept": "text/html, text/plain, application/xml",

"Accept-Language": "ru, ru-RU",

"Accept-Charset": "windows-1251",

"Referer": "/index.php" }

>>> con = HTTPConnection("test1.ru")

>>> con.request("GET", "/testrobots.php?%s" % data, headers=headers)

>>> result = con.getresponse() # Создаем объект результата

>>> print(result.read().decode("cp1251")) # Читаем данные

... Фрагмент опущен...

>>> con.close() # Закрываем объект соединения

Листинг 21.10. Отправка данных методом POST

>>> from http.client import HTTPConnection

>>> from urllib.parse import urlencode

>>> data = urlencode({"color": "Красный", "var": 15}, encoding="cp1251")

>>> headers = { "User-Agent": "MySpider/1.0",

"Accept": "text/html, text/plain, application/xml",

"Accept-Language": "ru, ru-RU",

"Accept-Charset": "windows-1251",

"Content-Type": "application/x-www-form-urlencoded",

"Referer": "/index.php" }

>>> con = HTTPConnection("test1.ru")

>>> con.request("POST", "/testrobots.php", data, headers=headers)

>>> result = con.getresponse() # Создаем объект результата

>>> print(result.read().decode("cp1251"))

... Фрагмент опущен...

>>> con.close()

>>> result.getheader("Content-Type")

'text/plain; charset=windows-1251'

>>> print(result.getheader("Content-Types"))

None

>>> result.getheader("Content-Types", 10)

>>> result.getheaders()

[('Date', 'Mon, 27 Apr 2015 13:33:21 GMT'), ('Server', 'Apache/2.2.4

(Win32) mod_ssl/2.2.4 OpenSSL/0.9.8d PHP/5.2.4'), ('X-Powered-By',

'PHP/5.2.4'), ('Content-Length', '422'), ('Content-Type',

'text/plain; charset=windows-1251')]

>>> dict(result.getheaders())

{'Date': 'Mon, 27 Apr 2015 13:33:21 GMT', 'Content-Length': '422',

'X-Powered-By': 'PHP/5.2.4', 'Content-Type': 'text/plain;

charset=windows-1251', 'Server': 'Apache/2.2.4 (Win32)

mod_ssl/2.2.4 OpenSSL/0.9.8d PHP/5.2.4'}

>>> result.status

>>> result.reason # При коде 200

'OK'

>>> result.reason # При коде 302

'Moved Temporarily'

>>> result.version # Протокол HTTP/1.1

>>> print(result.msg)

Date: Mon, 27 Apr 2015 13:33:21 GMT

Server: Apache/2.2.4 (Win32) mod_ssl/2.2.4 OpenSSL/0.9.8d PHP/5.2.4

X-Powered-By: PHP/5.2.4

Content-Length: 422

Content-Type: text/plain; charset=windows-1251

>>> result.msg.as_string()

'Date: Mon, 27 Apr 2015 13:33:21 GMT\nServer: Apache/2.2.4 (Win32)

mod_ssl/2.2.4 OpenSSL/0.9.8d PHP/5.2.4\nX-Powered-By:

PHP/5.2.4\nContent-Length: 422\nContent-Type: text/plain;

charset=windows-1251\n\n'

>>> result.msg.items()

[('Date', 'Mon, 27 Apr 2015 13:33:21 GMT'), ('Server', 'Apache/2.2.4

(Win32) mod_ssl/2.2.4 OpenSSL/0.9.8d PHP/5.2.4'), ('X-Powered-By',

'PHP/5.2.4'), ('Content-Length', '422'), ('Content-Type',

'text/plain; charset=windows-1251')]

>>> result.msg.keys()

['Date', 'Server', 'X-Powered-By', 'Content-Length', 'Content-Type']

>>> result.msg.values()

['Mon, 27 Apr 2015 13:33:21 GMT', 'Apache/2.2.4 (Win32) mod_ssl/2.2.4

OpenSSL/0.9.8d PHP/5.2.4', 'PHP/5.2.4', '422', 'text/plain;

charset=windows-1251']

>>> result.msg.get("X-Powered-By")

'PHP/5.2.4'

>>> print(result.msg.get("X-Powered-By2"))

None

>>> result.msg.get("X-Powered-By2", failobj=10)

>>> result.msg.get_all("X-Powered-By")

['PHP/5.2.4']

>>> result.msg.get_content_type()

'text/plain'

>>> result.msg.get_content_maintype()

'text'

>>> result.msg.get_content_subtype()

'plain'

>>> result.msg.get_content_charset()

'windows-1251'

Листинг 21.11. Отправка запроса методом HEAD

>>> from http.client import HTTPConnection

>>> headers = { "User-Agent": "MySpider/1.0",

"Accept": "text/html, text/plain, application/xml",

"Accept-Language": "ru, ru-RU",

"Accept-Charset": "windows-1251",

"Referer": "/index.php" }

>>> con = HTTPConnection("test1.ru")

>>> con.request("HEAD", "/testrobots.php", headers=headers)

>>> result = con.getresponse() # Создаем объект результата

>>> print(result.msg)

Date: Mon, 27 Apr 2015 13:39:54 GMT

Server: Apache/2.2.4 (Win32) mod_ssl/2.2.4 OpenSSL/0.9.8d PHP/5.2.4

X-Powered-By: PHP/5.2.4

Content-Type: text/plain; charset=windows-1251

>>> result.read() # Данные не передаются, только заголовки!

b''

>>> con.close()

21.6. Обмен данными с помощью модуля urllib.request

Определение кодировки

<meta http-equiv="Content-Type"

content="text/html; charset=windows-1251">

c:\python34\scripts\pip install chardet

>>> import chardet

>>> chardet.__version__

'2.3.0'

Листинг 21.14. Пример определения кодировки

>>> import chardet

>>> chardet.detect(bytes("Строка", "cp1251"))

{'confidence': 0.99, 'encoding': 'windows-1251'}

>>> chardet.detect(bytes("Строка", "koi8-r"))

{'confidence': 0.99, 'encoding': 'KOI8-R'}

>>> chardet.detect(bytes("Строка", "utf-8"))

{'confidence': 0.99, 'encoding': 'utf-8'}

Листинг 21.15. Пример использования класса UniversalDetector

from chardet.universaldetector import UniversalDetector

ud = UniversalDetector() # Создаем объект

for line in open("file.txt", "rb"):

ud.feed(line) # Передаем текущую строку

if ud.done: break # Прерываем цикл, если done == True

ud.close() # Закрываем объект

print(ud.result) # Выводим результат

input()

Сжатие данных

Познавательные статьи:



Психологические особенности спортивного соревнования

Приготовление дезинфицирующих растворов различной концентрации

Занятость населения и рынок труда

Социальный статус семьи и её типология