Semalt: Python bilen web gözlemek

Wi-Fi ýok wagty şol gorkunç pursatlaryň birini başdan geçirdiňizmi? Şeýle bolsa, kompýuteriňizde edýän işleriňiziň näçeräk tora baglydygyna düşündiňiz. Adaty endikden, e-poçtaňyzy barlaýarsyňyz, dostuňyzyň Instagram suratlaryny görersiňiz we twitlerini okarsyňyz.

Kompýuteriň köp işi web amallaryny öz içine alýandygy sebäpli, programmalaryňyz hem internete girip bilse gaty amatly bolardy. Web döwmek üçin şeýle. Webden mazmuny göçürip almak we gaýtadan işlemek üçin programma ulanmagy öz içine alýar. Mysal üçin, Google gözleg motory üçin web sahypalaryny indekslemek üçin dürli programma programmalaryny ulanýar.

Internetden maglumatlary döwmegiň köp usuly bar. Bu usullaryň köpüsi Python we R. ýaly dürli programmirleme dilleriniň buýrugyny talap edýär Mysal üçin, Python bilen haýyşlar, owadan çorba, web brauzeri we selen ýaly birnäçe modul ulanyp bilersiňiz.

'Islegler' moduly, baglanyşyk problemalary, tor ýalňyşlyklary we maglumatlary gysmak ýaly kyn meseleler hakda özüňizi alada goýman, faýllary internetden aňsatlyk bilen göçürip almaga mümkinçilik berýär. Python bilen hökman gelenok, şonuň üçin ilki bilen gurnamaly bolarsyňyz.

Modul, Pythonyň 'urllib2' modulynyň ulanylmagyny kynlaşdyrýan köp kynçylyklar sebäpli işlenip düzüldi. Aslynda gurmak gaty aňsat. Bar etmeli zadyňyz, buýruk setirinden turba gurmak haýyşlaryny işletmek. Soňra modulyň dogry gurlandygyny anyklamak üçin ýönekeý synag etmeli. Munuň üçin interaktiw gabyga '>>> import haýyşlaryny' ýazyp bilersiňiz. Erroralňyşlyk habarlary görkezilmese, gurmak üstünlikli boldy.

Sahypany göçürip almak üçin 'request.get ()' funksiýasyny başlamaly. Funksiýa göçürip almak üçin bir URL URL alýar we soňra 'jogap' obýektini yzyna berýär. Bu, web serweri siziň islegiňiz üçin yzyna gaýtarylan jogaby öz içine alýar. Islegiňiz üstünlikli bolsa, göçürilen web sahypasy jogap obýektleriniň tekst üýtgeýjisinde setir hökmünde saklanýar.

Jogap obýekti, adatça, göçürip almagyň üstünlikli bolandygyny ýa-da ýokdugyny bilmek üçin ulanyp boljak status kody atributyna eýe. Şonuň ýaly-da, jogap obýektinde 'raise_for_status ()' usulyna jaň edip bilersiňiz. Faýly göçürip almakda haýsydyr bir ýalňyşlyk bar bolsa, bu kadadan çykma döredýär. Erbet göçürme ýüze çykan mahaly bir programmanyň durmagyny üpjün etmegiň ajaýyp usuly.

Bu ýerden, 'açyk ()' we 'ýazmak ()' adaty funksiýalary ulanyp, göçürilen web faýlyňyzy gaty diskiňize ýazdyryp bilersiňiz. Şeýle-de bolsa, tekstiň icunikod kodlamagyny saklamak üçin tekst maglumatlaryny ikilik maglumatlary bilen çalyşmaly bolarsyňyz.

Maglumatlary bir faýla ýazmak üçin 'iter_content ()' usuly bilen 'for' aýlawyny ulanyp bilersiňiz. Bu usul, her gaýtalama boýunça köp maglumatlary aýlaw arkaly yzyna berýär. Her bölek baýtda bolýar we her topbakda näçe baýt boljakdygyny kesgitlemeli. Writingazanyňyzdan soň faýly ýapmak üçin 'close ()' jaň ediň we işiňiz gutardy.