Python

解決apscheduler報錯:Run time of job …… next run at: ……)” was missed by

apscheduler 運行過程中出現類似如下報錯: Run time of job "9668_hack (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)" was missed by 0:01:47.387821 Run time of job "9668_index (trigger: interval[0:30:00], next run at: 2018-10-29 21:30:00 CST)" was missed by 0:01:47.392574 Run time of job "9669_deep (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST…繼續閱讀 »
Python

Nginx + gunicorn + Flask 快速部署實現上線水平

之前一直在用nginx + uwsgi + django 架構,之前也在博客里分享過相關故障解決: nginx+uwsgi完美配置文件,解決“upstream prematurely closed connection”報錯 nginx + uwsgi + django出現的問題 那么在用了一段時間后發現一個很嚴重的問題:無論代碼層如何優化,都會出現內存泄漏(內存占用無限增長)的問題, …繼續閱讀 »
Python

解決python模塊報錯:“bz2 module is not available, No module named ‘_bz2’”

之前python在用pip安裝scrapy模塊的時候遇到過這個情況,但只是記筆記沒有總結出來,今天又遇到了一次,索性博客記錄一下。 解決方案 安裝?bzip2-devel: 方法一: yum install bzip2-devel 方法二: 如果不行,可以編譯安裝: wget http://www.bzip.org/1.0.6/bzip2-1.0.6.tar.gz?&& tar -zxf bzip2-1.0.6.tar.gz &&…繼續閱讀 »
Python

解決Python3 requests 響應頭中文GBK編碼報錯,無法請求

問題表現: 響應頭中有gbk編碼的中文,導致requests無法解碼讀取header。 http包如圖: Python 3.4.3 (default, Aug 25 2017, 16:49:50) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import requests >>> res = requests.get('http://down.chinaz.com/download.asp?id=35&…繼續閱讀 »
Python

Python event控制多線程停止方案

背景: 多線程跑系統識別,當某線程得到結果后,需要優雅的停止平行的其他線程,結束本次任務。 Python threading模塊不同于其它語言之處在于它沒有提供線程的終止方法,而且python的多線程設計本身也是不希望用戶這么做,但是很多時候我們得到某個結果后為了節省不必要的資源 必須停止其他線…繼續閱讀 »
Python

Python Celery 多線程取結果報錯:’list’ object has no attribute ‘decode’

這個問題困擾了我估計有一個星期問題,而問題的一開始我沒有任何頭緒,問題的表現就是調用節點去請求任務時,時常報錯:   報錯信息諸如: Protocol Error: , b'\x00\x00\x00\x00\x00\x00\x00\x00\x00*3' Error while reading from socket: (9, 'Bad file descriptor') 'int' object has no attribute 'decode' name 'self' is not defined only …繼續閱讀 »
Python

Python-DBUtils 使用mysql數據庫連接池提升效率

隨著全網掃描項目的開發,越來越細致的問題暴露出來,從能用到用的好,還有很長的路要走。 這個問題前段時間就發現了,程序一般跑個一天會越來越慢,直到某個時候程序徹底崩了,而且最后的報錯也一般是mysql的報錯: pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query ([Errno 104] Co…繼續閱讀 »
Python

理解Queue隊列中join()與task_done()的關系

在網上大多關于join()與task_done()的結束原話是這樣的: Queue.task_done() 在完成一項工作之后,Queue.task_done()函數向任務已經完成的隊列發送一個信號 Queue.join() 實際上意味著等到隊列為空,再執行別的操作 但是可能很多人還是不太理解,這里以我自己的理解來闡述這兩者的關聯。 理解 如果線程里…繼續閱讀 »
Python

Python requests響應內容亂碼解決方案

一般在針對性的爬取某個網站的時候可能不需要考慮太多這方面問題,因為一個網站的編碼基本是固定的,但是當需要去請求大量編碼各不相同的網站時,自動解碼就顯得尤為重要。 這幾天在用requests模塊掃描大量網站首頁的時候發現有大量的亂碼,我們都知道requests中的encoding屬性是可以自動識別網…繼續閱讀 »
Python

Python 獲取頂級域名模塊ExtractLevelDomain[自定義等級]

這個模塊在很多爬蟲項目里應該還是挺實用的,不過我是用來批量查詢whois和備案單位的,因為庫里有大量的子域名,所以只需要對同頂級域名的其中一個域名獲取信息即可,否則會造成數據庫大量冗余信息,而且在后期更新的時候還會造成系統及網絡不必要的壓力。 找了這么個提取頂級域名的模…繼續閱讀 »
群星闪耀APP 正宗武汉麻将安卓版怎样下载 金誉彩票手机登录 跑槟榔赚钱吗 时时彩6码计划 外汇买跌也能赚钱 线上娱乐游戏送礼金 金博棋牌客服 福彩30选5奖金对照表 快乐十分技巧推荐 代理什么医疗器械赚钱 大庆冠通手游下载 大通彩票欢迎进入 中国体彩如何发起合买 浙江20选5官方走势图表 甘肃快3号码推荐 湖南幸运赛车客服