Python

解決apscheduler報錯:Run time of job …… next run at: ……)” was missed by

apscheduler 運行過程中出現類似如下報錯: Run time of job "9668_hack (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)" was missed by 0:01:47.387821 Run time of job "9668_index (trigger: interval[0:30:00], next run at: 2018-10-29 21:30:00 CST)" was missed by 0:01:47.392574 Run time of job "9669_deep (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST…繼續閱讀 »
Python

解讀Redis報錯:“MISCONF Redis is configured to save RDB snapshots”

這個錯發生在celery中用redis 作為backend 傳輸返回結果時發生的錯誤,以前也遇過這個錯,但是沒有放在心上,今天偶然發現所有節點都出現了該報錯,并且影響了隊列的正常消費,所以時候對這個錯誤一探究竟了。 先貼上原始報錯代碼: \"result\": {\"exc_type\": \"ResponseError\", \"exc_message\": \"Command # 1 (…繼續閱讀 »
Python

Nginx + gunicorn + Flask 快速部署實現上線水平

之前一直在用nginx + uwsgi + django 架構,之前也在博客里分享過相關故障解決: nginx+uwsgi完美配置文件,解決“upstream prematurely closed connection”報錯 nginx + uwsgi + django出現的問題 那么在用了一段時間后發現一個很嚴重的問題:無論代碼層如何優化,都會出現內存泄漏(內存占用無限增長)的問題, …繼續閱讀 »
Python

Nginx反向代理 + Flask + gunicorn 架構解決獲取用戶真實ip問題

其實這個問題在Nginx + uwsgi + django 上是不存在的,因為nginx 與uwsgi鏈接是可以通過sock文件的,而nginx + flask 只能通過普通的反向代理。 所以就會出現一個nginx 反向代理常見的問題,實際對flask 發起的請求是由ningx完成,所以獲取到的ip是服務器本機的地址,甚至是機器的內網地址。 uwsgi+nginx+django 我們…繼續閱讀 »
Python

解決python模塊報錯:“bz2 module is not available, No module named ‘_bz2’”

之前python在用pip安裝scrapy模塊的時候遇到過這個情況,但只是記筆記沒有總結出來,今天又遇到了一次,索性博客記錄一下。 解決方案 安裝?bzip2-devel: 方法一: yum install bzip2-devel 方法二: 如果不行,可以編譯安裝: wget http://www.bzip.org/1.0.6/bzip2-1.0.6.tar.gz?&& tar -zxf bzip2-1.0.6.tar.gz &&…繼續閱讀 »
Python

nginx+uwsgi完美配置文件,解決“upstream prematurely closed connection”報錯

這段時間在折騰django,一開始用單一的uwsgi控制web訪問,雖然說沒有什么大問題,但是很多東西沒法配置,比如超時時間,uwsgi雖然有個“harakiri”配置項,但并沒有什么作用。 所以終究還是需要接口nginx來做前端代理,但是在代理的出現了一個問題,前端一直沒有響應,nginx錯誤日志(/var/log/nginx/e…繼續閱讀 »
Python

快速入門分布式消息隊列之 RabbitMQ(下)

我們在?快速入門分布式消息隊列之 RabbitMQ(上)和?快速入門分布式消息隊列之 RabbitMQ(中)?分別介紹了 RabbitMQ 的對象概念及其關鍵特性,本篇將通過代碼實現的方式來回溯這些知識點,從應用實踐的角度繼續深入 RabbitMQ。 首先安裝 RabbitMQ 的 Python 客戶端,最常用的就是?pika: pip install pika …繼續閱讀 »
Python

快速入門分布式消息隊列之 RabbitMQ(中)

緊接上文:快速入門分布式消息隊列之 RabbitMQ(上),繼續來看 RabbitMQ 都有哪些值得我們關注的特性。 Message Acknowledgment 消息應答 假設一個場景,消費者接收到了消息,但卻在處理消息的過程中發生了意外退出的情況,那么此次消息的傳遞就應該被視為「無效傳遞」。顯然「無效傳遞」的情況是…繼續閱讀 »
Python

快速入門分布式消息隊列之 RabbitMQ(上)

之前我們的分布式消息隊列使用的是RabbitMQ,但僅限于使用它,但是對于它的內部機制的細節沒有太多的認知,偶然從某公眾號文章中看到RabbitMQ系列的詳解,并且比較通俗易懂,所以拿過來分享一下。 簡介 AMQP(Advanced Message Queuing Protocol,高級消息隊列協議)是一個基于應用層的異步消息服務協議…繼續閱讀 »
Python

解決Python3 requests 響應頭中文GBK編碼報錯,無法請求

問題表現: 響應頭中有gbk編碼的中文,導致requests無法解碼讀取header。 http包如圖: Python 3.4.3 (default, Aug 25 2017, 16:49:50) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import requests >>> res = requests.get('http://down.chinaz.com/download.asp?id=35&…繼續閱讀 »
群星闪耀APP