Python后端相关技术/工具栈
整理下目前涉及到的python的技术栈和工具栈(用过或了解的, 其他的后续用到再补充)
- 编辑器
最常见: vim / SublimeText2 / PyCharm
Vim有兴趣可以看看 k-vim 适合Python/Golang开发
- 本地环境 pip/easy_install 包管理
viertualenv + virtualenvwrapper 库/版本管理, 环境隔离
ipython/ipdb
- Web 框架 Python 的Web 框架非常多……
个人偏好[有分先后]
flask 轻量! 可以灵活组合各类组件进行开发(第三方组件很丰富), 简单高效, 便于快速开发和维护.
tornado 异步, 高性能, 最新版本4.0
django 有些重, 配置和约定众多, 可以快速开发一些"管理"性质的后台, 其版本更新非常快
其他:
bottle 类flask, 一个文件, 足够小
- ORM SQLAlchemy
SQLAlchemy is the Python SQL toolkit and Object Relational Mapper that gives application developers the full power and flexibility of SQL.
似乎这个就足够了, 无出其右
- 模板
只提第三方(很多框架自带了, 例如Django/Tornado), 话说天下模板都大同小异
Jinja2, 最喜欢的一个, 之前写了篇 PYTHON模板-JINJA
还有挺多的, 后续了解后补充
- 代码管理及Wiki
使用git, 搭建gitlab gilt针对项目级别, 可以用markdown写一些文档, 可以简单的code review, 可以进行讨论等等.
Wiki的选择:
gollum 很赞
trac老牌, 但是个人不大喜欢其语法编辑方式.
- 代码发布
fabric + rsync
rsync 用于生产代码目录的同步, 足够简单强大
fabric 用于自动化部署, 将流程固化到脚本中重复使用, 提高效率降低风险, PYTHON FABRIC实现远程操作和部署
Fabric is a Python (2.5-2.7) library and command-line tool for streamlining the use of SSH for application deployment or systems administration tasks.
- 项目部署
nginx 服务器, 主要用于负载均衡, 反代等
gunicorn a Python WSGI HTTP Server for UNIX, 用来运行Flask项目
Supervisor A Process Control System, 配置管理各种程序, 进程监控, 自动重启等
- 监控
nagios 服务器各类参数监控, 负载,内存,IO, 网络等, 也可以配置对进程进行监控报警
sentry 实时收集事件日志, 可以在管理后台查看到当前程序异常及报错具体信息, 很强大的平台, 支持多种语言的程序
statsd + graphic
statsd 实时服务数据收集(e.g. counters and timers) 收集后数据提供给graphic进行展示
graphic 企业级开源监控工具(数据绘图工具)，用于采集服务器实时信息并进行统计, Graphite 自己本身并不收集具体的数据，这些数据收集的具体工作通常由第三方工具或插件完成. 其控制台前端项目 tessera
- NOSQL
redis 缓存/持久化/特殊需求(计数-排行榜-时间线等)
memcached 集群, 多用于有时限性质的缓存
mongodb 在技术选型玩了下, 没有正式在生产用过
- 数据库
mysql 不解释, 感觉是不是所有Python的底层db都是mysql……
postgresql 开发日志统计系统使用过, 学院派, 各种牛叉的功能, 对json的支持令人印象深刻.
- 抓取
beautifulsoup 配合urllib2或者requests库进项简单的抓取分析工作
scrapy 很牛的抓取框架, 适合规模较大,需求复杂的的抓取任务
- 搜索 solr
完成搜索功能, 虽然Python也有一些实现, 但是感觉还是使用成熟的方案会好些, 文档/资源丰富, 便于开发和维护. Solr, 足够简单及强大.
- 好用的第三方
requests HTTP for humans, 非常好用, 强烈推荐
jieba 中文分词
- 异步和队列
gearman 支持分布式的任务分发框架, 并行/不同语言之间的通信. 之前使用主要用来跨机器任务分发.
celery 分布式任务队列
zeromq 之前使用的消息系统是基于这个的, 没有研究过
- 日志
logstash 日志收集和分析, 支持不同来源不同格式, 进行统一收集和分析处理
Kibana A log analyzing web interface for logstash and elasticsearch
三者组合
- 项目管理
Log:
2014-07-24 first version