Python,我用这些库就够了!!!

2016-12-27 13:37:54 +08:00
 bonfy

临时想到的,感觉平时用的也就这几个库,列一下,欢迎大家补充

(名字这么多叹号不是想让家进来聊聊嘛,套路你懂么)

正题:

  1. requests - HTTP 库吧,主要爬虫
  2. Flask - 主要 Restful API
  3. peewee - 读写数据库 (终于狠下心放弃 SQLAlchemy )

感觉我平时也就用这些,够用了,接下来看你们的了。。。

20493 次点击
所在节点    Python
77 条回复
bonfy
2016-12-28 12:54:05 +08:00
@lgpqdwjh 我因为也是最近才开始用 peewee 的,还没有一个完整的项目

demo 的话, 我自己整理的模板里面倒是有一个很简单的 Flask + peewee + nginx 的 Demo template, 你可以先看下(这个主要是给自己以后写的时候,配置啥的方便一点)

[https://github.com/bonfy/template/tree/master/web/flaskdemo]( https://github.com/bonfy/template/tree/master/web/flaskdemo)

里面

models.py 最简单的 peewee 的例子, peewee doc 的都比这个完整
app.py 就是最简单的集成 peewee 到 flask

还在整理,你可以先看下,自己扩展
bonfy
2016-12-28 12:55:53 +08:00
@lgpqdwjh 额, 不支持 markdown

地址连接有点问题,是下面这个

https://github.com/bonfy/template/tree/master/web/flaskdemo
lll9p
2016-12-28 13:24:33 +08:00
jupyter scikit-learn keras theano
lgpqdwjh
2016-12-28 15:08:57 +08:00
@bonfy 好的, 谢谢
qile1
2016-12-28 20:32:33 +08:00
@bonfy 麻烦问下 mssql 用什么库链接并插入图像数据,一直无法用 pymssql 插入图片数据,麻烦问问
另外插入更新数据库数据你们是每条语句都建立链接,然后打开数据库执行一条语句,然后在关闭数据库。还是有什么方法同时执行
LeoEatle
2016-12-29 01:50:54 +08:00
Python 好玩的库太多了...这点哪够...
那些专家研究出来的人工智能、机器学习随手都能拿来用,这就是 Python 的强大
bonfy
2016-12-29 08:09:50 +08:00
@LeoEatle 说的是 人工智能、机器学习的太多了,大神推几个精华的,让我们少走点弯路啊。。。
bonfy
2016-12-29 08:28:10 +08:00
@qile1
一个个回答吧

1. 插入图像数据,我知道 SQL SERVER 是有一个 image 字段,可以存这种二进制数据,但是你的业务是否真的有必要这么存,可以找个文件服务器存图片,然后数据库存服务器图片存放地址这种方案是否可以呢? 因为你存二进制,那个表会很大,迁移维护都麻烦。。。 当然如果你一定要存,我不知道你说的无法插入图像数据是怎么回事,能否具体点? pymssql 可以直接写 sql 存吧?也不行?图片转二进制存呢?

2. 关于关闭数据库,我一般用来用在 Flask 里面,我特地去翻了下以前的代码,我也惊呆了,以前没好好研究,虽然觉得有问题,但是也就得过且过了。。。

用了 Flask-SQLalchemy,结果整个里面就一句,而且跑下来没毛病(或者我还没意识到毛病)。。。

SQLALCHEMY_DATABASE_URI = 'mssql+pyodbc://usr:password@server:port/database'

然后就没去管它。。。。可以研究下 Flask-SQLalchemy 里面有没有这个控制逻辑。

然后自己写吧,单独的用,我想想我应该是会手动连,然后执行业务吧(也不用执行一条就关闭吧),捕捉到异常就回滚,然后手动关闭数据库;还有你可以试试 with 嘛,这样不用自己手动关了
softcheck
2016-12-29 10:33:34 +08:00
alabaster (0.7.9)
algorithms (1.0)
amqp (2.1.4)
anaconda-client (1.6.0)
anaconda-navigator (1.2.3)
appdirs (1.4.0)
appnope (0.1.0)
appscript (1.0.1)
apptools (4.4.0)
argcomplete (1.0.0)
argh (0.26.2)
args (0.1.0)
arrow (0.10.0)
astroid (1.4.7)
astropy (1.3)
attrs (16.3.0)
Babel (2.3.4)
backports-abc (0.5)
backports.shutil-get-terminal-size (1.0.0)
baidupan (0.0.1)
baidupcsapi (0.3.8)
basemap (1.0.7)
beautifulsoup4 (4.5.1)
billiard (3.5.0.2)
bitarray (0.8.1)
blaze (0.10.1)
blinker (1.4)
bokeh (0.12.3)
boto (2.45.0)
Bottlechest (0.7.1)
Bottleneck (1.1.0)
bs4 (0.0.1)
buildozer (0.32)
bypy (1.2.22)
bz2file (0.98)
cairocffi (0.7.2)
celery (4.0.2)
certifi (2016.9.26)
cffi (1.9.1)
chainer (1.16.0)
characteristic (14.3.0)
chardet (2.3.0)
ChatterBot (0.5.3)
chest (0.2.3)
click (6.6)
click-plugins (1.0.3)
cligj (0.4.0)
clint (0.5.1)
cloudpickle (0.2.1)
clyent (1.2.2)
cmd2 (0.6.8)
colorama (0.3.7)
conda (4.2.13)
conda-build (2.0.12)
conda-manager (0.4.0)
conda-verify (2.0.0)
configobj (5.0.6)
constantly (15.1.0)
contextlib2 (0.5.4)
coverage (4.1)
coveralls (1.1)
creepy (0.1.6)
cryptography (1.6)
cssselect (1.0.0)
cycler (0.10.0)
Cython (0.25.2)
cytoolz (0.8.2)
dask (0.12.0)
datashape (0.5.3)
decorator (4.0.10)
defusedxml (0.4.1)
demjson (2.2.4)
descartes (1.0.2)
dill (0.2.5)
DIRECT (1.0.1)
discord-simple (0.0.1.17)
Django (1.10.4)
docopt (0.6.2)
docutils (0.13.1)
dynd (0.7.3.dev1)
elasticsearch (5.0.1)
enum-compat (0.0.2)
enum34 (1.1.6)
et-xmlfile (1.0.1)
eventlet (0.20.0)
Fabric (1.13.1)
fastcache (1.0.2)
feedgenerator (1.8)
filelock (2.0.7)
Fiona (1.7.0.post2)
flake8 (3.2.1)
Flask (0.12)
Flask-Cors (2.1.2)
Flask-GoogleMaps (0.2.4)
Flask-Login (0.4.0)
funcsigs (1.0.2)
future (0.16.0)
fuzzywuzzy (0.14.0)
gensim (0.13.2)
geographiclib (1.46.3)
Geohash (1.0)
geopandas (0+unknown)
geopy (1.11.0)
get (0.0.0)
gevent (1.1.2)
gitdb2 (2.0.0)
GitPython (2.1.1)
gizeh (0.1.10)
glueviz (0.9.1)
googlemaps (2.4.5)
gpsoauth (0.4.0)
gpxpy (1.1.2)
greenlet (0.4.11)
h5py (2.6.0)
hashids (1.1.0)
haversine (0.4.5)
HeapDict (1.0.0)
http-prompt (0.8.0)
httpie (0.9.9)
idna (2.1)
imageio (2.1.1)
imagesize (0.7.1)
incremental (16.10.1)
iniherit (0.3.6)
ipaddress (1.0.17)
ipykernel (4.5.2)
ipython (5.1.0)
ipython-genutils (0.1.0)
ipywidgets (5.2.2)
itsdangerous (0.24)
jdcal (1.3)
jedi (0.9.0)
jieba (0.38)
Jinja2 (2.8)
joblib (0.9.4)
jsondatabase (0.1.6)
jsonschema (2.5.1)
jupyter (1.0.0)
jupyter-client (4.4.0)
jupyter-console (5.0.0)
jupyter-core (4.2.1)
Keras (1.0.8)
Kivy (1.9.1)
Kivy-Garden (0.1.4)
kombu (4.0.2)
lazy-object-proxy (1.2.1)
llvmlite (0.15.0)
locket (0.2.0)
lxml (3.6.4)
Mako (1.0.6)
Markdown (2.6.6)
MarkupSafe (0.23)
matplotlib (1.5.1)
mccabe (0.5.3)
mistune (0.7.3)
mock (2.0.0)
mod-wsgi (4.5.11)
mpmath (0.19)
msgpack-python (0.4.8)
multipledispatch (0.4.9)
munch (2.0.4)
Naked (0.1.31)
nb-anacondacloud (1.2.0)
nb-conda (2.0.0)
nb-conda-kernels (2.0.0)
nbconvert (4.2.0)
nbformat (4.2.0)
nbpresent (3.0.2)
networkx (1.11)
nltk (3.2.1)
nose (1.3.7)
notebook (4.3.0)
numba (0.30.0)
numexpr (2.6.1)
numpy (1.11.2)
oauthlib (2.0.1)
odo (0.5.0)
openpyxl (2.4.0)
Orange3 (3.3.6)
paho-mqtt (1.2)
pandas (0.19.1)
paramiko (2.1.1)
parsel (1.1.0)
parsimonious (0.7.0)
partd (0.3.6)
passlib (1.7.0)
path.py (0.0.0)
pathlib (1.0.1)
pathlib2 (2.1.0)
pathtools (0.1.2)
patsy (0.4.1)
pbr (1.10.0)
peewee (2.8.5)
pelican (3.6.3)
pep8 (1.7.0)
pexpect (4.0.1)
pickleshare (0.7.4)
Pillow (3.4.2)
pip (9.0.1)
pkginfo (1.4.1)
pluggy (0.4.0)
ply (3.9)
polyglot (16.7.4)
post (0.0.0)
prompt-toolkit (1.0.9)
protobuf (3.1.0.post1)
psutil (5.0.1)
ptyprocess (0.5.1)
public (0.0.0)
py (1.4.31)
pyasn1 (0.1.9)
pyasn1-modules (0.0.8)
pycodestyle (2.2.0)
pycosat (0.6.1)
pycparser (2.17)
pycrypto (2.6.1)
pycryptodomex (3.4.3)
pycuda (2016.1.2)
pycurl (7.43.0)
PyDispatcher (2.0.5)
pyface (5.1.0)
pyFirmata (1.0.3)
pyflakes (1.3.0)
pygame (1.9.2)
Pygments (2.1.3)
pygubu (0.9.7.8)
pylint (1.5.4)
pymongo (3.4.0)
PyMySQL (0.7.9)
PyNaCl (1.0.1)
pyopencl (2016.2)
pyOpenSSL (16.2.0)
pyparsing (2.1.4)
pyproj (1.9.5.1)
pyqtgraph (0.9.10)
pyquery (1.2.17)
pyreadline (2.1)
pyserial (3.2.1)
pyspider (0.3.8)
pytest (3.0.5)
python-dateutil (2.6.0)
python-engineio (1.1.0)
python-slugify (1.2.1)
python-socketio (1.6.1)
python-telegram-bot (5.3.0)
python-twitter (3.2)
pytools (2016.2.1)
pytz (2016.10)
PyYAML (3.12)
pyzmq (16.0.2)
QtAwesome (0.3.3)
qtconsole (4.2.1)
QtPy (1.1.2)
query-string (0.0.0)
queuelib (1.4.2)
raven (5.32.0)
records (0.5.0)
redis (2.10.5)
request (0.0.0)
requests (2.12.4)
requests-mock (1.2.0)
requests-oauthlib (0.7.0)
requests-toolbelt (0.7.0)
rope-py3k (0.9.4.post1)
rsa (3.4.2)
ruamel-yaml (-VERSION)
s2sphere (0.2.4)
scikit-image (0.12.3)
scikit-learn (0.18.1)
scipy (0.18.1)
Scrapy (1.3.0)
selenium (2.53.6)
service-identity (16.0.0)
setupfiles (0.0.0)
setuptools (32.3.0)
shadowsocks (2.8.2)
Shapely (1.5.16)
shellescape (3.4.1)
simplegeneric (0.8.1)
singledispatch (3.4.0.3)
six (1.10.0)
smart-open (1.3.4)
smartypants (1.8.6)
smmap2 (2.0.1)
snowballstemmer (1.2.1)
snownlp (0.12.3)
socketIO-client (0.7.2)
sockjs-tornado (1.0.3)
Sphinx (1.5.1)
sphinx-rtd-theme (0.1.9)
splinter (0.7.5)
spyder (3.0.2)
SQLAlchemy (1.1.4)
sqlalchemy-migrate (0.10.0)
sqlparse (0.2.2)
statsmodels (0.6.1)
sympy (1.0)
tables (3.3.0)
tablib (0.11.3)
Tempita (0.5.2)
termcolor (1.1.0)
terminado (0.6)
textblob (0.11.1)
Theano (0.8.2)
timeout-decorator (0.3.2)
toolz (0.8.2)
tornado (4.4.2)
tox (2.5.0)
tqdm (4.10.0)
traitlets (4.3.1)
traits (4.5.0)
traitsui (5.1.0)
tushare (0.6.7)
twine (1.8.1)
Twisted (16.6.0)
typogrify (2.0.7)
u-msgpack-python (2.3.0)
unicodecsv (0.14.1)
Unidecode (0.4.19)
urllib3 (1.19.1)
utils (0.9.0)
vine (1.1.3)
virtualenv (15.1.0)
w3lib (1.16.0)
watchdog (0.8.3)
wcwidth (0.1.7)
websocket-client (0.37.0)
Werkzeug (0.11.11)
wheel (0.29.0)
widgetsnbextension (1.2.6)
wrapt (1.10.8)
xlrd (1.0.0)
XlsxWriter (0.9.4)
xlwings (0.10.1)
xlwt (1.1.2)
zope.interface (4.3.3)
chuanqirenwu
2016-12-29 10:39:10 +08:00
numpy, pandas, matplotlib, django
bonfy
2016-12-29 12:46:28 +08:00
@samtoto @softcheck 好吧,两位大神麻烦还是精简一下,拣几个重点说说,这么多咱消化不了啊。。。。
softcheck
2016-12-29 13:27:28 +08:00
@bonfy


其实,库用的多,对我来说,是因为水平低,经常需要各种库来帮忙,估计高人都是很少几个库就能搞定很多需求了。

常用的库:
pip install numpy scipy matplotlib xlrd pandas geopy algorithms
bonfy
2016-12-29 13:41:25 +08:00
@softcheck 这样就清爽多了

慢慢来嘛,水平都是慢慢涨的。。。多分享多交流
softcheck
2016-12-29 14:03:15 +08:00
@bonfy

嗯,但愿如涓流汇江海
coolloves
2016-12-29 14:35:24 +08:00
马克下吧,
qile1
2016-12-29 16:25:20 +08:00
@bonfy 非常感谢你的回复,我看 pymssql 里面好像有说无法插入超过 8000 字符,我是往已有的程序数据库插入图片,程序已经设计好,主要是取得检验仪器原始数据及图片插入检验系统。
当图片数据超过 8000 ,用 pymssql 插入就报错。不知道有什么办法可以插入大点的图片图片大小在 8k-50k 之间。
bonfy
2016-12-29 17:17:56 +08:00
@qile1

你先确认下 是否是 pymssql 的限制 8000 字符,也看看是否有可能是 SQL SERVER 上有字符限制。。。

如果确认 pymssql 的限制,那如果有源码的话 看看为啥这么限制,是否可以去掉限制,或者可以设置这个限制大小

最后没有办法的办法,有没有库可以压缩下图片,比如 pillow 研究下,是否有可能在程序里面先压缩,然后再存

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/330473

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX