1 项目开始

1.1 工具清单

01.标准库
    a.分类1
        os: 提供了与操作系统交互的功能,如文件和目录操作
        sys: 提供了与 Python 解释器及其环境交互的功能
        math: 数学运算相关的函数,如三角函数、对数、指数运算等
        random: 生成随机数的功能
        datetime: 处理日期和时间的类和函数
        json: 解析JSON格式数据的功能
        csv: 处理逗号分隔值 (CSV) 格式文件的功能
        socket: 支持网络通信的功能,包括创建客户端和服务器
    b.分类2
        re: 提供正则表达式的功能
        collections: 提供了额外的数据结构,如OrderedDict、defaultdict等
        pickle: 对象序列化和反序列化的功能
        urllib: 处理URL和HTTP请求的模块
        sqlite3: Python自带的轻量级SQL数据库模块
        xml.etree.ElementTree: 处理XML数据的模块
        argparse: 命令行参数解析的功能

02.工具类
    a.分类1
        pip install pyhutool
        pip install toolkity                                                --版本冲突
    b.分类2
        获取ip
        cookie解析
        获取可用端口
        重试器:包装函数对指定异常进行重试
        超时器:装饰函数并指定其超时时间
    c.分类3
        Timer:简单好用的计时器
        Logger:提供日志服务
        Singleton:单例元类
        Marshmallow:代替json库
        ExceptContext:异常捕获上下文
        safely_json_loads:安全的将字符串变成json对象
        format_html_string:格式化html
        common_stop_start_control:提供开,关,重启,状态等命令行服务
    d.分类4
        Service:继承自ParallelMonitor,LoggingMonitor并实现common_stop_start_control 接口。编写微服务专用基类。
        ProxyPool:基于redis的代理池,继承自Logger
        Translate:翻译器,继承自ProxyPool
        RedisQueue:基于redis的队列
        ItemConsumer:kafka消费者,继承自Service
        ItemProducer:kafka生产者,继承自Service
        FifoDiskQueue:持久化 FIFO 队列
        LoggingMonitor:内建Logger和Settings
        SettingsWrapper:提供配置信息服务
        ParallelMonitor:使用Singleton构建, 多线程多进程统一管理器

03.科学计算
    a.分类1
        pip install numpy
        pip install scipy
        pip install symPy
        pip install pandas
        pip install matplotlib
        pip install scikit-learn
        pip install numpy scipy symPy pandas matplotlib scikit-learn        --自动处理依赖关系
    b.分类2
        statistics:在Python 3.4版本中提供了许多基本统计计算的函数,比如平均值、中位数、众数、标差、方差
        NumPy:用于科学计算的基础包,提供支持大量维数组和矩阵操作的高性能多维数组对象,以及广泛的数学函数库
        SciPy:用于科学和技术计算,包括数值积分、优化、插值、线性代数、傅里叶变换、信号处理、图像处理、统计和多维图像处理
        SymPy: 用于符号数学计算,可以执行代数运算、微积分、方程求解等。
        Pandas:提供数据结构和数据分析工具,特别适合处理表格(数据框)和时间序列数据
        Matplotlib:用于创建静态、动态和交互式可视化图表的绘图库
        Scikit-learn:提供了机器学习和数据挖掘工具,包含分类、回归、聚类和降维等算法

04.网页框架:Django、Flask
    a.分类1
        pip install django
        pip install flask
        pip install pyecharts
    b.分类2
        import sqlite3                                                      --sqlite3
        import ksycopg2                                                     --kingbase(目前最高支持python 3.7)
        pip3 install redis                                                  --redis
        pip install cx_Oracle                                               --oracle
        pip install dmPython                                                --dameng
        pip install psycopg2                                                --postgresql
        pip install pymongo                                                 --mongodb
        pip install mysql-connector                                         --mysql/mariadb
    c.分类3
        pip install sqlalchemy                                              --支持多种数据库,除了

05.计算机视觉、机器学习、深度学习:cv2、tensorflow、torch
    a.分类1
        pip install opencv-python                                           --普通版本
        pip install opencv-python-headless                                  --OpenCV的可选功能,比如额外的模块和算法(无)
        pip install tensorflow                                              --CPU版本(无)
        pip install tensorflow-gpu                                          --GPU支持并且已经安装了CUDA和cuDNN(无)
        pip install torch torchvision torchaudio                            --没有CUDA支持的CPU上运行(无)
    b.分类2
        OpenCV:一个用于计算机视觉的库,提供了大量的图像处理和计算机视觉算法
        TensorFlow和PyTorch:两个深度学习框架,广泛用于机器学习和人工智能领域

06.爬虫
    a.分类1
        pip install requests
        pip install beautifulsoup4 lxml
        pip install scrapy
        pip install pyquery
        pip install httpx
        pip install selenium                                                --无
        pip install mechanicalsoup                                          --无
        pip install requests beautifulsoup4 lxml scrapy pyquery httpx       --自动处理依赖关系
    b.分类2
        Requests:用于发送HTTP请求,获取网页内容
        Beautiful Soup:用于解析HTML和XML文档,方便提取数据
        lxml:一个高性能的HTML和XML解析库
        Scrapy:一个功能强大的爬虫框架,适合构建复杂的爬虫项目
        PyQuery:类似jQuery的Python库,用于解析和处理HTML
        HTTPX:一个支持同步和异步操作的HTTP客户端
        Selenium:用于自动化浏览器操作,适合抓取动态内容的网页
        MechanicalSoup:一个基于Beautiful Soup和Requests的自动化网页交互库

1.2 版本迭代

1.3 语言特性