Python 库索引

数据与传统 ML深度学习与 LLM视觉与测量知识图谱与 RAGAgent 与评估

Python 库不是越多越好，按任务链路选择数据、模型、视觉、RAG、Agent 和评估工具的最小组合。

数据与传统 ML

库	作用	适用
numpy	数组和数值计算	所有科学计算基础
pandas	表格数据处理	数据清洗、特征构建
scipy	科学计算、优化、信号处理	实验数据和统计计算
scikit-learn	传统 ML 和评估	分类、回归、聚类
xgboost / lightgbm	高性能树模型	表格预测、风控、排序
statsmodels	统计建模	解释性和统计检验

深度学习与 LLM

库	作用	适用
torch	深度学习训练和推理	研究和工程
tensorflow	深度学习生态	训练和部署
transformers	预训练模型调用	LLM、Embedding、多模态
datasets	数据集读取和处理	训练数据管线
peft	LoRA/QLoRA	参数高效微调
trl	SFT、RLHF、DPO 相关训练	LLM 后训练
sentence-transformers	句向量和相似度	RAG、语义搜索

视觉与测量

库	作用	适用
opencv-python	图像/视频处理、标定、光流	视觉工程基础
scikit-image	图像分析算法	科研图像处理
Pillow	图像读写和轻量处理	简单处理
ultralytics	YOLO 检测/分割	快速目标检测
detectron2	检测、分割、关键点	复杂视觉任务
openpiv-python	PIV 速度场计算	流体实验
DICe / py2DIC	DIC 位移和应变分析	材料实验

知识图谱与 RAG

库	作用	适用
networkx	图建模和图算法	原型和图分析
rdflib	RDF 三元组	语义网和标准图谱
neo4j / py2neo	连接 Neo4j	企业图数据库
llama-index	数据连接、索引、RAG	文档问答
langchain	LLM 应用组件	RAG、工具调用
chromadb / faiss-cpu / qdrant-client	向量检索	语义搜索

Agent 与评估

库	作用	适用
langgraph	有状态 Agent 编排	复杂流程
autogen-agentchat	多 Agent 对话	原型和研究
crewai	角色任务型多 Agent	自动化流程
fastapi / pydantic	API 和数据校验	轻量服务
ragas / deepeval	RAG 和 LLM 评估	知识助手评估
mlflow	实验记录和模型管理	ML 项目流程