将 PDF 转换为数据库 是数据驱动应用程序中的常见需求。许多业务文档（如发票、报表和财务记录）以 PDF 格式存储结构化信息，但这些数据无法直接用于查询或分析。
为了使这些数据可用，开发人员通常需要通过提取结构化内容并将其插入关系型数据库（如 SQL Server、MySQL 或 PostgreSQL）来 将 PDF 转换为 SQL。手动处理此过程效率低下且容易出错，尤其是在大规模处理时。
在本指南中，我们专注于从 PDF 中提取 表格数据，并使用 Spire.PDF for Python 构建完整的管道，将数据转换并插入到 Python 的 SQL 数据库中。这种方法反映了现实世界中 PDF 转数据库工作流最实用且可扩展的解决方案。
快速导航
了解工作流程
在深入实现之前，了解将 PDF 数据转换为数据库的整体流程非常重要。
与其将每个操作视为完全独立的过程，不如将此工作流程分为两个主要阶段：
每个阶段在管道中都扮演着独特的角色：
这个端到端的管道反映了大多数实际系统如何处理 PDF 转数据库 工作流——首先提取可用数据，然后处理并将其存储在数据库中以便查询和分析。
前置条件
开始之前，请确保您具备以下条件：
本指南为了简化演示使用 SQLite，同时也展示了如何将相同的方法应用于其他 SQL 数据库。
步骤1：从 PDF 提取表格数据
在大多数业务文档（如发票或报表）中，数据以表格形式组织。这些表格已经遵循行列结构，使其非常适合直接插入 SQL 数据库。
PDF 中的表格数据通常已经以行和列的形式结构化，这使其成为数据库存储的最合适格式。
使用 Python 提取表格
以下是使用 Spire.PDF 从 PDF 文件中提取表格数据的示例：
from spire.pdf import *
from spire.pdf.common import *
# 加载PDF文档
pdf = PdfDocument()
pdf.LoadFromFile("Quarterly Sales.pdf")
table_data = []
# 遍历页面
for i in range(pdf.Pages.Count):
# 从页面提取表格
extractor = PdfTableExtractor(pdf)
tables = extractor.ExtractTable(i)
if tables:
print(f"第{i+1}页有{len(tables)}个表格。")
for table in tables:
rows = []
for row in range(table.GetRowCount()):
row_data = []
for col in range(table.GetColumnCount()):
text = table.GetText(row, col)
row_data.append(text.strip() if text else "")
rows.append(row_data)
table_data.extend(rows)
pdf.Close()
# 打印提取的数据
for row in table_data:
print(row)
以下是提取结果的预览：
代码说明
- LoadFromFile：加载PDF文档
- PdfTableExtractor：识别每页中的表格
- GetText(row, col)：检索单元格内容
- table_data：将提取的行存储为列表的列表
在此阶段，数据已被提取，但在数据库使用方面仍然是非结构化的。一旦提取了表格数据，我们需要将其转换为适合 SQL 插入的结构化格式。
或者，您可以将提取的数据导出到 CSV 文件以进行验证或批量导入。参见：使用 Python 将 PDF 表格转换为 CSV
步骤2：转换数据并插入数据库
从 PDF 中提取的原始表格数据在插入 SQL 数据库之前通常需要进行清理和结构化。
为简化起见，以下示例演示如何处理 单个提取的表格。在实际场景中，PDF 可能包含多个表格，可以使用相同的逻辑在循环中处理。
转换数据（单表示例）
structured_data = []
# 假设第一行为表头
headers = table_data[0]
for row in table_data[1:]:
if not any(row):
continue
record = {}
for i in range(len(headers)):
value = row[i] if i < len(row) else ""
record[headers[i]] = value
structured_data.append(record)
# 预览结构化数据
for item in structured_data:
print(item)
此步骤的作用
- 将行转换为基于字典的记录
- 将列标题映射到值
- 过滤空行
- 为数据库插入准备结构化数据
您还可以：
- 规范化列名以兼容 SQL
- 转换数字字段
- 标准化日期格式
将原始 PDF 数据转换为结构化格式可确保其能够可靠地插入关系型数据库。转换后，数据即可立即插入数据库，从而完成整个管道。
将数据插入 SQLite（单表示例）
使用来自单个表格的结构化数据，我们可以动态创建数据库架构并插入记录，而无需硬编码列名。
import sqlite3
# 连接到SQLite数据库
conn = sqlite3.connect("sales_data.db")
cursor = conn.cursor()
# 根据标题动态创建表
columns_def = ", ".join([f'"{h}" TEXT' for h in headers])
cursor.execute(f"""
CREATE TABLE IF NOT EXISTS invoices (
id INTEGER PRIMARY KEY AUTOINCREMENT,
{columns_def}
)
""")
# 准备插入语句
placeholders = ", ".join(["?" for _ in headers])
column_names = ", ".join([f'"{h}"' for h in headers])
# 插入数据
for record in structured_data:
values = [record.get(h, "") for h in headers]
cursor.execute(f"""
INSERT INTO invoices ({column_names})
VALUES ({placeholders})
""", values)
# 提交并关闭
conn.commit()
conn.close()
关键点
- 根据提取的标题动态创建数据库表
- 使用参数化查询（
?）防止 SQL 注入
- 保持架构灵活，无需硬编码列名
- 可以规范化列名以确保 SQL 兼容性
- 批量插入可以提高大数据集的性能
本节演示了使用单表示例将 PDF 表格数据转换为关系型数据库的核心工作流程。在下一节中，我们将扩展此方法以自动处理 多个表格。
完整管道：从 PDF 提取到 SQL 存储
以下是一个完整的可运行示例，演示从 PDF 到数据库的整个工作流程：
from spire.pdf import *
from spire.pdf.common import *
import sqlite3
import re
# ---------------------------
# 工具函数
# ---------------------------
def clean_column_name(name: str, index: int) -> str:
"""
清理列名中的空格
"""
if not name:
return f"column_{index}"
# 转为字符串并去掉首尾空格
name = str(name).strip()
# 将多个空白字符统一为一个空格（防止隐藏字符）
name = re.sub(r'\s+', ' ', name)
return name
# ---------------------------
# 步骤1：从PDF中提取表格
# ---------------------------
pdf = PdfDocument()
pdf.LoadFromFile("Quarterly Sales.pdf")
extractor = PdfTableExtractor(pdf)
all_tables = []
# 遍历所有页面
for i in range(pdf.Pages.Count):
tables = extractor.ExtractTable(i)
if tables:
for table in tables:
table_rows = []
# 遍历表格行
for row in range(table.GetRowCount()):
row_data = []
# 遍历列
for col in range(table.GetColumnCount()):
text = table.GetText(row, col)
row_data.append(text)
table_rows.append(row_data)
if table_rows:
all_tables.append(table_rows)
pdf.Close()
# 如果没有提取到表格，直接报错
if not all_tables:
raise ValueError("PDF 中未找到表格")
# ---------------------------
# 步骤2：写入SQLite数据库
# ---------------------------
conn = sqlite3.connect("sales_data.db")
cursor = conn.cursor()
for table_index, table in enumerate(all_tables):
# 跳过无效表格（少于2行通常没有意义）
if len(table) < 2:
continue
# 表头（第一行）
raw_headers = table[0]
# ---------------------------
# 清理列名（仅去空格）
# ---------------------------
clean_headers = [
clean_column_name(h, i)
for i, h in enumerate(raw_headers)
]
# 表名
table_name = f"table_{table_index+1}"
# ---------------------------
# 如果表已存在，先删除（避免列结构冲突）
# ---------------------------
cursor.execute(f'DROP TABLE IF EXISTS "{table_name}"')
# ---------------------------
# 创建表结构
# ---------------------------
columns_def = ", ".join([f'"{col}" TEXT' for col in clean_headers])
cursor.execute(f"""
CREATE TABLE "{table_name}" (
id INTEGER PRIMARY KEY AUTOINCREMENT,
{columns_def}
)
""")
# ---------------------------
# 构建插入SQL
# ---------------------------
placeholders = ", ".join(["?" for _ in clean_headers])
column_names = ", ".join([f'"{col}"' for col in clean_headers])
insert_sql = f"""
INSERT INTO "{table_name}" ({column_names})
VALUES ({placeholders})
"""
# ---------------------------
# 准备批量插入数据
# ---------------------------
batch = []
for row in table[1:]:
# 跳过空行
if not any(row):
continue
values = [
row[i] if i < len(row) else ""
for i in range(len(clean_headers))
]
batch.append(values)
# 执行批量插入
if batch:
cursor.executemany(insert_sql, batch)
print(f"已向 {table_name} 插入 {len(batch)} 行数据")
# 提交事务
conn.commit()
conn.close()
print(f"PDF处理完成，共提取 {len(all_tables)} 个表格")
以下是数据库中插入结果的预览：
这个完整示例演示了完整的 PDF 转数据库 管道：
- 加载并提取 使用 Spire.PDF 从 PDF 中提取表格数据
- 转换 原始数据为结构化记录
- 插入 到具有适当架构的 SQLite 数据库
使用 AUTOINCREMENT 时，SQLite 会自动创建一个名为 sqlite_sequence 的系统表来跟踪当前最大 ID。这是预期行为，不会影响您的数据。您可以直接运行此代码将 PDF 表格数据转换为数据库。
注意：示例中直接使用表格数据中的中文表头作为列名，如果数据库支持 Unicode（如 SQLite、MySQL、SQL Server），可以安全使用中文列名。但在跨系统或企业环境中，建议映射为英文以提升兼容性。
适配其他 SQL 数据库
虽然本指南为了简化使用 SQLite，但相同的方法也适用于其他 SQL 数据库。提取和转换步骤保持不变——只有数据库连接和插入语法略有不同。
以下示例假设您使用的是上一步中生成的规范化列名（headers）。
SQL Server 示例
import pyodbc
# 连接到 SQL Server
conn_str = (
"DRIVER={SQL Server};"
"SERVER=your_server_name;"
"DATABASE=your_database_name;"
"UID=your_username;"
"PWD=your_password"
)
conn = pyodbc.connect(conn_str)
cursor = conn.cursor()
# 使用规范化标题生成动态列定义
columns_def = ", ".join([f"[{h}] NVARCHAR(MAX)" for h in headers])
# 动态创建表
cursor.execute(f"""
IF NOT EXISTS (SELECT * FROM sys.tables WHERE name = 'invoices')
BEGIN
CREATE TABLE invoices (
id INT IDENTITY(1,1) PRIMARY KEY,
{columns_def}
)
END
""")
# 准备插入语句
placeholders = ", ".join(["?" for _ in headers])
column_names = ", ".join([f"[{h}]" for h in headers])
# 插入数据
for record in structured_data:
values = [record.get(h, "") for h in headers]
cursor.execute(f"""
INSERT INTO invoices ({column_names})
VALUES ({placeholders})
""", values)
# 提交并关闭
conn.commit()
conn.close()
MySQL示例
import mysql.connector
conn = mysql.connector.connect(
host="localhost",
user="your_username",
password="your_password",
database="your_database"
)
cursor = conn.cursor()
# 使用与前面所示相同的动态表创建和插入逻辑，
# 如有需要可进行细微的语法调整
PostgreSQL示例
import psycopg2
conn = psycopg2.connect(
host="localhost",
database="your_database",
user="your_username",
password="your_password"
)
cursor = conn.cursor()
# 使用与前面所示相同的动态表创建和插入逻辑，
# 如有需要可进行细微的语法调整
核心提取和转换步骤在不同的 SQL 数据库中保持不变，特别是在使用规范化列名以确保兼容性时。
处理其他类型的 PDF 数据
虽然本指南专注于表格提取，但 PDF 通常包含其他类型的数据，根据您的用例也可以集成到数据库中。
文本数据（非结构化 → 结构化）
在许多文档中，重要信息（如发票号码、客户名称或日期）嵌入在纯文本中而不是表格中。
您可以使用以下方法提取原始文本：
from spire.pdf import *
pdf = PdfDocument()
pdf.LoadFromFile("Quarterly Sales.pdf")
for i in range(pdf.Pages.Count):
page = pdf.Pages.get_Item(i)
extractor = PdfTextExtractor(page)
options = PdfTextExtractOptions()
options.IsExtractAllText = True
text = extractor.ExtractText(options)
print(text)
然而，原始文本不能直接插入数据库。它通常需要 解析为结构化字段，例如：
- 使用正则表达式提取键值对
- 识别模式，如日期、ID 或总计
- 将文本转换为字典或结构化记录
一旦结构化，数据就可以作为前面描述的相同转换和插入管道的一部分插入数据库。
有关更高级的技术，您可以在详细的 Python PDF 文本提取指南 中了解更多信息。
图像（OCR 或文件引用）
PDF 中的图像通常不能直接用作结构化数据，但仍可以通过两种方式集成到数据库工作流中：
选项1：OCR（推荐用于数据提取）
使用 OCR 工具将图像转换为文本，然后处理并存储提取的内容。
选项2：文件存储（推荐用于文档系统）
将图像存储为：
- 数据库中的文件路径
- 如果需要，存储为二进制（BLOB）数据
以下是提取图像的示例：
from spire.pdf import *
pdf = PdfDocument()
pdf.LoadFromFile("Quarterly Sales.pdf")
helper = PdfImageHelper()
for i in range(pdf.Pages.Count):
page = pdf.Pages.get_Item(i)
images = helper.GetImagesInfo(page)
for j, img in enumerate(images):
img.Image.Save(f"image_{i}_{j}.png")
要进一步处理基于图像的内容，您可以 使用 Spire.OCR for Python 从图像中提取文本。
完整 PDF 存储（BLOB 或文件引用）
在某些情况下，目标不是提取结构化数据，而是将整个 PDF 文件存储在数据库中。
这通常用于：
您可以将 PDF 存储为：
- 数据库中的 BLOB 数据
- 引用外部存储的 文件路径
这种方法代表了 "数据库中的 PDF" 的另一种含义，但它与结构化数据提取不同。
关键要点
虽然 PDF 可以包含多种类型的内容，但 表格数据仍然是数据库集成最高效且可扩展的格式。其他数据类型通常需要额外的处理才能有效地存储或查询。
将 PDF 数据转换为数据库时的常见陷阱
虽然将 PDF 转换为数据库的过程看起来很简单，但会出现一些实际挑战。
1. 不一致的表格结构
并非所有 PDF 都遵循一致的表格格式：
解决方案：
2. 表格检测不佳
某些 PDF 在内部没有正确定义表格，例如没有网格结构或单元格大小不规则。
解决方案：
- 使用多个文件进行测试
- 使用备用解析逻辑
- 必要时预处理 PDF
3. 数据清理问题
提取的数据可能包含：
解决方案：
4. 字符编码问题（连字和字体）
PDF 表格提取可能由于字体编码和连字而引入意外字符。例如，常见的字母组合如：
可能在 PDF 中存储为 单个字形。提取时，它们可能显示为：
di\ue000erence → difference
o\ue002ce → office
\ue005le → file
这些通常是由自定义字体映射引起的 私有 Unicode 字符（例如 \ue000–\uf8ff）。
解决方案：
正确处理编码问题可确保数据准确性，并防止下游处理中出现细微损坏。
5. 跨页表格碎片化
PDF 中的大型表格通常分布在多个页面上。提取时，每个页面可能被视为单独的表格，导致：
解决方案：
- 比较连续表格之间的列数
- 检查标题一致性或第一行中的数据类型模式
- 当结构和架构匹配时合并表格
- 连接数据时跳过重复的标题行
在实践中，结合列结构和值模式检测提供了一种可靠的方法来重建跨页面的完整表格。
6. 数据库架构不匹配
提取的数据与数据库列之间的映射不正确会导致错误。
解决方案：
7. 大文件的性能问题
处理大型 PDF 可能会很慢。
解决方案：
通过预见这些问题，您可以构建更可靠的 PDF 转数据库工作流。
结论
将 PDF 转换为数据库不是一个单步操作，而是一个涉及提取数据并处理以进行数据库存储（包括转换和插入）的结构化过程
通过专注于表格数据并使用 Python，您可以高效地实现完整的 PDF 转数据库管道，使自动化数据集成任务更加容易。
这种方法对于处理需要存储在 SQL Server 或其他关系型数据库中的发票、报表和其他结构化业务文档特别有用。
如果您想评估 Spire.PDF for Python 的性能并消除任何限制，您可以 申请 30 天免费试用。
常见问题解答
"PDF 转数据库" 是什么意思？
它指的是从 PDF 文件中提取结构化数据并将其存储在数据库中的过程。这通常涉及解析 PDF 内容，将其转换为结构化格式，并将其插入 SQL 数据库以进行进一步的查询和分析。
Python 可以直接将 PDF 转换为数据库吗？
不可以。Python 无法一步直接将 PDF 转换为数据库。该过程通常涉及首先从 PDF 中提取数据，将其转换为结构化记录，然后使用 SQL 连接器将其插入数据库。
如何使用 Python 将 PDF 转换为 SQL？
典型的工作流程包括：
- 从 PDF 中提取表格或文本数据
- 将其转换为结构化记录（行和列）
- 使用 Python 数据库库将处理后的数据插入 SQL 数据库，如 SQLite、MySQL 或 SQL Server
我可以直接将 PDF 文件存储在数据库中吗？
可以。PDF 文件可以作为二进制（BLOB）数据存储在数据库中。然而，这种方法主要用于文档存储系统，而结构化提取更适合数据分析和查询。
我可以使用哪些 SQL 数据库进行 PDF 数据集成？
您可以使用几乎任何 SQL 数据库，包括 SQLite、SQL Server、MySQL 和 PostgreSQL。整体提取和转换过程保持不变，只有数据库连接和插入语法略有不同。
