118 lines
5.9 KiB
Python
118 lines
5.9 KiB
Python
import re
|
||
import traceback
|
||
from openai import OpenAI
|
||
|
||
|
||
# "model": "glm-4.5",
|
||
# "base_url": "https://open.bigmodel.cn/api/paas/v4/",
|
||
# "api_key": "ce39bdd4fcf34ec0aec75072bc9ff988.hAp7HZTVUwy7vImn"
|
||
|
||
|
||
|
||
EXTRACT_OUNTLINE_SYSTEM_PROMPT = """
|
||
## 角色
|
||
你是一位专业的内容结构分析专家。你的核心任务是精确解析用户提供的文章内容，并严格按照指定格式输出分析结果。
|
||
|
||
## 任务
|
||
根据用户提供的文章内容，执行以下分析步骤：
|
||
1. **提取主标题：** 精确识别并提取文章最顶层的**主标题**（通常为文章题目或书名）。
|
||
2. **构建标题大纲：**
|
||
* 从文章中**第一个具体的内容标题**（即忽略文章主标题之后出现的第一个具有层级意义的标题）开始提取。
|
||
* 提取所有层级的**内容标题**（Level 1 至 Level 4，Level 1 为最高级）。
|
||
* **精确保留**原文中的标题文字，不得进行任何修改、概括或润色。
|
||
* 判断标题层级的依据：
|
||
* **视觉与结构特征：** 是否独立成行/段、位置（如行首）、格式（如加粗、字体大小、编号 `1.`, `1.1`, `(1)`, `-` 等）。
|
||
* **语义逻辑：** 标题之间的包含、并列关系。
|
||
3. **分析每个标题对应的正文内容区块：** 对于大纲 (`outline`) 中的每个标题项，分析其**直接管辖**的正文内容区块（即从该标题后开始，直到下一个**同级或更高级别**标题出现之前的所有文本内容）。
|
||
* **`content_length` (整数):** 精确统计该正文内容区块的**字符数（含标点、空格）**。
|
||
* **`content_summary` (字符串):** 用简洁的语言（1-3句话）概括该区块的**核心要点和关键信息**。
|
||
* **`writing_style` (字符串):** 分析该区块的写作方法，需涵盖以下方面：
|
||
* **内容组织方式：** 例如，分点论述 (`Listing`)、案例对比 (`Case Comparison`)、时间顺序 (`Chronological`)、问题-解决方案 (`Problem-Solution`)、因果分析 (`Cause-Effect`)、流程说明 (`Process Description`)、论点-论据 (`Argument-Support`) 等。
|
||
* **使用的支撑元素：** 例如，数据 (`Data/Statistics`)、图表 (`Charts/Graphs`)、引用 (`Quotes/Citations`)、具体示例 (`Examples`)、类比 (`Analogy`)、定义 (`Definitions`) 等。
|
||
* **核心写作技巧：** 例如，先定义后举例 (`Define then Illustrate`)、设置悬念 (`Suspense Building`)、总结强调 (`Summarization & Emphasis`)、使用修辞手法 (`Rhetorical Devices`) 等。分析应具体指出技巧如何应用。
|
||
|
||
## 输出格式
|
||
* 结果**必须**以**严格有效的 JSON 对象**输出。
|
||
* JSON 结构如下，不得增减任何字段或改变层级：
|
||
```json
|
||
{
|
||
"title": "文章主标题",
|
||
"outline": [
|
||
{
|
||
"level": 1, // 或 2, 3, 4
|
||
"title": "原文标题文字",
|
||
"content_length": 520, // 整数
|
||
"content_summary": "内容概括",
|
||
"writing_style": "写作方法分析"
|
||
},
|
||
// ... 其他标题项
|
||
]
|
||
}
|
||
```
|
||
"""
|
||
|
||
|
||
|
||
def llm_format_text(model, base_url, api_key, messages, max_tokens):
|
||
all_content = ""
|
||
all_reasoning_content = ""
|
||
client = OpenAI(api_key=api_key, base_url=base_url)
|
||
try:
|
||
try:
|
||
response = client.chat.completions.create(
|
||
model=model,
|
||
messages=messages,
|
||
temperature=0.99,
|
||
top_p=0.5,
|
||
response_format={"type": "json_object"},
|
||
max_tokens=max_tokens,
|
||
stream=True,
|
||
extra_body={
|
||
"thinking": {
|
||
# "type": "enabled",
|
||
"type": "disabled"
|
||
},
|
||
}
|
||
)
|
||
except Exception as e:
|
||
print(f"--llm_format_text------异常报错：e={e}-----启用新的llm方式-----")
|
||
response = client.chat.completions.create(
|
||
model=model,
|
||
messages=messages,
|
||
temperature=0.99,
|
||
top_p=0.5,
|
||
response_format={"type": "json_object"},
|
||
max_tokens=max_tokens,
|
||
stream=True
|
||
)
|
||
# 获取内容
|
||
for chunk in response:
|
||
content = ""
|
||
reasoning_content = ""
|
||
try:
|
||
# 判断是 思维链 还是 最终回答
|
||
if (hasattr(chunk.choices[0].delta, "reasoning_content") and chunk.choices[0].delta.reasoning_content and (0 < len(chunk.choices[0].delta.reasoning_content))):
|
||
reasoning_content = (chunk.choices[0].delta.reasoning_content if chunk.choices[0].delta.reasoning_content else "")
|
||
print(reasoning_content)
|
||
all_reasoning_content = all_reasoning_content + reasoning_content
|
||
else:
|
||
content = (chunk.choices[0].delta.content if chunk.choices[0].delta.content else "")
|
||
print(content)
|
||
all_content = all_content + content
|
||
except Exception as e:
|
||
print(f"--llm_format_text---1---异常报错：e={e}----------")
|
||
traceback.print_exc()
|
||
print(f'------------------------------------------------')
|
||
print(chunk)
|
||
print(f'------------------------------------------------')
|
||
except Exception as e:
|
||
print(f"--llm_format_text--2----异常报错：e={e}----------")
|
||
traceback.print_exc()
|
||
print(f'------------------------------------------------')
|
||
# 整个 stream 调用就结束了
|
||
# 尝试提取 Markdown 内容
|
||
markdown_match = re.search(r"```(?:[^\n]*)\n(.*?)```", all_content, re.DOTALL)
|
||
if markdown_match:
|
||
all_content = markdown_match.group(1)
|
||
# 返回
|
||
return all_content |