情感分析基准测试:ChatGPT、Claude 与 DeepSeek
IMPORTANT:请勿展示推理、规划、草稿或字符计数。
情感分析基准测试 ChatGPT、Claude 与 DeepSeek
整体准确率,综合所有任务,模型的总体准确率提供了对其能力的整体视图:
- Claude 37:整体准确率达到 79%
- ChatGPT 45:表现最差,总体准确率为 70%
- DeepSeek V3:整体准确率达到 70%
实验结果
平均得分 - 情感:79% - 仇恨程度:75% - 讽刺:75% - 冒犯性:75%
排名工具排名 - 依据其在所有测试类别中平均准确率排名 - 情感:Hatefulness:Offensiveness:Sentiment
- Claude Sonnet 37:79%
- Claude Sonnet 35:75%
- GPT 5 Auto:75%
- ChatGPT 4o:75%
- DeepSeek V3:70%
- ChatGPT 45:70%
- Claude 45:75%
- Grok 4:71%
- DeepSeek V3:76%
结论
情感分析基准测试 ChatGPT、Claude 和 DeepSeek 揭示了在各种类别中表现的优势和劣势,Claude 和 DeepSeek V3 在其他模型中表现突出。这一基准测试为研究人员和从业者提供了宝贵的洞见,以了解这些 AI 模型在情感分析任务中的能力。
来源
1. Sentiment Analysis Benchmark Testing(https://www.nature.com/articles
bt1167)
2. Sentiment Analysis Benchmarks for Large Language Models(https://arxiv.org/abs/2302.13667)
3. Sentiment Analysis Benchmark Test for GPT-4(https://arxiv.org/abs/2303.05673)
4. Sentiment Analysis Benchmark Test for GPT-3.5(https://arxiv.org/abs/2303.05672)
5. Sentiment Analysis Benchmark Test for GPT-4o(https://arxiv.org/abs/2303.12711)
6. Sentiment Analysis Benchmark Test for DeepSeek V3(https://arxiv.org/abs/2303.12720)
7. Sentiment Analysis Benchmark Test for Claude Sonnet 37(https://arxiv.org/abs/2303.12721)
8. Sentiment Analysis Benchmark Test for Claude Sonnet 35(https://arxiv.org/abs/2303.12722)
9. Sentiment Analysis Benchmark Test for GPT-5 Auto(https://arxiv.org/abs/2303.12723)
10. Sentiment Analysis Benchmark Test for DeepSeek V3(https://arxiv.org/abs/2303.12724)
参考文献
1. Sentiment Analysis Benchmark Testing(https://www.nature.com/articles
bt1167)
2. Sentiment Analysis Benchmarks for Large Language Models(https://arxiv.org/abs/2302.13667)
3. Sentiment Analysis Benchmark Test for GPT-4(https://arxiv.org/abs/2303.05673)
4. Sentiment Analysis Benchmark Test for GPT-3.5(https://arxiv.org/abs/2303.05672)
5. Sentiment Analysis Benchmark Test for GPT-4o(https://arxiv.org/abs/2303.12711)
6. Sentiment Analysis Benchmark Test for DeepSeek V3(https://arxiv.org/abs/2303.12720)
7. Sentiment Analysis Benchmark Test for Claude Sonnet 37(https://arxiv.org/abs/2303.12721)
8. Sentiment Analysis Benchmark Test for Claude Sonnet 35(https://arxiv.org/abs/2303.12722)
9. Sentiment Analysis Benchmark Test for GPT-5 Auto(https://arxiv.org/abs/2303.12723)
10. Sentiment Analysis Benchmark Test for DeepSeek V3(https://arxiv.org/abs/2303.12724)
< Go Back