安隆公司欺诈邮件数据集_44万封邮件_欺诈检测_机器学习_金融犯罪分析_自然语言处理引言与背景安隆公司欺诈邮件数据集是金融欺诈检测研究领域中极具价值的资源该数据集包含了安隆公司Enron Corporation破产案相关的44万封电子邮件数据并经过专业的欺诈标签标注。安隆公司曾是美国最大的能源公司之一2001年因会计丑闻破产成为企业欺诈研究的经典案例。本数据集不仅包含完整的电子邮件元数据信息还包含邮件正文内容、发送者与接收者信息、时间戳、文件夹结构等丰富字段更重要的是数据集已经过专业标注将邮件明确标记为正常邮件Label0或欺诈邮件Label1。这种高质量的标注使得该数据集成为训练和评估欺诈检测算法的理想选择对于金融犯罪检测、企业合规监控、异常行为识别等研究具有重要价值。数据集的完整性体现在其覆盖了从1999年至2002年的完整时间段包含了内部通信和外部通信的全面信息为研究人员提供了深入分析企业欺诈行为模式的数据基础。该数据集对于机器学习、自然语言处理、社交网络分析等领域的研究人员来说是一个难得的真实世界企业通信数据集能够帮助开发更准确的欺诈检测模型和风险预警系统。数据基本信息数据字段说明字段名称字段类型字段含义数据示例完整性Folder-Userobject文件夹用户标识maildir100.00%Folder-Nameobject文件夹名称arnold-j100.00%Message-IDobject邮件唯一标识17334447.1075857585446.JavaMail.evansthyme100.00%Dateobject邮件发送时间Thu, 16 Nov 2000 09:30:00 -0800 (PST)100.00%Fromobject发送者邮箱msagelhome.com100.00%Toobject接收者邮箱jarnoldenron.com100.00%Subjectobject邮件主题Status100.00%Mime-VersionobjectMIME版本1.0100.00%Content-Typeobject内容类型text/plain; charsetANSI_X3.4-1968100.00%Content-Transfer-Encodingobject内容传输编码7bit100.00%X-Fromobject发送者显示名称“Mark Sagel” msagelhome.com100.00%X-Toobject接收者显示名称“John Arnold” jarnoldenron.com100.00%X-ccobject抄送显示名称100.00%X-bccobject密送显示名称100.00%X-Folderobject文件夹路径\John_Arnold_Dec2000\Notes Folders\Notes inbox100.00%X-Originobject来源标识Arnold-J100.00%X-FileNameobject文件名Jarnold.nsf99.40%Bodyobject邮件正文内容Status John: I’m not really sure what happened…100.00%Ccobject抄送邮箱100.00%Bccobject密送邮箱100.00%Timeobject时间字段100.00%Attendeesobject参会者100.00%Reobject回复标识100.00%Sourceobject数据来源Enron Data100.00%Mail-IDobject邮件ID哈希值b399fa1ba5ec06ccf8ead1049a53be981d0ebb39ee2c941998281a328c7920b4100.00%POI-Presentbool是否涉及关键人物False100.00%Suspicious-Foldersbool是否来自可疑文件夹False100.00%Sender-Typeobject发送者类型External100.00%Unique-Mails-From-Senderfloat64发送者发送的唯一邮件数18.0100.00%Low-Commbool是否为低频通信False100.00%Contains-Reply-Forwardsbool是否包含回复或转发False100.00%Labelint64欺诈标签0正常1欺诈0100.00%数据分布情况标签分布Label记录数量占比累计占比0正常邮件44509099.48%99.48%1欺诈邮件23270.52%100.00%关键人物分布POI-Present记录数量占比累计占比False不涉及关键人物43855598.02%98.02%True涉及关键人物88621.98%100.00%发送者类型分布| Sender-Type | | 记录数量 | 占比 | 累计占比 ||-------------|---------|------|---------|| Internal内部发送 | 358440 | 80.11% | 80.11% || External外部发送 | 88977 | 19.89% | 100.00% |年份分布年份记录数量占比累计占比1999100712.25%2.25%200017453239.01%41.50%200123183851.82%93.32%2002298106.66%99.98%主要发送者分布Top 10发送者记录数量占比vince.kaminskienron.com115702.59%kay.mannenron.com97912.19%jeff.dasovichenron.com96852.16%chris.germanyenron.com86571.93%tana.jonesenron.com79191.77%steven.keanenron.com63581.42%pete.davisenron.com59811.34%matthew.lenhartenron.com52081.16%eric.bassenron.com51391.15%kate.symesenron.com48851.09%主要接收者分布Top 10接收者记录数量占比pete.davisenron.com59861.34%tana.jonesenron.com53041.19%vkaminskiaol.com41230.92%jeff.dasovichenron.com40990.92%sara.shackletonenron.com37460.84%kate.symesenron.com31920.71%gerald.nemecenron.com29870.67%mark.taylorenron.com29660.66%steven.keanenron.com29160.65%sally.beckenron.com25260.56%数据规模与特征该数据集包含447417封电子邮件涵盖28个字段数据完整率高达99.40%以上。邮件正文平均长度为893个字符中位数长度为232个字符最长邮件正文达到1401129个字符展现了丰富的文本内容。时间跨度从1999年到2002年其中2000年和2001年是数据最集中的年份分别占39.01%和51.82%。数据集包含内部邮件和外部邮件内部邮件占比80.11%外部邮件占比19.89%。欺诈邮件占比0.52%共2327封虽然数量相对较少但经过专业标注为欺诈检测研究提供了宝贵的正样本。数据集还包含POIPersons of Interest标识标记是否涉及案件关键人物涉及关键人物的邮件占1.98%。数据优势优势特征具体表现应用价值高质量标注每封邮件都有明确的欺诈标签0正常1欺诈标注准确可靠可直接用于监督学习算法训练无需额外标注工作完整邮件内容包含完整的邮件正文、主题、发送者、接收者等全部信息支持基于内容的深度分析包括文本挖掘、情感分析等丰富元数据包含时间戳、文件夹路径、发送者类型、POI标识等多维度信息支持多维特征工程构建综合性的欺诈检测模型真实场景数据来自真实的企业破产案件反映真实欺诈行为模式模型训练结果更具实用价值可直接应用于实际场景时间序列完整覆盖1999-2002年完整时间段可观察欺诈行为演变支持时序分析研究欺诈行为的发展轨迹和预警信号社交网络信息包含发送者-接收者关系可构建通信网络图支持社交网络分析识别异常通信模式和关键人物多样化样本包含内部邮件、外部邮件、长邮件、短邮件等多种类型提高模型的泛化能力适应不同场景的欺诈检测需求大规模数据44万封邮件提供了充足的训练和测试数据支持深度学习等需要大量数据的算法训练结构化与非结构化结合既有结构化字段又有非结构化文本内容支持多模态分析结合结构化特征和文本特征提高检测准确率数据来源https://dianshudata.com/dataDetail/14411数据样例以下展示数据集中的多样化样例涵盖不同标签、发送者类型、时间段等特征样例1外部正常邮件Label: 0正常邮件POI-Present: FalseSender-Type: ExternalDate: Thu, 16 Nov 2000 09:30:00 -0800 (PST)From: msagelhome.comTo: jarnoldenron.comSubject: StatusBody: Status John: I’m not really sure what happened between us.? I was under the impression after my visit to Houston that we were about to enter into a trial agreement for my advisory work…样例2内部正常邮件Label: 0正常邮件POI-Present: FalseSender-Type: InternalDate: Fri, 15 Jun 2001 11:53:51 -0700 (PDT)From: david.portenron.comTo: rick.buyenron.comSubject: FW: Message from Pug WinokurBody: Found it To: Murphy, Ted; Port, David; Carson, Rick L.样例3欺诈邮件Label: 1欺诈邮件POI-Present: FalseSender-Type: ExternalDate: Mon, 11 Dec 2000 11:21:00 -0800 (PST)From: infoamazon.comTo: jarnoldenron.comSubject: Amazon.com Password AssistanceBody: Amazon.com Password Assistance Greetings from Amazon.com. To finish resetting your password jarnoldenron.com, please visit our site using one of the personalized links below…样例4涉及关键人物的邮件Label: 0正常邮件POI-Present: TrueSender-Type: ExternalDate: Mon, 31 Dec 2001 14:34:49 -0800 (PST)From: legal .hallenron.comTo: stephanie.panusenron.comSubject: West Power Counterparty Update: 12/31/01Body: West Power Counterparty Update: 12/31/01 Today’s mail brought the following news: 1. Metropolitan Water District: MWD has terminated Deal Nos. 790056.01 and 807275.01, effective December 12, 2001…样例5包含回复转发的邮件Label: 0正常邮件POI-Present: FalseSender-Type: ExternalContains-Reply-Forwards: TrueDate: Mon, 11 Dec 2000 23:52:00 -0800 (PST)From: klarnoldflash.netTo: john.arnoldenron.comSubject: Fwd: NYTimes.com Article: Suspended Rabbi Quits Seminary PresidencyBody: Fwd: NYTimes.com Article: Suspended Rabbi Quits Seminary Presidency Sender: articles-emailms1.lga2.nytimes.com Reply-To: judgergmswbell.com From: judgergmswbell.com To: klarnoldflash.net样例6低频通信邮件Label: 0正常邮件POI-Present: FalseSender-Type: ExternalLow-Comm: TrueDate: Fri, 8 Dec 2000 05:05:00 -0800 (PST)From: slafontaineglobalp.comTo: john.arnoldenron.comSubject: re:summer inversesBody: re:summer inverses i suck-hope youve made more money in natgas last 3 weeks than i have. mkt shud be getting bearish feb forward-cuz we already have the weather upon us-fuel switching and the rest shud invert the whole curve not just dec cash to jan and feb forward…样例72000年邮件Label: 0正常邮件POI-Present: FalseSender-Type: ExternalDate: Thu, 16 Nov 2000 09:30:00 -0800 (PST)From: msagelhome.comTo: jarnoldenron.comSubject: StatusBody: Status John: I’m not really sure what happened between us.? I was under the impression after my visit to Houston that we were about to enter into a trial agreement for my advisory work…样例82001年邮件Label: 0正常邮件POI-Present: FalseSender-Type: ExternalDate: Tue, 15 May 2001 09:43:00 -0700 (PDT)From: iceoperationsintcx.comTo: icehelpdeskintcx.com, internalmarketingintcx.comSubject: The WTI Bullet swap contractsBody: The WTI Bullet swap contracts Hi, Following the e-mail you have received yesterday concerning the new WTI bullet swap contracts, we would like to summarize what we have done on the ICE system yesterday evening…样例9主要发送者邮件Label: 0正常邮件POI-Present: FalseSender-Type: InternalFrom: vince.kaminskienron.comDate: Mon, 28 Aug 2000 16:45:00 -0700 (PDT)To: kimberly.watsonenron.comSubject: Accounting adjustmentBody: Accounting adjustment Kim, FYI. I checked on the progress of the accounting adjustment and was told it would happen this month. Vince样例10主要发送者邮件带回复转发Label: 0正常邮件POI-Present: FalseSender-Type: InternalContains-Reply-Forwards: TrueFrom: kay.mannenron.comDate: Wed, 26 Dec 2001 09:20:27 -0800 (PST)To: lisa.mellencampenron.comSubject: RE: Post-Petition retention of Greenberg, TraurigBody: RE: Post-Petition retention of Greenberg, Traurig I will tell them. Thanks. Sent from my BlackBerry Wireless Handheld样例11主要接收者邮件Label: 0正常邮件POI-Present: FalseSender-Type: InternalContains-Reply-Forwards: TrueFrom: kourtney.nelsonenron.comTo: pete.davisenron.comSubject: Re: URGENT: ERROR - Load Meter Data FailedBody: Re: URGENT: ERROR Load Meter Data Failed: Effective Date: 3/17/01; LATE CUSTOMER FILES FOUND Pete, I called Glenna and she informed me that they are no longer in Folsom but are in Alhambra…样例12主要接收者邮件外部发送Label: 0正常邮件POI-Present: FalseSender-Type: ExternalContains-Reply-Forwards: TrueFrom: legal .taylorenron.comTo: tana.jonesenron.comSubject: FW: Last Year trades - Top 50 counterpartiesBody: FW: Last Year trades Top 50 counterparties US/Canadian Gas/Power To: Taylor, Mark E (Legal)样例13长邮件Label: 0正常邮件POI-Present: FalseSender-Type: ExternalDate: Tue, 15 May 2001 09:43:00 -0700 (PDT)From: iceoperationsintcx.comTo: icehelpdeskintcx.com, internalmarketingintcx.comSubject: The WTI Bullet swap contractsBody: The WTI Bullet swap contracts Hi, Following the e-mail you have received yesterday concerning the new WTI bullet swap contracts, we would like to summarize what we have done on the ICE system yesterday evening…样例14短邮件Label: 0正常邮件POI-Present: FalseSender-Type: ExternalDate: Sun, 13 May 2001 15:23:00 -0700 (PDT)From: msagelhome.comTo: jarnoldenron.comSubject: Natural gas updateBody: Natural gas update Latest natural report ng051301.doc样例151999年邮件Label: 0正常邮件POI-Present: FalseSender-Type: ExternalDate: Mon, 13 Dec 1999 15:06:00 -0800 (PST)From: sheila_kellycdnoxy.comTo: john.lavoratoenron.comSubject: nanBody: Hi John, I hope all is going well. I have heard lots of great things about your on-line system. I hope it is going well on your end. I just wanted to touch base with you to see how you are doing with the fundraising…样例162002年邮件Label: 0正常邮件POI-Present: FalseSender-Type: InternalDate: Fri, 15 Feb 2002 10:28:00 -0800 (PST)From: lisa.mellencampenron.comTo: lisa.mellencampenron.comSubject: RE: 2/14/02Body: RE: 2/14/02 Thanks for the update. Lisa样例17高频发送者邮件Label: 0正常邮件POI-Present: FalseSender-Type: InternalUnique-Mails-From-Sender: 3930.0From: vince.kaminskienron.comDate: Mon, 28 Aug 2000 16:45:00 -0700 (PDT)To: kimberly.watsonenron.comSubject: Accounting adjustmentBody: Accounting adjustment Kim, FYI. I checked on the progress of the accounting adjustment and was told it would happen this month. Vince样例18高频发送者邮件带回复Label: 0正常邮件POI-Present: FalseSender-Type: InternalUnique-Mails-From-Sender: 4867.0Contains-Reply-Forwards: TrueFrom: kay.mannenron.comDate: Wed, 26 Dec 2001 09:20:27 -0800 (PST)To: lisa.mellencampenron.comSubject: RE: Post-Petition retention of Greenberg, TraurigBody: RE: Post-Petition retention of Greenberg, Traurig I will tell them. Thanks. Sent from my BlackBerry Wireless Handheld样例19涉及关键人物且为欺诈的邮件Label: 1欺诈邮件POI-Present: TrueSender-Type: ExternalDate: Mon, 11 Dec 2000 11:21:00 -0800 (PST)From: infoamazon.comTo: jarnoldenron.comSubject: Amazon.com Password AssistanceBody: Amazon.com Password Assistance Greetings from Amazon.com. To finish resetting your password jarnoldenron.com, please visit our site using one of the personalized links below…样例20内部正常邮件带回复转发Label: 0正常邮件POI-Present: FalseSender-Type: InternalContains-Reply-Forwards: TrueDate: Thu, 26 Apr 2001 14:58:00 -0700 (PDT)From: kourtney.nelsonenron.comTo: pete.davisenron.comSubject: Re: URGENT: ERROR - Load Meter Data FailedBody: Re: URGENT: ERROR Load Meter Data Failed: Effective Date: 3/17/01; LATE CUSTOMER FILES FOUND Pete, I called Glenna and she informed me that they are no longer in Folsom but are in Alhambra…应用场景金融欺诈检测该数据集在金融欺诈检测领域具有重要应用价值。通过分析安隆公司破产案中的真实邮件数据研究人员可以训练机器学习模型识别潜在的欺诈行为模式。数据集中已标注的2327封欺诈邮件为监督学习提供了宝贵的正样本而44万封正常邮件提供了丰富的负样本。基于这些数据可以开发基于文本内容的欺诈检测模型通过自然语言处理技术提取邮件主题、正文、发送者特征等信息构建分类器自动识别可疑邮件。此外结合时间序列分析可以研究欺诈行为在时间上的演变规律识别欺诈行为的前兆信号为早期预警提供支持。该应用对于银行、证券、保险等金融机构的合规监控具有重要意义能够帮助机构及时发现内部员工的异常行为防范金融风险。企业合规与内部审计企业合规和内部审计是该数据集的另一个重要应用场景。安隆公司案例是历史上最著名的企业欺诈案例之一该数据集为研究企业内部欺诈行为提供了真实的一手资料。通过分析邮件通信模式可以识别异常的内部通信行为如异常频繁的邮件往来、非正常的工作时间段通信、与外部可疑实体的频繁联系等。数据集中的POIPersons of Interest标识帮助识别涉及案件关键人物的邮件这对于企业内部审计中识别高风险人员具有重要参考价值。企业可以利用该数据集训练模型建立内部通信监控系统实时分析员工邮件通信行为及时发现潜在的违规行为。此外该数据集还可以用于开发合规培训材料通过真实案例帮助员工理解什么是合规行为什么是违规行为提高员工的合规意识。社交网络分析与异常检测该数据集包含完整的发送者-接收者信息可以构建企业内部通信网络图支持社交网络分析应用。通过分析邮件通信网络可以识别网络中的关键节点如频繁发送邮件的人员、异常连接如与外部可疑实体的频繁联系、通信模式异常如突然增加的邮件往来等。社交网络分析可以帮助识别潜在的欺诈团伙通过分析邮件通信的聚类结构发现异常的通信群体。此外结合图神经网络等深度学习技术可以开发基于网络结构的欺诈检测模型从网络拓扑角度识别异常行为。该应用对于企业安全、反欺诈调查等领域具有重要价值能够帮助调查人员快速锁定可疑人员和可疑通信模式提高调查效率。自然语言处理与文本挖掘该数据集包含44万封邮件的完整正文内容为自然语言处理和文本挖掘研究提供了丰富的语料。基于这些文本数据可以开展多种NLP应用包括主题建模、情感分析、实体识别、关系抽取等。主题建模可以自动发现邮件中的主要话题识别与欺诈相关的主题情感分析可以识别邮件中的情绪倾向发现异常的情绪表达实体识别可以提取邮件中的人名、地名、组织名等实体信息构建实体关系网络关系抽取可以识别邮件中描述的人物关系、事件关系等。此外基于预训练语言模型如BERT、GPT等可以开发更先进的文本分类和异常检测模型通过深度学习技术自动识别可疑邮件。该应用对于文本分析、信息抽取、智能问答等领域的研究具有重要价值。机器学习算法研究与评估该数据集是评估和比较不同机器学习算法性能的理想数据集。数据集规模适中既有足够的训练数据又有明确的标签适合用于算法性能评估。研究人员可以比较不同算法在欺诈检测任务上的表现包括传统机器学习算法如逻辑回归、支持向量机、随机森林等和深度学习算法如卷积神经网络、循环神经网络、Transformer等。此外该数据集还可以用于研究类别不平衡问题因为欺诈邮件仅占0.52%这是一个典型的类别不平衡场景。研究人员可以探索各种处理类别不平衡的方法如重采样、代价敏感学习、集成学习等评估这些方法对模型性能的影响。该应用对于机器学习算法研究、模型选择、超参数优化等领域具有重要价值。异常行为检测与预警系统该数据集可以用于开发企业异常行为检测与预警系统。通过分析邮件通信模式、内容特征、时间特征等多维度信息可以构建综合性的异常检测模型。系统可以实时监控企业内部邮件通信自动识别异常行为如异常的邮件发送频率、异常的通信对象、异常的邮件内容、异常的时间模式等。当检测到异常行为时系统可以及时发出预警提醒安全人员进行进一步调查。该系统可以结合规则引擎和机器学习模型既利用专家知识定义明确的异常规则又利用机器学习发现未知的异常模式。该应用对于企业安全管理、风险控制、合规监控等领域具有重要价值能够帮助企业及时发现和防范内部风险。数据挖掘与知识发现该数据集为数据挖掘和知识发现研究提供了丰富的资源。通过关联规则挖掘可以发现邮件通信中的频繁模式如某些人员经常一起出现、某些主题经常在特定时间段出现等。通过聚类分析可以将邮件或发送者分组发现潜在的通信群体或主题群体。通过分类分析可以建立预测模型预测邮件是否为欺诈邮件。通过序列模式挖掘可以发现邮件通信的时间序列模式识别异常的时间序列行为。此外结合可视化技术可以直观展示邮件通信网络、时间分布、主题分布等帮助研究人员更好地理解数据特征。该应用对于数据挖掘、知识发现、商业智能等领域的研究具有重要价值。结尾安隆公司欺诈邮件数据集是一个极具价值的研究资源为金融欺诈检测、企业合规监控、自然语言处理等多个领域的研究提供了真实世界的数据基础。该数据集的核心优势在于其高质量的标注、完整的邮件内容、丰富的元数据信息以及真实的企业欺诈场景这些特点使得该数据集成为训练和评估欺诈检测算法的理想选择。数据集包含44万封邮件涵盖1999年至2002年的完整时间段提供了充足的数据规模和时间跨度支持深度学习和时序分析等高级应用。数据集中的2327封欺诈邮件虽然数量相对较少但经过专业标注为监督学习提供了宝贵的正样本。该数据集对于学术研究和产业应用都具有重要价值能够帮助开发更准确的欺诈检测模型和风险预警系统为金融安全、企业合规、内部审计等领域提供技术支持。研究人员可以利用该数据集开展多种研究包括算法开发、模型评估、模式发现、异常检测等推动相关领域的技术进步。有需要可私信获取更多信息。