HuggingFace 数据集

Hugging Face Hub 是一个拥有超过 5,000 个数据集的平台，涵盖了100多种语言，可用于自然语言处理、计算机视觉和音频等广泛领域的任务。这些数据集可用于各种任务，例如翻译、自动语音识别和图像分类。

本文介绍了如何将 Hugging Face Hub 数据集加载到 LangChain 中。

from langchain_community.document_loaders import HuggingFaceDatasetLoader

dataset_name = "imdb"
page_content_column = "text"
loader = HuggingFaceDatasetLoader(dataset_name, page_content_column)

data = loader.load()

data[:15]

[Document(page_content='我从视频店租了《我是黄色的》（I AM CURIOUS-YELLOW），因为它在1967年首次上映时引起了很多争议。我还听说，它一旦试图进入这个国家就会被美国海关扣押，因此作为一个喜欢被认为是“有争议”的电影的影迷，我真的很想亲眼看看这部电影。<br /><br />剧情围绕着一个叫Lena的年轻瑞典戏剧学生展开，她想尽可能多地了解生活的方方面面。特别是她想专注于制作一部关于普通瑞典人对某些政治问题（如越南战争和美国的种族问题）的看法的纪录片。在询问政治家和斯德哥尔摩的普通市民对政治的看法之间，她与她的戏剧老师、同学和已婚男人发生性关系。<br /><br />《我是黄色的》让我感到困惑的是，40年前，这被认为是色情的。实际上，性和裸露的场景很少，而且即使有，也不像一些廉价的色情电影那样拍摄。虽然我的同胞们可能会觉得这很震惊，但实际上，性和裸露在瑞典电影中是一个主要的特色。甚至可以说，瑞典的回答好莱坞老男孩约翰·福特的人，英格玛·贝格曼（Ingmar Bergman）的电影中也有性场景。<br /><br />我赞扬电影制片人的一点是，电影中展示的任何性行为都是出于艺术目的，而不仅仅是为了震惊人们并赚钱在美国的色情电影院上映。《我是黄色的》对于任何想研究瑞典电影的人来说都是一部好电影。但实际上，这部电影没有太多的情节。', metadata={'label': 0}),
 Document(page_content='"我是黄色的"是一部可笑和自负的垃圾。不管一个人的政治观点是什么，因为这部电影几乎无法被认真对待。至于声称男性前端裸露是自动NC-17的说法是不正确的。我看过有男性裸露的R级电影。当然，它们只提供了一些短暂的视图，但在R级电影中从未见过张开的阴道和摇摆的阴唇。而那些糟糕的有线电视节目：阳具在风中摇摆，但看不到阴蒂。还有那些自命不凡的独立电影，比如《棕色兔子》（The Brown Bunny），我们可以看到文森特·加洛（Vincent Gallo）的跳动的阳具，但在克洛伊·塞维尼（Chloe Sevigny）身上看不到一丝粉红色。在裸露问题上，那些智商低下的人应该考虑到男女之间不可避免的明显解剖差异之一：女性演员裸露时不会展示生殖器，而男性则不然。事实上，在美国电影中，除了色情或明确的色情作品外，你通常不会看到女性生殖器。这种所谓的双重标准不是双重标准，而是文化上对女性身体内部的理解确实令人沮丧。', metadata={'label': 0}),
 Document(page_content='为了避免将来制作这种类型的电影。这部电影作为一种实验是有趣的，但没有讲述一个连贯的故事。<br /><br />一个人可能会因为坐在那里而感到有道德，因为它涉及到很多重要的问题，但它在没有任何明显动机的情况下这样做。观众在观看这部毫无意义的电影时没有获得新的观点（除非在思绪漫游时想出一个观点，因为在这部毫无意义的电影中，思绪漫游是不可避免的）。<br /><br />一个人可能会更好地花时间盯着窗外的一棵树长大。<br /><br />', metadata={'label': 0}),
 Document(page_content='这部电影可能受到了戈达尔的《男性，女性》的启发，我建议你看那部电影。<br /><br />这部电影有两个强项，那就是（1）逼真的表演（2）令人印象深刻、不应该如此好的照片。除此之外，最让我印象深刻的是无休止的愚蠢。Lena Nyman可能是世界上最讨厌的女演员。她表演得如此愚蠢，而且在这部电影中的所有裸露场景中，都不具有吸引力。与戈达尔的电影相比，智力已经被愚蠢所取代。在这个问题上，我会说这是法国和瑞典社会理想之间的差异导致的。<br /><br />这是一部属于它的时代和地方的电影。2/10。', metadata={'label': 0}),
 Document(page_content='哦，天哪...听说这部荒谬的电影已经有几十年了，我能想到的只是那首老的佩吉·李（Peggy Lee）的歌..<br /><br />"就这样了吗？？" ...当这部烂片在美国上映时，我还只是个十几岁的少年。我还太小，不能进电影院（尽管我设法偷偷溜进了《再见，哥伦布》）。然后，当地一个电影博物馆放映了这部电影 - 终于我可以看到这部电影了，只是现在我和我的父母在他们去看这部电影时一样大了！！<br /><br />这部电影之所以没有被埋没在时间的沙漠中，唯一的原因是因为它在美国上映时引发了淫秽案件。数百万人涌向这个烂片，以为他们要看一部色情电影...相反，他们看到了许多令人作呕的瑞典人的特写镜头，在平淡无奇的购物中心进行街头采访，以及愚蠢的政治自负...以及松弛、苍白的演员之间无聊的模拟性爱场景。<br /><br />文化符号，圣杯，历史文物..不管这玩意是什么，撕碎它，烧掉它，然后把灰烬装进一个铅盒子里！<br /><br />精英艺术家仍然在努力寻找它无聊的伪革命政治言论中的价值..但如果不是因为审查丑闻，它本来会被忽视，然后被遗忘。<br /><br />相反，每隔十年左右，这个东西就会从死亡中复活，被新一代的傻瓜观众观看，他们想看那部“淘气的性爱电影”，那部“改变了电影业”的电影...<br /><br />呸，像瘟疫一样避免...或者如果你一定要看它-租一张录像带，然后快进到“肮脏”的部分，只是为了结束它。<br /><br />', metadata={'label': 0}),
 Document(page_content='我会把这部电影放在我看过的垃圾电影类别的首位！有些电影很糟糕，但最糟糕的是那些不堪入目的电影，但你应该喜欢它们，因为它们应该对你有好处！这部电影在当时引起了震惊的性爱场景，甚至无法引起兔子的兴趣。所谓的有争议的政治只是高中二年级业余夜的马克思主义。这部电影以最糟糕的意义上自觉地艺术化。摄影是粗糙的颗粒黑白。有些场景不清晰或从错误的角度拍摄。甚至声音也很糟糕！而且有些人称这是艺术？<br /><br />', metadata={'label': 0}),
 Document(page_content='谁写的这部电影剧本显然从未咨询过任何关于露西尔·鲍尔（Lucille Ball）的书籍，尤其是她的自传。我从未见过一部传记片中有这么多错误，从她在塞洛隆（Celoron）和詹姆斯敦（Jamestown）的早年到她与德西（Desi）的后年。我可以列出一整页的事实错误，但这会占用很多页。总之，我认为露西尔·鲍尔是那种无法由其他人扮演的独特人物。如果我是露西·阿纳兹（Lucie Arnaz）和德西·阿纳兹（Desi, Jr.），我会对这部电影中的错误感到愤怒。电影制片人努力了，但我觉得这部电影非常粗心。', metadata={'label': 0}),
 Document(page_content='当我第一次看到这部电影的片段时，我很快注意到扮演露西尔·鲍尔（Lucille Ball）角色的女演员。瑞秋·约克（Rachel York）对露西的扮演绝对糟糕。露西尔·鲍尔是一位令人惊叹的喜剧演员，具有令人难以置信的才华。想象一下像露西尔·鲍尔这样的传奇人物在电影中的扮演方式是可怕的。我无法相信在全世界所有的女演员中，制片人决定选择瑞秋·约克。她在其他角色中可能是一位出色的演员，但扮演露西尔·鲍尔的角色是很困难的。很难找到一个能够与露西尔·鲍尔相似的人，但至少可以找到一个在外貌和才华上有些相似的人。如果你注意到约克在《我爱露西》（I Love Lucy）的剧集中扮演露西尔·鲍尔的角色，比如巧克力工厂或维他命，无论是表情、声音还是动作都没有任何相似之处。<br /><br />此外，丹尼·皮诺（Danny Pino）扮演的德西·阿纳兹（Desi Arnaz）很糟糕。皮诺不适合扮演里奇（Ricky）。他个子矮小、瘦弱，口音不真实，而且他的表演也不可信。尽管弗雷德和埃塞尔（Fred and Ethel）并不相似，但他们没有那么糟糕，像露西和里奇那样。<br /><br />总的来说，非常糟糕的演员阵容和故事叙述不好。如果人们想了解露西尔·鲍尔的真实生活情况，我建议观看A＆E传记节目《露西和德西》（Lucy and Desi），阅读露西尔·鲍尔自己的书，或者观看PBS的《美国大师：寻找露西》（American Masters: Finding Lucy）。如果你想看一部纪录片，那么《笑声之前》（Before the Laughter）会是一个更好的选择。与这部电影相比，《笑声之前》中露西尔·鲍尔和德西·阿纳兹的角色更好。至少，它展示了一种相似的方面，而不是没有什么。', metadata={'label': 0}),
 Document(page_content='他们是谁？演员吗？电影制片人吗？当然不可能是观众-这是存在的最膨胀的制作之一。这是一种看起来很有趣的电影，拍摄起来肯定很有趣，但是没有人真正在工作，几乎没有人在观看时感到愉快。<br /><br />里特戴上眼镜，以突出他的角色作为一个类似于戴着眼镜的波格达诺维奇的人；与轻松的斯特拉滕女士的场景很甜蜜，但给人一种尴尬的感觉，就好像在说“看吧，我正在和舞会皇后约会”。本·加扎拉（Ben Gazzara）带着他一贯的猫儿得到了猫儿得到的微笑，试图提升这个贫乏的情节，这要求他以一个失眠诊所的嗜睡者的兴趣追求奥黛丽·赫本（Audrey Hepburn）。与此同时，这对新恋人各自的孩子（波格达诺维奇的女儿）可爱地说话，并在观察父母时获得了一些相当令人不安的“爱”的指导。（赫本女士凭借她的尊严设法超越了这些事情-但她面临着一个巨大的挑战，即扮演她自己，表面上。）每个人看起来都很棒，但那又怎样？这是一部电影，我们可以期望这一点，如果你正在寻找这一点，你最好选择一本《时尚》杂志。<br /><br />哦-必须提到的是，科琳·坎普（Colleen Camp）非常讨厌，即使不算上她的唱歌，她的唱歌虽然称职，但完全令人不信服...乡村和西部的音乐与配乐中的标准歌曲非常不匹配。肯定这不是格什温（Gershwin）（他写了这首歌，电影的标题就是从这首歌中衍生出来的）所想要的；他在20年代的舞台音乐剧可能很轻微，但至少它们在魅力方面很长。《他们都笑了》试图依靠它的良好意图，但没有人-尤其是彼得·波格达诺维奇（Peter Bogdanovich）-有足够的理智来刹车。<br /><br />由于多萝西·斯特拉滕（Dorothy Stratten）的悲剧性死亡，这部电影在波格达诺维奇先生的心中有着特殊的地位-他甚至从制片人那里买回了它，然后自己发行，并在它没有受到欢迎时破产。他的崛起和衰落是好莱坞故事中最令人同情和悲惨的故事之一，所以批评这部电影没有令人高兴...在斯特拉滕女士的场景中，确实有真正的情感投入。但是，《笑声》只是《最后一张照片》（The Last Picture Show）、《纸月亮》（Paper Moon）或《医生，你干嘛》（What\'s Up, Doc）的微弱回声-继《黛西·米勒》（Daisy Miller）和《最后的爱情》（At Long Last Love）之后，它是波格达诺维奇从未走出过的阶段的响亮证明。<br /><br />总的来说，这部电影是无害的，只是浪费租金。如果我想看人们玩得开心，我会在阳光明媚的日子去公园。至于表达快乐和爱的电影，我会坚持欧内斯特·卢比奇（Ernest Lubitsch）和雅克·德米（Jaques Demy）...', metadata={'label': 0}),
 Document(page_content='据说这部电影对彼得·波格达诺维奇来说是一部个人电影。他以自己的生活为基础，但改变了一些事情以适应角色，这些角色是侦探。这些侦探与美丽的模特约会，而且没有问题可以得到她们。听起来更像是百万富翁花花公子电影制片人，而不是侦探，不是吗？整部电影都是由彼得编写的，这表明他与真实人物脱节。你应该写你所知道的，他确实做到了。并且让观众感到无聊和困惑，还有嫉妒。这对于那些想看多萝西·斯特拉滕（Dorothy Stratten）的人来说是一个奇特的东西，她在拍摄后不久被她的丈夫谋杀。但是帕蒂·汉森（Patti Hansen），她将在现实生活中嫁给基思·理查兹（Keith Richards），也是一个模特，就像斯特拉滕一样，但是她更好，而且有更多的戏份。事实上，斯特拉滕的角色似乎是被迫的；添加的。她与故事没有太多关系，而故事本身已经相当复杂。总之，这部电影中的每个角色都是很少有人能够与之产生共鸣的人，除非你是曼哈顿的百万富翁，拥有美丽的超级模特随时为你效劳。对于我们其他人来说，这是一个令人恼火的无聊节目。当你脱离实际时，这就是发生的事情。你用内部笑话取悦你的几个朋友，并让其他所有人感到无聊。', metadata={'label': 0}),
 Document(page_content='这是我30年前最喜欢的明星之一的一些电影，包括约翰·里特（John Ritter）、本·加扎拉（Ben Gazarra）和奥黛丽·赫本（Audrey Hepburn）。他们看起来非常出色。但就是这样。他们没有得到任何角色或好台词。我既不理解也不关心角色在做什么。<br /><br />一些较小的女性角色还不错，帕蒂·汉森（Patty Hansen）和科琳·坎普（Colleen Camp）在她们的小配角中非常有能力和自信。他们展示了一些才华，可惜他们没有在更多和更好的电影中担任主角。不幸的是，我认为多萝西·斯特拉滕（Dorothy Stratten）没有机会在这部电影中表演，这是她唯一重要的电影角色。<br /><br />这部电影似乎有一些粉丝，当我开始看它时，我非常开放。我是彼得·波格达诺维奇的忠实粉丝，我喜欢他的最后一部电影《猫的咆哮》（Cat\'s Meow）和他从《目标》（Targets）到《尼克洛迪昂》（Nickleodeon）的早期电影。所以，当我几乎无法保持清醒地观看这部电影时，我真的很惊讶。<br /><br />这部电影讲述了一个侦探机构，侦探和客户彼此之间陷入了浪漫关系。五年后，波格达诺维奇的前女友西比尔·谢泼德（Cybil Shepherd）拍摄了一部名为《月光光，心慌慌》（Moonlighting）的热门电视系列，从波格达诺维奇那里偷走了故事的创意。当然，两者之间存在很大的区别，该系列依赖于大量机智的对话，而这部电影则试图通过闹剧和一些滑稽的台词来完成。<br /><br />底线：这不是《纸月亮》（Paper Moon），只是《你好，医生》（What\'s Up, Doc）的一个非常苍白的版本。', metadata={'label': 0}),
 Document(page_content='我不能相信在这里称赞这部电影的人没有想到其他电影。我准备好这部电影可能很糟糕，但剧本（或缺乏剧本）使得这部电影也变得毫无意义。好的一面是演员和技术人员的整体水平非常出色，但当你拿到一只猪耳朵时，你无法制作出一只丝绸钱包。本·加扎拉的粉丝应该坚持他参演的任何其他电影。多萝西·斯特拉滕的粉丝应该坚持《星光伴我心》（Star 80），她在这部电影中的角色比在银幕上更有趣。帕蒂·汉森是一位演员，但我不喜欢她的演唱，虽然她的演唱能力很强，但完全不令人信服...乡村和西部的音乐与配乐中的标准歌曲非常不匹配。肯定这不是格什温（Gershwin）（他写了这首歌，电影的标题就是从这首歌中衍生出来的）所想要的；他在20年代的舞台音乐剧可能很轻微，但至少它们在魅力方面很长。《他们都笑了》试图依靠它的良好意图，但没有人-尤其是彼得·波格达诺维奇（Peter Bogdanovich）-有足够的理智来刹车。<br /><br />由于多萝西·斯特拉滕（Dorothy Stratten）的悲剧性死亡，这部电影在波格达诺维奇先生的心中有着特殊的地位-他甚至从制片人那里买回了它，然后自己发行，并在它没有受到欢迎时破产。他的崛起和衰落是好莱坞故事中最令人同情和悲惨的故事之一，所以批评这部电影没有令人高兴...在斯特拉滕女士的场景中，确实有真正的情感投入。但是，《笑声》只是《最后一张照片》（The Last Picture Show）、《纸月亮》（Paper Moon）或《医生，你干嘛》（What\'s Up, Doc）的微弱回声-继《黛西·米勒》（Daisy Miller）和《最后的爱情》（At Long Last Love）之后，它是波格达诺维奇从未走出过的阶段的响亮证明。<br /><br />总的来说，这部电影是无害的，只是浪费租金。如果我想看人们玩得开心，我会在阳光明媚的日子去公园。至于表达快乐和爱的电影，我会坚持欧内斯特·卢比奇（Ernest Lubitsch）和雅克·德米（Jaques Demy）...', metadata={'label': 0}),
 Document(page_content='今天我在一个租赁店里找到了《他们都笑了》的VHS带。这是一盘非常旧且使用过的VHS带，我对这部电影一无所知，但我喜欢封面上列出的参考资料：彼得·波格达诺维奇（Peter Bogdanovich）、奥黛丽·赫本（Audrey Hepburn）、约翰·里特（John Ritter）和特别是多萝西·斯特拉滕（Dorothy Stratten）的名字吸引了我，价格非常低，我决定冒险购买。我在 IMDb 上搜索了一下，6.0 的用户评分是一个很好的参考。我在《Mick Martin & Marsha Porter Video & DVD Guide 2003》中查找了一下-哇-四颗星！所以，我决定不能再浪费时间，立即观看。事实上，我刚刚看完了《他们都笑了》，我发现这是一部非常无聊的被高估的电影。角色发展得很差，我花了很多时间来理解他们在故事中的角色。情节被认为很有趣（私家侦探爱上了他们追逐的女人），但我在整个故事中都没有笑过。在一个像纽约这样的大城市里，巧合是荒谬的。本·加扎拉（Ben Gazarra）作为一个有吸引力和非常诱人的男人，女人们爱上他，就好像他是布拉德·皮特（Brad Pitt）、安东尼奥·班德拉斯（Antonio Banderas）或乔治·克鲁尼（George Clooney）一样，这是相当荒谬的。最后，最大的吸引力肯定是《花花公子》中心页和年度玩伴多萝西·斯特拉滕（Dorothy Stratten），她在这部电影上映后不久被丈夫谋杀，她的生活在《星光伴我心》（Star 80）和《中心页的死亡：多萝西·斯特拉滕的故事》（Death of a Centerfold: The Dorothy Stratten Story）中展示出来；性感的帕蒂·汉森（Patti Hansen）的惊人美丽；永远令人惊叹，即使已经52岁的奥黛丽·赫本；以及罗伯托·卡洛斯（Roberto Carlos）的歌曲《Amigo》。尽管我不喜欢他，罗伯托·卡洛斯自60年代末以来一直是最受欢迎的巴西歌手，他的粉丝们称他为“国王”。我将保留这部电影，只是因为这些吸引力（多萝西·斯特拉滕主要）。我给它四分。', metadata={'label': 0})]

示例

在这个示例中，我们使用数据集中的数据来回答一个问题。

from langchain.indexes import VectorstoreIndexCreator
from langchain_community.document_loaders.hugging_face_dataset import (
    HuggingFaceDatasetLoader,
)

dataset_name = "tweet_eval"
page_content_column = "text"
name = "stance_climate"
loader = HuggingFaceDatasetLoader(dataset_name, page_content_column, name)

index = VectorstoreIndexCreator().from_loaders([loader])

找到缓存数据集 tweet_eval

  0%|          | 0/3 [00:00<?, ?it/s]

使用嵌入式 DuckDB 而不是持久性存储：数据将是瞬时的

query = "最常用的标签是什么？"
result = index.query(query)

result

'在这种情境中，最常用的标签是 #UKClimate2015、#Sustainability、#TakeDownTheFlag、#LoveWins、#CSOTA、#ClimateSummitoftheAmericas、#SM 和 #SocialMedia。'