发布日期：2024-01-09 03:57 点击次数：80
西风 发自 凹非寺量子位 | 公众号 QbitAI加拿大pc28开奖网址
布告全职搞栽植的AI大神Andrej Karpathy（卡帕西），新年第一课来了——
发布三个半小时视频课，久了认识了ChatGPT等大谈话模子的里面责任机制，其中涵盖模子树立的齐全考试历程、如安在执行应用中最灵验地使用它们，还有AI将来发展趋势。
卡帕西强调，此次是为群众准备的，即使莫得期间配景也能看懂
他在视频中久了浅出用无数具体示例，如GPT-2、Llama 3.1等，齐全论说了大模子的旨趣。
当红炸子鸡DeepSeek也没落下，成为一大重心。
卡帕西课程的含金量无需多言，刚一发就被网友团团围住，熬夜也要看的那种。
网友们暗意，接下来三个半小时就这么过了：
雷霆逆转步行者豪取九连胜，本场比赛亚历山大超神发挥，首节比赛雷霆进攻上非常被动，步行者单节打了一波29-19迅速将分差拉开，但第二节雷霆及时调整开始不断追分，次节雷霆追回2分但仍落后8分进入下半场，下半场步行者进攻上明显有些吃力，而雷霆连续两节进攻上打的非常强势，最终120-114逆转步行者，多特13分，威廉姆斯20分，亚历山大45分，西亚卡姆22+10，特纳12+11，内姆哈特23+9+7！
他11投5中，三分2中0，没有罚球，得10分13板6助。正负值为+19。
你知谈，Karpathy发布新视频，一整天都会变得相配好意思好，每个视频都是金矿！
机器学习工程师Rohan Paul看后也暗意其中联系于ChatGPT里面责任机制最简易明了的证明注解。
话未几说了，以下是重心常识点，文末有齐全视频联贯～
重心一览
用过访佛ChatGPT等用具的东谈主可能都会有这么的疑问：
这个文本框背后是什么？你不错在里面输入任何内容并按回车，但咱们应该输入什么？这些生成的词又是什么意旨酷爱？这一切是如何责任的？你究竟在与什么疏通？
卡帕西在视频中留神解答了这些问题。
他从如何构建这么一个LLM张开，留神讲授了统共阶段：
预考试：数据、分词、Transformer神经蚁集的输入/输出及里面机制、推理、GPT-2考试示例、Llama 3.1基础推理示例。监督微调：对话数据、“LLM样貌学”：幻觉、用具使用、常识/责任记念、自我知道、模子需要token来念念考、拼写、错乱不皆的智商。强化学习：熟能生巧、DeepSeek-R1、AlphaGo、基于东谈主类反映的强化学习（RLHF）。预考试
领先是预考试阶段，使模子领有丰富的常识。
预考试的第一步是下载和处理互联网数据。方针是从互联网的公开资源中得到无数且种类各类的文本、高质料文档，举例FineWeb。
第二步是文本索要
爬虫得到的是网页的原始HTML代码，需要过滤和处理索要出网页文本，去除导航和无关内容。
还要进行谈话过滤，举例只保留英语占比逾越65%的网页，不同公司会把柄需求决定保留的谈话种类，要是过滤掉统共的西班牙语，那么模子之后在西班牙语上果真认就可能不会很好。
之后，还会进行去重、移除个东谈主身份信息等进一步的过滤要领，最终得到大范围的文本数据，进入考试集。
接下来要作念的是在这些数据上考试神经蚁集。在将文本输入神经蚁集之前，需要将文本调换为一维象征序列。
通过字节对编码（BPE）算法，将常见的字节组合成新象征，从而减少序列长度并增多象征词汇量。tokenization是将文本调换为象征序列的历程，不同的输入文本会把柄tokenization规定生成不同的象征序列。
考试神经蚁集时，从数据围聚随即抽取token行为输入，并展望下一个token。神经蚁集的输出是下一个token出现的概率散播。
通过考试历程不断更新蚁集参数，使展望效果与执行数据的统计模式一致。
神经蚁集里面是一个复杂的数学抒发式，输入token序列与蚁集参数羼杂，经过多层变换后输出展望效果。当代神经采鸠合构，如Transformer，具有无数参数和复杂的里面结构，但骨子上是通过优化参数来使展望效果与考试数据匹配。
考试历程需要雄伟的计较资源救助，依赖高性能GPU集群，这些硬件约略高效处理大范围并行计较任务，加快模子的考试和优化。随着期间的发展，考试老本缓缓镌汰，但大范围模子的考试仍然需要无数的计较资源插足。
卡帕西在视频中以GPT-2为例参谋了考试，包括其参数、高下文长度和考试老本。
之后他又以Llama 3为例参谋了基础谈话模子的属性，它不错生成访佛于互联网文档的token序列，并将常识存储在其参数中。
但是，模子的输出具有随即性，每次生成的效果可能不同，且模子可能会过度记念考试数据中的某些内容，导致输出与考试数据高度一样，以致径直复述某些条款。
这种风光在执行应用中可能会带来问题，举例模子可能无法别离事实和乌有信息，因为它仅仅基于考试数据的统计规章进行生成。
预考试阶段，模子通过无数互联网文档数据学习生成文本的智力，输出为基础模子，它约略生成与互联网文档统计特质一样的token序列，但本人并不是一个约略恢复问题的“助手”。
是以还需要后考试。
后考试
在后考试阶段，模子通过学习东谈主类标注的对话数据来治疗其行动，从而约略生成稳健东谈主类欲望的恢复。数据集范围较小，考试时刻也相对较短。
早期的对话数据集（如InstructGPT）主要由东谈主类标注东谈主员手工创建，但随着期间的发展，当代的对话数据集越来越多地应用现存的谈话模子来生成运行恢复，然后由东谈主类进行裁剪和优化。这些数据集可能包含数百万条对话，掩盖普遍的主题和范围。
具体来说，后考试包括监督微调（SFT）和强化学习（RL）。
在监督微调阶段，模子通过创建对话数据集，学习如何与东谈主类进行多轮对话
举例，OpenAI的InstructGPT论文留神先容了如何通过东谈主类标注者创建对话数据集。
强化学习阶段，主义是让模子通过实践和试错来发现处分问题的最好要领
卡帕西用东谈主类在学校学习的历程类比。预考试荒谬于阅读教材中的配景常识，微调荒谬于学习巨匠提供的解题要领，而强化学习则荒谬于通过纯熟题来牢固常识，我方探索解题要领。
具体来说，模子会尝试多种不同的解题要领，这些要领可能来自不同的prompt。之后评估处分决议，查验每个处分决议是否正确。正确的处分决议会被符号为“好”，失实的处分决议会被符号为“坏”。
模子会把柄正确谜底的处分决议进行考试，强化那些约略得到正确谜底的处分决议。这访佛于学生在纯熟中发现存效的要领后，会更多地使用这些要领。
强化学习和东谈主类标注比较，东谈主类标注者在创建考试数据时，很难知谈哪种处分决议最得当模子。东谈主类标注者可能会注入模子不睬解的常识，或者忽略模子已有的常识，导致模子难以泄露。而强化学习让模子通过试错来自主发现得当我方的处分决议。
模子会尝试多种旅途，找到约略可靠地达到正确谜底的处分决议。
卡帕西用具体示例参谋了强化学习在大谈话模子中的应用过头紧迫性，终点是DeepSeek最近发布的论文激勉了公众对这一范围的关注。
他还讲了东谈主类反映的强化学习（RLHF）责任旨趣过头优过失。
临了卡帕西提到了多模态模子的发展，模子约略将音频、图像和文本转机为tokens，并在磨灭个模子中同期处理。
这种多模态智力将使模子约略进行更当然的交互，举例泄露语音教导、处理图像内容等。
现在局限性在于，模子彭胀任务时，时常是被迫地接管任务并完成，无法像东谈主类那样在万古刻内合手续、连贯地彭胀复杂任务。
将来可能会出现约略合手续彭胀任务的Agent，不错在万古刻内彭胀任务，并如期向东谈主类回报进程。东谈主类将成为这些Agent的监督者。
合手续专注于栽植的AI大牛
卡帕西曾任特斯拉AI附近，之后去了OpenAI，旧年2月从OpenAI去职。
他在统共这个词AI届领有超高的东谈主气，很大一部分来自于他的课程。
包括他我方的早期博客翰墨共享和自后的一系列Youtube视频教程，他还与李飞飞配合开设的的斯坦福大学首个深度学习课程CS231n《与视觉识别》。
今天不少学者和创业者，都是随着他初学的。
卡帕西对栽植的关爱，以致不错追料到学生时期在网上教群众玩魔方。
旧年7月，从OpenAI去职的卡帕西一刹官宣创业，搞了一家AI原生的新式学校——Eureka Labs
怎么泄露AI原生？
假想一下与费曼沿路学习高质料教材，费曼会在每一步中1对1指导你。
祸害的是，即使每个学科都能找到一位像费曼这么的巨匠，他们也无法分身躬行携带地球上的80亿东谈主。
但AI不错，况兼AI有无穷的耐烦，闪耀寰宇上统共的谈话。
是以卡帕西要打造“西宾+东谈主工智能的共生”，不错在一个通用平台上运行统共这个词课程。
要是咱们告捷了，任何东谈主都将易于学习任何东西，扩大栽植这个观念本人的“范围”和“程度”。
现在在EurekaLabs的官方GitHub账号上也有关系课程了，手把手带你构建一个访佛ChatGPT的故事生成大模子，感酷爱的童鞋不错去一睹为快。
视频联贯：https://www.youtube.com/watch?v=7kVfqmGtDL8
参考联贯：https://x.com/karpathy/status/1887211193099825254
Eureka Labs：eurekalabs.aigithub.com/EurekaLabsAI