自ChatGPT发布以来，大型语言模型（LLM）成为了推动人工智能发展的关键技术之一。著名机器学习和AI研究员、畅销书《Python 机器学习》的作者Sebastian Raschka近日发布了新书《Build a Large Language Model (From Scratch)》，为广大读者揭示了从零开始构建大型语言模型的全 ...

一个被过度“净化”的AI，可能已经丧失了作为研究真实人类社会有效工具的“科学有效性”。 而商业公司LLMs训练过程的“黑箱”性质，更让研究者难以评估其内在机制，也无法复现研究结果，这严重挑战了科学研究的透明度和可复制性原则。为此，作者呼吁学术界倡导开源LLMs，并争取获得那些经过预训练但未被深度微调的模型，以确保研究的可靠性。

点击上方“Deephub Imba”,关注公众号,好文章不错过 !这篇文章从头实现 LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures。需要说明的是，这里写的是一个简洁的最小化训练脚本，目标是了解 JEPA 的本质：对同一文本创建两个视图，预测被遮蔽片段的嵌入，用表示对齐损失来训练。本文的目标是 ...

8月29日，国际首个月球科学多模态专业大模型在2024中国国际大数据产业博览会上发布。 On August 29, the world's first professional, multimodal large language model (LLM) for the field of lunar science has been released at the China ...

我国研发的全球首个多模态地理科学大模型“坤元”近日在京发布。“坤元”由中国科学院地理科学与资源研究所、中国科学院青藏高原研究所、中国科学院自动化研究所等单位共同研发。 A geographic sciences multi-modal Large Language Model, the first of its kind in the world, was ...