人工智能领域的权威专家——邱才明教授
这篇文章介绍了华中科技大学电子信息与通信学院院长邱才明教授的故事。他是一位知名的通信和工业大数据领域的专家，发表了200篇学术论文，并参与了制定3GPP和IEEE标准15项。邱才明教授还是超宽带通信领域的重要人物之一，他在工业大数据分析的基础理论方面，形成了一套以高维度随机矩阵为基础的大数据分析理论体系。他还于2011年开创了基于随机矩阵的电网故障研究方法，此方法已成为该领域的一类重要研究方法。
医疗等垂直领域语料数据稀缺 能让俩ChatGPT对聊出来吗？青年科学家这样认为
都说医疗、金融等专业领域的语料数据稀缺，这会制约AI大模型的发展——那能不能让两个ChatGPT对聊，聊出点数据出来？ 近日，天桥脑科学研究院（TCCI）主办了AI For Brain Science系列会议第二期—— “面向AI模型的数据生成方法及其对医疗领域的启示”。 在上海交通大学计算机科学与工程系副教授吴梦玥主持下，三名青年科学家分享了关于破解大规模语言模型数据瓶颈的看法和实践。 快速构建专属GPT 国际上一项研究评估指出，ChatGPT回答癌症相关问题的水平已经与美国国家癌症研究所的回答持平。不过，ChatGPT只能通过受限的应用程序编程接口访问；并且涉及到个人医疗，人们也普遍不希望将自己的隐私信息分享给第三方公司。 针对这样的难题，加州大学圣迭戈分校博士生许灿文和中山大学团队的合作者提出了一种能自动生成高质量多轮聊天语料库的流程，利用ChatGPT与其自身进行对话，生成对话数据，再基于产生的对话数据调优、增强开源的大型语言模型。他们从而获得了高质量的专属模型“白泽”，并在数天前推出了2.0版本。这个名字的灵感来源是中国古代传说中的一种神兽，“能言语，达知万物之情”。 许灿文介绍，“白泽”在这个过程中并没有学会新的知识，只是提取了大模型中的特定数据，并且保留了ChatGPT “分点作答”“拒绝回答”等语言能力。这在专业上被比喻为一种“蒸馏”。进一步地，他们提出了反馈自蒸馏的概念，即利用ChatGPT当教官，对“白泽”回答的结果进行评分排序，从而进一步提高了“白泽”模型的性能。 许灿文认为，“白泽”通过自动化的知识蒸馏，在特定领域达到ChatGPT的能力，成本却远远低于ChatGPT，兼具经济意义和实用意义。在医疗领域，本地化或私有化建构的模型将有利于消除隐私顾虑，辅助患者诊疗。 大模型优化医疗文本挖掘 莱斯大学博士生唐瑞祥和合作者同样基于大模型提出了一种新的数据生成策略，并在命名实体识别、关系提取等经典的医疗文本挖掘任务上取得了更佳表现。 ChatGPT具有创造性的写作能力，在医疗、金融、法律等标注数据很少的领域以及知识密集型领域表现出色。然而，具体到医疗文本挖掘，他们发现将ChatGPT直接应用大型模型处理医疗文本的下游任务，表现并不总是优秀，也可能引发隐私问题。 唐瑞祥等提出了一种新策略：利用大型模型生成大量医疗数据，再通过小型模型对这些数据进行训练。实验结果显示，相较于直接利用大型模型执行下游任务，这一新策略能够取得更出色的效果，同时因为模型数据在本地，也大幅降低了潜在的隐私风险。 他们进一步指出，随着开源大模型数量的增加和大模型能力的提升，其产生的文本数据与人类产生的文本数据的差别将越来越小，发展检测二者差别的技术手段将是一项富有挑战性的工作。现有的两种检测手段，无论是黑盒检测——直接比较大模型生成的文本数据与人类生成的文本数据（比如比较高频词分布），还是白盒检测——开发者在生成文本上做标签，在未来都可能失效。能否有效地检测出数据是不是GPT生成的，将影响到广大用户对大模型AI的信任程度。 大模型时代数据生成不一样 从历史演变的角度来看，在没有GPT的时代，科学家们如何解决数据稀缺难题？大模型又带来了哪些新趋势？ 上海交通大学博士生曹瑞升总结了数据生成在大模型时代的几大新趋势：首先是构建更加通用的模型，以确保其能够应用于多样化的任务——这意味着模型需要具备广泛的适应性和泛化能力；其次是从特定任务出发，进一步精细化地处理，例如在医疗领域，甚至可以针对特定类型的抑郁症进行专业化的任务处理，提供更加精准和个性化的解决方案；最后，数据生成和模型训练的过程将从分离走向融合，而为了保证数据质量的硬性过滤也将逐渐被软性控制所取代。 “数据生成研究与应用的发展，为大模型AI走向各个专业领域，尤其是医疗领域提供广阔的可能性。”曹瑞升说。 记者获悉，TCCI致力于支持全球范围内的脑科学交流。AI For Brain Science系列会议致力于促进AI与脑科学研究人员的讨论合作，将持续聚焦领域内的数据瓶颈和关键痛点，促进前沿AI技术在脑科学领域发挥更大的价值。 新民晚报记者 郜阳 举报/反馈
ChatGPT：聊天机器人概念股的崛起与前景
这篇文章主要介绍了ChatGPT股票的表现和该股票的技术优势。ChatGPT的市值不断攀升，技术团队也在不断创新和完善产品。ChatGPT已经成为了行业内的佼佼者，并且得到了投资者的广泛认可。
国产ChatGPT「套壳」的秘密，现在被找到了
衡宇 发自 凹非寺量子位 | 公众号 QbitAI “科大讯飞套壳ChatGPT！”“百度文心一言套皮Stable Diffusion！”“商汤大模型实则抄袭！”…… 外界对国产大模型产生质疑已经不是一次两次了。 业内人士对这个现象的解释是，高质量的中文数据集实在紧缺，训模型时只能让采买的外文标注数据集“当外援”。训练所用的数据集撞车，就会生成相似结果，进而引发乌龙事件。 其余办法中，用现有大模型辅助生成训练数据容易数据清洗不到位，重复利用token会导致过拟合，仅训练稀疏大模型也不是长久之计。 业内渐渐形成共识： 通往AGI的道路，对数据数量和数据质量都将持续提出极高的要求。 时势所需，近2个月来，国内不少团队先后开源了中文数据集，除通用数据集外，针对编程、医疗等垂域也有专门的开源中文数据集发布。 高质量数据集虽有但少 大模型的新突破十分依赖高质量、丰富的数据集。 根据OpenAI 《Scaling Laws for Neural Language Models》提出大模型所遵循的伸缩法则（scaling law）可以看到，独立增加训练数据量，是可以让预训练模型效果变更好的。 这不是OpenAI的一家之言。 DeepMind也在Chinchilla模型论文中指出，之前的大模型多是训练不足的，还提出最优训练公式，已成为业界公认的标准。 △主流大模型，Chinchilla参数最少，但训练最充分 不过，用来训练的主流数据集以英文为主，如Common Crawl、BooksCorpus、WiKipedia、ROOT等，最流行的Common Crawl中文数据只占据4.8%。 中文数据集是什么情况？ 公开数据集不是没有——这一点量子位从澜舟科技创始人兼CEO、当今NLP领域成就最高华人之一周明口中得到证实——如命名实体数据集MSRA-NER、Weibo-NER等，以及GitHub上可找到的CMRC2018、CMRC2019、ExpMRC2022等存在，但整体数量和英文数据集相比可谓九牛一毛。 并且，其中部分已经老旧，可能都不知道最新的NLP研究概念（新概念相关研究只以英文形式出现在arXiv上）。 中文高质量数据集虽有但少，使用起来比较麻烦，这就是所有做大模型的团队不得不面对的惨烈现状。此前的清华大学电子系系友论坛上，清华计算机系教授唐杰分享过，千亿模型ChatGLM-130B训练前数据准备时，就曾面临过清洗中文数据后，可用量不到2TB的情况。 解决中文世界缺乏高质量数据集迫在眉睫。 行之有效的解决方法之一，是直接用英文数据集训大模型。 在人类玩家打分的大模型匿名竞技场Chatbot Arena榜单中，GPT-3.5在非英文排行榜位居第二（第一是GPT-4）。要知道，96%的GPT-3.5训练数据都是英文，再刨去其他语种，用来训练的中文数据量少到可以用“千分之n”来计算。 国内top3高校某大模型相关团队在读博士透露，如果采用这种方法，不嫌麻烦的话，甚至可以给模型接一个翻译软件，把所有语言都转换成英语，然后把模型的输出转换为中文，再返回给用户。 然而这样喂养出的大模型始终是英文思维，当遇到成语改写、俗语理解、文章改写这类含有中文语言特色的内容，往往处理不佳，出现翻译错误或潜在文化的偏差。 还有个解决办法就是采集、清洗和标注中文语料，做新的中文高质量数据集，供给给大模型们。 开源数据集众人拾柴 察觉现况后，国内不少大模型团队决定走第二条路，着手利用私有数据库做数据集。 百度有内容生态数据，腾讯有公众号数据，知乎有问答数据，阿里有电商和物流数据。 积累的私有数据不一，就可能在特定场景和领域建立核心优势壁垒，将这些数据严格搜集、整理、筛选、清洗和标注，能保证训出模型的有效性和准确性。 而那些私有数据优势不那么明显大模型团队，开始全网爬数据（可以预见，爬虫数据量会非常大）。...