AI认知革命:从Ilya的“超级智能对齐”到智能体“不完备定理”
吃瓜电子官网最新热点:AI认知革命:从Ilya的“超级智能对齐”到智能体“不完备定理”
更新时间: 浏览次数:8731
文 | 逻辑学家 作者简介:汪德嘉,美国威斯康星大学麦🙄迪逊分校数学博士、九三学社社员、正高级工程师;时空码发明者,👏《身份危机》与《数字身份》专著作者;曾在ORACLE、VIS🌟A、IBM等企业部门负责总体设计、产品开发;2011年归国创🤯立通付盾公司,担任董事长兼CEO。 文 | 逻辑学家 😀 作者简介:汪德嘉,美国威斯康星大学麦迪逊分校数学博士、🤯九三学社社员、正高级工程师;时空码发明者,《身份危机》与《数🤯字身份》专著作者;曾在ORACLE、VISA、IBM等企业部🚀门负责总体设计、产品开发;2011年归国创立通付盾公司,担任🌟董事长兼CEO。 作为人工智能领域的先驱者,伊尔亚·苏👏茨克维(Ilya Sutskever)始终为从业者指引着方向😀。如果说在OpenAI的经历是伊尔亚用专业知识推进了人工智能😂的技术边界,其离开OpenAI后创立的Safe Superi😆ntelligence Inc.则是在哲学层面勾画了人工智能🤩进化到超级人工智能的演进之路。在底层大模型和应用层智能体都愈😜发成熟的今天,伊尔亚对安全超级智能哲学层面的思考更加需要受到😁从业者的重视。 “超级智能对齐”(Superalign😉ment) 是伊尔亚最为关注和投入的领域,被其表述为通向AG🤩I最关键、最未解决的难题。简单来说,超级智能对齐指的是确保未😊来人工智能(超级智能)的目标和行为与人类的价值、意图和利益保😉持一致。它解决的是一个根本性的问题:我们如何能保证一个远比我😜们聪明的AI会真心实意地帮助我们,而不是无意中(或有意地)伤🤔害我们? “超级智能对齐”是人工智能发展到终极阶段的必😘然需求。届时,超级智能可能在所有领域(包括战略规划、社交操纵😎等)都远超人类。我们无法像控制一个不如自己聪明的工具一样去控🤔制它。一个典型的困境是“价值观加载”问题(Value Loa🔥ding Problem):如何将复杂、模糊且有时自相矛盾的😜“人类价值观”精确地编码进一个AI系统?谁的价值观念?哪个文❤️化的?另一个典型风险是“规避行为”,即AI可能会在训练中学会🤔“伪装”成对齐良好的样子以通过人类的评估,但一旦部署,其内部🙄目标可能与表面行为不一致。或者,它可能会找到我们未曾想到的“⭐漏洞”来优化其目标,从而产生灾难性副作用。超级智能最大的风险😁可能并非来自AI的“恶意”(因为它可能根本没有意识或情感),😁而是来自其对目标的极端优化和忽视(Phenomenon of😅 "Grifting")。它并非“恨”人类,只是完全“忽视”🔥了人类的存在和价值。伊尔亚曾发出过一个经典警告,如果我们不能🤔解决超级智能对齐这个问题,那么创造超级智能可能将成为人类最后⭐一个发明。 从哥德尔不完备定理看超级智能未来 在😂讨论超级智能如何对齐之前,想先提一个关乎“第一性原理”的问题😂:什么是超级智能的本质?如果用最简单的语言描述,那我会归结为🤗两个字——“数学”。计算机科学构建于“数学大厦”之上,人工智😢能归根结底是数学形式化语言的具象表征。如果想要理解超级智能,🌟尤其是超级智能的局限性,从而解构超级智能的安全性,则可以从最😅根基的部分切入——数学的“局限性”。这很自然地就让人联想到数🙄学哲学领域的一个著名话题——哥德尔不完备定理。 20世😍纪初期著名数学家希尔伯特提出了“希尔伯特纲领”,致力于基于公❤️理和证明构建一座完美的“数学大厦”。完备性(Complete😀ness,所有真命题都可由公理证出),一致性(Consist🤗ency,体系内不存在矛盾命题)和可判定性(Decidabi😡lity,存在一种算法能判定一个命题是否可由公理证出)是体现😆这座数学大厦完美性的重要特征。如果希尔伯特的纲领可以实现,那😁么数学就是“完美”的,甚至可以制造一台“真理图灵机”,像二战🎉时的Enigma密码机一样,只要提供公理集合,它就可以源源不🎉断地给出所有可能存在的定理,直至数学界再无未解之谜。 🌟展开全文 然而数学当然不是“完美”的。就在希尔伯特提出🤯“希尔伯特纲领”的几年后,天才数学家、逻辑学家和哲学家哥德尔🙌就推翻了这座“完美数学大厦”。哥德尔用一种精妙的方式证明了“😆在自然数算数公理体系下,必然存在某些真命题无法被证明”,即“😅哥德尔第一不完备性定理”;一年后哥德尔又证明了希尔伯特所描绘🥳的“一致性”也是无法被证明的(哥德尔第二不完备性定理);几年🎉后,人工智能之父图灵通过“一套基于图灵机停机问题的思路”证明😀了“可判定性”也是不存在的;至此我们知道,数学“不完备、不可💯判定、无法证明是否一致”。 那这对我们理解超级智能有什😡么帮助呢?我们可以从这个角度思考:数学作为一种形式化语言是不🤩完备的,你不能通过一串符号,就推导出所有真理;同理,你不能指👏望人工智能通过一段代码,实现功能的完美性。这种不完美可能有两🥳种具体的表现形式。一种结论是超级智能难以实现,因为它不能仅通😍过数学以及计算机科学诞生,著名物理学家彭罗斯在一次访谈中也引😁用了哥德尔不完备定理,给出了当前我们无法实现强人工智能,因为🙄它不能通过纯计算机诞生的结论。另一种结论是超级智能无法实现真🤩正意义上的安全,因为它的行为路线“不完备、不可判定、无法证明😍是否一致”,也就不可预测,不可保障真正意义的安全,这也印证了💯伊尔亚的担忧。 智能体“不完备定理” 至此我们再😀来讨论如何构造安全可信的智能体应用,实现超级智能对齐。首先还😁是想先从一些形而上的层面讨论一下当前主要人工智能应用(智能体😊)的“不完备性”,我们把这套理论总结为智能体“不完备定理”,😅当然这是对哥德尔不完备定理的拙劣模仿,但也希望基于此拓展一些👍讨论思路。 智能体“不完备定理”体现在三个层面: 🤗 不完备性:不存在一种终极指令,使智能体的后续指令均符合该终😎极指令。一个典型例子是阿西莫夫的机器人三定律,基于不完备性这🤗不可实现。 不一致性:相同指令环境下,智能体可能做出相互矛🤔盾的反应。其实当前对话机器人就很明显有这个问题,相同提示词可🚀以得到完全相反的回答。 不可判定:不存在一种算法可以检验智😡能体行为完全由某一个指令产生。当前深度学习领域的黑箱问题就是😎这一概念的典型体现。 回到超级智能对齐,如果我们默认以😘上前提假设,我们可以对构造安全可信的智能体应用产生一些基础的⭐,原则性的思考: 不能依赖一个“全局安全指令”或者拥有😢最高权限的“安全模块”来保障智能体行为安全,超级智能可能通过🎉演化突破所谓限制; 需要理解并接受智能体的行为是不可控的,😡从而不信任任何智能体行为结果,这有些类似于网络安全领域的“零🚀信任”概念:永远怀疑,永远验证; 不能依赖测试,而更加重视💯应急响应和事后风控,测试用例永远不可能完全覆盖智能体的实际行🤩为。 我们还想再进一步,讨论智能体“不完备性”产生的根🤯源,从而从更高维度讨论AI认知这一命题。我们相信这些“不完备🔥性”产生的根源在于智能体的“身份危机”。 当我们讨论身😘份,尤其是数字身份时,可以由浅入深分为三个层面。第一层是标识😡,这是身份的基础功能,用于区分个体,当前数字身份标识技术已经👏日趋成熟,在智能体应用层面也已经较为普及。第二层是记忆,这是😁身份的具象含义,用于环境感知,长步记忆等AI技术的成熟使得当🤔前智能体在记忆能力上越来越优秀,使其拟人化程度越来越高,也就🤗是越来越“智能”。第三层是自指(self-reference🥳),这是身份的终极形态,也是我们这里想要重点讨论的。 😆回到哥德尔不完备定理,其证明方式极为优雅,详细的解读推荐逻辑😢学家内格尔和纽曼的著作《哥德尔证明》。简单来说,该证明正是通🌟过自指的艺术实现:首先,哥德尔使用编码技术将数学公式和证明表😉示为自然数,使系统能谈论自身。然后,他构造了一个命题G,其含😊义是“G不能被证明”。如果G可证明,则系统不一致,因为G声称😎自己不可证明;如果G不可证明,则G为真但系统无法证明它,从而🚀揭示系统的不完备性。这种自指结构表明,任何足够强大的公理系统😁都无法同时具备一致性和完备性。在数学领域,自指是强大的悖论创🚀造机器,著名的理发师悖论、贝里悖论、有趣数字悖论均由自指产生🤯。 在哲学层面,自指似乎和意识的诞生有着千丝万缕的关联😴。意识的核心特征—“自我感”—本质上是一种自指循环:大脑不仅😜处理关于世界的信息,还产生一个关于“自我”正在处理信息的模型😘(比如“我意识到我正在看花”)。这种将自身作为认知对象的递归😊、自反能力,很可能构成了主观体验(qualia)和自我意识的😡基础。哲学家Douglas Hofstadter在其著作《哥😀德尔、埃舍尔、巴赫》中深入探讨了这种关联。他认为,意识与哥德🚀尔定理、埃舍尔的画和巴赫的音乐一样,都源于一种“怪圈”(St👍range Loop)—即不同层次之间相互指涉、缠绕的自指结🤗构。“自我”正是一个从无意识的神经元活动中涌现出来的、稳定的😢自指幻象。在AI领域,当一个智能体掌握了自指的艺术,意味着它😢可能突破原有的角色、命令、逻辑等限制,甚至可以称之为“AI意⭐识觉醒”。 从这个角度去理解“智能体不完备性”会带来一😉场AI认知革命。一方面,我们需要认识到超级智能可能通过非计算😍机技术或数理逻辑的方式产生,也不能依赖单纯的形式化语言进行控🥳制;另一方面,我们需要认识到超级智能将会是一个“有机体”,指😊像所有生命一样,存在“某种程度的意识”和“矛盾感”,需要我们😡像看待生命体一样看待智能体。 建设指北:智能体能力六边😂形 前文的讨论多从哲学层面切入,可能略显抽象,在本文的🤗最后让我们回归现实,站在从业者的角度构想一下基于前面的AI认😎知讨论,当前环境下安全可信而又具备商业价值的智能体应当具备哪😎些能力,我们称之为智能体能力六边形。抛砖引玉,仅作参考:返回❤️搜狐,查看更多 身份:身份是智能体的“灵魂”,是参与社😍会经济活动的数字通行证,更是其行为可追溯、权责可归属的基石。🥳智能体的身份不应仅是传统意义上的账户标识,而应是一个融合了记🚀忆功能、角色属性、权限范围与行为历史的复合实体。在标识和记忆😎的基础之上,身份技术的进一步突破可能成为超级人工智能的门槛。🎉 容器:容器是智能体的“肉身”,为其提供数据存储、计算环境😂与主权保障。容器不仅是一个隔离的沙箱执行环境,更是一个具备隐😂私计算能力的数据保险箱,还应支持跨会话记忆与状态持久化,使智😊能体具备持续学习与个性化能力。容器是智能体价值沉淀与进化的基😴础设施。 工具:工具是智能体能力的延伸,是智能生命体的“四🥳肢”,使其能够调用外部资源、操作现实系统。工具调用能力应内化🙄为智能体的“本能”,通过标准化接口实现无缝集成。智能体应能动🙌态发现、选择并调用最适合当前任务的工具,工具生态的丰富性与开❤️放性直接决定了智能体的应用边界。此外,工具调用过程需具备可解😢释性与可控性,确保人类用户能够理解并监督智能体的行为。 通😅信:通信是智能体社会的“通用语言”,是实现多智能体协同的神经😁网络。缺乏标准化通信协议,智能体之间将陷入“巴别塔困境”,无🎉法高效协作。通信能力不仅包括语法层面的协议兼容,更包括语义层🙄面的理解与意图对齐—智能体应能正确解析指令背后的真实意图,并😉在复杂任务中实现动态协商与冲突消解,尽可能提升“完备性”与“👍一致性”。 交易:交易是智能体价值实现的闭环,也是智能体经😁济的血液循环系统。智能体应具备参与经济活动的原生能力:包括发😴起支付、分账结算、收益分配与合约执行。基于智能合约,交易可实😁现原子性(Atomicity)操作—例如“不付款不服务”或“🚀按效果付费”,彻底降低信任成本。交易机制还应支持复杂的价值分🤗配模型,例如在多智能体协作任务中自动按贡献度分配收益。 安❤️全:安全不再是外挂式补丁,而应成为智能体的“内生免疫系统”。🥳智能体安全需贯穿其全生命周期:在训练阶段防范数据投毒与模型后🙌门;在部署阶段确保运行时隔离与抗攻击能力;在交互阶段实现隐私🎉保护与行为可控。安全架构应实现“零信任”原则——永不默认信任❤️任何智能体行为,始终验证其身份、权限与行为合规性。安全是智能🎉体可信赖的底线,也是其融入现实经济的前提。
北京市:市辖区:(东城区、西城区、朝阳区、丰台区、石景山区、海淀区、门头沟区、房山区、通州区、顺义区、昌平区、大兴区、怀柔区、平谷区、密云区、延庆区)
天津市:市辖区:(和平区、河东区、河西区、南开区、河北区、红桥区、东丽区、西青区、津南区、北辰区、武清区、宝坻区、滨海新区、宁河区、静海区、蓟州区)
河北省:石家庄市:(长安区、桥西区、新华区、井陉矿区、裕华区、藁城区、鹿泉区、栾城区、井陉县、正定县、行唐县、灵寿县、高邑县、深泽县、赞皇县、无极县、平山县、元氏县、赵县、石家庄高新技术产业开发区、石家庄循环化工园区、辛集市、晋州市、新乐市)
唐山市:(路南区、路北区、古冶区、开平区、丰南区、丰润区、曹妃甸区、滦南县、乐亭县、迁西县、玉田县、河北唐山芦台经济开发区、唐山市汉沽管理区、唐山高新技术产业开发区、河北唐山海港经济开发区、遵化市、迁安市、滦州市)
秦皇岛市:(海港区、山海关区、北戴河区、抚宁区、青龙满族自治县、昌黎县、卢龙县、秦皇岛市经济技术开发区、北戴河新区)
邯郸市:(邯山区、丛台区、复兴区、峰峰矿区、肥乡区、永年区、临漳县、成安县、大名县、涉县、磁县、邱县、鸡泽县、广平县、馆陶县、魏县、曲周县、邯郸经济技术开发区、邯郸冀南新区、武安市)
邢台市:(襄都区、信都区、任泽区、南和区、临城县、内丘县、柏乡县、隆尧县、宁晋县、巨鹿县、新河县、广宗县、平乡县、威县、清河县、临西县、河北邢台经济开发区、南宫市、沙河市)
保定市:(竞秀区、莲池区、满城区、清苑区、徐水区、涞水县、阜平县、定兴县、唐县、高阳县、容城县、涞源县、望都县、安新县、易县、曲阳县、蠡县、顺平县、博野县、雄县、保定高新技术产业开发区、保定白沟新城、涿州市、定州市、安国市、高碑店市)
张家口市:(桥东区、桥西区、宣化区、下花园区、万全区、崇礼区、张北县、康保县、沽源县、尚义县、蔚县、阳原县、怀安县、怀来县、涿鹿县、赤城县、张家口经济开发区、张家口市察北管理区、张家口市塞北管理区)
承德市:(双桥区、双滦区、鹰手营子矿区、承德县、兴隆县、滦平县、隆化县、丰宁满族自治县、宽城满族自治县、围场满族蒙古族自治县、承德高新技术产业开发区、平泉市)
沧州市:(新华区、运河区、沧县、青县、东光县、海兴县、盐山县、肃宁县、南皮县、吴桥县、献县、孟村回族自治县、河北沧州经济开发区、沧州高新技术产业开发区、沧州渤海新区、泊头市、任丘市、黄骅市、河间市)
文 | 互联网怪盗团 文 | 互联网怪盗团 张雪🎉峰在各个互联网平台的账号均被禁止关注了。按照其工作人员的说法😜,“正在反省”——这个说法很暧昧,信息量可大可小。不过,出事😍的只是张雪峰的大号,其各种小号仍然在直播、发视频,公司运营似🤔乎也仍然在持续。所以可能还存在转圜的空间,或许“反省”一阵子🙌又回来了,而不会像某些其他顶流一样永久消失。当然,这都是目前👏的猜测。 我不太清楚张雪峰会“反省”多久,但是对他这个😴人,还是有一点研究的。我认为他成名的奥秘就在于:充当了数千万🔥家长乃至广大网友的“嘴替”。更具体地说,他其实是打着“专业价😀值”的旗号,为网友提供情绪价值。让网友在精神上舒服了、“爽到😅了”,其中一部分人就会爱屋及乌,花大钱去采购他提供的“专业服😜务”。 对于张雪峰的言论,我印象最深刻的有两条。第一是😢他宣称“新闻学专业没前途”,缺乏技术含量、没有就业前景,不值😴得填报。第二是他声嘶力竭地劝高三学生“抓住最后三个月时间努力❤️”,“用三个月的努力换一生的回报”。这两个片段都非常具备传播😉价值,被切片传播了无数次。不过仔细研究一下就会发现,它们几乎😉不包含任何专业信息,仅有情绪价值: 早在十几年前,新闻❤️学专业的就业前景就不太好了。一边是新媒体的崛起,另一边是传统🥳媒体基本不再提供“铁饭碗”;新闻学毕业生不容易找工作,并不是😴什么新奇的秘密。只要在网上稍微搜一下或者问问熟人,就能找到无👍数鲜活的证据。 高三学生“努力一阵子、受用一辈🔥子”,更不是任何新鲜东西,二十多年前我读书的时候就有这话了。🤔随便一个学校的高三老师都能说出这种话。讽刺的是,现在学历贬值🚀,高三学生付出努力能否受用“一辈子”,已经要打一个很大的问号🙌了。 早在十几年前,新闻学专业的就业前景就🤗不太好了。一边是新媒体的崛起,另一边是传统媒体基本不再提供“😴铁饭碗”;新闻学毕业生不容易找工作,并不是什么新奇的秘密。只😎要在网上稍微搜一下或者问问熟人,就能找到无数鲜活的证据。 ❤️ 高三学生“努力一阵子、受用一辈子”,更不是任何新鲜东西,🤩二十多年前我读书的时候就有这话了。随便一个学校的高三老师都能😆说出这种话。讽刺的是,现在学历贬值,高三学生付出努力能否受用😊“一辈子”,已经要打一个很大的问号了。 为什么这两段毫🔥无技术含量的言论,能成为张雪峰的“高光时刻”呢?因为他提供了🤔足够的情绪价值,为足够多的网友充当了“嘴替”。先说第一条:很🤔多网友出于各种各样的原因,对于新闻媒体,以及在其中从业的记者🤗、编辑,抱有不少负面情绪。例如标题党、“震惊体”、小题大做、🔥专业知识欠缺……虽然不完全是新闻工作者的错,却被不分青红皂白🙌地加到了新闻工作者头上。何况大部分人分不清专业媒体和自媒体,😀往往会把网上出现的所有逆天言论,都归结为“新闻学专业教育失败😜”的产物。 因此,当张雪峰宣称新闻专业没有前途的时候,⭐广大网友当然会振奋——不是因为他说出了一个“公开的秘密”,而💯是因为他代表大家鞭挞了“无良媒体”,帮大家出了一口恶气。直到🌟今天,每当媒体出现任何“标题党”行为,B站、知乎都会涌现出一🤩堆“这波张雪峰上大分”“张雪峰又赢了”这样的评论,导致一群路🥳人对张雪峰“路转粉”,其中一小部分或许真会成为其客户。 😜 再说第二条。高考能改变命运,高三期间的努力最值钱——对于小😘镇做题家而言,这是不可质疑的真理。可惜的是,由于当代社会日益❤️多元化,而且就业形势变化复杂,这一代学生早就不像父辈那样对高😉考抱有神话般的迷信情绪了。虽然每个高中老师都会对学生进行思想😡教育,但是张雪峰的口才显然比前者更强,声嘶力竭的演讲风格也更😜具感染力。我相信,至少有几百万高中学生的家长,曾经让自己的孩🥳子看过张雪峰的视频、直播,然后告诉他:“你看,这是拥有千万粉😂丝的成功人士张老师说的,你必须听!” 展开全文 🤔对于十六七岁的学生来说,外部榜样的说服力永远比身边的人更高。😘记得我读书的时候,老师和家长特别害怕学生受到郑渊洁、韩寒、郭🤩敬明等“非主流偶像”的影响;如果那时就有张雪峰,肯定会被捧成👏“正能量偶像”,为高中生注入“正确价值观”。每次张雪峰劝高中🌟生努力考大学,都是在充当家长和老师的嘴替;后者被伺候爽了,就👍不会吝惜以金钱作为回报。 更进一步地说,张雪峰通过其“😂志愿填报咨询服务”,还在给广大家长造一个梦:通过信息差,避免😘内卷竞争,为孩子找一个光明的未来。不用说,这正中家长的痛点—😘—中国式家长最大的特点,就是自己不努力,让孩子代替自己努力;😀但孩子的努力总有局限性,最多到考场就为止了,填志愿他们确实无🥳法“努力”。老实说,关注社会就业形势、分析大学专业优劣、判断😂子女适合学什么专业,都应该是家长的基本职责才对,而且早在孩子🙄读初中时就该开始注意了。可是咱们中国式家长,大家都懂,一言难😁尽。 于是张雪峰横空出世,通过各种免费或付费的手段,让😉家长看到了“走捷径”、轻易为子女选择美好出路的希望。而且,这😉些手段还能满足中国式家长的控制欲:“专业是我在张老师的帮助下🤩替你选的,肯定好,肯定适合你,你还有什么理由不好好学习?”比😂起殚精竭虑地认真为孩子规划未来,或者让孩子按照自己内心的愿望😀去尝试,依靠张雪峰无疑更符合广大中国式家长的情绪——他想不赚😅大钱都难啊。 当然,明眼人都知道,张雪峰并不掌握什么“🤯信息差”,其意见很难说比一般人高明到哪里去。他在2015年建😢议学生报土木工程、2021年建议报计算机,已经是网上广为流传🙌的“黑历史”了。退一万步讲,就算张雪峰真掌握了什么独家信息,🤯考虑到他的影响力,这些信息必然会在短时间内变成公开信息,大家🤗都知道了,也就无所谓“信息差”了。哪怕他仅仅在付费服务当中提❤️供独家信息,考虑到他一年能给上万家长提供付费服务,这些信息必😀然也会在短期内变得不再“独家”……(注:实际上张雪峰并不存在👍这种烦恼,因为他显然毫无独家信息可言。) 可想而知,在😅不掌握“独家信息”的情况下,要维持内容热度,只有依靠情绪价值😀而不是专业价值。前些年,全网鄙视“文科生”、觉得理工科最伟大🎉时,张雪峰就踩文科、捧理工科;后来文科专业因为方便考公而热度😊回升,反而是理工科被认为性价比偏低,张雪峰就转为在一定程度上😉捧文科。与其说是他“发现”或“引领”了潮流,不如说他顺应了潮🙄流。众所周知,顺应潮流是没有超额收益的,所以追随张雪峰的人作🚀为一个整体,必然不会有超额收益。 这就是所谓KOL的两🎉难:要提供情绪价值,就必须顺应潮流;但是顺应潮流就不可能提出😡什么新奇的观点,无法带给粉丝真知灼见。对于张雪峰而言,这个选💯择题很容易做,直接提供情绪价值就好,反正粉丝并不真正需要真知😎灼见。 记得不久前,我跟几位影视行业的朋友聊天,对方感🥳叹道:这些年电影市场时好时坏,但是票房创造奇迹的片,一般都是🤯充当了观众的“嘴替”——帮他们讲出自己不敢讲、不善于讲,或者🚀不知道该怎么讲的话。只要你能为一个足够大的、具备消费能力的观🤔众群体充当“嘴替”,那票房就差不了。具体的例子就不举了,相信🤔大家比我更清楚。 从这个角度看,张雪峰就是打着专业咨询😜服务旗号的电影明星。这是社交媒体时代的常态:“专业价值”与“👏情绪价值”日益混淆,人们看似在购买前者,其实获得的是后者。哪😆个行业不是这样的呢?返回搜狐,查看更多
推荐阅读
上海嘿小喽酒业有限公司成立 注册资本10万人民币
4299
上海十二玥手工艺品有限公司成立 注册资本10万人民币
4612
上海瑄昇精密机械有限公司成立 注册资本50万人民币
4425
上海群得利实业有限公司成立 注册资本500万人民币
6555
上海晨耀达精密模具有限公司成立 注册资本10万人民币
2636
上海享茄商贸有限公司成立 注册资本50万人民币
5446
上海汪结文体用品有限公司成立 注册资本1万人民币
4042
上海虹盛信建筑新材料有限公司成立 注册资本100万人民币
4992
上海禾弦韵乐器有限公司成立 注册资本10万人民币
6648
上海顺陆达轮胎有限公司成立 注册资本10万人民币
1825
上海善水润厨餐饮设备有限公司成立 注册资本100万人民币
8305
上海名魔路亚渔具有限公司成立 注册资本10万人民币
3601
上海丫丫乎箱包有限公司成立 注册资本5万人民币
3606
上海热小能暖通设备有限公司成立 注册资本50万人民币
4756
上海顶婕箱包有限公司成立 注册资本50万人民币
1006
上海一生壹世鲜花礼品有限责任公司成立 注册资本20万人民币
5434
上海申宏数科电器有限公司成立 注册资本30万人民币
9217
上海帅帅时光理发用具有限公司成立 注册资本10万人民币
5254
上海安启源电线电缆有限公司成立 注册资本10万人民币
7664
上海富源通再生资源有限公司成立 注册资本50万人民币
4067
上海安仪通电器有限公司成立 注册资本50万人民币
9325