腾讯云分布式数据库可用性系统执行澳门美高梅手机网站

新的一年,再不改变,就晚了。

欢迎我们前往腾讯云社区,获取越多腾讯海量技术实施干货哦~

芸芸众生为什么在不停抱怨现实生活的时候,照旧不乐意更改,正是因为她俩不愿意放弃现有的活着,或然不情愿认同本人的生活是真的很倒霉。

在分布式环境在那之中,总是会遇上比如 主机宕机 或 互联网故障 等种种影响系统可用性的意况时有产生。轻则会招致投诉,重则导致集团中央数据的不见,影响商户业绩和商誉。而怎样确定保障分布式系统运营符合规律化,应对各个故障场景,保险系统始终处于高可用状态是各样集团研讨的方向之一。

1.

腾讯云数据库技术专家,赵海明在PostgreSQL 2017中华技术大会上,以
腾讯分布式数据库 Tbase
的可相信性系统为例,为大家大快朵颐了保障分布式系统可信性的片段基本思路。

今日是二〇一六年5月12十九日,凌晨五点作者从恐怖的梦中惊醒,心有余悸。

一 、Tbase,腾讯自研全职能分布式关周密据库

Tbase
是腾讯在开源的分布式数据库PosgreSQL-XC(简称PGXC)基础上,研发的一款全职能分布式关周密据库系统,相较于PGXC,Tbase
通过在基本中创建性的引入 GROUP 的概念,提议双 KEY
分布策略,有效的缓解了多少倾斜的题材;同时,依据数据的年月戳,将数据分为冷数据和热数据,分别存款和储蓄与差异的存款和储蓄设备中,有效的消除了储存花费的题材。本文重要以Tbase举例,自上而下向读者深度解析保证Tbase
可信性的两大系统:灾备系统 和 冷备系统 。
澳门美高梅手机网站 1
图 1 Tbase 架构

您问作者梦见了怎样?
——当然是大学一年级那段不堪回首的日子。

二 、分布式系统容灾中的“脑裂”景况

分布式系统,平日是由若干台物理服务器通过互联网搭建而成的,与单机系统差异的是,分布式系统平常由多台装备组成。主机(物理服务器)宕机 只怕 网络故障 是大约率事件,而 脑裂 场景则是分布式系统中的常见难题(如下图)。
澳门美高梅手机网站 2

图 2 Tbase 灾备系统——脑裂故障场景

当系统出现节点非凡后,为制止脑裂,大家常见要求三个大局的调度集群,出现故障时,通过全局调度集群锁住原Master节点,并由在那之中间公投,提高某最优Slave节点为Master。到原始故障Master复苏后,在将其降级为Slave重新插手集群,使得系统依旧是一主两备,保险系统始终处在一个高可用的状态。
澳门美高梅手机网站 3
图 3 Tbase 灾备系统——灾备目的

深刻到分布式系统调度内部进程,又要求去消除孤岛检查和测试和剧中人物校验七个难点。

  • 孤岛检查和测试: 消除由于 Master DN 网络故障恢复生机后,导致 Master DN
    脑裂的难题。
  • 剧中人物校验: 化解由于 Master DN 主机宕机重启后,导致 Master DN
    脑裂的题材。

澳门美高梅手机网站 4
图 4 Tbase 灾备方案——Master DN 故障

分布式系统的某一主机互连网故障时,某3个节点就行是没有报纸发布的半壁江山,由此孤岛检查和测试很形象的比方那种脑裂场景。由此分布式系统常常将孤岛检查和测试拆分为以下多少个步骤
1.检查和测试孤岛:分布式系统通过布置于各样节点的Agent,向集群拥有主机发送网络心跳,实时检查和测试连通性。若不可能连通Center,意味着和谐变成互连网孤岛。
2.杀掉实例:Agent
发现自身成为互连网孤岛后,会主动发起呼吁杀死本机全数CN/DN实例。
3.容灾切换:Center 监听到集群 Master DN
万分(或无法过渡时),主动容灾切换,以恢复生机数据库服务。由于原Master
DN已被Agent杀死,整个体系只有新 Master DN 提供读写服务,由此系统尚未
Master DN 脑裂。
4.回复主备:孤岛主机互联网恢复生机后,Center寻常连通Agent后,会向该主机上的
Agent 发起做备指令,让原 Master DN 降级成为贰个全新的 Slave
DN,以恢复系统一主两备的高可用方式。
因此 Agent 的 孤岛检查和测试 机制,Tbase 在任意 Master DN
网络故障情形下,都能保障系统一贯处在高可用的图景。
澳门美高梅手机网站 5
图 5Tbase 灾备方案——孤岛检查和测试
当爆发 主机宕机 后,分布式系统就必要 通过 剧中人物校验 机制来化解系统
的脑裂难点,如下图所示,如故以Tbase举例:
1.宕机切换:当 Master DN
所在主机爆发宕机后,Center发起状态仲裁,生成容灾指令,对该主机上的
Master DN 执行容灾切换,容灾切换后,Tbase 系统中的每组 DN
节点都唯有唯一的三个 Master DN 对外提供读写服务。
2.剧中人物校验:当故障主机宕机重启后,Agent 和 Center 会通过心跳包对 Agent
所监督的节点执行一次 主备剧中人物校验。由于宕机后,Center 对故障主机上的原
Master DN 执行了容灾切换,由此 Center 认为该主机上的该 DN 节点剧中人物为
Salve DN,不过在容灾切换的长河中,由于原 Master DN
主机因为宕机,不或然接收容灾指令,因而宕机重启后,该主机上的 Agent 认为该
DN 节点剧中人物仍旧为 Master DN,此时 Agent 和 Center 发生剧中人物校验退步,
3.干掉实例:角色校验退步后,Agent 会杀死本机全体 CN/DN
节点,以幸免主机宕机重启后,原 Master DN 和新 Master DN
并存而出现系统脑裂。
4.上涨主备:在 Agent 由于剧中人物校验战败将 CN/DN 杀死后,Center 会向原
Master DN 所在的 Agent 发起做备指令,将原 Master DN 降级成为新的 Slave
DN,以恢复生机系统一主两备的高可用格局。
因此 Agent 和 Center 的 剧中人物校验 机制,Tbase 在任意 Master
DN主机宕机重启的景况下,也能保障系统一贯处在高可用的情事。
澳门美高梅手机网站 6

图 6 Tbase 灾备方案——剧中人物校验

二〇一八年,哦不,应该是二〇一七年了。一直成绩尚好的本人高等学校统招考试战败,最终不得不上不乏先例二本高校。本就记住自个儿的高等学校统招考试成绩,又碍于害怕再一次受挫不敢尝试复读,就这么满心不得志地赶来了高校。

三 、两地三中央容灾方案

缓解了脑裂难点后,面向分布式系统的此外二个标题是出现机房级故障怎么做?
Tbase近日使用于微信支付系统,因而Tbase的在筹划时就考虑了两地十六宗旨的架构(如下图所示)。简单的话,通过让Datanode(数据)
节点完成,同城节点强同步,异地节点异步同步的3节点布署架构实现高可用。同时,让每台主机铺排Agent,负责收集各类节点运市场价格况,上报给拥有
Center,同时肩负执行 Center
下发的种种操作指令。Center负责状态汇总,并将气象音讯写入 ZK
集群;单监听各样节点的运行情况,非常时发起仲裁流程,根据决定结果,发起容灾切换流程。当然,Center也帮助接收外部用户操作指令,生成分布式指令安顿,下发给
Agent 履行,并监督 Agent 的实施景况;
澳门美高梅手机网站 7
图 7Tbase 灾备方案——两地三中央

激情还栖息在高等高校统招考试战败阴影个中的本人,对全数工作都提不起兴趣。就算尚无旷过课,可是手提式有线电电话机充电宝时时刻刻不离身。连自身都不精晓自个儿每天在用手机干什么,可是小编便是不想听课,不想面对书本,不想面对老师,越来越多的是不想面对已经确凿无疑生活在一个挫折大学里的谜底。

四 、分布式系统容灾中的调度节点容患难题

前文解说了经过 脑裂,两地三中央方案,
为了缓解分布式系统中的节点故障的难点,系统引入了多个零部件
Agent、Center,作为调度模块。而一旦在运转进程中,Agent、Center
本人也会现出主机宕机、网络故障等充足景况呢?大家梳理了分布式的调度系统新疆中国广播公司大的故障:
故障一:Center 宕机:在实行容灾进度在那之中,Center
主机产生宕机,导致容灾流程中途受挫?
故障二:状态误判:Tbase 系统本身运行如常,但鉴于 Center 和 Agent
之间的网络故障,Center 对 Agent 所监督的 DN 状态发生误判,导致 Center 在
Tbase 系统符合规律运转的事态下,发出错误的容灾倒换指令?
故障三:指令超时:Center 向 Agent
发送的指令都是经过网络包进行发送,会并发指令丢失只怕指令超时?
故障四:指令乱序:Agent 在执行命令的经过中,会向 Center
反馈自个儿的履市价况,由于各类缘由,当 Agent 回复的授命出现了乱序咋办?

本着上述故障场景,Tbase 容灾系统建议了如下化解方案:

  • 职务接管:引入主备 Center,用于缓解 Center
    在容灾流程中发出宕机或者网络故障等题材。
  • 气象仲裁:引入 ZK 集群,保证拥有节点状态的一致性,幸免 Center
    状态误判,发起误容灾。
  • 过期重试:通过超时重试机制,消除 Agent、Center
    互连网通讯进程中,出现的网络超时的题材。
  • 命令 ID:对每条指令分配全局唯一 ID 号进行编码,消除 Agent、Center
    网络通讯进度中,出现指令乱序的题材。

澳门美高梅手机网站 8
图 8 Tbase 灾备方案——Center、Agent 故障

通过 状态仲裁 和 职责接管 消除Center误容灾和 Center
容灾进程中产生宕机的标题,如下图图所示,分布式系统能够做如下操作:
1.节点11分:当 DN 节点极度后,Agent
采集节点状态新闻,将极度意况汇报给持有 Center。
2.状态仲裁:当 Master Center
收到节点状态十三分后,不会即时发起容灾流程,而是向全部 Slave Center
发起状态仲裁请求。
3.场地获得:Slave Center 收到状态请求后,向 ZK 拉取节点状态,并还原给
Master Center。
4.运行容灾:当跨越来越多半 Slave Center 认定该节点非凡后,Master Center
发起容灾流程。
5.实施容灾:Master Center 生成容灾指令陈设,并向各类 Agent
发起容灾指令,并监听 Agent
的指令执市场价格况,同时将容灾日志持久化到配置库。
6.Center 宕机:在容灾进程中,假如 Master Center 发生宕机,ZK
会发起选主流程,从 Slave Center 中精选多少个新的 Master Center。
7.职分接管:新的 Master Center
选定后,会从配置库中拉取容灾日志,重新生成容灾指令安插,继续向 Agent
发送容灾指令,达成剩余容灾流程。
8.Center 重启:原 Master Center 宕机重启后,从 ZK
获取自小编角色,发现已经被降级成 Slave,不再复苏容灾流程,自动转换到新的
Slave Center 运维,保险系统不相会世 Center 脑裂。
因此 状态仲裁 有限支撑DN
状态的一致性,幸免因Center对DN状态的误判,发起误容灾;通过 任务接管 确定保障在
Center 宕机 等故障场景下,容灾依然能够继续执行;通过 ZK
选主,保障系统在任曾几何时刻都只能够存在唯一的一个 Master Center,幸免出现Center 脑裂。

澳门美高梅手机网站 9

图 9 Tbase 灾备方案——状态仲裁 + 任务接管

引入 超时重试 和 指令 ID 消除 Agent、Center
网络音信超时和音讯乱序的题材,如上海体育场合所示,具体流程如下:
1.超时重试:Center 发送指令给 Agent
后,会监听指令的履市价况,当先一定时间尚无接收 Agent
的还原,执行指令重试。
2.限令 ID:Center
在发出每一条指令的时候,会对指令展开编码,赋予三个大局递增的唯一 ID
号,一起发出给 Agent,Agent 在还原 Center 执市价况时,必须将原本的一声令下
ID 一起过来给 Center。
3.ID 递增:当 Center 收到 Agent
回复后,根据须求选择继续监听,还是下发下1个命令,假如下发下四个指令,Center
首先将指令 ID 递增,然后再下发指令。
4.音信过滤:递增 ID,一方面表示 ,Center
更新了自身的职务情形,另一方面表示,针对 Agent 回复的音讯,假设 ID
小于Center 当前的 ID 号,则 Center 不予处理,直接过滤即可。
透过 超时重试 确认保证在互连网抖动等极度情形下,Center
还是能够经常发送指令布置;通过 指令 ID 确定保障 Center
能够时刻更新本人的职务意况,忽略 Agent
反馈的超时音信,幸免出于互联网难点导致 Agent 回复的消息出现指令乱序。
澳门美高梅手机网站 10
图 10 Tbase 灾备方案——超时重试 + 指令 ID

生活自此过得庸庸碌碌。极少出门,一下课就窝在起居室玩游戏。不与人打交道,不认得除了室友以外的任哪个人。除了日常“早晨吃哪些”之类的,极少说话言语,更是没有参加寝室卧谈。后来,作者的室友告诉本人,一度认为我是自闭儿,不敢轻易招惹。

伍 、分布式系统的冷备系统

本来,还有一种极少见但照样会设有的很是情形,即一切数据库集群彻底故障。此时,为了尤其维持分布式系统的数码可信赖性,提出在现有高可用容灾的功底上,依然铺排冷备系统。而
Tbase基于PIT奔驰G级天性开发了活动冷备系统,在 Tbase
运营进度中,定期将存量数据和增量数据备份到
HDFS。那样,在诸如磁盘不可修复损坏等极其气象下, Tbase
照旧能够实践数据复苏。
而为了进步冷备效用,同时下落冷备对事情能源的占有,Tbase
的将冷备流程下放到多少节点的备机执行,同时对冷备的上传机制举办了优化,完结Tbase 的冷备和增备不落盘透写 HDFS,以压缩本地球磁性盘
I/O压力,同时还是可以够不辱职责对互连网资源灵活决定,进一步下落系统负荷。
澳门美高梅手机网站 11

图 11 Tbase 冷备系统

忘了说,在此以前的十几年里,小编历来不曾接触过别的游戏,若是非要说三个,那或然就唯有俄罗丝四方了。那是自己首先次玩游戏,而且玩的可能单机,因为联网游戏要求和人调换。作者随即想的只是一个人沦落,不想有任哪个人的骚扰,哪怕是在虚拟世界里。那几个游戏到现在还保存在本身的电脑里,桌面上“仙剑奇侠传四”的图标赫然醒目,正是用来每一天提示本身那段日子有多颓丧。

⑥ 、最终再说一句

时下,Tbase
已经支撑在专有云(私有化)中布局,且很好的协作PostgreSQL协议,解决了蕴藏开支、数据倾斜、在线扩大体量、分布式事务、跨节点JOIN等灵活难题,最近Tbase已经在微信支付、电子行政事务大厅、公安等体系上安居运营。

 

后来的改变是猝不及防的。笔者本以为自身对此成绩一度麻木,已经漠然置之,但是在观看奖学金名单上团结名字的时候照旧小小地心动了一晃。小编不知道别人是怎么学习的,以至于让自家这几个权且抱佛脚只是不想交重修费的人获得了奖学金,尽管只是最低档的三等。但本人或然醒悟了。

连锁阅读

一站式满足电商节云计算供给的三昧

电商月将至,腾讯云DCDB助力电商公司应对开发洪峰

干什么 SQL 正在战胜NoSQL,那对以后的多寡代表什么样


此文已由小编授权腾讯云技术社区发表,转载请评释小说出处
原稿链接:https://cloud.tencent.com/community/article/566868

 

接下来就有了当今的本人,在这边一派为期末考试复习一边拼命码字的自我。每每从拾叁分惊恐不已的梦里醒来,小编都感觉到那些弹冠相庆。因为笔者其实不能想像自个儿那样下去会是怎么3个后果。

偶然,改变确实只需求3个相当小的转折点。哪怕只是2个不知情怎么总计出来还有恐怕是破绽百出的排名所推动的大势所趋。

2.

二零一八年过年的时候,去小学同学了七年的农家家里拜年。

自小编到他家的时候,他还在楼上睡觉。叔伯上楼叫她,大姑招呼作者坐下来,和本身聊了聊。

接下来自身得知她那个年的活着,初级中学完成学业生升学考试没考上,就跑去打工。因为不服CEO管教,没做多长时间就跑了回到。父母花钱找关系让她上高级中学,打架斗殴抽烟饮酒,各个处置处罚夹在一起,没到一年,就被学校开掉了。回来未来,整日上街和情人混在一块儿,有时候几天几夜不回家也不打个电话回家,要不就是回去了在家整夜整夜地睡,什么人说话都不理。

这一年,又心血来潮说想考驾驶执照,父母依着她,随处打听哪个汽车驾驶员培训学校好,就帮他拿身份证填表找好的磨炼,他连面都没露,就替他办好那全数了。可是什么人曾想她正是不听话,教练说的偏糟糕好听,说自身早就会开车不必学那学那。科目二考试的时候,果不其然,踩线没过。让他补考,他死都不肯再去,就像此直接赖在家里。

等到她终归下楼的时候,作者早就听大姨唠嗑了好一阵子,瓜子壳都吐了一地。他衣衫不整,面容消极,懒洋洋地伸着腰,“哎哟,大家的硕士来了~”,一脸坏笑。

本人不理会他的假非驴非马,转头对小姑说:“阿姨啊,小编想吃小时候您做的酒酿圆子,明日只是打算赖在你家吃中饭呀!”

大姨笑容可掬,“好好好,也没打算让您不吃中饭就走啊~”,转身进了厨房坚苦起来。

接下来笑意骤降,脸刹那间黑了下来。他还打趣自个儿道:“你那脸变得可够快的哟,跟变推特似的~哈哈哈。”

本人不理他,阴着脸说道:“要不是我们认识那样长年累月,作者真就是无意间管你。你说您,未来赖着父母是怎么回事,好吃懒做吗?作者只是不会说客气话,你那规范,对得起那时言之凿凿要做一个最宏伟黑客的梦想呢?!”

他愣住了,估量是未曾人这么对她说过。小编也是气短吁吁了,当初我们那群同龄人,就数他耿耿于怀的想望最宏伟。最近竟成为了这么,怎能不让自家寒心。大家都没再说话,那顿饭吃得很沉默。

新兴自家就打道回府了,再后来四姨打电话给本身说,小编走之后,他一点天呆呆地坐在椅子上想工作,然后就开口说要去补考驾驶执照。再多少个月他又提议要随着2个修电脑的师傅学手艺,学得很认真,学成未来和旁人伙同贷款开了家维修店。

估量今年过年回家,就能去他的店里看看了。

突发性改变,只需求外人当头棒喝的一句话。其实道理你都懂,只是从旁人嘴里说出去,更能让祥和发人深省罢了。

3.

高级中学时候隔壁班有个妹纸,和自小编是初中同学。

她是本人见过最会抱怨的人。走在半路摔了一跤,抱怨石头十分短眼;阴雨天出门淋雨,抱怨天气倒霉;考试前抱怨复习好累,考完了顾虑考得很差,战绩出来不管多好依然以为很不佳,抱怨怎么没有多考一点。抱怨班帅怎么不喜欢本身,老师上课怎么老点某某同学回应难题。不问可见只要你能想到的事体,她就能张口抱怨。

意识到她那特性,好不简单高级中学了,想着总算和她分别了。不料他竟坚定不移,节节课间都跑来找笔者,与本身“聊天”。后来才知晓,是她们班的人都烦她一天到晚抱怨,不愿与她交好。作者知道现在,也日渐疏远了他。作者不想每一遍被她爆棚的负能量感染,也是事实上觉得他死性不改,不值得深交。

追忆初级中学时候与她说过频仍他的性格要改,她每一趟都承诺得美好的,但此后仍不见丝毫改变。笔者考虑着,是还是不是他觉得笔者会直接兼容他,才这么。

新兴的新兴,据他们说她做了一件引起民愤的事体,竟然引致全班女人围攻殴打他。然后父母出面,帮他换班。本认为这一次吃亏之后,她就会变动。然而再收看他的时候,她竟依旧在和身边已经满脸不耐烦的心上人抱怨那抱怨那。

突发性不愿意更改,是因为您适应了当今的本身,不觉得本身有错,反而觉得满世界都不知晓你。不过再不改变,你就会精通本身有多离谱。笔者始终不希望工作发展到酿成大错,后悔当初的地步。

4.

深信各样人身边都有这么一个情人,老是碰上故事中的渣男,没过几天就要失恋一遍。大家就一时叫她失恋姑娘好了。

失恋姑娘的活着图景为主是那样,一谈恋爱就多少个礼拜不见踪迹,一失恋就训斥对方渣男,然后找大家那些情侣整日陪醉,这样昏天黑地四日后,立马投入到下一段恋情中。

自己每每劝他,不要老是热切火燎地谈恋爱,要静下心来想想本身毕竟哪个地方不对,才会招致心思屡屡退步。不然怎么偏偏你撞倒的都以渣男呢。都实属什么样的人就会遇上哪些的人。那话说得依旧有那么一些道理的。

他的一句“其实这几个笔者都精通”,让自己弹指间哑口无言。

还有个对象,情形和失恋姑娘完全相反,战败过一段激情,自此沉浸在几人的纪念里,再也走不出来。唯一相同的是,她在我们的规劝安慰之后,也回了一句“其实那么些小编都明白,然而本人还爱他。不管她何以对笔者都爱”。

由此可知,不管朋友怎么好言相劝,她们就是不甘于更改。

偶然改变,真的是1人团结的工作。别人做再多,本人并未想通也是行不通。从一早先,你说了算了深陷下去,决定了不乐意更改,那你就会直接陷在里头,让祥和的活着陷入三个巡回的死胡同。那样的你不但本人深受其害不自知,还让四邻关注你的人不知道该咋办。

目前走出团结的社会风气,睁眼看掌握你过的都以如何的生活吧,再决定是或不是要转移。相信您早晚悔悟,早日改变,越来越好。

5.

从童年起头,外婆就把大爷白手起家,创业成功的传说对我讲了又讲。这时候的自小编就对大叔的创业好玩的事感染,心生崇拜。

直到后来初级中学暑假,二伯接大家来新加坡游历。在车上的时候,作者满心期待听到更加多她的英豪事迹,可从伯父口中说说话的却是背后的困苦。

那时候的她,已经在一所上市集团小有所成,当上了分区销售部首席执行官。然而她最欣赏的不是销售,而是化学涂料的探究。当初迫于就业压力和家中条件选拔先从销售做起。可她的内心向往着更常见的天地,不知足于细微的销售部主任。于是在商讨再三之后,照旧屏弃了现有的打折条件,从头做起,手无寸铁。

创业伊始的那段日子,什么都尚未,他唯有大学时候学到的一身专业知识,技术。随处找人投资,碰壁遭拒什么糟心事都蒙受过,最苦的时候一包方便面掰成两半吃,他都不曾舍弃。百折不挠了下去,因为心中的这贰个可望一向支撑着她,他要成为本人的主人。历经千辛万苦,终于找到她的伯乐,入了资金财产股,加上他本人的技艺股,开了第1家店铺。

到现行反革命,叔伯名下已经有三家注册合营社了,还有温柔的婶娘和迷人的孙子。一家三口,在法国巴黎以此繁华的都会落地生根,好不幸福。

有时候3个改动,背后可能承载着无尽的艰苦。那表示你要抛弃今后所持有的整套,代表你即将一无所得,一切从头发轫。稍有不慎,前功尽弃,全盘皆输。不过着实勇敢的人,心里装有一片广阔天地,永远不会失色改变。只有如此的人,才能博得实在的成功。

现行反革命又到了新的一年,新的一天。你是或不是还在整夜打游戏,熬夜看日本TV剧,抑或是沉浸在失恋的优伤中不能自拔,依旧做着一份默默无闻的干活朝九晚五。

无论您在过去的一年里,怎么消沉怎么落败怎么平庸,新的一年已经来临。你要改变自个儿的田地,就要着力跨出“万事开首难”的第③步,才有只怕接触到你心仪已久的广阔天地,才有只怕确实对友好以后的生存满意。

任凭结果如何,至少你早就努力改变过。在改变的长河中,已经赢得到了最好的赠礼。变成另三个预料之外的更好的协调。已然无悔。

新的一年,再不改变,就晚了。


ps:试试在此间评论留下二〇一六年你想更改的东西,发型打扮,成绩恋情,工作薪俸都能够。只尽管你想更改的,都得以写下来。然后用力尝试看,二零一八年那几个时候再来看看,通过变更,自个儿是或不是有变好广大。

许杭原创小说,欢迎转载给你的情人或享受到和讯和朋友圈,公众号照旧其余平台转发请通过简信联系笔者本身取得授权。违者必究。

发表评论

电子邮件地址不会被公开。 必填项已用*标注