技术栈-服务四层技术

服务四层中包括中间件（Kafka、Mycat）、计算（Spark、Neo4j、Hive）、索引、微服务、大数据存储等重难点技术

• 运用Spring Boot快速开发框架，构建项目工程；并结合Spring Cloud全家桶技术，实现后端个人中心、自媒体、管理中心等微服务。
• 运用WebMagic爬虫技术，完善系统内容自动化采集
• 运用Kafka完成内部系统消息通知；与客户端系统消息通知；以及实时数据计算
• 运用MyCat数据库中间件计算，对系统数据进行分开分表，提升系统数据层性能
• 运用Redis缓存技术，实现热数据的计算，NoSession等功能，提升系统性能指标
• 运用Zoookeeper技术，完成大数据节点之后的协调与管理，提升系统存储层高可用
• 使用Mysql存储用户数据，以保证上层数据查询的高性能
• 使用Mongo存储用户热数据，以保证用户热数据高扩展和高性能指标
• 使用FastDFS作为静态资源存储器，在其上实现热静态资源缓存、淘汰等功能
• 运用Habse技术，存储系统中的冷数据，保证系统数据的可靠性
• 运用ES搜索技术，对冷数据、文章数据建立索引，以保证冷数据、文章查询性能
• 运用Sqoop、Kettle等工具，实现大数据的离线入仓；或者数据备份到Hadoop
• 运用Spark+Hive进行离线数据分析，实现系统中各类统计报表
• 运用Spark Streaming + Hive+Kafka实现实时数据分析与应用；比如文章推荐
• 运用Neo4j知识图谱技术，分析数据关系，产出知识结果，并应用到上层业务中，以帮助用户、自媒体、运营效果/能力提升。比如粉丝等级计算
• 运用AI技术，来完成系统自动化功能，以提升效率及节省成本。比如实名认证自动化