SOJSON

大家好，我是来自又拍云的张召，今天主要分享又拍云多数据源日志处理选型 Flink 的考量，以及 Flink 落地过程中遇到的问题和解决方案。一、为什么用 Flink 做批处理在选用 Flink 前，我们对日志批处理的整个业务需求分为三步：数据源采集、日志处理、结果的保存。我们的日志量在 100G/h，单机服务处理速度慢、扩容不方便，一些相似的需求都是以编码形式完成的。另外，数据处理流程复杂，需要在...

 soゝso 2021-03-10 20:09:51 2865

日前，由又拍云举办的大数据与 AI 技术实践｜Open Talk 杭州站沙龙在杭州西溪科创园顺利举办。本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者，现场分享各自领域的大数据技术经验和心得。以下内容整理自个推资深算法工程师令狐冲现场分享：令狐冲（花名），个推资深算法工程师，目前负责个推深度学习相关研发工作，对 AI 算法有深入的了解及丰富的实践经验，擅长将大数据分析与深度学习神经网...

 soゝso 2021-03-10 19:59:58 369

作为   TCP  /IP 中两个最具有代表性的传输层协议，  TCP   和   UDP   经常被拿出来相互比较。这些协议具体有什么区别，又是什么作用呢？在 IT 圈混迹多年的小伙伴们，对   TCP &n...

 soゝso 2020-12-30 18:35:01 5455

当我们的  URL  中包含中文、或者说包含一些非英文字母、数字、符号的时候，就会出现一堆百分号加字符串数字的内容，而且很长。比如这张图片地址：http://fileupload-upyun.test.upcdn.net/images/%E5%90%91%E6%97%A5%E8%91%B51.jpg实际是：http://fileupload-upyun.test.up...

 soゝso 2020-12-30 18:24:27 3452

作为我们网上冲浪最为常见，也经常被人忽视的 HTTP 已经更新换代到了 HTTP/3。本文简单明了的带你认识 HTTP/3 的作用。最近二狗子看到自己存储女神婷婷照片所用的云服务商——又拍云推出了 HTTP/3 尝鲜功能。作为爱好学习的二狗子同学既惊喜又好奇，他对 HTTPS、HTTP/2 非常熟悉，但是对于 HTTP/3 却是少了一些了解。“HTTP/2 都还没普及，没想到又拍云竟然连 HTTP...

 soゝso 2020-11-23 21:15:26 4732

最近接手了一个改造多平台日志服务的需求，经过梳理，我认为之前服务在设计上存在缺陷。经过一段时间的技术方案调研，最终我们决定选择使用 Flink 重构该服务。目前重构后的服务已成功经受了国庆节流量洪峰的考验，今日特来总结回顾，和大家分享一下经验。业务需求及背景在了解改造服务的需求前，我们首先要明确，要解决什么问题以及目前的服务是如何解决的。当前的业务逻辑还是比较清晰的：采集同一时段不同数据源的日志；...

 SOJSON 2020-11-23 21:11:49 1623

“能用表情包解决的问题，绝不多说一个字。”“当不知道回复什么的时候，甩过去一个表情包就好了。”放眼望去，谁的 QQ/微信 收藏中没有几页代表性的表情包，那真的是 out 了。在当代网络社交生活中，当出现“只可意会不可言传”的情绪和内涵时，表情包大概是最合适的载体。常见的表情包有静态图片和动态图片两种。静态图片最常见的格式是 jpg/png，动态图片则是 gif。在平常工作生活中，不仅仅表情包，图片...

 SOJSON 2020-11-23 20:59:37 2060

当我们打开网站时也许不会去留意网站前面的HTTP是怎么来的。但是它毫无疑问在网络中有着举足轻重的地位。本文从起源到发展，详说HTTP从1到3的演变。说在前面本文不致力于讲完 HTTP 的全部内容，事实上短短的篇幅也不可能讲完。本文也无意于深挖 HTTP 中的某一点，这是像 《HTTP 权威指南》或者是 RFC 协议做的事。本文目标是帮助读者理清 HTTP 的演化过程，说说 HTTP 变化的那些事。...

 soゝso 2020-07-15 12:23:41 10674

本站提供了在线短链生成工具。也一直想把这个工具免费，并且提供下去，但是总有一些人去违规使用（就是灰色、黑色产业链），导致生态不能正常的进行。新浪短链（t.cn）现状介绍t.cn 是新浪继腾讯购买了 url.cn 短链后购买的短链链接，主要用于新浪微博，属于目前最好用的短链之一。也是非常稳定的短链。所以被很多人作为首选使用。最近很多用户问，为什么不能生成了。我也很想以技术攻克，然后让大家免费使用，但...

 soゝso 2020-07-14 01:16:33 63917

从   HTTP   的进化历史讲起，细说使用协议的变迁，了解原因发现问题，解码   QUIC   在 HTTP3 中的支撑作用，共同探讨 HTTP3 的未来。HTTP、HTTP2 和 HTTP3回顾先和大家来回顾一下   HTT...

 soゝso 2020-06-23 12:52:15 8004