• 原创 Flink 在又拍云日志批处理中的实践

    大家好,我是来自又拍云的张召,今天主要分享又拍云多数据源日志处理选型 Flink 的考量,以及 Flink 落地过程中遇到的问题和解决方案。一、为什么用 Flink 做批处理在选用 Flink 前,我们对日志批处理的整个业务需求分为三步:数据源采集、日志处理、结果的保存。我们的日志量在 100G/h,单机服务处理速度慢、扩容不方便,一些相似的需求都是以编码形式完成的。另外,数据处理流程复杂,需要在...

    soゝso 2021-03-10 20:09:51 1547
  • 原创 个推异常值检测和实战应用-又拍云

    日前,由又拍云举办的大数据与 AI 技术实践|Open Talk 杭州站沙龙在杭州西溪科创园顺利举办。本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者,现场分享各自领域的大数据技术经验和心得。以下内容整理自个推资深算法工程师令狐冲现场分享:令狐冲(花名),个推资深算法工程师,目前负责个推深度学习相关研发工作,对 AI 算法有深入的了解及丰富的实践经验,擅长将大数据分析与深度学习神经网...

    soゝso 2021-03-10 19:59:58 192
  • 原创 TCP 和 UDP协议详细讲解,优缺点分析讲解

    作为   TCP  /IP 中两个最具有代表性的传输层协议,  TCP   和   UDP   经常被拿出来相互比较。这些协议具体有什么区别,又是什么作用呢?在 IT 圈混迹多年的小伙伴们,对   TCP &n...

    soゝso 2020-12-30 18:35:01 4947
  • 原创 URL中乱七八糟的字符讲解,来源以及如何解决

    当我们的  URL  中包含中文、或者说包含一些非英文字母、数字、符号的时候,就会出现一堆百分号加字符串数字的内容,而且很长。比如这张图片地址:http://fileupload-upyun.test.upcdn.net/images/%E5%90%91%E6%97%A5%E8%91%B51.jpg实际是:http://fileupload-upyun.test.up...

    soゝso 2020-12-30 18:24:27 2769
  • 原创 HTTP/3 来了,您真的了解它么?

    作为我们网上冲浪最为常见,也经常被人忽视的 HTTP 已经更新换代到了 HTTP/3。本文简单明了的带你认识 HTTP/3 的作用。最近二狗子看到自己存储女神婷婷照片所用的云服务商——又拍云推出了 HTTP/3 尝鲜功能。作为爱好学习的二狗子同学既惊喜又好奇,他对 HTTPS、HTTP/2 非常熟悉,但是对于 HTTP/3 却是少了一些了解。“HTTP/2 都还没普及,没想到又拍云竟然连 HTTP...

    soゝso 2020-11-23 21:15:26 4185
  • 转摘 技术选型:为什么批处理我们却选择了Flink

    最近接手了一个改造多平台日志服务的需求,经过梳理,我认为之前服务在设计上存在缺陷。经过一段时间的技术方案调研,最终我们决定选择使用 Flink 重构该服务。目前重构后的服务已成功经受了国庆节流量洪峰的考验,今日特来总结回顾,和大家分享一下经验。业务需求及背景在了解改造服务的需求前,我们首先要明确,要解决什么问题以及目前的服务是如何解决的。当前的业务逻辑还是比较清晰的:采集同一时段不同数据源的日志;...

    SOJSON 2020-11-23 21:11:49 1391
  • 原创 这些表情包你有吗?一起来 Battle 啊

    “能用表情包解决的问题,绝不多说一个字。”“当不知道回复什么的时候,甩过去一个表情包就好了。”放眼望去,谁的 QQ/微信 收藏中没有几页代表性的表情包,那真的是 out 了。在当代网络社交生活中,当出现“只可意会不可言传”的情绪和内涵时,表情包大概是最合适的载体。常见的表情包有静态图片和动态图片两种。静态图片最常见的格式是 jpg/png,动态图片则是 gif。在平常工作生活中,不仅仅表情包,图片...

    SOJSON 2020-11-23 20:59:37 1705
  • 转摘 QUIC / HTTP3 协议详细分析讲解

    从   HTTP   的进化历史讲起,细说使用协议的变迁,了解原因发现问题,解码   QUIC   在 HTTP3 中的支撑作用,共同探讨 HTTP3 的未来。HTTP、HTTP2 和 HTTP3回顾先和大家来回顾一下   HTT...

    soゝso 2020-06-23 12:52:15 7217
  • 原创 又拍云(Upyun)CDN、云存储刷新链接缓存,API实例讲解

    当页面内容发生了更新,CDN需要刷新缓存才能看到更新的内容,本站使用的是又拍云(upyun)做CDN及云存储,看过几次API,没怎么看懂所以一直手动刷新,这次尝试了下调用又拍云API刷新,测试成功后分享下。又拍云刷新API文档说明当源站的资源发生变更后,可以调用该 API 接口告知又拍云刷新缓存,缓存更新后,用户访问时会获取到更新后的资源。特别地,使用又拍云存储会在资源变更后,自动刷新缓存,省去使...

    soゝso 2019-07-20 19:55:00 5256
  • 原创 又拍云24小时日志下载方法,日志合并,.gz 压缩包多个合并方法

    首先小吐槽一下upyun(又拍云)的日志管理下载。不能一次性加载全天的日志。批量下载的时候,不能批量下载。解除浏览器弹窗拦截还被浏览器拦截,而且没有任何友情提示,还好客服给力,告诉了下方法。解除浏览器拦截。就是在全选下载的时候,会只下载了第24个小时的日志,其他的都被拦截了,看下浏览器右上角被拦截,选择始终允许,如上图所示。比较痛苦的是,把24小时分成了24个*.gz文件。我们来合并gz文件。GZ...

    soゝso 2019-04-10 12:11:20 2397
最新文章
Flink 在又拍云日志批处理中的实践 1530
个推异常值检测和实战应用-又拍云 192
TCP 和 UDP协议详细讲解,优缺点分析讲解 4947
URL中乱七八糟的字符讲解,来源以及如何解决 2767
HTTP/3 来了,您真的了解它么? 4128
当我谈 HTTP 时,我谈些什么? 10308
新浪短链(t.cn)最新申请官方API的方法讲解。 59374
QUIC / HTTP3 协议详细分析讲解 7217
恭喜那个做云存储的七牛云完成 F 轮 10 亿人民币的融资,开启新的云旅程 7933
Autojs怎么安全加密?Autojs在线加密工具注意事项。 30463
最热文章
苹果电脑Mac怎么恢复出厂系统?苹果系统怎么重装系统? 625884
最新MyEclipse8.5注册码,有效期到2020年 (已经更新) 568474
我为什么要选择RabbitMQ ,RabbitMQ简介,各种MQ选型对比 483564
免费天气API,全国天气 JSON API接口,可以获取五天的天气预报 461208
Jackson 时间格式化,时间注解 @JsonFormat 用法、时差问题说明 380098
Elasticsearch教程(四) elasticsearch head 插件安装和使用 370601
谈谈斐讯路由器劫持,你用斐讯路由器,你需要知道的事情 192358
Java 信任所有SSL证书,HTTPS请求抛错,忽略证书请求完美解决 191356
Elasticsearch教程(一),全程直播(小白级别) 171571
Jackson 美化输出JSON,优雅的输出JSON数据,格式化输出JSON数据... ... 147450
支付扫码

所有赞助/开支都讲公开明细,用于网站维护:赞助名单查看

查看我的收藏

正在加载... ...