ref: 85a9e48d255167961c3995a1ce7ec26d01b4b48d
parent: 691ef20272d398c5802b185859a797af3ce1e289
author: Linfeng Zhang <linfengz@google.com>
date: Thu Sep 29 08:38:37 EDT 2016
Refine vpx_convolve_copy_neon() and vpx_convolve_avg_neon() BUG=webm:1290 Change-Id: Ia27e58521eba5a4852b50381c56746fa5767f6d6
--- a/test/convolve_test.cc
+++ b/test/convolve_test.cc
@@ -662,7 +662,7 @@
}
const int16_t kInvalidFilter[8] = { 0 };-static const WrapperFilterBlock2d8Func wrapper_filter_block2d_8[2] = {+const WrapperFilterBlock2d8Func wrapper_filter_block2d_8[2] = {wrapper_filter_block2d_8_c, wrapper_filter_average_block2d_8_c
};
--- a/vpx_dsp/arm/vpx_convolve_avg_neon.c
+++ b/vpx_dsp/arm/vpx_convolve_avg_neon.c
@@ -13,132 +13,127 @@
#include "./vpx_dsp_rtcd.h"
#include "vpx/vpx_integer.h"
-void vpx_convolve_avg_neon(const uint8_t *src, // r0
- ptrdiff_t src_stride, // r1
- uint8_t *dst, // r2
- ptrdiff_t dst_stride, // r3
+void vpx_convolve_avg_neon(const uint8_t *src, ptrdiff_t src_stride,
+ uint8_t *dst, ptrdiff_t dst_stride,
const int16_t *filter_x, int filter_x_stride,
const int16_t *filter_y, int filter_y_stride, int w,
int h) {- uint8_t *d;
- uint8x8_t d0u8, d1u8, d2u8, d3u8;
- uint32x2_t d0u32, d2u32;
- uint8x16_t q0u8, q1u8, q2u8, q3u8, q8u8, q9u8, q10u8, q11u8;
(void)filter_x;
(void)filter_x_stride;
(void)filter_y;
(void)filter_y_stride;
- d = dst;
- if (w > 32) { // avg64- for (; h > 0; h -= 1) {- q0u8 = vld1q_u8(src);
- q1u8 = vld1q_u8(src + 16);
- q2u8 = vld1q_u8(src + 32);
- q3u8 = vld1q_u8(src + 48);
+ if (w < 8) { // avg4+ uint8x8_t s0, s1;
+ uint8x8_t dd0 = vdup_n_u8(0);
+ uint32x2x2_t s01;
+ do {+ s0 = vld1_u8(src);
src += src_stride;
- q8u8 = vld1q_u8(d);
- q9u8 = vld1q_u8(d + 16);
- q10u8 = vld1q_u8(d + 32);
- q11u8 = vld1q_u8(d + 48);
- d += dst_stride;
-
- q0u8 = vrhaddq_u8(q0u8, q8u8);
- q1u8 = vrhaddq_u8(q1u8, q9u8);
- q2u8 = vrhaddq_u8(q2u8, q10u8);
- q3u8 = vrhaddq_u8(q3u8, q11u8);
-
- vst1q_u8(dst, q0u8);
- vst1q_u8(dst + 16, q1u8);
- vst1q_u8(dst + 32, q2u8);
- vst1q_u8(dst + 48, q3u8);
+ s1 = vld1_u8(src);
+ src += src_stride;
+ s01 = vzip_u32(vreinterpret_u32_u8(s0), vreinterpret_u32_u8(s1));
+ dd0 = vreinterpret_u8_u32(
+ vld1_lane_u32((const uint32_t *)dst, vreinterpret_u32_u8(dd0), 0));
+ dd0 = vreinterpret_u8_u32(vld1_lane_u32(
+ (const uint32_t *)(dst + dst_stride), vreinterpret_u32_u8(dd0), 1));
+ dd0 = vrhadd_u8(vreinterpret_u8_u32(s01.val[0]), dd0);
+ vst1_lane_u32((uint32_t *)dst, vreinterpret_u32_u8(dd0), 0);
dst += dst_stride;
- }
- } else if (w == 32) { // avg32- for (; h > 0; h -= 2) {- q0u8 = vld1q_u8(src);
- q1u8 = vld1q_u8(src + 16);
+ vst1_lane_u32((uint32_t *)dst, vreinterpret_u32_u8(dd0), 1);
+ dst += dst_stride;
+ h -= 2;
+ } while (h > 0);
+ } else if (w == 8) { // avg8+ uint8x8_t s0, s1, d0, d1;
+ uint8x16_t s01, d01;
+ do {+ s0 = vld1_u8(src);
src += src_stride;
- q2u8 = vld1q_u8(src);
- q3u8 = vld1q_u8(src + 16);
+ s1 = vld1_u8(src);
src += src_stride;
- q8u8 = vld1q_u8(d);
- q9u8 = vld1q_u8(d + 16);
- d += dst_stride;
- q10u8 = vld1q_u8(d);
- q11u8 = vld1q_u8(d + 16);
- d += dst_stride;
+ d0 = vld1_u8(dst);
+ d1 = vld1_u8(dst + dst_stride);
- q0u8 = vrhaddq_u8(q0u8, q8u8);
- q1u8 = vrhaddq_u8(q1u8, q9u8);
- q2u8 = vrhaddq_u8(q2u8, q10u8);
- q3u8 = vrhaddq_u8(q3u8, q11u8);
+ s01 = vcombine_u8(s0, s1);
+ d01 = vcombine_u8(d0, d1);
+ d01 = vrhaddq_u8(s01, d01);
- vst1q_u8(dst, q0u8);
- vst1q_u8(dst + 16, q1u8);
+ vst1_u8(dst, vget_low_u8(d01));
dst += dst_stride;
- vst1q_u8(dst, q2u8);
- vst1q_u8(dst + 16, q3u8);
+ vst1_u8(dst, vget_high_u8(d01));
dst += dst_stride;
- }
- } else if (w > 8) { // avg16- for (; h > 0; h -= 2) {- q0u8 = vld1q_u8(src);
+ h -= 2;
+ } while (h > 0);
+ } else if (w < 32) { // avg16+ uint8x16_t s0, s1, d0, d1;
+ do {+ s0 = vld1q_u8(src);
src += src_stride;
- q1u8 = vld1q_u8(src);
+ s1 = vld1q_u8(src);
src += src_stride;
- q2u8 = vld1q_u8(d);
- d += dst_stride;
- q3u8 = vld1q_u8(d);
- d += dst_stride;
+ d0 = vld1q_u8(dst);
+ d1 = vld1q_u8(dst + dst_stride);
- q0u8 = vrhaddq_u8(q0u8, q2u8);
- q1u8 = vrhaddq_u8(q1u8, q3u8);
+ d0 = vrhaddq_u8(s0, d0);
+ d1 = vrhaddq_u8(s1, d1);
- vst1q_u8(dst, q0u8);
+ vst1q_u8(dst, d0);
dst += dst_stride;
- vst1q_u8(dst, q1u8);
+ vst1q_u8(dst, d1);
dst += dst_stride;
- }
- } else if (w == 8) { // avg8- for (; h > 0; h -= 2) {- d0u8 = vld1_u8(src);
+ h -= 2;
+ } while (h > 0);
+ } else if (w == 32) { // avg32+ uint8x16_t s0, s1, s2, s3, d0, d1, d2, d3;
+ do {+ s0 = vld1q_u8(src);
+ s1 = vld1q_u8(src + 16);
src += src_stride;
- d1u8 = vld1_u8(src);
+ s2 = vld1q_u8(src);
+ s3 = vld1q_u8(src + 16);
src += src_stride;
- d2u8 = vld1_u8(d);
- d += dst_stride;
- d3u8 = vld1_u8(d);
- d += dst_stride;
+ d0 = vld1q_u8(dst);
+ d1 = vld1q_u8(dst + 16);
+ d2 = vld1q_u8(dst + dst_stride);
+ d3 = vld1q_u8(dst + dst_stride + 16);
- q0u8 = vcombine_u8(d0u8, d1u8);
- q1u8 = vcombine_u8(d2u8, d3u8);
- q0u8 = vrhaddq_u8(q0u8, q1u8);
+ d0 = vrhaddq_u8(s0, d0);
+ d1 = vrhaddq_u8(s1, d1);
+ d2 = vrhaddq_u8(s2, d2);
+ d3 = vrhaddq_u8(s3, d3);
- vst1_u8(dst, vget_low_u8(q0u8));
+ vst1q_u8(dst, d0);
+ vst1q_u8(dst + 16, d1);
dst += dst_stride;
- vst1_u8(dst, vget_high_u8(q0u8));
+ vst1q_u8(dst, d2);
+ vst1q_u8(dst + 16, d3);
dst += dst_stride;
- }
- } else { // avg4- for (; h > 0; h -= 2) {- d0u32 = vld1_lane_u32((const uint32_t *)src, d0u32, 0);
+ h -= 2;
+ } while (h > 0);
+ } else { // avg64+ uint8x16_t s0, s1, s2, s3, d0, d1, d2, d3;
+ do {+ s0 = vld1q_u8(src);
+ s1 = vld1q_u8(src + 16);
+ s2 = vld1q_u8(src + 32);
+ s3 = vld1q_u8(src + 48);
src += src_stride;
- d0u32 = vld1_lane_u32((const uint32_t *)src, d0u32, 1);
- src += src_stride;
- d2u32 = vld1_lane_u32((const uint32_t *)d, d2u32, 0);
- d += dst_stride;
- d2u32 = vld1_lane_u32((const uint32_t *)d, d2u32, 1);
- d += dst_stride;
+ d0 = vld1q_u8(dst);
+ d1 = vld1q_u8(dst + 16);
+ d2 = vld1q_u8(dst + 32);
+ d3 = vld1q_u8(dst + 48);
- d0u8 = vrhadd_u8(vreinterpret_u8_u32(d0u32), vreinterpret_u8_u32(d2u32));
+ d0 = vrhaddq_u8(s0, d0);
+ d1 = vrhaddq_u8(s1, d1);
+ d2 = vrhaddq_u8(s2, d2);
+ d3 = vrhaddq_u8(s3, d3);
- d0u32 = vreinterpret_u32_u8(d0u8);
- vst1_lane_u32((uint32_t *)dst, d0u32, 0);
+ vst1q_u8(dst, d0);
+ vst1q_u8(dst + 16, d1);
+ vst1q_u8(dst + 32, d2);
+ vst1q_u8(dst + 48, d3);
dst += dst_stride;
- vst1_lane_u32((uint32_t *)dst, d0u32, 1);
- dst += dst_stride;
- }
+ } while (--h);
}
- return;
}
--- a/vpx_dsp/arm/vpx_convolve_copy_neon.c
+++ b/vpx_dsp/arm/vpx_convolve_copy_neon.c
@@ -13,80 +13,86 @@
#include "./vpx_dsp_rtcd.h"
#include "vpx/vpx_integer.h"
-void vpx_convolve_copy_neon(const uint8_t *src, // r0
- ptrdiff_t src_stride, // r1
- uint8_t *dst, // r2
- ptrdiff_t dst_stride, // r3
+void vpx_convolve_copy_neon(const uint8_t *src, ptrdiff_t src_stride,
+ uint8_t *dst, ptrdiff_t dst_stride,
const int16_t *filter_x, int filter_x_stride,
const int16_t *filter_y, int filter_y_stride, int w,
int h) {- uint8x8_t d0u8, d2u8;
- uint8x16_t q0u8, q1u8, q2u8, q3u8;
(void)filter_x;
(void)filter_x_stride;
(void)filter_y;
(void)filter_y_stride;
- if (w > 32) { // copy64- for (; h > 0; h--) {- q0u8 = vld1q_u8(src);
- q1u8 = vld1q_u8(src + 16);
- q2u8 = vld1q_u8(src + 32);
- q3u8 = vld1q_u8(src + 48);
+ if (w < 8) { // copy4+ do {+ *(uint32_t *)dst = *(const uint32_t *)src;
src += src_stride;
-
- vst1q_u8(dst, q0u8);
- vst1q_u8(dst + 16, q1u8);
- vst1q_u8(dst + 32, q2u8);
- vst1q_u8(dst + 48, q3u8);
dst += dst_stride;
- }
- } else if (w == 32) { // copy32- for (; h > 0; h -= 2) {- q0u8 = vld1q_u8(src);
- q1u8 = vld1q_u8(src + 16);
+ *(uint32_t *)dst = *(const uint32_t *)src;
src += src_stride;
- q2u8 = vld1q_u8(src);
- q3u8 = vld1q_u8(src + 16);
+ dst += dst_stride;
+ h -= 2;
+ } while (h > 0);
+ } else if (w == 8) { // copy8+ uint8x8_t s0, s1;
+ do {+ s0 = vld1_u8(src);
src += src_stride;
+ s1 = vld1_u8(src);
+ src += src_stride;
- vst1q_u8(dst, q0u8);
- vst1q_u8(dst + 16, q1u8);
+ vst1_u8(dst, s0);
dst += dst_stride;
- vst1q_u8(dst, q2u8);
- vst1q_u8(dst + 16, q3u8);
+ vst1_u8(dst, s1);
dst += dst_stride;
- }
- } else if (w > 8) { // copy16- for (; h > 0; h -= 2) {- q0u8 = vld1q_u8(src);
+ h -= 2;
+ } while (h > 0);
+ } else if (w < 32) { // copy16+ uint8x16_t s0, s1;
+ do {+ s0 = vld1q_u8(src);
src += src_stride;
- q1u8 = vld1q_u8(src);
+ s1 = vld1q_u8(src);
src += src_stride;
- vst1q_u8(dst, q0u8);
+ vst1q_u8(dst, s0);
dst += dst_stride;
- vst1q_u8(dst, q1u8);
+ vst1q_u8(dst, s1);
dst += dst_stride;
- }
- } else if (w == 8) { // copy8- for (; h > 0; h -= 2) {- d0u8 = vld1_u8(src);
+ h -= 2;
+ } while (h > 0);
+ } else if (w == 32) { // copy32+ uint8x16_t s0, s1, s2, s3;
+ do {+ s0 = vld1q_u8(src);
+ s1 = vld1q_u8(src + 16);
src += src_stride;
- d2u8 = vld1_u8(src);
+ s2 = vld1q_u8(src);
+ s3 = vld1q_u8(src + 16);
src += src_stride;
- vst1_u8(dst, d0u8);
+ vst1q_u8(dst, s0);
+ vst1q_u8(dst + 16, s1);
dst += dst_stride;
- vst1_u8(dst, d2u8);
+ vst1q_u8(dst, s2);
+ vst1q_u8(dst + 16, s3);
dst += dst_stride;
- }
- } else { // copy4- for (; h > 0; h--) {- *(uint32_t *)dst = *(const uint32_t *)src;
+ h -= 2;
+ } while (h > 0);
+ } else { // copy64+ uint8x16_t s0, s1, s2, s3;
+ do {+ s0 = vld1q_u8(src);
+ s1 = vld1q_u8(src + 16);
+ s2 = vld1q_u8(src + 32);
+ s3 = vld1q_u8(src + 48);
src += src_stride;
+
+ vst1q_u8(dst, s0);
+ vst1q_u8(dst + 16, s1);
+ vst1q_u8(dst + 32, s2);
+ vst1q_u8(dst + 48, s3);
dst += dst_stride;
- }
+ } while (--h);
}
- return;
}