1// This file is generated from a similarly-named Perl script in the BoringSSL 2// source tree. Do not edit by hand. 3 4#include <openssl/asm_base.h> 5 6#if !defined(OPENSSL_NO_ASM) && defined(OPENSSL_ARM) && defined(__ELF__) 7#include <openssl/arm_arch.h> 8 9@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both 10@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions. 11.arch armv7-a 12 13.text 14#if defined(__thumb2__) 15.syntax unified 16.thumb 17#else 18.code 32 19#endif 20 21.globl bn_mul_mont_nohw 22.hidden bn_mul_mont_nohw 23.type bn_mul_mont_nohw,%function 24 25.align 5 26bn_mul_mont_nohw: 27 ldr ip,[sp,#4] @ load num 28 stmdb sp!,{r0,r2} @ sp points at argument block 29 cmp ip,#2 30 mov r0,ip @ load num 31#ifdef __thumb2__ 32 ittt lt 33#endif 34 movlt r0,#0 35 addlt sp,sp,#2*4 36 blt .Labrt 37 38 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 39 40 mov r0,r0,lsl#2 @ rescale r0 for byte count 41 sub sp,sp,r0 @ alloca(4*num) 42 sub sp,sp,#4 @ +extra dword 43 sub r0,r0,#4 @ "num=num-1" 44 add r4,r2,r0 @ &bp[num-1] 45 46 add r0,sp,r0 @ r0 to point at &tp[num-1] 47 ldr r8,[r0,#14*4] @ &n0 48 ldr r2,[r2] @ bp[0] 49 ldr r5,[r1],#4 @ ap[0],ap++ 50 ldr r6,[r3],#4 @ np[0],np++ 51 ldr r8,[r8] @ *n0 52 str r4,[r0,#15*4] @ save &bp[num] 53 54 umull r10,r11,r5,r2 @ ap[0]*bp[0] 55 str r8,[r0,#14*4] @ save n0 value 56 mul r8,r10,r8 @ "tp[0]"*n0 57 mov r12,#0 58 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 59 mov r4,sp 60 61.L1st: 62 ldr r5,[r1],#4 @ ap[j],ap++ 63 mov r10,r11 64 ldr r6,[r3],#4 @ np[j],np++ 65 mov r11,#0 66 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 67 mov r14,#0 68 umlal r12,r14,r6,r8 @ np[j]*n0 69 adds r12,r12,r10 70 str r12,[r4],#4 @ tp[j-1]=,tp++ 71 adc r12,r14,#0 72 cmp r4,r0 73 bne .L1st 74 75 adds r12,r12,r11 76 ldr r4,[r0,#13*4] @ restore bp 77 mov r14,#0 78 ldr r8,[r0,#14*4] @ restore n0 79 adc r14,r14,#0 80 str r12,[r0] @ tp[num-1]= 81 mov r7,sp 82 str r14,[r0,#4] @ tp[num]= 83 84.Louter: 85 sub r7,r0,r7 @ "original" r0-1 value 86 sub r1,r1,r7 @ "rewind" ap to &ap[1] 87 ldr r2,[r4,#4]! @ *(++bp) 88 sub r3,r3,r7 @ "rewind" np to &np[1] 89 ldr r5,[r1,#-4] @ ap[0] 90 ldr r10,[sp] @ tp[0] 91 ldr r6,[r3,#-4] @ np[0] 92 ldr r7,[sp,#4] @ tp[1] 93 94 mov r11,#0 95 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 96 str r4,[r0,#13*4] @ save bp 97 mul r8,r10,r8 98 mov r12,#0 99 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 100 mov r4,sp 101 102.Linner: 103 ldr r5,[r1],#4 @ ap[j],ap++ 104 adds r10,r11,r7 @ +=tp[j] 105 ldr r6,[r3],#4 @ np[j],np++ 106 mov r11,#0 107 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 108 mov r14,#0 109 umlal r12,r14,r6,r8 @ np[j]*n0 110 adc r11,r11,#0 111 ldr r7,[r4,#8] @ tp[j+1] 112 adds r12,r12,r10 113 str r12,[r4],#4 @ tp[j-1]=,tp++ 114 adc r12,r14,#0 115 cmp r4,r0 116 bne .Linner 117 118 adds r12,r12,r11 119 mov r14,#0 120 ldr r4,[r0,#13*4] @ restore bp 121 adc r14,r14,#0 122 ldr r8,[r0,#14*4] @ restore n0 123 adds r12,r12,r7 124 ldr r7,[r0,#15*4] @ restore &bp[num] 125 adc r14,r14,#0 126 str r12,[r0] @ tp[num-1]= 127 str r14,[r0,#4] @ tp[num]= 128 129 cmp r4,r7 130#ifdef __thumb2__ 131 itt ne 132#endif 133 movne r7,sp 134 bne .Louter 135 136 ldr r2,[r0,#12*4] @ pull rp 137 mov r5,sp 138 add r0,r0,#4 @ r0 to point at &tp[num] 139 sub r5,r0,r5 @ "original" num value 140 mov r4,sp @ "rewind" r4 141 mov r1,r4 @ "borrow" r1 142 sub r3,r3,r5 @ "rewind" r3 to &np[0] 143 144 subs r7,r7,r7 @ "clear" carry flag 145.Lsub: ldr r7,[r4],#4 146 ldr r6,[r3],#4 147 sbcs r7,r7,r6 @ tp[j]-np[j] 148 str r7,[r2],#4 @ rp[j]= 149 teq r4,r0 @ preserve carry 150 bne .Lsub 151 sbcs r14,r14,#0 @ upmost carry 152 mov r4,sp @ "rewind" r4 153 sub r2,r2,r5 @ "rewind" r2 154 155.Lcopy: ldr r7,[r4] @ conditional copy 156 ldr r5,[r2] 157 str sp,[r4],#4 @ zap tp 158#ifdef __thumb2__ 159 it cc 160#endif 161 movcc r5,r7 162 str r5,[r2],#4 163 teq r4,r0 @ preserve carry 164 bne .Lcopy 165 166 mov sp,r0 167 add sp,sp,#4 @ skip over tp[num+1] 168 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 169 add sp,sp,#2*4 @ skip over {r0,r2} 170 mov r0,#1 171.Labrt: 172#if __ARM_ARCH>=5 173 bx lr @ bx lr 174#else 175 tst lr,#1 176 moveq pc,lr @ be binary compatible with V4, yet 177.word 0xe12fff1e @ interoperable with Thumb ISA:-) 178#endif 179.size bn_mul_mont_nohw,.-bn_mul_mont_nohw 180#if __ARM_MAX_ARCH__>=7 181.arch armv7-a 182.fpu neon 183 184.globl bn_mul8x_mont_neon 185.hidden bn_mul8x_mont_neon 186.type bn_mul8x_mont_neon,%function 187.align 5 188bn_mul8x_mont_neon: 189 mov ip,sp 190 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 191 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 192 ldmia ip,{r4,r5} @ load rest of parameter block 193 mov ip,sp 194 195 cmp r5,#8 196 bhi .LNEON_8n 197 198 @ special case for r5==8, everything is in register bank... 199 200 vld1.32 {d28[0]}, [r2,:32]! 201 veor d8,d8,d8 202 sub r7,sp,r5,lsl#4 203 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 204 and r7,r7,#-64 205 vld1.32 {d30[0]}, [r4,:32] 206 mov sp,r7 @ alloca 207 vzip.16 d28,d8 208 209 vmull.u32 q6,d28,d0[0] 210 vmull.u32 q7,d28,d0[1] 211 vmull.u32 q8,d28,d1[0] 212 vshl.i64 d29,d13,#16 213 vmull.u32 q9,d28,d1[1] 214 215 vadd.u64 d29,d29,d12 216 veor d8,d8,d8 217 vmul.u32 d29,d29,d30 218 219 vmull.u32 q10,d28,d2[0] 220 vld1.32 {d4,d5,d6,d7}, [r3]! 221 vmull.u32 q11,d28,d2[1] 222 vmull.u32 q12,d28,d3[0] 223 vzip.16 d29,d8 224 vmull.u32 q13,d28,d3[1] 225 226 vmlal.u32 q6,d29,d4[0] 227 sub r9,r5,#1 228 vmlal.u32 q7,d29,d4[1] 229 vmlal.u32 q8,d29,d5[0] 230 vmlal.u32 q9,d29,d5[1] 231 232 vmlal.u32 q10,d29,d6[0] 233 vmov q5,q6 234 vmlal.u32 q11,d29,d6[1] 235 vmov q6,q7 236 vmlal.u32 q12,d29,d7[0] 237 vmov q7,q8 238 vmlal.u32 q13,d29,d7[1] 239 vmov q8,q9 240 vmov q9,q10 241 vshr.u64 d10,d10,#16 242 vmov q10,q11 243 vmov q11,q12 244 vadd.u64 d10,d10,d11 245 vmov q12,q13 246 veor q13,q13 247 vshr.u64 d10,d10,#16 248 249 b .LNEON_outer8 250 251.align 4 252.LNEON_outer8: 253 vld1.32 {d28[0]}, [r2,:32]! 254 veor d8,d8,d8 255 vzip.16 d28,d8 256 vadd.u64 d12,d12,d10 257 258 vmlal.u32 q6,d28,d0[0] 259 vmlal.u32 q7,d28,d0[1] 260 vmlal.u32 q8,d28,d1[0] 261 vshl.i64 d29,d13,#16 262 vmlal.u32 q9,d28,d1[1] 263 264 vadd.u64 d29,d29,d12 265 veor d8,d8,d8 266 subs r9,r9,#1 267 vmul.u32 d29,d29,d30 268 269 vmlal.u32 q10,d28,d2[0] 270 vmlal.u32 q11,d28,d2[1] 271 vmlal.u32 q12,d28,d3[0] 272 vzip.16 d29,d8 273 vmlal.u32 q13,d28,d3[1] 274 275 vmlal.u32 q6,d29,d4[0] 276 vmlal.u32 q7,d29,d4[1] 277 vmlal.u32 q8,d29,d5[0] 278 vmlal.u32 q9,d29,d5[1] 279 280 vmlal.u32 q10,d29,d6[0] 281 vmov q5,q6 282 vmlal.u32 q11,d29,d6[1] 283 vmov q6,q7 284 vmlal.u32 q12,d29,d7[0] 285 vmov q7,q8 286 vmlal.u32 q13,d29,d7[1] 287 vmov q8,q9 288 vmov q9,q10 289 vshr.u64 d10,d10,#16 290 vmov q10,q11 291 vmov q11,q12 292 vadd.u64 d10,d10,d11 293 vmov q12,q13 294 veor q13,q13 295 vshr.u64 d10,d10,#16 296 297 bne .LNEON_outer8 298 299 vadd.u64 d12,d12,d10 300 mov r7,sp 301 vshr.u64 d10,d12,#16 302 mov r8,r5 303 vadd.u64 d13,d13,d10 304 add r6,sp,#96 305 vshr.u64 d10,d13,#16 306 vzip.16 d12,d13 307 308 b .LNEON_tail_entry 309 310.align 4 311.LNEON_8n: 312 veor q6,q6,q6 313 sub r7,sp,#128 314 veor q7,q7,q7 315 sub r7,r7,r5,lsl#4 316 veor q8,q8,q8 317 and r7,r7,#-64 318 veor q9,q9,q9 319 mov sp,r7 @ alloca 320 veor q10,q10,q10 321 add r7,r7,#256 322 veor q11,q11,q11 323 sub r8,r5,#8 324 veor q12,q12,q12 325 veor q13,q13,q13 326 327.LNEON_8n_init: 328 vst1.64 {q6,q7},[r7,:256]! 329 subs r8,r8,#8 330 vst1.64 {q8,q9},[r7,:256]! 331 vst1.64 {q10,q11},[r7,:256]! 332 vst1.64 {q12,q13},[r7,:256]! 333 bne .LNEON_8n_init 334 335 add r6,sp,#256 336 vld1.32 {d0,d1,d2,d3},[r1]! 337 add r10,sp,#8 338 vld1.32 {d30[0]},[r4,:32] 339 mov r9,r5 340 b .LNEON_8n_outer 341 342.align 4 343.LNEON_8n_outer: 344 vld1.32 {d28[0]},[r2,:32]! @ *b++ 345 veor d8,d8,d8 346 vzip.16 d28,d8 347 add r7,sp,#128 348 vld1.32 {d4,d5,d6,d7},[r3]! 349 350 vmlal.u32 q6,d28,d0[0] 351 vmlal.u32 q7,d28,d0[1] 352 veor d8,d8,d8 353 vmlal.u32 q8,d28,d1[0] 354 vshl.i64 d29,d13,#16 355 vmlal.u32 q9,d28,d1[1] 356 vadd.u64 d29,d29,d12 357 vmlal.u32 q10,d28,d2[0] 358 vmul.u32 d29,d29,d30 359 vmlal.u32 q11,d28,d2[1] 360 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 361 vmlal.u32 q12,d28,d3[0] 362 vzip.16 d29,d8 363 vmlal.u32 q13,d28,d3[1] 364 vld1.32 {d28[0]},[r2,:32]! @ *b++ 365 vmlal.u32 q6,d29,d4[0] 366 veor d10,d10,d10 367 vmlal.u32 q7,d29,d4[1] 368 vzip.16 d28,d10 369 vmlal.u32 q8,d29,d5[0] 370 vshr.u64 d12,d12,#16 371 vmlal.u32 q9,d29,d5[1] 372 vmlal.u32 q10,d29,d6[0] 373 vadd.u64 d12,d12,d13 374 vmlal.u32 q11,d29,d6[1] 375 vshr.u64 d12,d12,#16 376 vmlal.u32 q12,d29,d7[0] 377 vmlal.u32 q13,d29,d7[1] 378 vadd.u64 d14,d14,d12 379 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 380 vmlal.u32 q7,d28,d0[0] 381 vld1.64 {q6},[r6,:128]! 382 vmlal.u32 q8,d28,d0[1] 383 veor d8,d8,d8 384 vmlal.u32 q9,d28,d1[0] 385 vshl.i64 d29,d15,#16 386 vmlal.u32 q10,d28,d1[1] 387 vadd.u64 d29,d29,d14 388 vmlal.u32 q11,d28,d2[0] 389 vmul.u32 d29,d29,d30 390 vmlal.u32 q12,d28,d2[1] 391 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 392 vmlal.u32 q13,d28,d3[0] 393 vzip.16 d29,d8 394 vmlal.u32 q6,d28,d3[1] 395 vld1.32 {d28[0]},[r2,:32]! @ *b++ 396 vmlal.u32 q7,d29,d4[0] 397 veor d10,d10,d10 398 vmlal.u32 q8,d29,d4[1] 399 vzip.16 d28,d10 400 vmlal.u32 q9,d29,d5[0] 401 vshr.u64 d14,d14,#16 402 vmlal.u32 q10,d29,d5[1] 403 vmlal.u32 q11,d29,d6[0] 404 vadd.u64 d14,d14,d15 405 vmlal.u32 q12,d29,d6[1] 406 vshr.u64 d14,d14,#16 407 vmlal.u32 q13,d29,d7[0] 408 vmlal.u32 q6,d29,d7[1] 409 vadd.u64 d16,d16,d14 410 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 411 vmlal.u32 q8,d28,d0[0] 412 vld1.64 {q7},[r6,:128]! 413 vmlal.u32 q9,d28,d0[1] 414 veor d8,d8,d8 415 vmlal.u32 q10,d28,d1[0] 416 vshl.i64 d29,d17,#16 417 vmlal.u32 q11,d28,d1[1] 418 vadd.u64 d29,d29,d16 419 vmlal.u32 q12,d28,d2[0] 420 vmul.u32 d29,d29,d30 421 vmlal.u32 q13,d28,d2[1] 422 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 423 vmlal.u32 q6,d28,d3[0] 424 vzip.16 d29,d8 425 vmlal.u32 q7,d28,d3[1] 426 vld1.32 {d28[0]},[r2,:32]! @ *b++ 427 vmlal.u32 q8,d29,d4[0] 428 veor d10,d10,d10 429 vmlal.u32 q9,d29,d4[1] 430 vzip.16 d28,d10 431 vmlal.u32 q10,d29,d5[0] 432 vshr.u64 d16,d16,#16 433 vmlal.u32 q11,d29,d5[1] 434 vmlal.u32 q12,d29,d6[0] 435 vadd.u64 d16,d16,d17 436 vmlal.u32 q13,d29,d6[1] 437 vshr.u64 d16,d16,#16 438 vmlal.u32 q6,d29,d7[0] 439 vmlal.u32 q7,d29,d7[1] 440 vadd.u64 d18,d18,d16 441 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 442 vmlal.u32 q9,d28,d0[0] 443 vld1.64 {q8},[r6,:128]! 444 vmlal.u32 q10,d28,d0[1] 445 veor d8,d8,d8 446 vmlal.u32 q11,d28,d1[0] 447 vshl.i64 d29,d19,#16 448 vmlal.u32 q12,d28,d1[1] 449 vadd.u64 d29,d29,d18 450 vmlal.u32 q13,d28,d2[0] 451 vmul.u32 d29,d29,d30 452 vmlal.u32 q6,d28,d2[1] 453 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 454 vmlal.u32 q7,d28,d3[0] 455 vzip.16 d29,d8 456 vmlal.u32 q8,d28,d3[1] 457 vld1.32 {d28[0]},[r2,:32]! @ *b++ 458 vmlal.u32 q9,d29,d4[0] 459 veor d10,d10,d10 460 vmlal.u32 q10,d29,d4[1] 461 vzip.16 d28,d10 462 vmlal.u32 q11,d29,d5[0] 463 vshr.u64 d18,d18,#16 464 vmlal.u32 q12,d29,d5[1] 465 vmlal.u32 q13,d29,d6[0] 466 vadd.u64 d18,d18,d19 467 vmlal.u32 q6,d29,d6[1] 468 vshr.u64 d18,d18,#16 469 vmlal.u32 q7,d29,d7[0] 470 vmlal.u32 q8,d29,d7[1] 471 vadd.u64 d20,d20,d18 472 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 473 vmlal.u32 q10,d28,d0[0] 474 vld1.64 {q9},[r6,:128]! 475 vmlal.u32 q11,d28,d0[1] 476 veor d8,d8,d8 477 vmlal.u32 q12,d28,d1[0] 478 vshl.i64 d29,d21,#16 479 vmlal.u32 q13,d28,d1[1] 480 vadd.u64 d29,d29,d20 481 vmlal.u32 q6,d28,d2[0] 482 vmul.u32 d29,d29,d30 483 vmlal.u32 q7,d28,d2[1] 484 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 485 vmlal.u32 q8,d28,d3[0] 486 vzip.16 d29,d8 487 vmlal.u32 q9,d28,d3[1] 488 vld1.32 {d28[0]},[r2,:32]! @ *b++ 489 vmlal.u32 q10,d29,d4[0] 490 veor d10,d10,d10 491 vmlal.u32 q11,d29,d4[1] 492 vzip.16 d28,d10 493 vmlal.u32 q12,d29,d5[0] 494 vshr.u64 d20,d20,#16 495 vmlal.u32 q13,d29,d5[1] 496 vmlal.u32 q6,d29,d6[0] 497 vadd.u64 d20,d20,d21 498 vmlal.u32 q7,d29,d6[1] 499 vshr.u64 d20,d20,#16 500 vmlal.u32 q8,d29,d7[0] 501 vmlal.u32 q9,d29,d7[1] 502 vadd.u64 d22,d22,d20 503 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 504 vmlal.u32 q11,d28,d0[0] 505 vld1.64 {q10},[r6,:128]! 506 vmlal.u32 q12,d28,d0[1] 507 veor d8,d8,d8 508 vmlal.u32 q13,d28,d1[0] 509 vshl.i64 d29,d23,#16 510 vmlal.u32 q6,d28,d1[1] 511 vadd.u64 d29,d29,d22 512 vmlal.u32 q7,d28,d2[0] 513 vmul.u32 d29,d29,d30 514 vmlal.u32 q8,d28,d2[1] 515 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 516 vmlal.u32 q9,d28,d3[0] 517 vzip.16 d29,d8 518 vmlal.u32 q10,d28,d3[1] 519 vld1.32 {d28[0]},[r2,:32]! @ *b++ 520 vmlal.u32 q11,d29,d4[0] 521 veor d10,d10,d10 522 vmlal.u32 q12,d29,d4[1] 523 vzip.16 d28,d10 524 vmlal.u32 q13,d29,d5[0] 525 vshr.u64 d22,d22,#16 526 vmlal.u32 q6,d29,d5[1] 527 vmlal.u32 q7,d29,d6[0] 528 vadd.u64 d22,d22,d23 529 vmlal.u32 q8,d29,d6[1] 530 vshr.u64 d22,d22,#16 531 vmlal.u32 q9,d29,d7[0] 532 vmlal.u32 q10,d29,d7[1] 533 vadd.u64 d24,d24,d22 534 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 535 vmlal.u32 q12,d28,d0[0] 536 vld1.64 {q11},[r6,:128]! 537 vmlal.u32 q13,d28,d0[1] 538 veor d8,d8,d8 539 vmlal.u32 q6,d28,d1[0] 540 vshl.i64 d29,d25,#16 541 vmlal.u32 q7,d28,d1[1] 542 vadd.u64 d29,d29,d24 543 vmlal.u32 q8,d28,d2[0] 544 vmul.u32 d29,d29,d30 545 vmlal.u32 q9,d28,d2[1] 546 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 547 vmlal.u32 q10,d28,d3[0] 548 vzip.16 d29,d8 549 vmlal.u32 q11,d28,d3[1] 550 vld1.32 {d28[0]},[r2,:32]! @ *b++ 551 vmlal.u32 q12,d29,d4[0] 552 veor d10,d10,d10 553 vmlal.u32 q13,d29,d4[1] 554 vzip.16 d28,d10 555 vmlal.u32 q6,d29,d5[0] 556 vshr.u64 d24,d24,#16 557 vmlal.u32 q7,d29,d5[1] 558 vmlal.u32 q8,d29,d6[0] 559 vadd.u64 d24,d24,d25 560 vmlal.u32 q9,d29,d6[1] 561 vshr.u64 d24,d24,#16 562 vmlal.u32 q10,d29,d7[0] 563 vmlal.u32 q11,d29,d7[1] 564 vadd.u64 d26,d26,d24 565 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 566 vmlal.u32 q13,d28,d0[0] 567 vld1.64 {q12},[r6,:128]! 568 vmlal.u32 q6,d28,d0[1] 569 veor d8,d8,d8 570 vmlal.u32 q7,d28,d1[0] 571 vshl.i64 d29,d27,#16 572 vmlal.u32 q8,d28,d1[1] 573 vadd.u64 d29,d29,d26 574 vmlal.u32 q9,d28,d2[0] 575 vmul.u32 d29,d29,d30 576 vmlal.u32 q10,d28,d2[1] 577 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 578 vmlal.u32 q11,d28,d3[0] 579 vzip.16 d29,d8 580 vmlal.u32 q12,d28,d3[1] 581 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 582 vmlal.u32 q13,d29,d4[0] 583 vld1.32 {d0,d1,d2,d3},[r1]! 584 vmlal.u32 q6,d29,d4[1] 585 vmlal.u32 q7,d29,d5[0] 586 vshr.u64 d26,d26,#16 587 vmlal.u32 q8,d29,d5[1] 588 vmlal.u32 q9,d29,d6[0] 589 vadd.u64 d26,d26,d27 590 vmlal.u32 q10,d29,d6[1] 591 vshr.u64 d26,d26,#16 592 vmlal.u32 q11,d29,d7[0] 593 vmlal.u32 q12,d29,d7[1] 594 vadd.u64 d12,d12,d26 595 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 596 add r10,sp,#8 @ rewind 597 sub r8,r5,#8 598 b .LNEON_8n_inner 599 600.align 4 601.LNEON_8n_inner: 602 subs r8,r8,#8 603 vmlal.u32 q6,d28,d0[0] 604 vld1.64 {q13},[r6,:128] 605 vmlal.u32 q7,d28,d0[1] 606 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 607 vmlal.u32 q8,d28,d1[0] 608 vld1.32 {d4,d5,d6,d7},[r3]! 609 vmlal.u32 q9,d28,d1[1] 610 it ne 611 addne r6,r6,#16 @ don't advance in last iteration 612 vmlal.u32 q10,d28,d2[0] 613 vmlal.u32 q11,d28,d2[1] 614 vmlal.u32 q12,d28,d3[0] 615 vmlal.u32 q13,d28,d3[1] 616 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 617 vmlal.u32 q6,d29,d4[0] 618 vmlal.u32 q7,d29,d4[1] 619 vmlal.u32 q8,d29,d5[0] 620 vmlal.u32 q9,d29,d5[1] 621 vmlal.u32 q10,d29,d6[0] 622 vmlal.u32 q11,d29,d6[1] 623 vmlal.u32 q12,d29,d7[0] 624 vmlal.u32 q13,d29,d7[1] 625 vst1.64 {q6},[r7,:128]! 626 vmlal.u32 q7,d28,d0[0] 627 vld1.64 {q6},[r6,:128] 628 vmlal.u32 q8,d28,d0[1] 629 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 630 vmlal.u32 q9,d28,d1[0] 631 it ne 632 addne r6,r6,#16 @ don't advance in last iteration 633 vmlal.u32 q10,d28,d1[1] 634 vmlal.u32 q11,d28,d2[0] 635 vmlal.u32 q12,d28,d2[1] 636 vmlal.u32 q13,d28,d3[0] 637 vmlal.u32 q6,d28,d3[1] 638 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 639 vmlal.u32 q7,d29,d4[0] 640 vmlal.u32 q8,d29,d4[1] 641 vmlal.u32 q9,d29,d5[0] 642 vmlal.u32 q10,d29,d5[1] 643 vmlal.u32 q11,d29,d6[0] 644 vmlal.u32 q12,d29,d6[1] 645 vmlal.u32 q13,d29,d7[0] 646 vmlal.u32 q6,d29,d7[1] 647 vst1.64 {q7},[r7,:128]! 648 vmlal.u32 q8,d28,d0[0] 649 vld1.64 {q7},[r6,:128] 650 vmlal.u32 q9,d28,d0[1] 651 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 652 vmlal.u32 q10,d28,d1[0] 653 it ne 654 addne r6,r6,#16 @ don't advance in last iteration 655 vmlal.u32 q11,d28,d1[1] 656 vmlal.u32 q12,d28,d2[0] 657 vmlal.u32 q13,d28,d2[1] 658 vmlal.u32 q6,d28,d3[0] 659 vmlal.u32 q7,d28,d3[1] 660 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 661 vmlal.u32 q8,d29,d4[0] 662 vmlal.u32 q9,d29,d4[1] 663 vmlal.u32 q10,d29,d5[0] 664 vmlal.u32 q11,d29,d5[1] 665 vmlal.u32 q12,d29,d6[0] 666 vmlal.u32 q13,d29,d6[1] 667 vmlal.u32 q6,d29,d7[0] 668 vmlal.u32 q7,d29,d7[1] 669 vst1.64 {q8},[r7,:128]! 670 vmlal.u32 q9,d28,d0[0] 671 vld1.64 {q8},[r6,:128] 672 vmlal.u32 q10,d28,d0[1] 673 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 674 vmlal.u32 q11,d28,d1[0] 675 it ne 676 addne r6,r6,#16 @ don't advance in last iteration 677 vmlal.u32 q12,d28,d1[1] 678 vmlal.u32 q13,d28,d2[0] 679 vmlal.u32 q6,d28,d2[1] 680 vmlal.u32 q7,d28,d3[0] 681 vmlal.u32 q8,d28,d3[1] 682 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 683 vmlal.u32 q9,d29,d4[0] 684 vmlal.u32 q10,d29,d4[1] 685 vmlal.u32 q11,d29,d5[0] 686 vmlal.u32 q12,d29,d5[1] 687 vmlal.u32 q13,d29,d6[0] 688 vmlal.u32 q6,d29,d6[1] 689 vmlal.u32 q7,d29,d7[0] 690 vmlal.u32 q8,d29,d7[1] 691 vst1.64 {q9},[r7,:128]! 692 vmlal.u32 q10,d28,d0[0] 693 vld1.64 {q9},[r6,:128] 694 vmlal.u32 q11,d28,d0[1] 695 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 696 vmlal.u32 q12,d28,d1[0] 697 it ne 698 addne r6,r6,#16 @ don't advance in last iteration 699 vmlal.u32 q13,d28,d1[1] 700 vmlal.u32 q6,d28,d2[0] 701 vmlal.u32 q7,d28,d2[1] 702 vmlal.u32 q8,d28,d3[0] 703 vmlal.u32 q9,d28,d3[1] 704 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 705 vmlal.u32 q10,d29,d4[0] 706 vmlal.u32 q11,d29,d4[1] 707 vmlal.u32 q12,d29,d5[0] 708 vmlal.u32 q13,d29,d5[1] 709 vmlal.u32 q6,d29,d6[0] 710 vmlal.u32 q7,d29,d6[1] 711 vmlal.u32 q8,d29,d7[0] 712 vmlal.u32 q9,d29,d7[1] 713 vst1.64 {q10},[r7,:128]! 714 vmlal.u32 q11,d28,d0[0] 715 vld1.64 {q10},[r6,:128] 716 vmlal.u32 q12,d28,d0[1] 717 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 718 vmlal.u32 q13,d28,d1[0] 719 it ne 720 addne r6,r6,#16 @ don't advance in last iteration 721 vmlal.u32 q6,d28,d1[1] 722 vmlal.u32 q7,d28,d2[0] 723 vmlal.u32 q8,d28,d2[1] 724 vmlal.u32 q9,d28,d3[0] 725 vmlal.u32 q10,d28,d3[1] 726 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 727 vmlal.u32 q11,d29,d4[0] 728 vmlal.u32 q12,d29,d4[1] 729 vmlal.u32 q13,d29,d5[0] 730 vmlal.u32 q6,d29,d5[1] 731 vmlal.u32 q7,d29,d6[0] 732 vmlal.u32 q8,d29,d6[1] 733 vmlal.u32 q9,d29,d7[0] 734 vmlal.u32 q10,d29,d7[1] 735 vst1.64 {q11},[r7,:128]! 736 vmlal.u32 q12,d28,d0[0] 737 vld1.64 {q11},[r6,:128] 738 vmlal.u32 q13,d28,d0[1] 739 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 740 vmlal.u32 q6,d28,d1[0] 741 it ne 742 addne r6,r6,#16 @ don't advance in last iteration 743 vmlal.u32 q7,d28,d1[1] 744 vmlal.u32 q8,d28,d2[0] 745 vmlal.u32 q9,d28,d2[1] 746 vmlal.u32 q10,d28,d3[0] 747 vmlal.u32 q11,d28,d3[1] 748 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 749 vmlal.u32 q12,d29,d4[0] 750 vmlal.u32 q13,d29,d4[1] 751 vmlal.u32 q6,d29,d5[0] 752 vmlal.u32 q7,d29,d5[1] 753 vmlal.u32 q8,d29,d6[0] 754 vmlal.u32 q9,d29,d6[1] 755 vmlal.u32 q10,d29,d7[0] 756 vmlal.u32 q11,d29,d7[1] 757 vst1.64 {q12},[r7,:128]! 758 vmlal.u32 q13,d28,d0[0] 759 vld1.64 {q12},[r6,:128] 760 vmlal.u32 q6,d28,d0[1] 761 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 762 vmlal.u32 q7,d28,d1[0] 763 it ne 764 addne r6,r6,#16 @ don't advance in last iteration 765 vmlal.u32 q8,d28,d1[1] 766 vmlal.u32 q9,d28,d2[0] 767 vmlal.u32 q10,d28,d2[1] 768 vmlal.u32 q11,d28,d3[0] 769 vmlal.u32 q12,d28,d3[1] 770 it eq 771 subeq r1,r1,r5,lsl#2 @ rewind 772 vmlal.u32 q13,d29,d4[0] 773 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 774 vmlal.u32 q6,d29,d4[1] 775 vld1.32 {d0,d1,d2,d3},[r1]! 776 vmlal.u32 q7,d29,d5[0] 777 add r10,sp,#8 @ rewind 778 vmlal.u32 q8,d29,d5[1] 779 vmlal.u32 q9,d29,d6[0] 780 vmlal.u32 q10,d29,d6[1] 781 vmlal.u32 q11,d29,d7[0] 782 vst1.64 {q13},[r7,:128]! 783 vmlal.u32 q12,d29,d7[1] 784 785 bne .LNEON_8n_inner 786 add r6,sp,#128 787 vst1.64 {q6,q7},[r7,:256]! 788 veor q2,q2,q2 @ d4-d5 789 vst1.64 {q8,q9},[r7,:256]! 790 veor q3,q3,q3 @ d6-d7 791 vst1.64 {q10,q11},[r7,:256]! 792 vst1.64 {q12},[r7,:128] 793 794 subs r9,r9,#8 795 vld1.64 {q6,q7},[r6,:256]! 796 vld1.64 {q8,q9},[r6,:256]! 797 vld1.64 {q10,q11},[r6,:256]! 798 vld1.64 {q12,q13},[r6,:256]! 799 800 itt ne 801 subne r3,r3,r5,lsl#2 @ rewind 802 bne .LNEON_8n_outer 803 804 add r7,sp,#128 805 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 806 vshr.u64 d10,d12,#16 807 vst1.64 {q2,q3},[sp,:256]! 808 vadd.u64 d13,d13,d10 809 vst1.64 {q2,q3}, [sp,:256]! 810 vshr.u64 d10,d13,#16 811 vst1.64 {q2,q3}, [sp,:256]! 812 vzip.16 d12,d13 813 814 mov r8,r5 815 b .LNEON_tail_entry 816 817.align 4 818.LNEON_tail: 819 vadd.u64 d12,d12,d10 820 vshr.u64 d10,d12,#16 821 vld1.64 {q8,q9}, [r6, :256]! 822 vadd.u64 d13,d13,d10 823 vld1.64 {q10,q11}, [r6, :256]! 824 vshr.u64 d10,d13,#16 825 vld1.64 {q12,q13}, [r6, :256]! 826 vzip.16 d12,d13 827 828.LNEON_tail_entry: 829 vadd.u64 d14,d14,d10 830 vst1.32 {d12[0]}, [r7, :32]! 831 vshr.u64 d10,d14,#16 832 vadd.u64 d15,d15,d10 833 vshr.u64 d10,d15,#16 834 vzip.16 d14,d15 835 vadd.u64 d16,d16,d10 836 vst1.32 {d14[0]}, [r7, :32]! 837 vshr.u64 d10,d16,#16 838 vadd.u64 d17,d17,d10 839 vshr.u64 d10,d17,#16 840 vzip.16 d16,d17 841 vadd.u64 d18,d18,d10 842 vst1.32 {d16[0]}, [r7, :32]! 843 vshr.u64 d10,d18,#16 844 vadd.u64 d19,d19,d10 845 vshr.u64 d10,d19,#16 846 vzip.16 d18,d19 847 vadd.u64 d20,d20,d10 848 vst1.32 {d18[0]}, [r7, :32]! 849 vshr.u64 d10,d20,#16 850 vadd.u64 d21,d21,d10 851 vshr.u64 d10,d21,#16 852 vzip.16 d20,d21 853 vadd.u64 d22,d22,d10 854 vst1.32 {d20[0]}, [r7, :32]! 855 vshr.u64 d10,d22,#16 856 vadd.u64 d23,d23,d10 857 vshr.u64 d10,d23,#16 858 vzip.16 d22,d23 859 vadd.u64 d24,d24,d10 860 vst1.32 {d22[0]}, [r7, :32]! 861 vshr.u64 d10,d24,#16 862 vadd.u64 d25,d25,d10 863 vshr.u64 d10,d25,#16 864 vzip.16 d24,d25 865 vadd.u64 d26,d26,d10 866 vst1.32 {d24[0]}, [r7, :32]! 867 vshr.u64 d10,d26,#16 868 vadd.u64 d27,d27,d10 869 vshr.u64 d10,d27,#16 870 vzip.16 d26,d27 871 vld1.64 {q6,q7}, [r6, :256]! 872 subs r8,r8,#8 873 vst1.32 {d26[0]}, [r7, :32]! 874 bne .LNEON_tail 875 876 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 877 sub r3,r3,r5,lsl#2 @ rewind r3 878 subs r1,sp,#0 @ clear carry flag 879 add r2,sp,r5,lsl#2 880 881.LNEON_sub: 882 ldmia r1!, {r4,r5,r6,r7} 883 ldmia r3!, {r8,r9,r10,r11} 884 sbcs r8, r4,r8 885 sbcs r9, r5,r9 886 sbcs r10,r6,r10 887 sbcs r11,r7,r11 888 teq r1,r2 @ preserves carry 889 stmia r0!, {r8,r9,r10,r11} 890 bne .LNEON_sub 891 892 ldr r10, [r1] @ load top-most bit 893 mov r11,sp 894 veor q0,q0,q0 895 sub r11,r2,r11 @ this is num*4 896 veor q1,q1,q1 897 mov r1,sp 898 sub r0,r0,r11 @ rewind r0 899 mov r3,r2 @ second 3/4th of frame 900 sbcs r10,r10,#0 @ result is carry flag 901 902.LNEON_copy_n_zap: 903 ldmia r1!, {r4,r5,r6,r7} 904 ldmia r0, {r8,r9,r10,r11} 905 it cc 906 movcc r8, r4 907 vst1.64 {q0,q1}, [r3,:256]! @ wipe 908 itt cc 909 movcc r9, r5 910 movcc r10,r6 911 vst1.64 {q0,q1}, [r3,:256]! @ wipe 912 it cc 913 movcc r11,r7 914 ldmia r1, {r4,r5,r6,r7} 915 stmia r0!, {r8,r9,r10,r11} 916 sub r1,r1,#16 917 ldmia r0, {r8,r9,r10,r11} 918 it cc 919 movcc r8, r4 920 vst1.64 {q0,q1}, [r1,:256]! @ wipe 921 itt cc 922 movcc r9, r5 923 movcc r10,r6 924 vst1.64 {q0,q1}, [r3,:256]! @ wipe 925 it cc 926 movcc r11,r7 927 teq r1,r2 @ preserves carry 928 stmia r0!, {r8,r9,r10,r11} 929 bne .LNEON_copy_n_zap 930 931 mov sp,ip 932 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 933 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 934 bx lr @ bx lr 935.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 936#endif 937.byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 938.align 2 939#endif // !OPENSSL_NO_ASM && defined(OPENSSL_ARM) && defined(__ELF__) 940